タイトル: Transformers versus LSTMs for electronic trading https://arxiv.org/pdf/2309.11400.pdf
この論文の内容を簡単に説明します。
著者: Paul Bilokon, Yitao Qiu
概要: この研究では、金融の時系列予測において、LSTM（Long Short-Term Memory）とTransformerという二つの異なる人工知能モデルの性能を比較しています。LSTMは、これまで金融の時系列予測で広く使用されてきました。一方で、Transformerは自然言語処理（NLP）で成功を収めており、時系列予測にも適用可能かどうかが疑問とされています。この研究では、高頻度の限定注文帳（limit order book）データに基づいて、LSTMとTransformerの性能を比較しています。結果として、Transformerは絶対価格の予測においてはわずかな利点があるものの、価格の変動や動きに関する予測では、LSTMがより優れた性能を示しました。
内容: 人工知能の急速な発展に伴い、長短期記憶（LSTM）という再帰型ニューラルネットワーク（RNN）の一種が、時系列予測に広く応用されています。同様に、Transformerは連続データを扱うために設計され、自然言語処理（NLP）で大きな成功を収めています。これにより、研究者たちはTransformerを用いた時系列予測の性能に興味を持ち、最近では長期時系列予測に関する多くのTransformerベースの解決策が登場しました。しかし、金融時系列予測に関しては、LSTMが依然として支配的なアーキテクチャです。したがって、この研究が答えたい問いは、Transformerベースのモデルが金融時系列予測に適用でき、LSTMを打倒できるかどうかです。
この問いに答えるために、高頻度のリミットオーダーブックデータに基づく複数の金融予測タスクで、さまざまなLSTMベースとTransformerベースのモデルを比較しました。新しいLSTMベースのモデルであるDLSTMを構築し、金融予測に適応するための新しいTransformerベースのアーキテクチャも設計しました。実験結果によれば、Transformerベースのモデルは絶対価格の系列予測においては限定的な利点しか持っていません。一方、LSTMベースのモデルは価格差分や価格の動きなどの差分系列予測において、より優れた安定した性能を示しました。
専門外の人向けの説明
この研究は、株価や為替レートなどの金融データを予測するのに使われる二つの人工知能モデル、LSTMとTransformerを比較しています。
LSTM: これは「過去のデータを覚えて、未来のデータを予測する」ようなモデルです。たとえば、過去の株価がどうだったかを覚えて、明日の株価がどうなるかを予測します。
Transformer: これは主に文章や言葉を理解するのに使われるモデルです。たとえば、Google翻訳がこのモデルを使っています。
この研究でわかったことは、株価の「動き」（上がるか下がるか）を予測する場合は、LSTMがより正確であるということです。しかし、株価が「具体的にいくらになるか」を予測する場合は、Transformerもそれなりに役立つことがわかりました。
要するに、どちらのモデルも一長一短があり、使い道によって最適なモデルが変わるということです。
 | 深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 |
