必要なのは注目だけ

「Attention Is All You Need」^[1]は、 Googleで働く8人の科学者によって執筆された、 2017年の機械学習における画期的な^{[2] [3]} 研究論文です。この論文では、2014年にBahdanauらによって提案された注意メカニズムに基づいて、トランスフォーマーと呼ばれる新しいディープラーニングアーキテクチャを紹介しました。 ^{[4]トランスフォーマーアプローチは}GPTに基づくもののような大規模言語モデルの主なアーキテクチャになったため、これは現代の人工知能における基礎的な^[5]論文と見なされています。^{[6] [7]}当時、研究の焦点は機械翻訳のためのSeq2seq技術の改善にありました。しかし、著者らは論文の中でさらに踏み込み、質問応答や現在マルチモーダル生成AIとして知られているものなど、他のタスクに対するこの技術の可能性を予見しています。^[1]

論文のタイトルはビートルズの曲「愛こそすべて」に由来している。^[8]「トランスフォーマー」という名前が選ばれたのは、ウスコライトがその言葉の響きを気に入ったからである。^[9]

初期の設計文書は「トランスフォーマー：さまざまなタスクのための反復的な自己注意と処理」と題され、アニメ番組「トランスフォーマー」の6人のキャラクターのイラストが含まれていた。チームはチームトランスフォーマーと名付けられた。^[8]

チームがTransformerアーキテクチャを試した初期の例としては、英語からドイツ語への翻訳、「The Transformer」に関するWikipediaの記事の生成、解析などがありました。これらにより、チームはTransformerが汎用言語モデルであり、翻訳に適しているだけではないことを確信しました。^[9]

2024年現在、^{[アップデート]}この論文は10万回以上引用されている。^[10]

この論文の著者は、アシシュ・ヴァスワニ、ノアム・シャジール、ニキ・パーマー、ヤコブ・ウスコライト、リオン・ジョーンズ、エイダン・ゴメス、ルカス・カイザー、イリア・ポロスキンである。8人の著者全員がこの論文に「同等の貢献者」であり、記載順はランダムである。Wiredの記事では、このグループの多様性を強調している。^[8]

8人の著者のうち6人は米国外で生まれ、残りの2人はそれぞれ、一時的にカリフォルニアに滞在していたグリーンカード所持のドイツ人2人と迫害から逃れてきた一世アメリカ人の子どもである。

2023年までに、8人の著者全員がGoogleを離れ、独自のAIスタートアップ企業を設立した（Łukasz KaiserはOpenAIに参加した）。^{[8] [10]}

長年にわたり、シーケンスのモデリングと生成は、単純なリカレント ニューラル ネットワーク(RNN) を使用して行われてきました。よく引用される初期の例としては、Elman ネットワーク(1990) があります。理論上は、1 つのトークンからの情報はシーケンスの任意の場所まで伝播できますが、実際には、勾配消失問題により、長い文の終わりのモデルの状態には、先行するトークンに関する正確で抽出可能な情報がありません。

重要なブレークスルーはLSTM（1995）^{[注 1]}であり、消失勾配問題を克服するためにさまざまなイノベーションを使用し、長いシーケンスモデリングの効率的な学習を可能にしたRNNです。重要なイノベーションの1つは、他のニューロンの出力を乗算するニューロン、いわゆる乗法ユニットを使用したアテンションメカニズムの使用でした。^{[11]乗法ユニットを使用するニューラルネットワークは、後に}シグマパイネットワーク^[12]または高次ネットワークと呼ばれました。^[13] LSTMは、2017年にTransformersが出版されるまで、長いシーケンスモデリングの標準アーキテクチャになりました。ただし、LSTMは、他のほとんどのRNNと同様に、依然としてシーケンシャル処理を使用していました。^{[注 2]}具体的には、RNNは最初から最後まで一度に1つのトークンを処理します。シーケンス内のすべてのトークンを並列に処理することはできません。

現代のトランスフォーマーはこの問題を克服していますが、RNNとは異なり、コンテキストウィンドウのサイズの2乗の計算時間が必要です。線形スケーリング高速重みコントローラ（1992）は、入力に応じてさらに処理するための重みマトリックスを計算することを学習します。 ^[14] 2つのネットワークの1つには、「高速重み」または「動的リンク」があります（1981）。^{[15] [16] [17]}低速ニューラルネットワークは、クエリへの回答を計算する高速ニューラルネットワークの重みの変更を計算するためのキーと値を生成するために、勾配降下法によって学習します。^[14]これは後に、正規化されていない線形トランスフォーマーと同等であることが示されました。^{[18] [19]}

エンコーダー-デコーダーシーケンストランスダクションのアイデアは2010年代初頭に開発されました（以前の論文^{[20] [21]}を参照）。seq2seqを生み出した創始者として最もよく引用される論文は、2014年に同時に発表された2つの論文です。^{[20] [21]}

機械翻訳用の380Mパラメータモデルは、2つの長短期記憶（LSTM）を使用します。^[21]そのアーキテクチャは2つの部分で構成されています。エンコーダーは、トークンのシーケンスを受け取り、それをベクトルに変換するLSTMです。デコーダーは、ベクトルをトークンのシーケンスに変換する別のLSTMです。同様に、別の130Mパラメータモデルは、LSTMの代わりにゲート付き再帰ユニット（GRU）を使用しました。 ^[20]その後の研究では、GRUはseq2seqに対してLSTMよりも優れているわけでも劣っているわけでもないことが示されました。^{[22] [23]}

これらの初期の seq2seq モデルには注意機構がなく、状態ベクトルはソーステキストの最後の単語が処理された後にのみアクセス可能であった。理論的にはこのようなベクトルは元の文全体に関する情報を保持しているが、実際には情報は十分に保存されていない。これは、入力が 1 つの再帰型ネットワークによって順次処理されて固定サイズの出力ベクトルになり、それが別の再帰型ネットワークによって処理されて出力になるからである。入力が長い場合、出力ベクトルはすべての関連情報を含むことができず、出力の品質が低下する。その証拠として、入力文を逆にすると seq2seq 翻訳が改善された。^[24]

RNNsearchモデルは、機械翻訳のseq2seqに注目メカニズムを導入し、ボトルネック問題（固定サイズの出力ベクトル）を解決し、モデルが長距離の依存関係をより簡単に処理できるようにしました。この名前は、「翻訳をデコードしながらソース文を検索することをエミュレートする」ことに由来しています。^[4]

機械翻訳におけるグローバル（ RNNsearch ）とローカル（スライディングウィンドウ）の注意モデルアーキテクチャの相対的なパフォーマンスを比較したところ、混合注意はグローバル注意よりも品質が高く、ローカル注意は翻訳時間を短縮することがわかりました。^[25]

2016年、Google翻訳はGoogle Neural Machine Translationに刷新され、統計的機械翻訳に基づく以前のモデルに取って代わりました。新しいモデルはseq2seqモデルで、エンコーダーとデコーダーは両方とも8層の双方向LSTMでした。^[26]開発には9か月かかりましたが、開発に10年かかった統計的アプローチよりも優れたパフォーマンスを発揮しました。^[27]

注意力（自己注意力を含む）を備えたSeq2seqモデルは、再帰型ネットワークと同じ問題を抱えていました。つまり、並列化が難しく、GPUで高速化できませんでした。2016年、分解可能注意力は、並列化が容易なフィードフォワードネットワークに自己注意力メカニズムを適用し、LSTMよりも桁違いに少ないパラメータでテキスト含意のSOTA結果を達成しました。 ^[28]その著者の一人であるJakob Uszkoreitは、言語翻訳には再帰性のない注意力で十分ではないかと考え、タイトルを「注意力があれば十分」にしました。^[29]この仮説は当時の常識に反するものであり、有名な計算言語学者である彼の父親でさえ懐疑的でした。^[29]同年、LSTMに対して自己注意力（イントラアテンションまたはイントラセンテンスアテンションと呼ばれる）が提案されました。^[30]

2017年に、オリジナルの（100Mサイズ）エンコーダーデコーダートランスフォーマーモデルが「Attention is all you need」論文で提案されました。当時の研究の焦点は、機械翻訳用のseq2seqを改善することでした。これは、すべてのトークンを並列に処理するために再帰を削除しながらも、ドット積アテンションメカニズムを維持してテキスト処理のパフォーマンスを維持することでした。^[1]その並列化可能性は、大規模なニューラルネットワークで広く使用されるための重要な要素でした。^[31]

2017年春、「Attention is all you need」のプレプリントが出版される前から、共著者の一人はアーキテクチャの「デコーダのみ」のバリエーションを適用して、架空のWikipediaの記事を生成していました。^{[32]トランスフォーマーアーキテクチャは現在、進行中の}AIブームに貢献する多くの生成モデルで使用されています。

言語モデリングでは、ELMo (2018) は、文脈付き単語埋め込みを生成する双方向 LSTM であり、 bag of wordsやword2vecの研究の流れを改良したものです。その後に続いたのは、エンコーダーのみの Transformer モデルであるBERT (2018) です。 ^[33] 2019 年 10 月、Google は検索クエリの処理に BERT を使い始めました。^[34] 2020 年、Google 翻訳は、以前の RNN エンコーダー–RNN デコーダー モデルを Transformer エンコーダー–RNN デコーダー モデルに置き換えました。^[35]

2018年から、OpenAI GPTシリーズのデコーダーのみのTransformerは、自然言語生成の最先端技術となりました。2022年には、GPT-3をベースにしたチャットボットであるChatGPTが予想外の人気を博し、^[36]大規模言語モデルのブームを引き起こしました。^{[37] [38]}

2020年以降、Transformerは、ビジョントランスフォーマー^[39]、音声認識^[40] 、ロボティクス^[41 ] 、マルチモーダル^[42]など、テキスト以外のモダリティにも応用されています。ビジョントランスフォーマーは、畳み込みニューラルネットワーク^[43]の新たな開発を刺激しました。DALL -E（2021）、Stable Diffusion 3（2024）^[44]、Sora （2024）などの画像およびビデオジェネレーターは、Transformerアーキテクチャに基づいています。

データセット

英語からドイツ語への翻訳モデルは、TED トークと高品質のニュース記事から抽出された約 450 万の文章で構成される 2014 WMT 英語 - ドイツ語データセットでトレーニングされました。別の翻訳モデルは、3600 万の文章で構成される、はるかに大規模な 2014 WMT 英語 - フランス語データセットでトレーニングされました。両方のデータセットは、バイトペア エンコーディングでエンコードされました。

ハードウェア

モデルは 8 つの NVIDIA P100 GPU を使用してトレーニングされました。ベース モデルは 100,000 ステップ、ビッグ モデルは 300,000 ステップのトレーニングを受けました。各ステップの完了には約 0.4 秒かかりました。ベース モデルのトレーニングには合計 12 時間かかり、ビッグ モデルのトレーニングには合計 3.5 日かかりました。ベース モデルとビッグ モデルはどちらも、英語 - ドイツ語と英語 - フランス語の両方で 2017 年の最先端モデルを上回り、比較的低いトレーニング コストを達成しました。^[1]

ハイパーパラメータと正規化

著者らは、100M パラメータの Transformer モデルについて、最初の 4000 (ウォームアップ) ステップでは学習率を直線的に増加させ、現在のステップ数の平方根の逆数に比例して減少させました。ドロップアウト レイヤーは、正規化、埋め込みの合計、および位置エンコードの前に、各サブレイヤーの出力に適用されました。ドロップアウト レートは 0.1 に設定されました。ラベル スムージングは​​、0.1 の値で適用され、「精度と BLEU スコアが向上しました」。^[1]

• Uszkoreit, Jakob (2017 年 8 月 31 日)。「Transformer: 言語理解のための新しいニューラル ネットワーク アーキテクチャ」。research.google。2024年8月 9 日に閲覧。Google Research ブログへの同時ブログ投稿。