Transformer（ディープラーニングアーキテクチャ）

トランスフォーマーは、 Googleの研究者によって開発されたディープラーニングアーキテクチャであり、 2017年の論文「Attention Is All You Need 」で提案されたマルチヘッドアテンションメカニズムに基づいています。^{[1]テキストは}トークンと呼ばれる数値表現に変換され、各トークンは単語埋め込みテーブルからの参照によってベクトルに変換されます。^[1]各レイヤーでは、各トークンは、並列マルチヘッドアテンションメカニズムを介して、コンテキストウィンドウの範囲内で他の（マスクされていない）トークンとともにコンテキスト化され、重要なトークンの信号が増幅され、それほど重要でないトークンが減少されます。

トランスフォーマーは再帰ユニットを持たないという利点があり、そのため長短期記憶（LSTM）などの初期の再帰型ニューラルアーキテクチャ（RNN）よりもトレーニング時間が短くて済みます。^{[2]その後のバリエーションは、} WikipediaコーパスやCommon Crawlなどの大規模な（言語）データセットで大規模言語モデル（LLM）をトレーニングするために広く採用されています。^[3]

トランスフォーマーは、当初は機械翻訳 の従来のアーキテクチャを改良するために開発されましたが、^{[4] [5]、}それ以来多くの用途が見出されています。大規模な自然言語処理、コンピュータービジョン（ビジョントランスフォーマー）、強化学習、^{[6] [7]} オーディオ、^[8] マルチモーダル学習、ロボット工学、^[9]さらにはチェスのプレイにも使用されています。^{[10]また、生成}的事前学習済みトランスフォーマー（GPT）^[11]やBERT ^[12] （トランスフォーマーからの双方向エンコーダー表現）などの事前学習済みシステムの開発にもつながっています。

長年にわたり、シーケンスのモデリングと生成は、単純なリカレント ニューラル ネットワーク(RNN) を使用して行われてきました。よく引用される初期の例としては、Elman ネットワーク(1990) があります。理論上は、1 つのトークンからの情報はシーケンスの任意の場所まで伝播できますが、実際には、勾配消失問題により、長い文の終わりのモデルの状態には、先行するトークンに関する正確で抽出可能な情報がありません。

重要なブレークスルーはLSTM（1995）^{[注 1]}であり、消失勾配問題を克服するためにさまざまなイノベーションを使用し、長いシーケンスモデリングの効率的な学習を可能にしたRNNです。重要なイノベーションの1つは、他のニューロンの出力を乗算するニューロン、いわゆる乗法ユニットを使用したアテンションメカニズムの使用でした。^{[13]乗法ユニットを使用するニューラルネットワークは、後に}シグマパイネットワーク^[14]または高次ネットワークと呼ばれました。^[15] LSTMは、2017年にTransformersが出版されるまで、長いシーケンスモデリングの標準アーキテクチャになりました。ただし、LSTMは、他のほとんどのRNNと同様に、依然としてシーケンシャル処理を使用していました。^{[注 2]}具体的には、RNNは最初から最後まで一度に1つのトークンを処理します。シーケンス内のすべてのトークンを並列に処理することはできません。

現代のトランスフォーマーはこの問題を克服していますが、RNNとは異なり、コンテキストウィンドウのサイズの2乗の計算時間が必要です。線形スケーリング高速重みコントローラ（1992）は、入力に応じてさらに処理するための重みマトリックスを計算することを学習します。 ^[16] 2つのネットワークの1つには、「高速重み」または「動的リンク」があります（1981）。^{[17] [18] [19]}低速ニューラルネットワークは、クエリへの回答を計算する高速ニューラルネットワークの重みの変更を計算するためのキーと値を生成するために、勾配降下法によって学習します。^[16]これは後に、正規化されていない線形トランスフォーマーと同等であることが示されました。^{[20] [21]}

エンコーダー-デコーダーシーケンストランスダクションのアイデアは2010年代初頭に開発されました（以前の論文^{[22] [23]}を参照）。seq2seqを生み出した創始者として最もよく引用される論文は、2014年に同時に発表された2つの論文です。^{[22] [23]}

機械翻訳用の3億8000万パラメータのモデルは、2つの長短期記憶（LSTM）を使用する。^[23]そのアーキテクチャは2つの部分から構成される。エンコーダは、トークンのシーケンスを受け取り、それをベクトルに変換するLSTMである。デコーダは、ベクトルをトークンのシーケンスに変換する別のLSTMである。同様に、別の1億3000万パラメータのモデルは、LSTMの代わりにゲート付き再帰ユニット（GRU）を使用した。 ^[22]その後の研究では、GRUはseq2seqに対してLSTMより優れているわけでも劣っているわけでもないことが示された。^{[24] [25]}

これらの初期の seq2seq モデルには注意機構がなく、状態ベクトルはソーステキストの最後の単語が処理された後にのみアクセス可能であった。理論的にはこのようなベクトルは元の文全体に関する情報を保持しているが、実際には情報は十分に保存されていない。これは、入力が 1 つの再帰型ネットワークによって順次処理されて固定サイズの出力ベクトルになり、それが別の再帰型ネットワークによって処理されて出力になるためである。入力が長い場合、出力ベクトルはすべての関連情報を含むことができず、出力の品質が低下する。その証拠として、入力文を逆にすると seq2seq 翻訳が改善された。^[26]

RNNsearchモデルは、機械翻訳のseq2seqに注目メカニズムを導入し、ボトルネック問題（固定サイズの出力ベクトル）を解決し、モデルが長距離の依存関係をより簡単に処理できるようにしました。この名前は、「翻訳をデコードしながらソース文を検索することをエミュレートする」ことに由来しています。^[4]

機械翻訳におけるグローバル（ RNNsearch ）とローカル（スライディングウィンドウ）の注意モデルアーキテクチャの相対的なパフォーマンスを比較したところ、混合注意はグローバル注意よりも品質が高く、ローカル注意は翻訳時間を短縮することがわかりました。^[27]

2016年、Google翻訳はGoogle Neural Machine Translationに刷新され、統計的機械翻訳に基づく以前のモデルに取って代わりました。新しいモデルはseq2seqモデルで、エンコーダーとデコーダーは両方とも8層の双方向LSTMでした。^[28]開発には9か月かかりましたが、開発に10年かかった統計的アプローチよりも優れたパフォーマンスを発揮しました。^[29]

注意力（自己注意力を含む）を備えたSeq2seqモデルは、再帰型ネットワークと同じ問題を抱えていました。つまり、並列化が難しく、GPUで高速化できませんでした。2016年に、分解可能注意力は、並列化が容易なフィードフォワードネットワークに自己注意力メカニズムを適用し、 LSTMよりも桁違いに少ないパラメータでテキスト含意のSOTA結果を達成しました。 ^[30]その著者の一人であるJakob Uszkoreitは、言語翻訳には再帰性のない注意力で十分ではないかと考え、タイトルを「注意力があれば十分」にしました。^[31]この仮説は当時の常識に反するものであり、有名な計算言語学者である彼の父親でさえ懐疑的でした。^[31]同じ年に、自己注意力（イントラアテンションまたはイントラセンテンスアテンションと呼ばれる）がLSTM用に提案されました。^[32]

2017年に、オリジナルの（100Mサイズ）エンコーダーデコーダートランスフォーマーモデルが「Attention is all you need」論文で提案されました。当時の研究の焦点は、機械翻訳用のseq2seqを改善することでした。再帰性を削除してすべてのトークンを並列に処理しながらも、ドット積アテンションメカニズムを維持してテキスト処理のパフォーマンスを維持しました。^[1]これにより、独立したヘッドを使用し、再帰性がないため、並列化が容易なマルチヘッドアテンションモデルが導入されました。その並列化可能性は、大規模なニューラルネットワークで広く使用されるための重要な要素でした。^[33]

2017年春、「Attention is all you need」のプレプリントが出版される前から、共著者の一人は、アーキテクチャの「デコーダのみ」のバリエーションを適用して、架空のWikipediaの記事を生成していました。^[34]トランスフォーマーアーキテクチャは現在、進行中のAIブームに貢献する多くの生成モデルで使用されています。

言語モデリングでは、ELMo (2018) は、文脈付き単語埋め込みを生成する双方向 LSTM であり、 bag of wordsやword2vecの研究の流れを改良したものです。その後に続いたのは、エンコーダーのみの Transformer モデルであるBERT (2018) です。 ^[35] 2019 年 10 月、Google は検索クエリの処理に BERT を使い始めました。^[36] 2020 年、Google 翻訳は、以前の RNN エンコーダー–RNN デコーダー モデルを Transformer エンコーダー–RNN デコーダー モデルに置き換えました。^[37]

2018年から、OpenAI GPTシリーズのデコーダーのみのTransformerは、自然言語生成の最先端技術となりました。2022年には、GPT-3をベースにしたチャットボットであるChatGPTが予想外の人気を博し、^[38]大規模言語モデルのブームを引き起こしました。^{[39] [40]}

2020年以降、Transformerは、ビジョントランスフォーマー^[41]、音声認識^[42] 、ロボティクス^[6]、マルチモーダル^[43]など、テキスト以外のモダリティにも応用されています。ビジョントランスフォーマーは、畳み込みニューラルネットワーク^[44]の新たな開発を刺激しました。DALL -E（2021）、Stable Diffusion 3（2024）^[45]、Sora （2024）などの画像およびビデオジェネレーターは、Transformerアーキテクチャに基づいています。

単純なトランスフォーマーアーキテクチャでは収束が困難でした。元の論文^[1]では、著者らは学習率ウォームアップの使用を推奨していました。つまり、学習率は、トレーニングの最初の部分では0から最大値まで直線的に増加し（通常、トレーニングステップの総数の2%が推奨されます）、その後再び減少します。

2020年の論文では、マルチヘッドアテンション層とフィードフォワード層の前（後ではなく）に層の正規化を 使用すると、学習率のウォームアップを必要とせず、トレーニングが安定することがわかりました。^[46]

Transformer は通常、まず大規模な汎用データセットで自己教師あり学習によって事前トレーニングされ、その後、小規模なタスク固有のデータセットで教師あり 微調整が行われます。事前トレーニング データセットは通常、 The Pileなどのラベルのない大規模なコーパスです。事前トレーニングと微調整のタスクには、一般的に次のものが含まれます。

• 言語モデル^[12]
• 次の文の予測^[12]
• 質問応答^[3]
• 読解
• 感情分析^[1]
• 言い換え^[1]

T5トランスフォーマーレポート^[47]には、多数の自然言語事前学習タスクが記載されている。いくつかの例を挙げると、

• 不完全なテキストや破損したテキストを復元または修復します。たとえば、「Thank you ~~ me to your party ~~ week」という入力に対して、「Thank you for inviting me to your party last week」という出力が生成される場合があります。
• 自然言語間の翻訳（機械翻訳）
• 自然言語の実用的な受容性を判断する。例えば、次の文は「受け入れられない」と判断されるかもしれない。^[48]なぜなら、たとえ文法的には正しくても、人間の通常の使用ではあり得ないからである。コースはうまくジャンプしている。

これらの各タスクは、言語 (または複数の言語) のネイティブ スピーカーにとっては簡単または明白ですが、以前の世代の機械学習アーキテクチャでは通常、困難であることが証明されています。

一般的に、言語モデリングタスクには、「マスク」、「自己回帰」、「prefixLM」の3つのクラスがあります^。[ 51 ]^これらのクラスは、Transformerなどの特定のモデリングアーキテクチャとは独立していますが、Transformerのコンテキストで議論されることがよくあります。

マスクタスク^[49]では、 1つ以上のトークンがマスクされ、モデルはコンテキストに基づいてマスクされたトークンが何であるかを予測する確率分布を生成します。タスクの損失関数は通常、マスクされたトークンの対数パープレキシティの合計です。そして、モデルはこの損失関数を最小化するようにトレーニングされます。BERTシリーズのモデルは、マスクされたトークンの予測と別のタスクのためにトレーニングされています。 $${\displaystyle {\text{Loss}}=-\sum _{t\in {\text{masked tokens}}}\ln({\text{probability of }}t{\text{ conditional on its context}})}$$

自己回帰タスク^[50]では、最初にシーケンス全体がマスクされ、モデルは最初のトークンの確率分布を生成します。次に最初のトークンが明らかになり、モデルは2番目のトークンを予測します。タスクの損失関数は通常同じです。GPTシリーズのモデルは、自己回帰タスクによってトレーニングされます。

prefixLMタスク^[51]では、シーケンスは2つの部分に分割されます。最初の部分はコンテキストとして提示され、モデルは2番目の部分の最初のトークンを予測します。その後、それが明らかにされ、モデルは2番目のトークンを予測し、これを繰り返します。タスクの損失関数は通常同じです。T5シリーズのモデルは、 prefixLMタスクによってトレーニングされます。

「マスク言語モデリング」の「マスク」は「マスク注意」の「マスク」ではなく、「prefixLM」（プレフィックス言語モデリング）は「prefixLM」（プレフィックス言語モデル）ではないことに注意してください。

すべての変圧器には同じ主要コンポーネントがあります。

• テキストをトークンに変換するトークナイザー。
• 埋め込みレイヤー。トークンとトークンの位置をベクトル表現に変換します。
• トランスフォーマー レイヤーは、ベクトル表現に対して繰り返し変換を実行し、より多くの言語情報を抽出します。これらは、交互に配置されたアテンション レイヤーとフィードフォワード レイヤーで構成されます。トランスフォーマー レイヤーには、エンコーダー レイヤーとデコーダー レイヤーの 2 つの主要なタイプがあり、さらにバリエーションがあります。
• 最終的なベクトル表現をトークン上の確率分布に戻す、埋め込み解除レイヤー。

以下の説明は、元の論文で説明されている Transformer に正確に従います。次のセクションで説明するように、バリエーションもあります。

慣例により、すべてのベクトルは行ベクトルとして記述されます。これは、たとえば、ベクトルを線形レイヤーに押し込むことは、右側の重み行列で乗算することを意味します。 ${\displaystyle xW}$

Transformer アーキテクチャはテキストではなく数値データをネイティブに処理するため、テキストとトークン間の変換が必要です。トークンは文字または短い文字セグメントを表す整数です。入力側では、入力テキストがトークン シーケンスに解析されます。同様に、出力側では、出力トークンがテキストに解析されます。テキストとトークン シーケンス間の変換を行うモジュールは、トークナイザーです。

すべてのトークンの集合はトークナイザーの語彙であり、そのサイズは語彙サイズ です。語彙外のトークンに直面した場合、通常は「不明」を表す「[UNK]」と記述される特別なトークンが使用されます。 ${\displaystyle n_{\text{vocabulary}}}$

よく使用されるトークナイザーとしては、バイトペアエンコーディング、WordPiece、SentencePiece などがあります。

各トークンは、ルックアップテーブル を介して埋め込みベクトルに変換されます。同様に言えば、トークンのワンホット表現に埋め込み行列 を掛け合わせたことになります。たとえば、入力トークンが の場合、ワンホット表現は で、その埋め込みベクトルは です。トークンの埋め込みベクトルは、それぞれの位置エンコーディング ベクトル (以下を参照) に追加され、入力ベクトルのシーケンスが生成されます。 ${\displaystyle M}$${\displaystyle 3}$${\displaystyle [0,0,0,1,0,0,\dots ]}$$${\displaystyle \mathrm {Embed} (3)=[0,0,0,1,0,0,\dots ]M}$$

埋め込みベクトルの次元数は隠れサイズまたは埋め込みサイズと呼ばれ、と表記されます。^[35]このサイズは、オリジナルのTransformer論文では次のように表記されています。^[1]${\displaystyle d_{\text{emb}}}$${\displaystyle d_{\text{model}}}$

アンエンベディング レイヤーは、エンベディング レイヤーのほぼ逆です。エンベディング レイヤーがトークンをベクトルに変換するのに対し、アンエンベディング レイヤーはベクトルをトークンの確率分布に変換します。

アンエンベディング層は線形ソフトマックス層である。行列の形状は である。エンベディング行列とアンエンベディング行列は、互いに転置することが求められる場合があり、これを重み結合と呼ぶ。^[52]$${\displaystyle \mathrm {UnEmbed} (x)=\mathrm {softmax} (xW+b)}$$${\displaystyle (d_{\text{emb}},n_{\text{vocabulary}})}$${\displaystyle M}$${\displaystyle W}$

位置エンコーディングは、シーケンス内のトークンの相対位置を表す固定サイズのベクトル表現です。これにより、トランスフォーマー モデルに、入力シーケンス内の単語の位置に関する情報が提供されます。これにより、入力シーケンスの順序に偏りが生じ、たとえば、入力シーケンス「man bites dog」は「dog bites man」とは異なる方法で処理されます。

位置エンコーディングは、 型の関数として定義されます。ここで、 は正の偶数です。元の論文^[1]で定義されている完全な位置エンコーディングは次のとおりです。ここで、 です。 ${\displaystyle f:\mathbb {R} \to \mathbb {R} ^{d};d\in \mathbb {Z} ,d>0}$${\displaystyle d}$$${\displaystyle (f(t)_{2k},f(t)_{2k+1})=(\sin(\theta ),\cos(\theta ))\quad \forall k\in \{0,1,\ldots ,d/2-1\}}$$${\displaystyle \theta ={\frac {t}{r^{k}}},r=N^{2/d}}$

ここで、は自由パラメータであり、位置エンコーディング関数に入力される最大値よりも大幅に大きくなければなりません。元の論文では を使用しています。 ${\displaystyle N}$${\displaystyle k}$${\displaystyle N=10000}$

この関数は、型の複素関数として記述すると、より単純な形式になります。 ${\displaystyle f:\mathbb {R} \to \mathbb {C} ^{d/2}}$$${\displaystyle f(t)=\left(e^{it/r^{k}}\right)_{k=0,1,\ldots ,{\frac {d}{2}}-1}}$$${\displaystyle r=N^{2/d}}$

この位置エンコード関数を使用する主な理由は、これを使用するとシフトが線形変換になるためです。ここで、はシフトしたい距離です。これにより、トランスフォーマーはエンコードされた任意の位置を取得し、行列乗算によって n ステップ先または n ステップ後の位置のエンコードを見つけることができます。 $${\displaystyle f(t+\Delta t)=\mathrm {diag} (f(\Delta t))f(t)}$$${\displaystyle \Delta t\in \mathbb {R} }$

線形和を取ることで、任意の定数に対して、任意の畳み込みを線形変換として実装することもできます。これにより、変換器は任意のエンコードされた位置を取得し、その近傍のエンコードされた位置の線形和を見つけることができます。このエンコードされた位置の合計が注意メカニズムに入力されると、畳み込みニューラルネットワーク言語モデルで発生するのと同じように、近傍に注意の重みが作成されます。著者の言葉を借りれば、「これにより、モデルが相対的な位置によって注意することを容易に学習できるようになると仮定しました。」 $${\displaystyle \sum _{j}c_{j}f(t+\Delta t_{j})=\left(\sum _{j}c_{j}\,\mathrm {diag} (f(\Delta t_{j}))\right)f(t)}$$${\displaystyle c_{j}}$

典型的な実装では、すべての演算は複素数ではなく実数に対して実行されますが、複素数の乗算は実数の 2 行 2 列の行列の乗算として実装できるため、これは単なる表記上の違いです。

以前のseq2seqモデルと同様に、元のトランスフォーマー モデルはエンコーダー/デコーダーアーキテクチャを使用していました。エンコーダーは、すべての入力トークンを 1 層ずつまとめて処理するエンコード レイヤーで構成され、デコーダーは、これまでのエンコーダーの出力とデコーダーの出力トークンを反復的に処理するデコード レイヤーで構成されます。

各エンコーダ層の目的は、トークンのコンテキスト化された表現を作成することです。各表現は、自己注意メカニズムを介して他の入力トークンからの情報を「混合」するトークンに対応します。各デコーダ層には、2つの注意サブレイヤーが含まれています。(1)エンコーダの出力（コンテキスト化された入力トークン表現）を組み込むためのクロスアテンション、および(2)デコーダへの入力トークン（つまり、推論時間中にこれまでに生成されたトークン）間の情報を「混合」するためのセルフアテンションです。^{[53] [54]}

エンコーダー層とデコーダー層の両方に、出力の追加処理のためのフィードフォワードニューラルネットワークがあり、残差接続と層正規化ステップが含まれています。 ^[54]これらのフィードフォワード層には、Transformerモデルのほとんどのパラメータが含まれています。

Transformer のフィードフォワード ネットワーク (FFN) モジュールは、2 層の多層パーセプトロンです。ここで、 はその活性化関数です。元の Transformer では、ReLU活性化が使用されていました。 $${\displaystyle \mathrm {FFN} (x)=\phi (xW^{(1)}+b^{(1)})W^{(2)}+b^{(2)}}$$${\displaystyle \phi }$

中間層のニューロン数は、中間サイズ（GPT）^{[55] 、} フィルタサイズ（BERT）^[35] 、またはフィードフォワードサイズ（BERT）^[35]と呼ばれます。通常、中間サイズは埋め込みサイズよりも大きくなります。たとえば、GPT-2シリーズとBERTシリーズの両方で、モデルの中間サイズは埋め込みサイズの4倍です。 ${\displaystyle d_{\text{ffn}}=4d_{\text{emb}}}$

Transformer アーキテクチャで使用されるアテンション メカニズムは、スケールされたドット積 アテンションユニットです。各ユニットについて、Transformer モデルは、クエリの重み、キーの重み、値の重みという3 つの重みマトリックスを学習します。 ${\displaystyle W^{Q}}$${\displaystyle W^{K}}$${\displaystyle W^{V}}$

このモジュールは、クエリ シーケンス、キー シーケンス、および値シーケンスの 3 つのシーケンスを受け取ります。クエリ シーケンスは長さ のシーケンスであり、各エントリは次元 のベクトルです。キー シーケンスと値シーケンスについても同様です。 ${\displaystyle \ell _{\text{seq, query}}}$${\displaystyle d_{\text{emb, query}}}$

クエリ シーケンス内の各ベクトルに行列を掛けて、クエリ ベクトルを生成します。すべてのクエリ ベクトルの行列がクエリ 行列です。同様に、キー行列と値行列を構築します。 ${\displaystyle x_{i,{\text{query}}}}$${\displaystyle W^{Q}}$${\displaystyle q_{i}=x_{i,{\text{query}}}W^{Q}}$$${\displaystyle Q=X_{\text{query}}W^{Q}}$$${\displaystyle K=X_{\text{key}}W^{K}}$${\displaystyle V=X_{\text{value}}W^{V}}$

通常、すべてが正方行列、つまり、 など になります。${\displaystyle W^{Q},W^{K},W^{V}}$${\displaystyle d_{\text{emb, query}}=d_{\text{query}}}$

注意の重みは、クエリ ベクトルとキー ベクトルを使用して計算されます。トークンからトークンへの注意の重みは、とのドット積です。注意の重みは、キー ベクトルの次元の平方根 で割られ、トレーニング中に勾配を安定させ、重みを正規化するソフトマックスに渡されます。と が異なる行列であるという事実により、注意を非対称にすることができます。つまり、トークンがトークンに注意を向ける場合(つまり、が大きい場合)、必ずしもトークンがトークンに注意を向ける(つまり、 が小さい可能性がある) ことを意味するわけではありません。トークンに対する注意ユニットの出力は、すべてのトークンの値ベクトルの加重和であり、トークンから各トークンへの注意で加重されます。 ${\displaystyle a_{ij}}$${\displaystyle i}$${\displaystyle j}$${\displaystyle q_{i}}$${\displaystyle k_{j}}$${\displaystyle {\sqrt {d_{k}}}}$${\displaystyle W^{Q}}$${\displaystyle W^{K}}$${\displaystyle i}$${\displaystyle j}$${\displaystyle q_{i}\cdot k_{j}}$${\displaystyle j}$${\displaystyle i}$${\displaystyle q_{j}\cdot k_{i}}$${\displaystyle i}$${\displaystyle a_{ij}}$${\displaystyle i}$

すべてのトークンに対する注目度の計算は、ソフトマックス関数を使用した 1 つの大きな行列計算として表現できます。これは、行列演算を高速に計算する計算行列演算最適化により、トレーニングに役立ちます。行列、、 は、それぞれ行がベクトル、、 である行列として定義されます。次に、注目度を次のように表すことができます。${\displaystyle Q}$${\displaystyle K}$${\displaystyle V}$${\displaystyle i}$${\displaystyle q_{i}}$${\displaystyle k_{i}}$${\displaystyle v_{i}}$$${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}}$$

ここで、ソフトマックスは行列の各行に適用されます。

クエリ ベクトルの次元数はクエリ サイズ であり、キー サイズと値のサイズについても同様です。アテンション ヘッドの出力次元はヘッド次元です。アテンション メカニズムでは、次の 3 つの等式が満たされる必要がありますが、それ以外は制約はありません。 ${\displaystyle d_{\text{query}}}$ ${\displaystyle d_{\text{key}}}$ ${\displaystyle d_{\text{value}}}$ ${\displaystyle d_{\text{head}}}$$${\displaystyle \ell _{\text{seq, key}}=\ell _{\text{seq, value}},\;d_{\text{query}}=d_{\text{key}},\;d_{\text{value}}=d_{\text{head}}}$$

注意ヘッドが自己注意の形式で使用される場合、 です。注意ヘッドが相互注意の形式で使用される場合、通常は です。理論的には 3 つすべてが異なることも可能ですが、実際にはめったにそうはなりません。 ${\displaystyle X_{\text{query}}=X_{\text{key}}=X_{\text{value}}}$${\displaystyle X_{\text{query}}\neq X_{\text{key}}=X_{\text{value}}}$

1 セットのマトリックスはアテンション ヘッドと呼ばれ、トランスフォーマー モデルの各レイヤーには複数のアテンション ヘッドがあります。各アテンション ヘッドは各トークンに関連するトークンに注目しますが、複数のアテンション ヘッドにより、モデルはさまざまな定義の「関連性」に対してこれを実行できます。具体的には、アテンション スコアの計算に関係するクエリおよびキー投影マトリックス、およびが「関連性」を定義します。一方、値投影マトリックス は、出力投影マトリックス の一部と組み合わせて、注目するトークンが後続のレイヤーに渡される情報、そして最終的には出力ロジットにどのように影響するかを決定します。さらに、注目の範囲、つまり各アテンション ヘッドによってキャプチャされるトークン関係の範囲は、トークンが連続するレイヤーを通過するにつれて拡大できます。これにより、モデルはより深いレイヤーでより複雑で長距離の依存関係をキャプチャできます。多くのトランスフォーマー アテンション ヘッドは、人間にとって意味のある関連性関係をエンコードします。たとえば、一部のアテンション ヘッドは主に次の単語に注目しますが、他のアテンション ヘッドは主に動詞からその直接目的語に注目します。^[56]各アテンションヘッドの計算は並列に実行できるため、高速処理が可能です。アテンション層の出力は連結され、フィードフォワードニューラルネットワーク層に渡されます。 ${\displaystyle \left(W^{Q},W^{K},W^{V}\right)}$${\displaystyle W^{Q}}$${\displaystyle W^{K}}$${\displaystyle W^{V}}$${\displaystyle W^{O}}$

具体的には、複数の注意ヘッドを でインデックス付けすると、 となります。ここで、行列 は単語埋め込みの連結であり、行列 は個々の注意ヘッド が所有する「投影行列」であり、 はマルチヘッド注意ヘッド全体が所有する最終的な投影行列です。 ${\displaystyle i}$$${\displaystyle {\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V}))W^{O}}$$${\displaystyle X}$${\displaystyle W_{i}^{Q},W_{i}^{K},W_{i}^{V}}$${\displaystyle i}$${\displaystyle W^{O}}$

理論的には、各アテンション ヘッドが異なるヘッド寸法を持つことは可能ですが、実際にはそうなることはほとんどありません。 ${\displaystyle d_{\text{head}}}$

例として、最小の GPT-2 モデルには、自己注意メカニズムのみがあります。次の次元を持ちます。であるため、出力射影行列は正方行列です。 $${\displaystyle d_{\text{emb}}=768,n_{\text{head}}=12,d_{\text{head}}=64}$$${\displaystyle 12\times 64=768}$${\displaystyle W^{O}\in \mathbb {R} ^{(12\times 64)\times 768}}$

いくつかの単語ペア間の注意リンクをカットアウトする必要がある場合があります。たとえば、デコーダーは、トークン位置 をデコードするときに、位置 のトークンにアクセスできないようにする必要があります。これは、注意リンクをカットする必要があるエントリと他の場所にマスク行列を追加することで、ソフトマックスステージの前に実現できます。マスクされていない注意モジュールは、マスクのすべてのエントリがゼロであるマスクされた注意モジュールと考えることができます。 ${\displaystyle t}$${\displaystyle t+1}$${\displaystyle M}$${\displaystyle -\infty }$${\displaystyle 0}$$${\displaystyle {\begin{aligned}{\text{MaskedAttention}}(Q,K,V)={\text{softmax}}\left(M+{\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}}$$

例えば、次の行列はデコーダーの自己注意モジュールでよく使用され、「因果マ​​スキング」と呼ばれます。言葉で言えば、各トークンは自分自身とその前のすべてのトークンに注意を払うことができますが、それ以降のトークンには注意を払うことができません。マスク行列の珍しい使用例として、XLNetは、ランダムな順列行列である形式のすべてのマスクを考慮します。^[57]$${\displaystyle M_{\text{causal}}={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}}$$${\displaystyle PM_{\text{causal}}P^{-1}}$${\displaystyle P}$

エンコーダーは、埋め込みレイヤーとそれに続く複数のエンコーダー レイヤーで構成されます。

各エンコーダー レイヤーは、自己注意メカニズムとフィードフォワード レイヤーという 2 つの主要コンポーネントで構成されています。入力を入力ベクトルのシーケンスとして受け取り、自己注意メカニズムを適用してベクトルの中間シーケンスを生成し、各ベクトルに対してフィードフォワード レイヤーを個別に適用します。概略的には次のようになります。${\displaystyle {\begin{aligned}{\text{given input vectors }}&h_{0},h_{1},\dots \\{\text{combine them into a matrix }}H&={\begin{bmatrix}h_{0}\\h_{1}\\\vdots \end{bmatrix}}\\{\text{EncoderLayer}}(H)&={\begin{bmatrix}{\text{FFN}}({\text{MultiheadedAttention}}(H,H,H)_{0})\\{\text{FFN}}({\text{MultiheadedAttention}}(H,H,H)_{1})\\\vdots \end{bmatrix}}\\\end{aligned}}}$

ここで、 は「フィードフォワード ネットワーク」を表します。 は行列の各行に個別に適用されるという 暗黙の規則により、 とより簡潔に記述できます。${\displaystyle {\text{FFN}}}$$${\displaystyle {\text{EncoderLayer}}(H)={\text{FFN}}({\text{MultiheadedAttention}}(H,H,H))}$$${\displaystyle {\text{FFN}}}$

エンコーダー レイヤーは積み重ねられています。最初のエンコーダー レイヤーは、埋め込みレイヤーから入力ベクトルのシーケンスを受け取り、ベクトルのシーケンスを生成します。このベクトルのシーケンスは、2 番目のエンコーダーによって処理され、これが繰り返されます。最後のエンコーダー レイヤーからの出力は、デコーダーによって使用されます。

エンコーダーは入力全体を一度に処理するため、すべてのトークンが他のすべてのトークンに注意を向けることができる (全対全の注意) ため、因果マスキングは必要ありません。

デコーダーは、埋め込みレイヤー、それに続く複数のデコーダー レイヤー、そして最後に続く埋め込み解除レイヤーで構成されます。

各デコーダーは、因果的にマスクされた自己注意メカニズム、クロス注意メカニズム、フィードフォワードニューラルネットワークの3つの主要コンポーネントで構成されています。デコーダーはエンコーダーと同様に機能しますが、エンコーダーによって生成されたエンコーディングから関連情報を引き出す追加の注意メカニズムが挿入されています。このメカニズムは、エンコーダーデコーダー注意とも呼ばれます。^{[1] [54]}

最初のエンコーダと同様に、最初のデコーダは、エンコードではなく、出力シーケンスの位置情報と埋め込みを入力として受け取ります。トランスフォーマーは現在または将来の出力を使用して出力を予測してはならないため、この逆の情報フローを防ぐために出力シーケンスを部分的にマスクする必要があります。^{[1]これにより、}自己回帰テキスト生成が可能になります。デコードの場合、トークンはまだ生成されていないトークンに注意を向けることができないため、すべてに対してすべての注意を向けることは不適切です。したがって、デコーダの自己注意モジュールは因果的にマスクされます。

対照的に、クロスアテンションメカニズムは、デコーダがデコードを開始する前に計算されるエンコーダの出力ベクトルに注目します。したがって、クロスアテンションメカニズムではマスキングは必要ありません。

図式的には次のようになります。ここで、行はエンコーダからの出力ベクトルである行列です。 $${\displaystyle {\begin{aligned}H'&={\text{MaskedMultiheadedAttention}}(H,H,H)\\{\text{DecoderLayer}}(H)&={\text{FFN}}({\text{MultiheadedAttention}}(H',H^{E},H^{E}))\end{aligned}}}$$${\displaystyle H^{E}}$

最後のデコーダーの後には、最終的なアンエンベディング レイヤーが続きます。これにより、語彙全体の出力確率が生成されます。次に、トークンの 1 つが確率に従ってサンプリングされ、デコーダーが再度実行されて次のトークンが生成され、自己回帰的に出力テキストが生成されます。

各エンコーダー層には、自己注意とフィードフォワード ネットワークの 2 つのサブ層が含まれます。各デコーダー層には、因果的にマスクされた自己注意、クロス注意、およびフィードフォワード ネットワークの 3 つのサブ層が含まれます。

最後の詳細は、残差接続とレイヤー正規化(LayerNorm、または LN) です。これらは概念的には不要ですが、数値の安定性と収束には必要です。フィードフォワード ネットワーク モジュールが各ベクトルに個別に適用されるのと同様に、LayerNorm も各ベクトルに個別に適用されます。

一般的に使用されている規則には、 post-LN規則とpre-LN規則の2 つがあります。post-LN 規則では、各サブレイヤーの出力は、サブレイヤー自体によって実装される関数です。 $${\displaystyle \mathrm {LayerNorm} (x+\mathrm {Sublayer} (x))}$$${\displaystyle \mathrm {Sublayer} (x)}$

LN以前の規則では、各サブレイヤーの出力は、2017年のオリジナルのTransformerではLN後の規則が使用されていました。これはトレーニングが難しく、ハイパーパラメータの慎重な調整と、学習率を小さく始めて徐々に増やす「ウォームアップ」が必要でした。2018年に数回提案されたLN以前の規則^[58]は、トレーニングが容易でウォームアップを必要とせず、収束が速いことがわかりました。^[46]$${\displaystyle x+\mathrm {Sublayer} (\mathrm {LayerNorm} (x))}$$

以下は、^{[59]から改変した標準的なLN以前のエンコーダ・デコーダ・トランスフォーマーの擬似コードである。}

入力:エンコーダ入力 t_e
       デコーダ入力 t_d
出力:確率分布の配列。形状は(デコーダ語彙サイズ x 長さ(デコーダ出力シーケンス))

/* エンコーダ */
z_e ← エンコーダ.トークナイザ(t_e)

 1 :length(z_e)の各tについて
    z_e[t] ← エンコーダ.埋め込み(z_e[t]) + エンコーダ.位置埋め込み(t)

 1:length(encoder.layers )の各lに対して
    レイヤー ← エンコーダー.レイヤー[l]

    /* 最初のサブレイヤー */
    z_e_copy ← コピー(z_e)
    1:length(z_e)の各tについて
        z_e[t] ← レイヤー.レイヤーノルム(z_e[t])
    z_e ←layer.multiheaded_attention(z_e, z_e, z_e)
    1:length(z_e)の各tについて
        z_e[t] ← z_e[t] + z_e_copy[t]

    /* 2番目のサブレイヤー */
    z_e_copy ← コピー(z_e)
    1:length(z_e)の各tについて
        z_e[t] ← レイヤー.レイヤーノルム(z_e[t])
    z_e ← レイヤー.フィードフォワード(z_e)
    1:length(z_e)の各tについて
        z_e[t] ← z_e[t] + z_e_copy[t]

1:length(z_e)の各tについて
    z_e[t] ← エンコーダー.final_layer_norm(z_e[t])

/* デコーダー */
z_d ← デコーダー.トークナイザー(t_d)

 1 :length(z_d)の各tについて
    z_d[t] ← デコーダー.埋め込み(z_d[t]) + デコーダー.位置埋め込み(t)

 1:length(decoder.layers )の各lに対して
        レイヤー ← デコーダー.レイヤー[l]

        /* 最初のサブレイヤー */
        z_d_copy ← コピー(z_d)
        1:length(z_d)の各tについて
            z_d[t] ← レイヤー.レイヤーノルム(z_d[t])
        z_d ← レイヤー.マスクされたマルチヘッドアテンション(z_d, z_d, z_d)
        1:length(z_d)の各tについて
            z_d[t] ← z_d[t] + z_d_copy[t]

        /* 2番目のサブレイヤー */
        z_d_copy ← コピー(z_d)
        1:length(z_d)の各tについて
            z_d[t] ← レイヤー.レイヤーノルム(z_d[t])
        z_d ← レイヤー.multiheaded_attention(z_d, z_e, z_e)
        1:length(z_d)の各iに対して
            z_d[t] ← z_d[t] + z_d_copy[t]

        /* 3番目のサブレイヤー */
        z_d_copy ← コピー(z_d)
        1:length(z_d)の各tについて
            z_d[t] ← レイヤー.レイヤーノルム(z_d[t])
        z_d ← レイヤー.フィードフォワード(z_d)
        1:length(z_d)の各tについて
            z_d[t] ← z_d[t] + z_d_copy[t]

z_d ← デコーダー.final_layer_norm(z_d)

出力分布 ← []
1:length(z_d)の各tについて
    出力分布.append(デコーダー.unembed(z_d[t]))

出力分布
を返す

Transformerアーキテクチャはモジュール化されているため、さまざまなバリエーションが可能です。ここではいくつかの一般的なバリエーションについて説明します。^[60]

「エンコーダのみ」のトランスフォーマーは、エンコーダを適用して、入力テキストを、入力テキストを表すベクトルのシーケンスにマッピングします。これは通常、下流のアプリケーションのためのテキスト埋め込みと表現学習に使用されます。BERTはエンコーダのみです。これらは現在あまり使用されていません。エンコーダとデコーダのトランスフォーマーをトレーニングしてからエンコーダのみを使用するよりも大幅に優れているわけではないことが判明したためです。^[51]

「デコーダーのみ」のトランスフォーマーは、文字通りデコーダーのみではありません。エンコーダーがなければ、クロスアテンションメカニズムは何も気にする必要がないからです。したがって、デコーダーのみのトランスフォーマーのデコーダー層は、因果的にマスクされた自己アテンションとフィードフォワードネットワークの 2 つのサブ層のみで構成されます。これは通常、テキスト生成と命令の追跡に使用されます。GPTシリーズとChinchilla シリーズのモデルはデコーダーのみです。

「エンコーダ・デコーダ」トランスフォーマーは、一般的にはオリジナルのトランスフォーマーと同じで、エンコーダー層ごとに2つのサブレイヤー、デコーダー層ごとに3つのサブレイヤーなどがある。代替活性化関数、正規化の場所の変更など、アーキテクチャ上の小さな改善が加えられている場合がある。これは通常、テキスト生成や命令の追跡にも使用される。T5シリーズのモデルはエンコーダー・デコーダーである。^[60]

「prefixLM」（接頭辞言語モデル）はデコーダーのみのアーキテクチャーですが、因果マスキングとは異なる接頭辞マスキングを備えています。具体的には、^{図3 の形式[60]}のマスクを持ち、最初の列は「接頭辞」に対応し、後続の列は接頭辞に基づいて自己回帰的に生成されたテキストに対応します。これらはエンコーダー-デコーダーモデルに似ていますが、「スパース性」が低くなっています。このようなモデルは、理論的な可能性やベンチマーク比較として引用されていますが、めったに使用されません。^[51]$${\displaystyle M_{\text{prefixLM}}={\begin{bmatrix}\mathbf {0} &-\infty \\\mathbf {0} &M_{\text{causal}}\end{bmatrix}}}$$

seq2seqモデルも混合されている。例えば、2020年にGoogle翻訳は、RNNデコーダーは自己回帰的に実行した場合、Transformerデコーダーよりもはるかに高速であるという議論に基づいて、以前のRNNエンコーダー–RNNデコーダーモデルをTransformerエンコーダー–RNNデコーダーモデルに置き換えた。^[61]

オリジナルのトランスフォーマーはReLU 活性化関数を使用しています。他の活性化関数も開発されました。LlamaシリーズはSwiGLUを使用しました。 ^[62] GPT-1とBERT ^[35]はどちらもGELUを使用しました。^[63]

代替活性化関数は、フィードフォワードモジュールのゲート線形ユニットと組み合わせて使用​​されることが多い。 ^[64]

Transformerで使用される正規化はLayerNormとは異なる場合があります。一例としては、Llamaシリーズで使用されるRMSNorm ^{[65]があります。他の例としては、CapsuleNorm [66]、} ScaleNorm、^[67]、FixNorm ^[67]などがあります。

トランスフォーマーは正弦波以外の位置エンコード方式を使用することもある。^[68]

オリジナルのTransformer論文では、学習された位置エンコーディングの使用が報告されましたが^[69]、正弦波エンコーディングよりも優れているとは考えられませんでした^[1] 。その後、^[70]では、因果マスキング自体がTransformerデコーダーに十分な信号を提供し、位置エンコーディングモジュールなしで絶対位置エンコーディングを暗黙的に実行することを学習できることがわかりました。

RoPE（回転位置埋め込み）^[71]は、 2次元ベクトルのリストを考えることで最もよく説明されます。ここで、ある角度を選択します。すると、RoPEエンコーディングは次のようになります。同様に、2次元ベクトルを複素数として表すと、RoPEエンコーディングは角度による乗算になります。次元ベクトルのリストの場合、RoPEエンコーダーは角度のシーケンスによって定義されます。次に、RoPEエンコーディングが各座標ペアに適用されます。 ${\displaystyle [(x_{1}^{(1)},x_{1}^{(2)}),(x_{2}^{(1)},x_{2}^{(2)}),(x_{3}^{(1)},x_{3}^{(2)}),...]}$${\displaystyle \theta }$$${\displaystyle {\text{RoPE}}{\big (}x_{m}^{(1)},x_{m}^{(2)},m{\big )}={\begin{pmatrix}\cos m\theta &-\sin m\theta \\\sin m\theta &\cos m\theta \end{pmatrix}}{\begin{pmatrix}x_{m}^{(1)}\\x_{m}^{(2)}\\\end{pmatrix}}={\begin{pmatrix}x_{m}^{(1)}\cos m\theta -x_{m}^{(2)}\sin m\theta \\x_{m}^{(2)}\cos m\theta +x_{m}^{(1)}\sin m\theta \\\end{pmatrix}}}$$${\displaystyle z_{m}:=x_{m}^{(1)}+ix_{m}^{(2)}}$$${\displaystyle {\text{RoPE}}{\big (}z_{m},m{\big )}=e^{im\theta }z_{m}}$$${\displaystyle 2n}$${\displaystyle \theta ^{(1)},...,\theta ^{(n)}}$

RoPE の利点は、2 つのベクトル間のドット積が、 任意の整数に対して、それらの相対的な位置のみに依存することです。 $${\displaystyle {\text{RoPE}}{\big (}x,m{\big )}^{T}{\text{RoPE}}{\big (}y,n{\big )}={\text{RoPE}}{\big (}x,m+k{\big )}^{T}{\text{RoPE}}{\big (}y,n+k{\big )}}$$${\displaystyle k}$

ALiBi (線形バイアスによる注意) ^{[72] は、}元のトランスフォーマーの位置エンコーダーの代替ではありません。代わりに、注意メカニズムに直接接続される追加の位置エンコーダーです。具体的には、ALiBi注意メカニズムは、ここで、は実数 (「スカラー」)、はによって定義される線形バイアス行列です。言い換えると、線形バイアス行列はソフトマスクであるという考え方です。 が十分に注意を払われていることを表し、 が注意を払われていないことを表すのと同じように、線形バイアス行列は、一方向に注意を向けることを増やし、他の方向に注意を向けることを減ら $${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+sB\right)V\end{aligned}}}$$${\displaystyle s}$${\displaystyle B}$$${\displaystyle B={\begin{pmatrix}0&1&2&3&\cdots \\-1&0&1&2&\cdots \\-2&-1&0&1&\cdots \\-3&-2&-1&0&\cdots \\\vdots &\vdots &\vdots &\vdots &\ddots \\\end{pmatrix}}}$$${\displaystyle B_{i,j}=j-i}$${\displaystyle 0}$${\displaystyle -\infty }$

ALiBi を使用すると、短いコンテキスト ウィンドウで事前トレーニングを行い、その後、より長いコンテキスト ウィンドウで微調整を行うことができます。これはアテンション メカニズムに直接プラグインされるため、ネットワーク全体の「下部」にプラグインされている任意の位置エンコーダーと組み合わせることができます (これは、元のトランスフォーマーの正弦波エンコーダーや、RoPE など多くのエンコーダーが配置されている場所です)。

相対位置エンコーディング^[73]はALiBiに似ていますが、より一般的です。ここで、はテプリッツ行列であり、つまり、のときは常に です。これは、元の正弦波位置エンコーディングである「絶対位置エンコーディング」とは対照的です。^[74]$${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+B\right)V\end{aligned}}}$$${\displaystyle B}$${\displaystyle B_{i,j}=B_{i',j'}}$${\displaystyle i-j=i'-j'}$

トランスフォーマーモデルは、 TensorFlowやPyTorchなどの標準的なディープラーニングフレームワークに実装されています。トランスフォーマーは、Hugging Faceが作成したライブラリで、トランスフォーマーベースのアーキテクチャと事前学習済みモデルを提供しています。^[11]

FlashAttention ^[75]は、GPU上でトランスフォーマーアテンション機構を効率的に実装するアルゴリズムである。ブロック単位で行列乗算を実行し、各ブロックがGPUのキャッシュ内に収まるようにし、ブロックを慎重に管理することで、GPUキャッシュ間のデータコピーを最小限に抑える（データの移動が遅いため）。

より長いコンテキスト長を処理できる言語モデルに対する高まる需要に応えるために、改良版のFlashAttention-2 ^{[76] [77] [78]が開発されました。作業分割と並列処理が強化され、} A100 GPU（FP16 / BF16 ）で最大230 TFLOPs/sを達成し、オリジナルのFlashAttentionの2倍の速度向上を実現しました。

FlashAttention-2の主な進歩には、非matmul FLOPの削減、シーケンス長次元での並列性の向上、GPUワープ間の作業分割の改善、最大256のヘッド次元とマルチクエリアテンション（MQA）およびグループクエリアテンション（GQA）のサポートの追加などがあります。^[79]

ベンチマークにより、FlashAttention-2 は FlashAttention より最大 2 倍高速で、PyTorch の標準アテンション実装より最大 9 倍高速であることが明らかになりました。今後の開発には、H100 GPU などの新しいハードウェアや FP8 などの新しいデータ型の最適化が含まれます。

マルチクエリアテンションはマルチヘッドアテンションメカニズムを変更します。^[80]通常、

$${\displaystyle {\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V})\right)W^{O}}$$マルチクエリアテンションでは、 は 1 つだけなので、次のようになります。 ${\displaystyle W^{K},W^{V}}$

$${\displaystyle {\text{MultiQueryAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW^{K},XW^{V})\right)W^{O}}$$

これはモデルの品質とトレーニング速度には中立的な影響を及ぼしますが、推論速度は向上します。

より一般的には、グループ化クエリアテンション（GQA）は、アテンションヘッドをグループに分割し、各グループがキーと値のペアを共有する。MQAは1つのグループを持つGQAであり、標準的なマルチヘッドアテンションは最大数のグループを持つGQAである。^[81]

自己回帰変換器を推論（テキスト生成など）に使用する場合、クエリベクトルは各ステップで異なりますが、すでに計算されたキーと値のベクトルは常に同じです。KVキャッシュ方式は、計算されたキーと値のベクトルを各アテンションブロックに保存し、新しいトークンごとに再計算されないようにします。Pag ​​edAttentionは、メモリページングをKVキャッシュに適用します。 ^{[82] [83] [84]}

トランスフォーマーを ["あなたはカスタマー サポート エージェントです..."] などの組み込みプロンプトで使用すると、プロンプトのキーと値のベクトルを計算してディスクに保存できます。オンライン チャットボットなど、多くの短い対話にモデルを使用する場合、計算の節約は顕著になります。

トランスフォーマーは、大規模な言語モデルで自己回帰シーケンス生成に使用されます。つまり、一度に 1 つのトークンからテキストのストリームを生成します。ただし、ほとんどの設定では、言語モデルからのデコードはメモリにバインドされているため、利用可能な計算能力に余裕があります。投機的デコード^{[85] [86]は、この余裕のある計算能力を使用して、複数のトークンを並列に計算します。CPU での}投機的実行と同様に、将来のトークンは、以前のトークンの値を推測することによって同時に計算され、推測が間違っていたことが判明した場合は後で破棄されます。

具体的には、コンテキストウィンドウサイズが 512 の GPT-3 のようなトランスフォーマーモデルを考えてみましょう。貪欲なデコードでコンテキストウィンドウ全体を自己回帰的に生成するには、トークンを生成するたびに 512 回実行する必要があります。ただし、これらのトークンの値についてある程度の推測があれば、モデルを 1 回実行するだけで、それぞれが - 番目の出力で最大の対数尤度を持つトークンであることを確認することで、それらすべてを並列に検証できます。 ${\displaystyle x_{1},x_{2},...,x_{512}}$${\displaystyle x_{t}}$${\displaystyle t}$

推測的デコードでは、より小さなモデルまたは他の単純なヒューリスティックを使用して、いくつかの推測トークンを生成し、その後、より大きなモデルによって検証します。たとえば、小さなモデルが 4 つの推測トークンを生成したとします。これらのトークンは、より大きなモデルで実行され、 と のみが受け入れられます。同じ大規模モデルの実行で、を置き換える新しいトークンがすでに生成されており、完全に破棄されます。その後、すべてのトークンが生成されるまで、このプロセスが (4 番目のトークンから開始して) 繰り返されます。 ${\displaystyle {\tilde {x}}_{1},{\tilde {x}}_{2},{\tilde {x}}_{3},{\tilde {x}}_{4}}$${\displaystyle {\tilde {x}}_{1}}$${\displaystyle {\tilde {x}}_{2}}$${\displaystyle x_{3}}$${\displaystyle {\tilde {x}}_{3}}$${\displaystyle {\tilde {x}}_{4}}$

非貪欲復号法の場合も同様の考え方が適用されますが、投機的トークンは確率的に受け入れられるか拒否されるかが異なり、最終的な出力分布は投機的復号法を使用しなかった場合と同じになることが保証されます。^{[85] [87]}

トランスフォーマーベースのアーキテクチャのトレーニングは、特に長い入力の場合、コストがかかる可能性があります。^[88]この問題に対処するために多くの方法が開発されてきました。Long Range Arena（2020）^[89]は、長い入力に対するトランスフォーマーアーキテクチャの動作を比較するための標準的なベンチマークです。

標準的な注意グラフは、すべて対すべてまたは因果関係のいずれかであり、どちらも としてスケールします。ここでは、はシーケンス内のトークンの数です。 ${\displaystyle O(N^{2})}$${\displaystyle N}$

Reformer (2020) ^{[88] [90]は}、局所性に敏感なハッシュと可逆層を使用することで、からへの計算負荷を軽減します。 ^[91]${\displaystyle O(N^{2})}$${\displaystyle O(N\ln N)}$

スパースアテンション^[92]は、よりも遅く成長するアテンショングラフを使用します。たとえば、BigBird（2020）^[93]は、として成長するランダムスモールワールドネットワークを使用します。 ${\displaystyle O(N^{2})}$${\displaystyle O(N)}$

通常のトランスフォーマーはコンテキストウィンドウのサイズの2乗のメモリサイズを必要とします。アテンションフリートランスフォーマー^[94]はキーと値をリンクすることでトランスフォーマーの利点を維持しながらこれを線形依存性にまで低減します。

ランダム特徴アテンション（2021）^[95]は、フーリエランダム特徴を使用します。ここでは、正規分布 からの独立したサンプルです。このパラメータの選択は、 、またはを満たします。したがって、1つのクエリを持つ単頭アテンションは、 と書くことができます。ここで、 です。複数のクエリの場合も同様です。また、多頭アテンションの場合も同様です。 $${\displaystyle \varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\cdots \cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}}$$${\displaystyle w_{1},...,w_{D}}$${\displaystyle N(0,\sigma ^{2}I)}$${\displaystyle \mathbb {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}}}$$${\displaystyle e^{\langle x,y\rangle /\sigma ^{2}}=\mathbb {E} [\langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle ]\approx \langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle }$$$${\displaystyle {\text{Attention}}(q,K,V)={\text{softmax}}\left({\frac {qK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx {\frac {\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})v_{i}^{T}}{\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})}}}$$${\displaystyle \sigma =d_{K}^{1/4}}$

この近似値は、最初に行列を計算し、それをクエリと乗算できるため、線形時間で計算できます。本質的には、Performer (2022) [96]のより正確なバージョンを取得することができました。Performer (2022) ^[96]は同じランダム特徴アテンションを使用しますが、最初に正規分布から独立してサンプリングされ、次にグラムシュミット処理されます。 ${\displaystyle \varphi (k_{i})v_{i}^{T}}$$${\displaystyle {\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx Q(K^{T}V/{\sqrt {d_{k}}})}$$${\displaystyle w_{1},...,w_{D}}$${\displaystyle N(0,\sigma ^{2}I)}$

トランスフォーマーは、通常はモダリティを「トークン化」する方法を見つけることによって、テキスト以外のモダリティ（入力または出力）にも使用/適応できます。

マルチモーダルモデルは、最初からトレーニングすることも、微調整によってトレーニングすることもできます。2022年の研究では、自然言語のみで事前トレーニングされたTransformerは、わずか0.03％のパラメータで微調整でき、さまざまな論理タスクや視覚タスクでLSTMと競合できることがわかり、転移学習が実証されました。^[97] LLaVAは、言語モデル（Vicuna-13B）^[98]と視覚モデル（ViT -L/14）が線形層で接続された視覚言語モデルでした。線形層のみが微調整されています。^[99]

ビジョントランスフォーマー^[41]は、入力画像を一連のパッチとして分解し、それらをベクトルに変換し、標準的なトランスフォーマーのトークンのように扱うことで、トランスフォーマーをコンピュータービジョンに適応させます。

Conformer ^[42]とその後のWhisper ^[100]は音声認識に同じパターンを採用しており、最初に音声信号をスペクトログラムに変換し、次にそれを画像のように扱い、つまり一連のパッチに分解し、ベクトルに変換して標準のトランスフォーマーでトークンのように扱います。

パーセプター^{[101] [102]}は、マルチモーダル性のために設計されたトランスフォーマーの一種である。

画像生成では、DALL-E 1 (2021)、Parti (2022)、^[103] Phenaki (2023)、^[104]、Muse (2023) などのアーキテクチャが注目されています。^[105]後のモデルとは異なり、DALL-E は拡散モデルではありません。代わりに、デコーダーのみのトランスフォーマーを使用してテキストを自己回帰的に生成し、続いて画像のトークン表現を生成し、それを変分オートエンコーダーで画像に変換します。^[106] Parti はエンコーダー-デコーダー Transformer で、エンコーダーがテキストプロンプトを処理し、デコーダーが画像のトークン表現を生成します。^[107] Muse はエンコーダーのみのトランスフォーマーで、マスクされていない画像トークンからマスクされた画像トークンを予測するようにトレーニングされています。生成中、すべての入力トークンはマスクされ、すべてのトークンが予測されるまで、最も信頼度の高い予測が次の反復に含められます。^[105]フェナキはテキストからビデオへのモデルです。これは、事前に計算されたテキストトークンを条件とする双方向マスクトランスフォーマーです。生成されたトークンはビデオにデコードされます。^[104]

トランスフォーマーは自然言語処理(NLP) で大きな成功を収めてきました。GPT -2、GPT-3、GPT-4、AlbertAGPT、Claude、BERT、XLNet、RoBERTa、ChatGPTなどの多くの大規模言語モデルは、トランスフォーマーがさまざまな NLP 関連のサブタスクと、それに関連する現実世界または実用的なアプリケーションを実行できることを実証しています。

• 機械翻訳
• 時系列予測
• 文書の要約
• ドキュメント生成
• 固有表現抽出（NER）^[108]
• 自然言語で表現された要件に基づいてコンピュータ コードを記述します。
• 音声テキスト変換

従来の NLP 以外にも、トランスフォーマー アーキテクチャは次のような他のアプリケーションでも成功を収めています。

• 生物学的配列分析
• ビデオ理解
• タンパク質の折り畳み（ AlphaFoldなど）
• チェス盤の位置を評価する。静的評価のみ（つまり、ミニマックス探索なし）で、トランスフォーマーはElo 2895を達成し、グランドマスターレベルに達した。^[10]

• seq2seq  – 機械学習アプローチのファミリー
• Perceiver  – マルチモーダルデータ用に設計されたTransformerのバリアント
• ビジョントランスフォーマー – ビジョン処理のための機械学習モデル
• 大規模言語モデル – 人工ニューラルネットワークの一種
• BERT（言語モデル）  – Google AIが開発した言語モデルのシリーズ
• 生成的事前学習済みトランスフォーマー – 大規模言語モデルの種類
• T5（言語モデル）  – Google AIが開発した大規模な言語モデルのシリーズ
• 平均場型変圧器 (MFTT)