トランスフォーマー（ディープラーニング）

ディープラーニングにおいて、トランスフォーマーはマルチヘッドアテンションメカニズムに基づく人工ニューラルネットワークアーキテクチャのファミリーであり、テキストはトークンと呼ばれる数値表現に変換され、各トークンは単語埋め込みテーブルからのルックアップによってベクトルに変換されます。^[¹^]各レイヤーでは、各トークンは並列マルチヘッドアテンションメカニズムを介してコンテキストウィンドウの範囲内で他の（マスクされていない）トークンとともに文脈化され、重要なトークンの信号が増幅され、重要度の低いトークンが減少するようになります。自己アテンションだけでは順列不変であるため、トランスフォーマーは通常、位置エンコーディングまたは学習された位置埋め込みを介して位置情報を注入し、トークンの順序が出力に影響を与える可能性があります。^[¹^]

Transformer にはリカレントユニットがないという利点があり、そのため、長短期記憶(LSTM)などの以前のリカレントニューラルアーキテクチャ(RNN) よりもトレーニング時間が短くて済みます。^[²^]後期のバリエーションは、大規模な (言語)データセットで大規模言語モデル(LLM)をトレーニングするために広く採用されています。^[³^]最新の Transformer 設計は、表現学習、自己回帰生成、条件付きシーケンスツーシーケンスタスクに最適化されているかどうかに応じて、エンコーダのみ、デコーダのみ、エンコーダとデコーダのバリアントに一般的に分類されます。^[⁴^]

トランスフォーマーアーキテクチャのオリジナルバージョンは、2017 年のGoogleの研究者による論文「 Attention Is All You Need 」で提案されました。^[¹^]トランスフォーマーの前身は、機械翻訳の以前のアーキテクチャを改良するために開発されましたが、^[⁵^]^[⁶^]それ以来、多くのアプリケーションが見つかっています。大規模な自然言語処理、コンピュータビジョン(ビジョントランスフォーマー)、強化学習、^[⁷^]^[⁸^]オーディオ、^[⁹^]マルチモーダル学習、ロボット工学、^[¹⁰^]およびチェスをプレイするのに使用されています。^[¹¹^]また、生成事前学習トランスフォーマー(GPT) ^[¹²^]やBERT ^[¹³^] (トランスフォーマーからの双方向エンコーダ表現)などの事前学習済みシステムの開発にもつながりました。

歴史

前任者

長年にわたり、シーケンスのモデリングと生成は、単純なリカレントニューラルネットワーク（RNN）を使用して行われてきました。よく知られた初期の例としては、エルマンネットワーク（1990年）があります。理論的には、1つのトークンからの情報はシーケンスの任意の遠くまで伝播できますが、実際には、勾配消失問題により、長い文の末尾にあるモデルの状態は、先行するトークンに関する正確で抽出可能な情報を持たないままになります。

重要なブレークスルーはLSTM (元々は 1995 年の技術レポートで説明され、1997 年に正式に発表された) ^{[ 2 ]}^{[注 1 ]}であり、これは RNN で、勾配消失問題を軽減するためのゲーティングメカニズムを導入し、長系列モデリングの効率的な学習を可能にしました。重要なアーキテクチャ要素の 1 つは乗算ゲーティングユニットの使用であり、一部のニューロンの出力が他のニューロンの出力を調整します。これらの乗算ユニットは、後にシーケンスツーシーケンスモデル用に導入された加算アテンションメカニズムとは概念的に異なります。 ^{[ 14 ]}乗算ユニットを使用するニューラルネットワークは、後にシグマパイネットワーク^{[ 15 ]}または高次ネットワーク^{[ 16 ]}と呼ばれるようになりました。LSTMは、2017 年にトランスフォーマーが発表されるまで、長系列モデリングの標準アーキテクチャとなりました。しかし、LSTM は、他のほとんどの RNN と同様に、依然として逐次処理を使用していました。^{[注 2 ]}具体的には、RNN は、最初から最後まで 1 つのトークンずつ処理します。それらは、シーケンス内のすべてのトークンに対して並列に処理を行うことはできません。

現代のトランスフォーマーはこの問題を克服しますが、RNNとは異なり、コンテキストウィンドウのサイズの2乗に比例する計算時間が必要です。線形スケーリング高速重みコントローラ（1992）は、入力に応じてさらなる処理のための重み行列を計算することを学習します。^{[ 17 ]}その2つのネットワークのうちの1つは、「高速重み」または「動的リンク」（1981）を持っています。^{[ 18 ]}^{[ 19 ]}^{[ 20 ]}低速ニューラルネットワークは、勾配降下法によって、クエリに対する回答を計算する高速ニューラルネットワークの重みの変化を計算するためのキーと値を生成することを学習します。^{[ 17 ]}これは後に、非正規化線形トランスフォーマーと同等であることが示されました。^{[ 21 ]}^{[ 22 ]}

seq2seqに関する注意

エンコーダー・デコーダー配列変換のアイデアは2010年代初頭に開発されました。seq2seqを開発した創始者としてよく挙げられるのは、2014年に同時期に発表された2つの論文です。^{[ 23 ]}^{[ 24 ]}

機械翻訳用の 380M パラメータモデルは、2 つの長短期記憶(LSTM) を使用します。^{[ 24 ]}そのアーキテクチャは 2 つの部分で構成されています。エンコーダはトークンのシーケンスを入力として受け取り、それをベクトルに変換する LSTM です。デコーダは、ベクトルをトークンのシーケンスに変換する別の LSTM です。同様に、別の 130M パラメータモデルでは、 LSTM の代わりにゲート付きリカレントユニット(GRU) を使用しました。^{[ 23 ]}その後の研究では、GRU は seq2seq に対して LSTM より優れているわけでも劣っているわけでもないことが示されました。^{[ 25 ]}^{[ 26 ]}

これらの初期の seq2seq モデルには注意機構がなく、状態ベクトルはソーステキストの最後の単語が処理された後にのみアクセス可能です。理論的にはこのようなベクトルは元の文全体の情報を保持しますが、実際には情報は十分に保持されません。これは、入力が 1 つのリカレントネットワークによって固定サイズの出力ベクトルに順次処理され、それが別のリカレントネットワークによって出力に処理されるためです。入力が長い場合、出力ベクトルには関連するすべての情報を含めることができず、出力が劣化します。証拠として、入力文を反転すると seq2seq 翻訳が改善されました。^{[ 27 ]}

RNN検索モデルは、機械翻訳のseq2seqにアテンションメカニズムを導入し、ボトルネック問題（固定サイズの出力ベクトル）を解決し、モデルが長距離の依存関係をより容易に処理できるようにしました。この名前は、「翻訳のデコード中にソース文を検索することを模倣する」ことに由来しています。^{[ 5 ]}

機械翻訳におけるグローバル（ RNN検索）とローカル（スライディングウィンドウ）のアテンションモデルアーキテクチャの相対的なパフォーマンスを比較したところ、混合アテンションはグローバルアテンションよりも品質が高く、ローカルアテンションは翻訳時間を短縮することがわかった。^{[ 28 ]}

2016年、Google翻訳は Googleニューラル機械翻訳に刷新され、統計的機械翻訳に基づく以前のモデルに取って代わりました。新しいモデルはseq2seqモデルで、エンコーダーとデコーダーの両方が双方向LSTMの8層でした。^{[ 29 ]}開発には9ヶ月かかり、開発に10年かかった統計的手法を凌駕しました。^{[ 30 ]}

注意の並列化

アテンション（自己アテンションを含む）を備えた Seq2seq モデルは、依然としてリカレントネットワークと同じ問題を抱えていました。それは、並列化が難しく、GPU 上で高速化できないという問題です。2016 年、分解可能なアテンションは、並列化が容易なフィードフォワードネットワークに自己アテンションメカニズムを適用し、 LSTM よりも桁違いに少ないパラメータでテキスト含意の SOTA結果を達成しました。 ^[³¹^]その著者の 1 人である Jakob Uszkoreit は、リカレンスのないアテンションで言語翻訳には十分であると推測し、タイトルは「アテンションだけで十分」となっています。^[³²^]この仮説は当時の常識に反しており、彼の父親で有名な計算言語学者であるHans Uszkoreitでさえ懐疑的でした。 ^[³²^]同年、LSTM 用に自己アテンション（イントラアテンションまたはイントラセンテンスアテンションと呼ばれる）が提案されました。^[³³^]

2017年6月12日、オリジナルの（1億パラメータの）エンコーダー・デコーダー変換モデルが「Attention is all you need」という論文で発表されました。当時、研究の焦点は、機械翻訳用のseq2seqを改善することであり、すべてのトークンを並列処理するために再帰性を排除しつつ、テキスト処理性能を維持するためにドット積アテンションメカニズムを維持することでした。^[¹^]これにより、独立したヘッドの使用と再帰性の欠如により並列化が容易なマルチヘッドアテンションモデルが導入されました。その並列化可能性は、大規模ニューラルネットワークでの普及の重要な要素となりました。^[³⁴^]

AIブーム時代

2017年の春には、「Attention is all you need」というプレプリントが公開される前から、共著者の1人が「デコーダのみ」のアーキテクチャのバリエーションを適用して架空のWikipedia記事を生成していました。^{[ 35 ]} Transformerアーキテクチャは現在、進行中のAIブームに貢献する多くの生成モデルとともに使用されています。

オリジナルのTransformerの「リファレンス実装」はTensorFlowライブラリで記述されました。^{[ 36 ]}^{[ 37 ]}言語モデリングでは、ELMo（2018）は双方向LSTMで、単語バッグとword2vecの研究の流れを改良し、文脈化された単語埋め込みを生成しました。その後、エンコーダーのみのTransformerモデルであるBERT （2018）が登場しました。 ^[³⁸^] 2019年10月、GoogleはBERTを使用して検索クエリの処理を開始しました。^[³⁹^] 2020年、Google翻訳は以前のRNNエンコーダー-RNNデコーダーモデルをTransformerエンコーダー-RNNデコーダーモデルに置き換えました。^[⁴⁰^]

2018年から、OpenAI GPTシリーズのデコーダー専用トランスフォーマーが自然言語生成の最先端となった。2022年末には、GPT-3.5のファインチューニング版に基づくチャットボットChatGPTが予想外の人気を博し^{[ 41 ]}^{[ 42 ]} 、大規模言語モデルをめぐるブームを引き起こした^{[ 43 ]}^[⁴⁴^]。

Transformer はテキスト以外のモダリティにも適用されています。「Attention is All You Need」の発表から 4 日後、その論文のほとんどの著者によってマルチモーダルTransformer アーキテクチャである MultiModel が発表されました。^{[ 45 ]}他の例としては、ビジョン Transformer、^{[ 46 ]}音声認識、^{[ 47 ]}ロボット工学、^{[ 7 ]}およびマルチモーダル^{[ 48 ]}があります。ビジョン Transformer は、畳み込みニューラルネットワークの新たな開発を刺激しました。^{[ 49 ]} DALL-E (2021)、Stable Diffusion 3 (2024)、^{[ 50 ]}およびSora (2024)のような画像およびビデオジェネレータは、Transformer を使用して入力データ (テキストプロンプトなど) を「トークン」に分解し、自己注意を使用して各トークン間の関連性を計算することで分析します。これにより、モデルはデータ内のコンテキストと関係を理解することができます。

トレーニング

トレーニングを安定させる方法

単純なトランスフォーマーアーキテクチャでは収束が困難でした。元の論文^{[ 1 ]}では、学習率ウォームアップの使用が推奨されています。つまり、学習率はトレーニングの最初の部分で0から最大値まで線形に増加し（通常はトレーニングステップの総数の2%が推奨されます）、その後再び減少します。

2020年の論文では、マルチヘッドアテンション層とフィードフォワード層の前に（後ではなく）レイヤー正規化を使用すると、学習率のウォームアップを必要とせずにトレーニングが安定することがわかった。^{[ 51 ]}これは「pre-LN Transformer」と呼ばれ、元の「post-LN Transformer」と比較してより一般的に使用されている。

事前学習と微調整

Transformerは通常、まず大規模な汎用データセットで自己教師あり学習によって事前学習され、その後、小規模なタスク固有のデータセットで教師ありファインチューニングが行われます。事前学習データセットは通常、 The Pileのようなラベルなしの大規模コーパスです。事前学習とファインチューニングのタスクには、一般的に以下のようなものがあります。

言語モデリング^{[ 13 ]}
次の文の予測^{[ 13 ]}
質問応答^{[ 3 ]}
読解
感情分析^{[ 1 ]}
言い換え^{[ 1 ]}

T5トランスフォーマーレポート^{[ 52 ]}には、多数の自然言語事前学習タスクが記載されています。いくつかの例を挙げると次のようになります。

不完全または破損したテキストを復元または修復します。たとえば、「Thank you ~~ me to your party ~~ week」という入力に対して、「Thank you for inviting me to your party last week」という出力が生成されます。
自然言語間の翻訳（機械翻訳）
自然言語の実用的な受容性を判断する。例えば、次の文は構文的には正しくても、通常の人間の使用ではあり得ないため、「受け入れられない」と判断されるかもしれない^{[ 53 ]} ： The course is jumping well.

これらのタスクは、その言語（または複数の言語）を母語とする人間にとっては些細なこと、あるいは明白なことである一方、これまでの世代の機械学習アーキテクチャにとっては、一般的に困難な課題であった。

タスク

一般的に、言語モデリングタスクには「マスク型」、「自己回帰型」、「接頭辞LM」の3つのクラスがあります^。 [ ⁵⁴^]^これらの^{クラスは、}^{トランスフォーマー}などの特定のモデリングアーキテクチャとは独立していますが、トランスフォーマーの文脈で議論されることがよくあります^。

マスクタスクでは、^{[ 54 ]} 1 つ以上のトークンがマスクされ、モデルはコンテキストに基づいてマスクされたトークンが何であるかを予測する確率分布を生成します。タスクの損失関数は通常、マスクされたトークンのログパープレキシティの合計です。 ${\text{Loss}}=-\sum _{t\in {\text{masked tokens}}}\ln({\text{probability of }}t{\text{ conditional on its context}})$ そして、この損失関数を最小化するようにモデルが訓練されます。BERTシリーズのモデルは、マスクされたトークン予測と別のタスクのために訓練されます。（「マスクされた言語モデリング」における「マスクされた」は、「マスクされたアテンション」における「マスクされた」とは異なります。）

自己回帰タスクでは、^{[ 55 ]}最初はシーケンス全体がマスクされ、モデルは最初のトークンの確率分布を生成します。次に最初のトークンが公開され、モデルは2番目のトークンを予測し、以下同様です。タスクの損失関数は通常同じです。GPTシリーズのモデルは自己回帰タスクでトレーニングされます。

prefixLMタスク^{[ 56 ]}では、シーケンスは2つの部分に分割されます。最初の部分はコンテキストとして提示され、モデルは2番目の部分の最初のトークンを予測します。次にそれが明らかにされ、モデルは2番目のトークンを予測し、以下同様に続きます。タスクの損失関数は通常同じです。T5シリーズのモデルはprefixLMタスクによってトレーニングされます。（「prefixLM」は「 prefix language modeling」の「prefixLM」とは異なります。）

建築

すべての変圧器は、同じ主要部品で構成されています。

トークナイザーとは、テキストをトークンに変換する装置です。
埋め込み層は、トークンとその位置をベクトル表現に変換します。
トランスフォーマー層は、ベクトル表現に対して繰り返し変換を行い、より多くの言語情報を抽出します。これらは、アテンション層とフィードフォワード層が交互に配置された構造になっています。トランスフォーマー層には、エンコーダー層とデコーダー層の2つの主要なタイプがあり、さらにいくつかのバリエーションが存在します。
埋め込み解除層は、最終的なベクトル表現をトークンに対する確率分布に変換する。

以下の説明は、原著論文に記載されている変圧器と全く同じものです。ただし、いくつかのバリエーションがあり、それらについては次のセクションで説明します。

慣例として、すべてのベクトルを行ベクトルとして記述します。たとえば、ベクトルを線形層に通すということは、右側の重み行列を乗算することを意味します。 $xW$ 。

トークン化

トランスフォーマーのアーキテクチャは、テキストではなく数値に対する演算（行列乗算、内積、活性化関数）を基本としているため、まず入力テキストを何らかの数値表現にマッピングする必要があります。これは3つのステップで行われます。

まず、入力テキストはプリプロセッサによって処理され、テキスト変換とテキストをプレトークンと呼ばれる粗粒度セグメントへの分割が行われます。後者はプレトークン化と呼ばれます。次に、各プレトークンはトークナイザによってさらにトークンに分割されます。トークナイザは、プリプロセッサが出力するプレトークンのみを対象とすることを想定しています。トークナイザが生成する各トークンは、語彙と呼ばれる有限の文字列セットに属する1つ以上の文字からなる文字列です。 $V$ 第三に、語彙は有限で事前に既知であるため、各トークンに整数識別子を割り当てることができ、このマッピングをトークンのシーケンスに適用することで、入力テキストを数値シーケンスとして表現できます。このマッピングは全単射であるため、出力側では整数識別子のシーケンスを生成でき、それを再びトークンに戻すことができます。前処理の一部を元に戻すと、結果は再び判読可能なテキストになります。

トークナイザーのトレーニング（語彙化と呼ばれることもある）とは、適切な語彙を見つけることである。 $V$ しかし、それの使い方を学ぶことも重要です。なぜなら、任意の文字列は $s$ 長さ $|s|$ もっている $2^{|s|-1}$ 仮説的なセグメンテーションの中には、語彙に含まれていないセグメントを含むものもある。語彙化において最も重要なハイパーパラメータは語彙サイズである。 $|V|$ 語彙が小さい場合、学習される語彙は一般的に文字や短い文字列で構成され、単語は多数のトークンに分割されます。語彙が大きくなると、単語全体にトークンを割り当てることが可能になりますが、プリプロセッサやトークナイザによっては、語彙が大きい場合でも、単語を分割するために常に利用可能な最大のトークンが使用されるとは限りません。

トークンは必ずしも完全な単語ではないため、サブワードと呼ばれることもあり、トークン化アルゴリズムはサブワードトークナイザーと呼ばれることもあります。これは、これらのシステムを、従来の情報検索および自然言語処理システムで使用されていた用語と区別するためでもあります。従来の用語では、「トークン化」は、今日「プレトークン化」（非常に大まかに言えば、単語への分割）と呼ばれるものを指すために使用されていました。語彙に含まれないトークンを生成するトークナイザーでは、語彙に属する特別なトークンが汎用的な代用品として使用され、「unknown」を表す「[UNK]」と表記されます。原則として、任意の文字列をこのような[UNK]で隠すことができます。実際、情報検索では、プレトークナイザー自体が[UNK]を含む単語レベルの語彙を持つトークナイザー（「トークナイザー」とも呼ばれる）として使用されていました。

一般的に使用されるサブワードトークン化アルゴリズムは、バイトペアエンコーディング（BPE）とユニグラム言語モデル（ULM）であり、それぞれに語彙化アルゴリズムと専用のセグメンテーションアルゴリズムが含まれています。また、学習を必要とせず、語彙（たとえば、BPEまたはULMによって生成されたもの）が与えられた場合に適用できるセグメンテーションアルゴリズムもいくつか存在します。たとえば、プレトークンを左から右に移動してトークンを貪欲に認識するアルゴリズムなどです。サブワードトークナイザーのよく知られたソフトウェア実装としては、Hugging FaceのtokenizersRustで実装されたPythonパッケージと、sentencepieceC++で実装されたPythonパッケージがあります。後者のパッケージは、その設定オプションの1つで組み込みのプレトークナイザーを無効にすることができるため、そのように名付けられています。これにより、文全体がプレトークンとなり、トークナイザーは個々の単語ではなく文全体を認識するようになります。

埋め込み

各整数トークン識別子は、ルックアップテーブルを介して埋め込みベクトルに変換されます。言い換えれば、トークン識別子のワンホット表現に埋め込み行列を乗算します。 $M$ 例えば、入力トークンの識別子が $3$ すると、ワンホット表現は $[0,0,0,1,0,0,\dots ]$ 、そしてその埋め込みベクトルは $\mathrm {Embed} (3)=[0,0,0,1,0,0,\dots ]M$ トークン埋め込みベクトルは、それぞれの位置エンコーディングベクトル（下記参照）に追加され、入力ベクトルのシーケンスが生成されます。

埋め込みベクトルの次元は隠れサイズまたは埋め込みサイズと呼ばれ、次のように表記されます。 $d_{\text{emb}}$ ^{[ 38 ]}このサイズは次のように表記されます。 $d_{\text{model}}$ オリジナルの変圧器論文において。^{[ 1 ]}

埋め込み解除

アンエンベディング層は、エンベディング層のほぼ逆の働きをします。エンベディング層がトークン識別子をベクトルに変換するのに対し、アンエンベディング層はベクトルをトークンの確率分布に変換します。

アンエンベディング層は線形ソフトマックス層です。 $\mathrm {UnEmbed} (x)=\mathrm {softmax} (xW+b)$ 行列の形状は $(d_{\text{emb}},|V|)$ アーキテクチャによっては、埋め込み行列の転置行列を使用するものもあります。 $M$ 非埋め込み行列として $W$ 埋め込み関連のパラメータを2倍必要とするのを避け、トレーニング中に発散するのを避けるため。この手法は重みタイイングと呼ばれます。^{[ 57 ]}

位置符号化

{\displaystyle N=10000,d=100} — パラメータを用いた（絶対）位置エンコーディングの図解 $N=10000,d=100$

位置エンコーディングとは、シーケンス内のトークンの相対的な位置を固定サイズのベクトルで表現したものです。これにより、トランスフォーマーモデルは入力シーケンス内の単語の位置に関する情報を得ることができます。このエンコーディングは入力シーケンスの順序に偏りをもたらすため、例えば「man bites dog」という入力シーケンスは「dog bites man」とは異なる処理を受けることになります。

位置エンコーディングは、型の関数として定義されます。 $f:\mathbb {R} \to \mathbb {R} ^{d}$ 、どこ $d$ は正の偶数です。元の論文^{[ 1 ]}で定義されている完全な位置符号化は次のとおりです。 $(f(t)_{2k},f(t)_{2k+1})=(\sin(\theta ),\cos(\theta ))\quad \forall k\in \{0,1,\ldots ,d/2-1\}$ どこ $\theta ={\frac {t}{r^{k}}},r=N^{2/d}$ 。

ここ、 $N$ は、最大値よりもかなり大きい自由パラメータである。 $k$ これは位置符号化関数に入力されます。元の論文では、 $N=10000$ 。

この関数は、型が複素関数として記述すると、より単純な形式になります。 $f:\mathbb {R} \to \mathbb {C} ^{d/2}$ $f(t)=\left(e^{it/r^{k}}\right)_{k=0,1,\ldots ,{\frac {d}{2}}-1}$ どこ $r=N^{2/d}$ 。

この位置符号化関数を使用する主な理由は、これを使用するとシフトが線形変換になるからです。 $f(t+\Delta t)=\mathrm {diag} (f(\Delta t))f(t)$ どこ $\Delta t\in \mathbb {R}$ は、移動させたい距離です。これにより、トランスフォーマーは任意のエンコードされた位置を受け取り、行列乗算によって、nステップ先またはnステップ後ろの位置のエンコードを求めることができます。

線形和を取ることで、あらゆる畳み込み演算を線形変換として実装することも可能です。 $\sum _{j}c_{j}f(t+\Delta t_{j})=\left(\sum _{j}c_{j}\,\mathrm {diag} (f(\Delta t_{j}))\right)f(t)$ 任意の定数に対して $c_{j}$ これにより、トランスフォーマーは任意のエンコードされた位置を受け取り、その近傍のエンコードされた位置の線形和を求めることができます。このエンコードされた位置の和をアテンション機構に入力すると、畳み込みニューラルネットワークの言語モデルと同様に、近傍にアテンション重みが生成されます。著者の言葉を借りれば、「これにより、モデルは相対位置によるアテンションを容易に学習できると我々は仮説を立てた」ということです。

一般的な実装では、すべての演算は複素数ではなく実数に対して行われますが、複素数の乗算は実数の2×2行列の乗算として実装できるため、これは単なる表記上の違いにすぎません。

エンコーダー・デコーダー（概要）

以前のseq2seqモデルと同様に、オリジナルのトランスフォーマーモデルはエンコーダー・デコーダーアーキテクチャを採用していました。エンコーダーは、入力トークンをすべてまとめて1層ずつ処理するエンコード層で構成され、デコーダーは、エンコーダーの出力とデコーダーのこれまでの出力トークンを繰り返し処理するデコード層で構成されます。

各エンコーダー層の目的は、トークンの文脈化された表現を作成することであり、各表現は、自己注意機構を介して他の入力トークンからの情報を「混合」するトークンに対応します。各デコーダー層には、2 つの注意サブレイヤーが含まれています。(1) エンコーダーの出力 (文脈化された入力トークン表現) を取り込むためのクロス注意、および (2) デコーダーへの入力トークン (推論時間中にこれまでに生成されたトークン) 間で情報を「混合」するための自己注意。^{[ 58 ]}^{[ 59 ]}

エンコーダ層とデコーダ層の両方に、出力の追加処理のためのフィードフォワードニューラルネットワークがあり、残差接続と層正規化ステップが含まれています。 ^{[ 59 ]}これらのフィードフォワード層には、トランスフォーマーモデルのほとんどのパラメータが含まれています。

フィードフォワードネットワーク

\displaystyle d_{\text{emb}}} — フィードフォワードネットワークモジュール。これは、2 層のネットワークで、 $d_{\text{emb}}$ 次元ベクトルを $d_{\text{emb}}$ 次元ベクトル。

トランスフォーマー内のフィードフォワードネットワーク（FFN）モジュールは、2層構造の多層パーセプトロンである。 $\mathrm {FFN} (x)=\phi (xW^{(1)}+b^{(1)})W^{(2)}+b^{(2)}$ どこ $W^{(1)}$ そして $W^{(2)}$ は重み行列であり、 $b^{(1)}$ そして $b^{(2)}$ はバイアスベクトルであり、 $\phi$ は活性化関数です。元のトランスフォーマーはReLU活性化関数を使用していました。

中間層のニューロン数は、GPTでは中間サイズ^{[ 60 ]} 、 BERTではフィルタサイズ^{[ 38 ]} 、 BERTではフィードフォワードサイズ^{[ 38 ]}と呼ばれます。通常、埋め込みサイズよりも大きくなります。例えば、GPT-2シリーズとBERTシリーズの両方において、モデルの中間サイズは埋め込みサイズの4倍です。 $d_{\text{ffn}}=4d_{\text{emb}}$ 。

スケーリングされたドット積アテンション

ヘッドに注意

トランスフォーマーアーキテクチャで使用されるアテンションメカニズムは、スケーリングされたドット積アテンションユニットです。各ユニットについて、トランスフォーマーモデルは、クエリ重み、 $W^{Q}$ 主要な重み $W^{K}$ 、および値の重み $W^{V}$ 。

このモジュールは、クエリシーケンス、キーシーケンス、値シーケンスの3つのシーケンスを受け取ります。クエリシーケンスは長さのシーケンスです。 $\ell _{\text{seq, query}}$ 、各エントリは次元のベクトルです $d_{\text{emb, query}}$ キーと値のシーケンスについても同様です。

各ベクトルについて $x_{i,{\text{query}}}$ クエリシーケンスでは、行列が乗算されます。 $W^{Q}$ クエリベクトルを生成する $q_{i}=x_{i,{\text{query}}}W^{Q}$ すべてのクエリベクトルの行列がクエリ行列です。 $Q=X_{\text{query}}W^{Q}$ 同様に、キー行列を構築します。 $K=X_{\text{key}}W^{K}$ そして値行列 $V=X_{\text{value}}W^{V}$ 。

通常は、 $W^{Q},W^{K},W^{V}$ 正方行列であるということは、 $d_{\text{emb, query}}=d_{\text{query}}$ など

アテンション重みはクエリベクトルとキーベクトルを使用して計算されます。 $a_{ij}$ トークンから $i$ トークン $j$ は、 $q_{i}$ そして $k_{j}$ 注意重みはキーベクトルの次元の平方根で割られ、 ${\sqrt {d_{k}}}$ トレーニング中に勾配を安定させ、重みを正規化するソフトマックスを通した。 $W^{Q}$ そして $W^{K}$ 異なる行列は、注意が非対称になることを可能にします。トークンの場合 $i$ トークンに注意を払う $j$ （つまり） $q_{i}\cdot k_{j}$ トークンが大きいということは必ずしもトークンが大きいことを意味するわけではありません $j$ トークンに対応します $i$ （つまり） $q_{j}\cdot k_{i}$ 小さい場合もある）。トークンに対するアテンションユニットの出力 $i$ は、すべてのトークンの値ベクトルの重み付き合計であり、 $a_{ij}$ トークンからの注目 $i$ 各トークンに対して。

すべてのトークンに対するアテンション計算は、ソフトマックス関数を使用した1つの大きな行列計算として表現できます。これは、行列演算を高速に計算する計算行列演算最適化により、トレーニングに役立ちます。 $Q$ 、 $K$ そして $V$ は、 $i$ th行はベクトルです $q_{i}$ 、 $k_{i}$ 、そして $v_{i}$ それぞれ。すると、注意を次のように表すことができます。 ${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}$

ここで、ソフトマックス関数は行列の各行に適用されます。

クエリベクトルの次元数はクエリサイズです $d_{\text{query}}$ 鍵のサイズについても同様です $d_{\text{key}}$ 値の大きさ $d_{\text{value}}$ アテンションヘッドの出力次元は、そのヘッド次元である。 $d_{\text{head}}$ 注意機構は、以下の3つの等式が成り立つことを必要とする。 $\ell _{\text{seq, key}}=\ell _{\text{seq, value}},\;d_{\text{query}}=d_{\text{key}},\;d_{\text{value}}=d_{\text{head}}$ しかし、それ以外は制約を受けない。

アテンションヘッドが自己アテンション方式で使用される場合、 $X_{\text{query}}=X_{\text{key}}=X_{\text{value}}$ 注意ヘッドがクロスアテンション方式で使用される場合、通常は $X_{\text{query}}\neq X_{\text{key}}=X_{\text{value}}$ 理論的には、これら3つすべてが異なることもあり得るが、実際にはそのようなケースは稀である。

マルチヘッドアテンション

1セット $\left(W^{Q},W^{K},W^{V}\right)$ 行列はアテンションヘッドと呼ばれ、トランスフォーマーモデルの各層には複数のアテンションヘッドがあります。各アテンションヘッドは各トークンに関連するトークンに注目しますが、複数のアテンションヘッドにより、モデルは「関連性」の異なる定義に対してこれを行うことができます。具体的には、クエリおよびキー射影行列、 $W^{Q}$ そして $W^{K}$ 注意スコアの計算に関与する要素は、「関連性」を定義します。一方、値射影行列は $W^{V}$ 出力射影行列の一部と組み合わせて $W^{O}$ は、注目されたトークンが、後続のレイヤーに渡される情報、そして最終的には出力ロジットにどのように影響するかを決定します。さらに、各アテンションヘッドによって捕捉されるトークン関係の範囲、つまりアテンションの範囲は、トークンが連続するレイヤーを通過するにつれて拡大することができます。これにより、モデルはより深いレイヤーでより複雑で長距離の依存関係を捕捉することができます。多くのトランスフォーマーアテンションヘッドは、人間にとって意味のある関連性関係をエンコードします。たとえば、一部のアテンションヘッドは主に次の単語に注目できますが、他のアテンションヘッドは主に動詞からその直接目的語に注目します。^{[ 61 ]}各アテンションヘッドの計算は並列で実行できるため、高速な処理が可能になります。アテンションレイヤーの出力は連結され、フィードフォワードニューラルネットワークレイヤーに渡されます。

具体的には、複数のアテンションヘッドを以下のようにインデックス付けします。 $i$ すると、 ${\text{MultiheadAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V}))W^{O}$ 行列 $X$ は単語埋め込みの連結であり、行列は $W_{i}^{Q},W_{i}^{K},W_{i}^{V}$ 個々のアテンションヘッドが所有する「射影行列」 $i$ 、そして $W^{O}$ これは、マルチヘッドアテンションヘッド全体が所有する最終射影行列です。

理論的には、各アテンションヘッドが異なるヘッド次元を持つことが可能である。 $d_{\text{head}}$ しかし、実際にはそのようなケースは稀である。

例えば、最小のGPT-2モデルには自己注意機構のみが含まれています。その次元は以下のとおりです。 $d_{\text{emb}}=768,n_{\text{head}}=12,d_{\text{head}}=64$ 以来 $12\times 64=768$ その出力射影行列 $W^{O}\in \mathbb {R} ^{(12\times 64)\times 768}$ 正方行列です。

隠された注意

トランスフォーマーアーキテクチャは、出力トークンを反復的に計算するように構築されています。 $t=0$ 最初の出力トークンの計算を指します $i=0$ ステップ1 $t>0$ 出力トークン $i=0$ は一定のままである。これにより、モデルの特性が自己回帰モデルと同様になることが保証される。^{[ 1 ]}したがって、各タイムステップにおいて $t$ すべての出力の計算 $i$ その位置のトークンにはアクセスできないはずです $j$ のために $j>=i$ （時間ステップの場合、当然そうなる） $t=i$ トークンが $j>t$ （まだ計算されていません）。この動作は、ソフトマックス段階の前にマスク行列を追加することで実現できます。 $M$ それは $-\infty$ 注意のつながりを断ち切る必要があるエントリで、 $0$ 他の場所で： ${\begin{aligned}{\text{MaskedAttention}}(Q,K,V)={\text{softmax}}\left(M+{\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}$ 以下の行列は、デコーダーの自己注意モジュールで一般的に使用され、「因果マスキング」と呼ばれます。 $M_{\text{causal}}={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}$

言葉で言うと、各トークンは自身とそれより前のすべてのトークンには注意を向けられますが、それ以降のトークンには注意を向けられません。マスクされていないアテンションモジュールは、マスクのすべてのエントリがゼロであるマスクされたアテンションモジュールと考えることができます。マスク行列のあまり一般的ではない使用例として、XLNet は次の形式のすべてのマスクを考慮します。 $PM_{\text{causal}}P^{-1}$ 、どこ $P$ はランダム置換行列である。^{[ 62 ]}

エンコーダー

エンコーダは、埋め込み層と、それに続く複数のエンコーダ層から構成される。

各エンコーダ層は、自己注意機構とフィードフォワード層という2つの主要な構成要素から成ります。入力ベクトルのシーケンスを入力として受け取り、自己注意機構を適用して中間的なベクトルシーケンスを生成し、その後、各ベクトルに対して個別にフィードフォワード層を適用します。概略図は以下のとおりです。 ${\begin{aligned}{\text{given input vectors }}&h_{0},h_{1},\dots \\{\text{combine them into a matrix }}H&={\begin{bmatrix}h_{0}\\h_{1}\\\vdots \end{bmatrix}}\\{\text{EncoderLayer}}(H)&={\begin{bmatrix}{\text{FFN}}({\text{MultiheadAttention}}(H,H,H)_{0})\\{\text{FFN}}({\text{MultiheadAttention}}(H,H,H)_{1})\\\vdots \end{bmatrix}}\\\end{aligned}}$

どこ ${\text{FFN}}$ は「フィードフォワードネットワーク」の略です。より簡潔に書くと次のようになります。 ${\text{EncoderLayer}}(H)={\text{FFN}}({\text{MultiheadAttention}}(H,H,H))$ 暗黙の了解として、 ${\text{FFN}}$ これは、行列の各行に個別に適用されます。

エンコーダー層は積み重ねられています。最初のエンコーダー層は、埋め込み層から入力ベクトルのシーケンスを受け取り、ベクトルのシーケンスを生成します。このベクトルのシーケンスは2番目のエンコーダーで処理され、以下同様に処理が続きます。最後のエンコーダー層からの出力は、デコーダーで使用されます。

エンコーダーは入力全体を一度に処理するため、すべてのトークンが他のすべてのトークンに注意を向けることができ（全対全アテンション）、因果マスキングは不要です。

デコーダ

デコーダは、埋め込み層、それに続く複数のデコーダ層、そして最後に非埋め込み層から構成される。

各デコーダは、因果的にマスクされた自己注意機構、相互注意機構、およびフィードフォワードニューラルネットワークの 3 つの主要コンポーネントで構成されています。デコーダはエンコーダと同様の方法で機能しますが、エンコーダによって生成されたエンコーディングから関連情報を引き出す追加の注意機構が挿入されています。この機構は、エンコーダー・デコーダー注意とも呼ばれます。^{[ 1 ]}^{[ 59 ]}

最初のエンコーダと同様に、最初のデコーダは、エンコーディングではなく、出力シーケンスの位置情報と埋め込みを入力として受け取ります。トランスフォーマーは、出力を予測するために現在または将来の出力を使用してはならないため、この逆方向の情報フローを防ぐために出力シーケンスを部分的にマスクする必要があります。^{[ 1 ]}これにより、自己回帰的なテキスト生成が可能になります。デコーディングでは、トークンがまだ生成されていないトークンに注意を向けることができないため、全対全アテンションは不適切です。したがって、デコーダの自己アテンションモジュールは因果的にマスクされます。

対照的に、クロスアテンション機構はエンコーダの出力ベクトルに注目するが、これはデコーダがデコードを開始する前に計算される。したがって、クロスアテンション機構ではマスキングは不要である。

概略的に言うと、次のようになります。 ${\begin{aligned}H'&={\text{MaskedMultiheadAttention}}(H,H,H)\\{\text{DecoderLayer}}(H)&={\text{FFN}}({\text{MultiheadAttention}}(H',H^{E},H^{E}))\end{aligned}}$ どこ $H^{E}$ は、エンコーダからの出力ベクトルを行とする行列です。

最後のデコーダーの後には、語彙に対する出力確率を生成するための最終的なアンエンベディング層が続きます。次に、その確率に基づいてトークンの1つがサンプリングされ、デコーダーが再度実行されて次のトークンが生成されます。このようにして、出力テキストが自己回帰的に生成されます。

完全なトランスフォーマーアーキテクチャ

サブレイヤー

各エンコーダー層は、自己注意機構とフィードフォワードネットワークという2つのサブレイヤーで構成されています。各デコーダー層は、因果的にマスクされた自己注意機構、クロスアテンション機構、およびフィードフォワードネットワークという3つのサブレイヤーで構成されています。

最後に、残差接続と層正規化（以下「LayerNorm」または「LN」と表記）について説明します。これらは概念的には不要ですが、数値の安定性と収束のために必要です。

残差接続は、勾配消失問題を回避し、トレーニングプロセスを安定させるために導入されます。これらは次のように表現できます。 $x\mapsto F(x)+x$ 、どこ $F$ は変圧器の既知の構成要素です。入力を追加する $x$ 入力情報を保持し、勾配の問題を回避できます $F(x)$ ゼロに近い。

フィードフォワードネットワークモジュールが各ベクトルに個別に適用されるのと同様に、LayerNormも各ベクトルに個別に適用されます。

一般的に使用されている規約は 2 つあります。ポスト LN規約とプレ LN規約です。ポスト LN 規約では、各サブレイヤーの出力は次のようになります。 $\mathrm {LayerNorm} (x+\mathrm {Sublayer} (x))$ どこ $\mathrm {Sublayer} (x)$ これは、サブレイヤー自体によって実装される機能です。

LN以前の慣例では、各サブレイヤーの出力は $x+\mathrm {Sublayer} (\mathrm {LayerNorm} (x))$ オリジナルの2017年のトランスフォーマーはポストLN規約を使用していた。これはトレーニングが難しく、ハイパーパラメータの慎重な調整と、学習率を小さくして徐々に増加させる「ウォームアップ」が必要だった。2018年に何度か提案されたプレLN規約^{[ 63 ]}は、ウォームアップが不要でトレーニングが容易で、収束が速いことがわかった^{[ 51 ] 。}

擬似コード

以下は、 Formal Algorithms for Transformers ^[⁶⁴^]から改変した、標準的な前LNエンコーダ・デコーダトランスフォーマーの擬似コードです。

入力:エンコーダ入力 t_e デコーダー入力 t_d 出力：確率分布の配列。形状は（デコーダ語彙サイズ×デコーダ出力シーケンスの長さ） /* エンコーダー */ z_e ← encoder.tokenizer(t_e)  1:length(z_e)の各tについて、 z_e[t] ← encoder.embedding(z_e[t]) + encoder.positional_embedding(t)  エンコーダーのレイヤーの長さ1から長さまでの各lについて、 レイヤー ← encoder.layers[l] /* 最初のサブレイヤー */ z_e_copy ← copy(z_e) 1:length(z_e)の各tについて、 z_e[t] ← layer.layer_norm(z_e[t]) z_e ←layer.multihead_attention(z_e, z_e, z_e) 1:length(z_e)の各tについて、 z_e[t] ← z_e[t] + z_e_copy[t] /* 2番目のサブレイヤー */ z_e_copy ← copy(z_e) 1:length(z_e)の各tについて、 z_e[t] ← layer.layer_norm(z_e[t]) z_e ← layer.feedforward(z_e) 1:length(z_e)の各tについて、 z_e[t] ← z_e[t] + z_e_copy[t] 1:length(z_e)の各tについて、 z_e[t] ← encoder.final_layer_norm(z_e[t]) /* デコーダー */ z_d ← decoder.tokenizer(t_d)  1:length(z_d)の各tについて、 z_d[t] ← decoder.embedding(z_d[t]) + decoder.positional_embedding(t) 各lについて1 :length(decoder.layers)を実行する レイヤー ← decoder.layers[l] /* 最初のサブレイヤー */ z_d_copy ← copy(z_d) 1:length(z_d)の各tについて、 z_d[t] ← layer.layer_norm(z_d[t]) z_d ← layer.masked_multihead_attention(z_d, z_d, z_d) 1:length(z_d)の各tについて、 z_d[t] ← z_d[t] + z_d_copy[t] /* 2番目のサブレイヤー */ z_d_copy ← copy(z_d) 1:length(z_d)の各tについて、 z_d[t] ← layer.layer_norm(z_d[t]) z_d ←layer.multihead_attention(z_d, z_e, z_e) 1:length(z_d)の各tについて、 z_d[t] ← z_d[t] + z_d_copy[t] /* 第三のサブレイヤー */ z_d_copy ← copy(z_d) 1:length(z_d)の各tについて、 z_d[t] ← layer.layer_norm(z_d[t]) z_d ← layer.feedforward(z_d) 1:length(z_d)の各tについて、 z_d[t] ← z_d[t] + z_d_copy[t] z_d ← decoder.final_layer_norm(z_d) 出力分布 ← [] 1:length(z_d)の各tについて、 output_distributions.append(decoder.unembed(z_d[t])) 出力分布を返す

用語

トランスフォーマーのアーキテクチャはモジュール式であるため、様々なバリエーションが可能です。ここでは、いくつかの一般的なバリエーションについて説明します。^{[ 52 ]}

「エンコーダのみ」のトランスフォーマーは、エンコーダを使用して入力テキストを、入力テキストを表すベクトルのシーケンスにマッピングします。これは通常、テキスト埋め込みや、下流アプリケーション向けの表現学習に使用されます。BERTはエンコーダのみです。エンコーダとデコーダのトランスフォーマーをトレーニングしてからエンコーダだけを使用するよりも大幅に優れているわけではないことがわかったため、現在ではあまり使用されていません。^{[ 56 ]}これらは「オールツーオール」または「BERT ライク」とも呼ばれます。

「デコーダのみ」のトランスフォーマーは、文字通りデコーダのみというわけではありません。エンコーダがなければ、クロスアテンション機構は注意を向けるものがないからです。したがって、デコーダのみのトランスフォーマーのデコーダ層は、因果的にマスクされた自己アテンションとフィードフォワードネットワークという2つのサブレイヤーのみで構成されます。これは通常、テキスト生成や指示追従に使用されます。GPT シリーズとChinchillaシリーズのモデルはデコーダのみのモデルです。これらは「自己回帰型」または「因果型」とも呼ばれます。

「エンコーダー・デコーダー」トランスフォーマーは、一般的に元のトランスフォーマーと同じで、エンコーダー層ごとに2つのサブレイヤー、デコーダー層ごとに3つのサブレイヤーなどを備えています。代替の活性化関数、正規化の位置の変更など、軽微なアーキテクチャ上の改良が加えられている場合があります。これは通常、テキスト生成や命令追従にも使用されます。T5 シリーズのモデルはエンコーダー・デコーダーです。^{[ 52 ]}

「prefixLM」（prefix言語モデル）はデコーダのみのアーキテクチャですが、因果マスキングとは異なるプレフィックスマスキングを備えています。具体的には、^{[ 52 ]}^{の形式のマスクを持ちます：図3} $M_{\text{prefixLM}}={\begin{bmatrix}\mathbf {0} &-\infty \\\mathbf {0} &M_{\text{causal}}\end{bmatrix}}$ 最初の列は「接頭辞」に対応し、後続の列は接頭辞に基づいて自己回帰的に生成されたテキストに対応します。これらはエンコーダー・デコーダーモデルに似ていますが、「スパース性」は低くなっています。このようなモデルは、理論的な可能性やベンチマーク比較として引用されることはありますが、実際に使用されることは稀です。^{[ 56 ]}

混合型のseq2seqモデルもあります。例えば、2020年にGoogle翻訳は、以前のRNNエンコーダー-RNNデコーダーモデルをトランスフォーマーエンコーダー-RNNデコーダーモデルに置き換えました。これは、エンコーダーとは異なり、トランスフォーマーベースのデコーダーでは品質が大幅に向上しないように見えた一方、RNNデコーダーははるかに高速だったためです。^{[ 40 ]}

その後の研究

代替活性化機能

オリジナルのトランスフォーマーはReLU 活性化関数を使用しています。他の活性化関数も開発されました。LlamaシリーズとPaLM はSwiGLU を使用しています。 ^{[ 65 ] GPT-1 と BERT}^{[ 38 ]}はどちらもGELU を使用しています。^{[ 66 ]}

フィードフォワードモジュールでは、代替活性化関数がゲート付き線形ユニットと組み合わせて使用されることが多い。 ^{[ 65 ]}

代替正規化

トランスフォーマーで使用される正規化は、LayerNorm とは異なる場合があります。 1 つの例として、Llama シリーズで使用されているRMSNorm ^{[ 67 ]}があります。その他の例としては、ScaleNorm ^[⁶⁸^]と FixNorm ^[⁶⁸^{]があります。}

代替位置符号化

トランスフォーマーは正弦波以外の位置符号化方式を使用する場合があります。^{[ 69 ]}

オリジナルのトランスフォーマー論文では、学習された位置エンコーディングの使用が報告されたが、^{[ 70 ]}正弦波エンコーディングよりも優れているとは見出されなかった。^{[ 1 ]}その後、^{[ 71 ]}は、因果マスキング自体がトランスフォーマーデコーダに十分な信号を提供し、位置エンコーディングモジュールなしで暗黙的に絶対位置エンコーディングを実行することを学習できることを発見した。

ロープ

RoPE（回転位置埋め込み）^{[ 72 ]}は、 2次元ベクトルのリストを考えることで最もよく説明できます。 $[(x_{1}^{(1)},x_{1}^{(2)}),(x_{2}^{(1)},x_{2}^{(2)}),(x_{3}^{(1)},x_{3}^{(2)}),...]$ さあ、角度を選んでみよう $\theta$ すると、RoPEエンコーディングは ${\text{RoPE}}{\big (}x_{m}^{(1)},x_{m}^{(2)},m{\big )}={\begin{pmatrix}\cos m\theta &-\sin m\theta \\\sin m\theta &\cos m\theta \end{pmatrix}}{\begin{pmatrix}x_{m}^{(1)}\\x_{m}^{(2)}\\\end{pmatrix}}={\begin{pmatrix}x_{m}^{(1)}\cos m\theta -x_{m}^{(2)}\sin m\theta \\x_{m}^{(2)}\cos m\theta +x_{m}^{(1)}\sin m\theta \\\end{pmatrix}}$ 同様に、2次元ベクトルを複素数として表すと、 $z_{m}:=x_{m}^{(1)}+ix_{m}^{(2)}$ つまり、RoPEエンコーディングは角度による乗算に過ぎない。 ${\text{RoPE}}{\big (}z_{m},m{\big )}=e^{im\theta }z_{m}$ リストについては $2n$ 次元ベクトルであるRoPEエンコーダは、角度のシーケンスによって定義されます。 $\theta ^{(1)},...,\theta ^{(n)}$ 次に、各座標ペアにRoPEエンコーディングが適用されます。

RoPEの利点は、2つのベクトルの内積がそれらの相対的な位置のみに依存する点です。 ${\text{RoPE}}{\big (}x,m{\big )}^{T}{\text{RoPE}}{\big (}y,n{\big )}={\text{RoPE}}{\big (}x,m+k{\big )}^{T}{\text{RoPE}}{\big (}y,n+k{\big )}$ 任意の整数に対して $k$ 。

アリバイ

ALiBi (Attention with Linear Biases) ^{[ 73 ]}は、元のトランスフォーマーの位置エンコーダの代替品ではありません。むしろ、アテンション機構に直接接続される追加の位置エンコーダです。具体的には、ALiBi アテンション機構は ${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+sB\right)V\end{aligned}}$ ここ、 $s$ は実数（「スカラー」）であり、 $B$ は、次のように定義される線形バイアス行列である。 $B={\begin{pmatrix}0&1&2&3&\cdots \\-1&0&1&2&\cdots \\-2&-1&0&1&\cdots \\-3&-2&-1&0&\cdots \\\vdots &\vdots &\vdots &\vdots &\ddots \\\end{pmatrix}}$ 言い換えると、 $B_{i,j}=j-i$ 線形バイアス行列は、ソフトマスクであるという考え方です。 $0$ 十分な注意を払ったことを表し、 $-\infty$ これは、注意が払われていないことを表し、線形バイアス行列は、一方の方向への注意の払われを増加させ、もう一方の方向への注意の払われを減少させます。

ALiBiは、短いコンテキストウィンドウで事前学習を行い、その後、より長いコンテキストウィンドウで微調整を行うことができます。アテンション機構に直接組み込まれているため、ネットワーク全体の「下部」に接続される任意の位置エンコーダと組み合わせることができます（これは、オリジナルのトランスフォーマーの正弦波エンコーダやRoPE、その他多くのエンコーダが配置されている場所です）。

相対位置エンコーディング

相対位置エンコーディング^{[ 74 ]}はALiBiに似ていますが、より汎用的です。 ${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+B\right)V\end{aligned}}$ どこ $B$ はトープレッツ行列である。つまり、 $B_{i,j}=B_{i',j'}$ いつでも $i-j=i'-j'$ これは、元の正弦波位置符号化とは対照的であり、元の正弦波位置符号化は「絶対位置符号化」である。^{[ 75 ]}

効率的な実施

トランスフォーマーモデルは、TensorFlowやPyTorchなどの標準的な深層学習フレームワークに実装されています。TransformersはHugging Faceが作成したライブラリで、トランスフォーマーベースのアーキテクチャと事前学習済みモデルを提供します。^[¹²^]

KVキャッシング

テキスト生成などの推論に自己回帰トランスフォーマーを使用する場合、クエリベクトルは各ステップで異なりますが、既に計算されたキーベクトルと値ベクトルは常に同じです。KVキャッシング方式では、各アテンションブロックで計算されたキーベクトルと値ベクトルを保存するため、新しいトークンごとに再計算されません。PagedAttentionは、メモリページングをKVキャッシングに適用します。 ^{[ 76 ]}^{[ 77 ]}^{[ 78 ]}

トランスフォーマーを「あなたはカスタマーサポート担当者です…」のような組み込みプロンプトとともに使用する場合、プロンプトのキーと値のベクトルを計算してディスクに保存できます。このモデルをオンラインチャットボットなど、多数の短いリアルタイムのやり取りに使用する場合、計算コストの削減効果は顕著です。

一般的に、ユーザーが自己回帰トランスフォーマーを使用してトークンのシーケンスの続きを生成する場合、モデルはまずこのシーケンスに対して順伝播を実行し、このシーケンス上の KV キャッシュを計算します。これはプリフィリングと呼ばれます。大規模な Transformer モデルを提供するハイパースケーラーは、分離推論を使用する場合があります。この場合、プリフィリングとデコードは、それぞれ専用のハードウェアで実行されます。^{[ 79 ]}

フラッシュアテンション

FlashAttention ^{[ 80 ]}は、 GPU上でトランスフォーマー注意機構を効率的に実装するアルゴリズムです。これは、ブロック単位で行列乗算を実行する通信回避アルゴリズムであり、各ブロックはGPU のキャッシュ内に収まります。また、ブロックを慎重に管理することで、GPU キャッシュ間のデータコピーを最小限に抑えます (データ移動は遅いため)。

FlashAttentionメソッドは、これらの操作を単一のループに融合して算術強度を高める通信回避アルゴリズムです。これは、次の量を計算するオンラインアルゴリズムです。 ^[⁸¹^]^[⁸²^] ${\begin{aligned}z_{i}&=q^{T}k_{i}&\\m_{i}&=\max(z_{1},\dots ,z_{i})&={}&\max(m_{i-1},z_{i})\\\ell _{i}&=e^{z_{1}-m_{i}}+\dots +e^{z_{i}-m_{i}}&={}&e^{m_{i-1}-m_{i}}\ell _{i-1}+e^{z_{i}-m_{i}}\\o_{i}&=e^{z_{1}-m_{i}}v_{1}+\dots +e^{z_{i}-m_{i}}v_{i}&={}&e^{m_{i-1}-m_{i}}o_{i-1}+e^{z_{i}-m_{i}}v_{i}\end{aligned}}$ そして返します $o_{N}/\ell _{N}$ 実際には、FlashAttention はブロック行列乗算と同様に、ループの反復ごとに複数のクエリとキーを処理します。バックプロパゲーションが必要な場合は、出力ベクトルと中間配列が $[m_{1},\dots ,m_{N}],[\ell _{1},\dots ,\ell _{N}]$ キャッシュされ、逆方向パス中に、これらのキャッシュからアテンションマトリックスが再構築されるため、一種の勾配チェックポイントとなる。

改良版の FlashAttention-2 ^{[ 83 ]}^{[ 84 ]}^{[ 85 ]}は、より長いコンテキスト長を処理できる言語モデルに対する需要の高まりに対応するために開発されました。作業分割と並列処理の強化により、 A100 GPU ( FP16 / BF16 )上で最大 230 TFLOPs/s を実現し、オリジナルの FlashAttention の 2 倍の速度向上を実現しています。

FlashAttention-2 の主な進歩には、非行列乗算 FLOPs の削減、シーケンス長次元での並列性の向上、GPU ワープ間の作業分割の改善、最大 256 のヘッド次元とマルチクエリアテンション (MQA) およびグループクエリアテンション (GQA) のサポートの追加が含まれます。^{[ 86 ]}

ベンチマークテストの結果、FlashAttention-2はFlashAttentionよりも最大2倍、PyTorchの標準的なアテンション実装よりも最大9倍高速であることが明らかになりました。今後の開発では、H100 GPUなどの新しいハードウェアや FP8などの新しいデータ型への最適化が予定されています。

FlashAttention-4は、命令スループットを向上させるためにパイプライン処理に重点を置いており、特にBlackwell GPUで優れたパフォーマンスを発揮するように開発されました。^[⁸⁷^]

マルチクエリアテンション

マルチクエリアテンションはマルチヘッドアテンションのメカニズムを変更します。^{[ 88 ]}通常、

${\text{MultiheadAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V})\right)W^{O}$ マルチクエリアテンションでは、 $W^{K},W^{V}$ 、したがって：

${\text{MultiQueryAttention}}(Q,K,V)={\text{Concat}}_{i\in [n_{\text{heads}}]}\left({\text{Attention}}(XW_{i}^{Q},XW^{K},XW^{V})\right)W^{O}$

これはモデルの品質と学習速度には影響を与えませんが、推論速度を向上させます。

より一般的には、グループクエリアテンション（GQA）はアテンションヘッドをグループに分割し、各グループはキーと値のペアを共有します。MQAは1つのグループを持つGQAであり、標準マルチヘッドアテンションは最大数のグループを持つGQAです。^{[ 89 ]}

マルチヘッド潜在アテンション（MLA）は、標準的なMHAの低ランク近似です。具体的には、各隠れベクトルは、アテンションメカニズムに入る前に、クエリ用とキーバリュー（KVベクトル）用の2つの低次元空間（「潜在空間」）に射影されます。この設計により、低次元のKVベクトルのみをキャッシュする必要があるため、KVキャッシュが最小限に抑えられます。^{[ 90 ]}

推測的解読

投機的復号^{[ 91 ]}^{[ 92 ]}はトークン復号を高速化する手法です。CPUの投機的実行と同様に、将来のトークンが高速に計算され、検証されます。高速に計算されたトークンが間違っている場合は、破棄され、低速で計算されます。

投機的復号における重要な要素は、トランスフォーマー復号器が復号よりも検証を高速に行えることである。

GPT-3とGPT-3-smallという2つのトランスフォーマーモデルがあり、どちらもコンテキストウィンドウサイズが512だとします。GPT-3で貪欲デコーディングを用いてコンテキストウィンドウ全体を自己回帰的に生成するには、512回実行し、毎回トークンを生成する必要があります。 $x_{1},x_{2},...,x_{512}$ 時間をかけて $512T_{\text{GPT-3}}$ しかし、これらのトークンの値についてある程度の推測があれば、各トークンが正しいかどうかをチェックすることで、モデルを一度実行して、すべてのトークンを並列に検証できます。 $x_{t}$ 確かに、は、 $t$ 第 1 番目の出力。

投機的デコードでは、より小さなモデルまたはその他の単純なヒューリスティックを使用して少数の投機的トークンを生成し、その後、より大きなモデルで検証します。たとえば、GPT-3-smallを使用して4つの投機的トークンを生成するとします。 ${\tilde {x}}_{1},{\tilde {x}}_{2},{\tilde {x}}_{3},{\tilde {x}}_{4}$ これには $4T_{\text{GPT-3-small}}$ これらのトークンは、より大きなGPT-3に一度に通されます。 ${\tilde {x}}_{1}$ そして ${\tilde {x}}_{2}$ GPT-3が選択したであろうものとして検証され、その後それらは保持されますが、 ${\tilde {x}}_{3}$ そうではないので ${\tilde {x}}_{3},{\tilde {x}}_{4}$ は破棄され、それらに対してGPT-3が実行されます。これには $4T_{\text{GPT-3-small}}+3T_{\text{GPT-3}}$ より短いかもしれない $4T_{\text{GPT-3}}$ 。

非貪欲復号の場合も同様の考え方が適用されますが、投機トークンは確率的に受け入れられたり拒否されたりするため、最終的な出力分布は投機復号を使用しなかった場合と同じになります。^{[ 91 ]}^{[ 93 ]}

マルチトークン予測では、1回の順方向パスで最終的な埋め込みベクトルが生成され、それがトークン確率にアンエンベデッドされます。ただし、そのベクトルは別のトランスフォーマーブロックによってさらに処理され、次のトークンを予測できます。これを任意のステップ先まで繰り返します。各新しいトークンのコストはスタック全体ではなく、トランスフォーマーブロック1つだけなので、精度と速度のトレードオフになります。^{[ 94 ]}^{[ 95 ]}

サブクワドラティック変圧器

トランスフォーマーベースのアーキテクチャのトレーニングは、特に長い入力の場合、コストがかかる可能性があります。^{[ 96 ]}この問題を解決するために、多くの方法が開発されてきました。画像領域では、Swin トランスフォーマーは、シフトウィンドウ内で注意を実行する効率的なアーキテクチャです。^{[ 97 ]}音声領域では、SepTr は時間領域と周波数領域で注意を分離します。^{[ 98 ]} Long Range Arena (2020) ^{[ 99 ]}は、長い入力に対するトランスフォーマーアーキテクチャの動作を比較するための標準ベンチマークです。

代替アテンショングラフ

標準的なアテンショングラフは、全対全または因果的のいずれかであり、どちらもスケーリングは $O(N^{2})$ どこ $N$ はシーケンス内のトークンの数です。

Reformer (2020) ^{[ 96 ]}^{[ 100 ]}は計算負荷を軽減します $O(N^{2})$ に $O(N\ln N)$ 局所性に敏感なハッシュと可逆レイヤーを使用することにより。 ^{[ 101 ]}

スパースアテンション^{[ 102 ]}は、よりゆっくりと成長するアテンショングラフを使用します。 $O(N^{2})$ 例えば、BigBird (2020) ^{[ 103 ]}は、次のように成長するランダムなスモールワールドネットワークを使用しています。 $O(N)$ 。

通常のトランスフォーマーは、コンテキストウィンドウのサイズの2乗に比例するメモリサイズを必要とします。注意不要のトランスフォーマー^{[ 104 ]}は、キーと値をリンクすることでトランスフォーマーの利点を維持しながら、これを線形依存性に減らします。

ランダム特徴アテンション

Random Feature Attention (2021) ^{[ 105 ]}はフーリエランダム特徴量を使用します。 $\varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\cdots \cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}$ どこ $w_{1},...,w_{D}$ 正規分布からの独立したサンプルである $N(0,\sigma ^{2}I)$ このパラメータの選択は以下を満たす。 $\mathbb {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}}$ 、または $e^{\langle x,y\rangle /\sigma ^{2}}=\mathbb {E} [\langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle ]\approx \langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle$ したがって、1つのクエリを持つ1ヘッドアテンションは次のように記述できます。 ${\text{Attention}}(q,K,V)={\text{softmax}}\left({\frac {qK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx {\frac {\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})v_{i}^{T}}{\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})}}$ どこ $\sigma =d_{K}^{1/4}$ 複数のクエリ、およびマルチヘッドアテンションについても同様です。

この近似は、行列を計算できるため、線形時間で計算できます。 $\varphi (k_{i})v_{i}^{T}$ まず、それをクエリと掛け合わせます。本質的に、より正確なバージョンを取得することができました。 ${\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx Q(K^{T}V/{\sqrt {d_{k}}})$ Performer (2022) ^{[ 106 ]}は同じ Random Feature Attention を使用していますが、 $w_{1},...,w_{D}$ まず、正規分布から独立にサンプリングされる。 $N(0,\sigma ^{2}I)$ そして、それらはグラム・シュミット法で処理される。

マルチモダリティ

トランスフォーマーは、テキスト以外のモダリティ（入力または出力）にも使用/適応させることができ、通常はモダリティを「トークン化」する方法を見つけることによって実現されます。

マルチモーダルモデルは、ゼロからトレーニングすることも、ファインチューニングによってトレーニングすることもできます。2022年の研究では、自然言語のみで事前トレーニングされたトランスフォーマーは、パラメータのわずか0.03%をファインチューニングするだけで、さまざまな論理タスクや視覚タスクでLSTMと競合できることがわかりました。これは転移学習を実証しています。^{[ 107 ]} LLaVAは、言語モデル（Vicuna-13B）^{[ 108 ]}と視覚モデル（ViT -L/14）が線形層で接続された視覚言語モデルでした。線形層のみがファインチューニングされます。^{[ 109 ]}

ビジョントランスフォーマー^{[ 46 ]}は、入力画像をパッチの連続として分解し、ベクトルに変換し、標準トランスフォーマーのトークンの埋め込みベクトルとして扱うことで、トランスフォーマーをコンピュータビジョンに適合させます。

Conformer ^{[ 47 ]}と後のWhisper ^{[ 110 ]}は、音声認識において同じパターンに従っており、まず音声信号をスペクトログラムに変換し、それを画像のように扱います。つまり、一連のパッチに分解し、ベクトルに変換し、標準トランスフォーマーのトークンの埋め込みベクトルのように扱います。

知覚器^{[ 111 ]}^{[ 112 ]}は、マルチモダリティ用に設計されたトランスフォーマーの一種です。

画像生成の注目すべきアーキテクチャとしては、DALL-E 1 (2021)、Parti (2022)、^{[ 113 ]} Phenaki (2023)、^{[ 114 ]}および Muse (2023) がある。^{[ 115 ]}後期のモデルとは異なり、DALL-E は拡散モデルではない。代わりに、自己回帰的にテキストを生成するデコーダのみのトランスフォーマーを使用し、続いて画像のトークン表現を生成し、それを変分オートエンコーダによって画像に変換する。^{[ 116 ]} Parti はエンコーダとデコーダのトランスフォーマーであり、エンコーダがテキストプロンプトを処理し、デコーダが画像のトークン表現を生成する。^{[ 117 ]} Muse はエンコーダのみのトランスフォーマーであり、マスクされていない画像トークンからマスクされた画像トークンを予測するようにトレーニングされている。生成中、すべての入力トークンがマスクされ、すべてのトークンが予測されるまで、最も信頼度の高い予測が次の反復に含まれる。^{[ 115 ]} Phenaki はテキストからビデオへのモデルです。これは、事前に計算されたテキストトークンに基づいて条件付けられた双方向マスク変換器です。生成されたトークンは、ビデオにデコードされます。^{[ 114 ]}

アプリケーション

トランスフォーマーは自然言語処理（NLP）において大きな成功を収めています。GPT -2、GPT-3、GPT-4、Gemini、AlbertAGPT、Claude、BERT、Grok、XLNet、RoBERTa、ChatGPTなどの多くの大規模言語モデルは、トランスフォーマーがNLP関連のさまざまなサブタスクと、それに関連する実世界のアプリケーションを実行できる能力を示しています。

従来の自然言語処理（NLP）以外にも、トランスフォーマーアーキテクチャは以下のような他のアプリケーションでも成功を収めています。

生物学的配列解析
動画の理解
タンパク質フォールディング（ AlphaFoldなど）
チェス盤の局面を評価する。静的評価のみを使用した場合（つまり、ミニマックス探索なしの場合）、トランスフォーマーはEloレーティング2895を達成し、グランドマスターレベルに達した。^{[ 11 ]}

注記

↑ゲート付き再帰ユニット（2014年）は、その複雑さをさらに軽減した。
↑ RWKV (Receptance Weighted Key Value) や状態空間モデルなどのアーキテクチャでは、この問題を回避しています。

参考文献

1 2 3 4 5 6 7 8 9 10 11 12 13バスワニ、アシシ;シャジーア、ノーム。パルマー、ニキ。ウシュコレイト、ヤコブ。ジョーンズ、リオン。エイダン・N・ゴメス;カイザー、ウカシュ。ポロスキン、イリア (2017)。「必要なのは注意だけです」(PDF)。第 31 回神経情報処理システム会議 (NIPS 2017)、2017 年 12 月 4 ～ 9 日、米国カリフォルニア州ロングビーチ。 Vol. 30. Curran Associates, Inc. arXiv : 1706.03762。ISBN 978-1-5108-6096-42024年2月21日にオリジナル（PDF）からアーカイブされました。2023年10月31日に取得。
1 2ゼップ・ホッホライター;シュミットフーバー、ユルゲン（1997 年 11 月）。「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井: 10.1162/neco.1997.9.8.1735。PMID 9377276。
1 2 「より良い言語モデルとその影響」 . OpenAI . 2019-02-14. 2020-12-19 のオリジナルからアーカイブ済み。2019-08-25 に取得。
↑ Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2019-10-23). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer". arXiv : 1910.10683 [ cs.LG ].
1 2 Bahdanau; Cho, Kyunghyun; Bengio, Yoshua (2014年9月1日). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv : 1409.0473 [ cs.CL ].
↑ Luong, Minh-Thang; Pham, Hieu; Manning, Christopher D. (2015年8月17日). "Effective Approaches to Attention-based Neural Machine Translation". arXiv : 1508.04025 [ cs.CL ].
1 2 Chen, Lili; Lu, Kevin; Rajeswaran, Aravind; Lee, Kimin; Grover, Aditya; Laskin, Michael; Abbeel, Pieter; Srinivas, Aravind; Mordatch, Igor (2021-06-24). "Decision Transformer: Reinforcement Learning via Sequence Modeling". arXiv : 2106.01345 [ cs.LG ].
↑ Parisotto, Emilio; Song, Francis; Rae, Jack; Pascanu, Razvan; Gulcehre, Caglar; Jayakumar, Siddhant; Jaderberg, Max; Kaufman, Raphaël Lopez; Clark, Aidan; Noury, Seb; Botvinick, Matthew; Heess, Nicolas; Hadsell, Raia (2020-11-21). "Stabilizing Transformers for Reinforcement Learning" . Proceedings of the 37th International Conference on Machine Learning . PMLR: 7487– 7498. 2024-08-09のオリジナルからアーカイブ済み。2024-08-09 に取得。
↑ Radford, Alec; Jong Wook Kim; Xu, Tao; Brockman, Greg; McLeavey, Christine; Sutskever, Ilya (2022). "大規模弱教師ありによる堅牢な音声認識". arXiv : 2212.04356 [ eess.AS ].
↑ Monastirsky, Maxim; Azulay, Osher; Sintov, Avishai (2023年2月)「意思決定トランスフォーマーを用いた少数のサンプルによる投擲学習」IEEE Robotics and Automation Letters . 8 (2): 576– 583. Bibcode : 2023IRAL....8..576M . doi : 10.1109/LRA.2022.3229266 .
1 2 Ruoss, Anian; Delétang, Grégoire; Medapati, Sourabh; Grau-Moya, Jordi; Wenliang, Li; Catt, Elliot; Reid, John; Genewein, Tim (2024-02-07). "Grandmaster-Level Chess Without Search". arXiv : 2402.04494v1 [ cs.LG ].
1 2 Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander (2020). "Transformers: 最先端の自然言語処理". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations . pp. 38–45 . doi : 10.18653/v1/2020.emnlp-demos.6 .
1 2 3 「BERTのオープンソース化：自然言語処理のための最先端の事前学習」。Google AIブログ。2018年11月2日。 2021年1月13日のオリジナルからアーカイブ。 2019年8月25日取得。
↑ Feldman, J; Ballard, D (1982年9月)「コネクショニストモデルとその特性」認知科学6 ( 3): 205–254 . doi : 10.1016/S0364-0213(82)80001-3 .
↑ Rumelhart, David E.; McClelland, James L.; Hinton, Geoffrey E. (1986). Parallel Distributed Processing, Volume 1: Explorations in the Microstructure of Cognition: Foundations, Chapter 2 (PDF) . Cambridge, Massachusetts: Bradford Books. ISBN 978-0-262-68053-0. OCLC 12837549 . OL 21219798M . 2026年4月16日にオリジナルからアーカイブ（PDF）。
↑ Giles, C. Lee; Maxwell, Tom (1987 年 12 月) 「高次ニューラルネットワークにおける学習、不変性、および一般化」。Applied Optics . 26 (23): 4972– 4978. doi : 10.1364/AO.26.004972 . PMID 20523475 .
1 2 Schmidhuber, Jürgen (1992 年 1 月). "高速重み記憶の制御学習: 動的再帰ネットワークの代替案". Neural Computation . 4 (1): 131– 139. doi : 10.1162/neco.1992.4.1.131 .
↑ Christoph von der Malsburg: 脳機能の相関理論。内部報告書 81-2、マックス・プランク生物物理化学研究所、1981 年。http ://cogprints.org/1380/1/vdM_correlation.pdf 2022 年 1 月 26 日にWayback Machineにアーカイブ済み。Models of Neural Networks II、第 2 章、95 ～ 119 ページに再録。Springer、ベルリン、1994 年。
↑フェルドマン、ジェローム A. (1982年12月) 「神経ネットワークにおける動的接続」。バイオロジカルサイバネティクス。46 ( 1 ): 27–39。doi : 10.1007 /BF00335349。PMID 6307398。
↑ Hinton, Geoffrey E.; Plaut, David C. (1987). "Using Fast Weights to Deblur Old Memories" . Proceedings of the Annual Meeting of the Cognitive Science Society . 9. 2024-07-23のオリジナルからアーカイブ済み。2024-07-23 に取得。
↑ Katharopoulos, Angelos; Vyas, Apoorv; Pappas, Nikolaos; Fleuret, François (2020). "Transformers are RNNs: Fast autoregressive Transformers with linear attention" . ICML 2020. PMLR. pp. 5156–5165 .
↑ Schlag, Imanol; Irie, Kazuki; Schmidhuber, Jürgen (2021). "Linear Transformers Are Secretly Fast Weight Programmers" . ICML 2021. Springer. pp. 9355–9366 . 2026年5月20日のオリジナルからアーカイブ済み。 2026年5月20日に取得。
1 2 Cho, Kyunghyun; van Merriënboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014 年 10 月). "統計的機械翻訳のための RNN エンコーダー・デコーダーを使用したフレーズ表現の学習" . Moschitti, Alessandro; Pang, Bo; Daelemans, Walter (編). Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) . ドーハ、カタール: Association for Computational Linguistics. pp. 1724– 1734. arXiv : 1406.1078 . doi : 10.3115/v1/D14-1179 . 2024年9月6日にオリジナルからアーカイブされました。2024年8月9日に取得しました。
1 2 Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014年12月14日). "ニューラルネットワークによるシーケンス間学習". arXiv : 1409.3215 [ cs.CL ].[初版は2014年9月10日にarXivに投稿されました]
↑ Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "シーケンスモデリングにおけるゲート付きリカレントニューラルネットワークの経験的評価". arXiv : 1412.3555 [ cs.NE ].
↑ Gruber, Nicole; Jockisch, Alfred (2020年6月30日). "テキストの動機分類において、GRUセルはより特異性が高く、LSTMセルはより感度が高いのか？" . Frontiers in Artificial Intelligence . 3 40. doi : 10.3389/frai.2020.00040 . PMC 7861254 . PMID 33733157 .
↑ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V (2014). "Sequence to Sequence Learning with Neural Networks" . Advances in Neural Information Processing Systems . 27 . Curran Associates, Inc. arXiv : 1409.3215 . 2025-01-27 のオリジナルからアーカイブ済み . 2024-07-23に取得.
↑ Luong, Minh-Thang; Pham, Hieu; Manning, Christopher D. (2015). "Effective Approaches to Attention-based Neural Machine Translation". arXiv : 1508.04025 [ cs.CL ].
↑ Wu, Yonghui; et al. (2016-09-01). "Googleのニューラル機械翻訳システム：人間と機械翻訳のギャップを埋める". arXiv : 1609.08144 [ cs.CL ].
↑ルイス＝クラウス、ギデオン (2016-12-14)。「偉大なるAIの目覚め」。ニューヨーク・タイムズ。 2023年5月24日のオリジナルからアーカイブ。 2023年6月22日閲覧。
↑ Parikh, Ankur P.; Täckström, Oscar; Das, Dipanjan; Uszkoreit, Jakob (2016-09-25). "自然言語推論のための分解可能なアテンションモデル". arXiv : 1606.01933 [ cs.CL ].
1 2 Levy, Steven. "Google社員8人が現代のAIを発明した。その内幕はこちら" . Wired . 2024年3月20日のオリジナルからアーカイブ済み。2024年8月6日閲覧。
↑ Cheng, Jianpeng; Dong, Li; Lapata, Mirella (2016年11月) 「機械読解のための長短期記憶ネットワーク」。Su, Jian; Duh, Kevin; Carreras, Xavier (編)『2016年自然言語処理における経験的手法に関する会議議事録』。テキサス州オースティン：計算言語学会。pp. 551–561。doi : 10.18653 /v1 / D16-1053。2024年8月27日にオリジナルからアーカイブ。2024年8月27日に取得。
↑ Peng, Bo; Alcaide, Eric; Anthony, Quentin; Albalak, Alon; Arcadinho, Samuel; Biderman, Stella; Cao, Huanqi; Cheng, Xin; Chung, Michael (2023-12-10). "RWKV: トランスフォーマー時代のためのRNNの再発明". arXiv : 2305.13048 [ cs.CL ].
↑ Marche, Stephen (2024-08-23). 「言語AIは偶然に作られたのか？」 . The New Yorker . 2024-08-27閲覧。
↑ Vaswani, Ashish; Bengio, Samy; Brevdo, Eugene; Chollet, Francois; Gomez, Aidan; Gouws, Stephan; Jones, Llion; Kaiser, Łukasz; Kalchbrenner, Nal; Parmar, Niki; Sepassi, Ryan; Shazeer, Noam; Uszkoreit, Jakob (2018 年 3 月). Cherry, Colin; Neubig, Graham (編). "Tensor2Tensor for Neural Machine Translation" . Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track) . Boston, MA: Association for Machine Translation in the Americas: 193– 199. 2026 年 4 月 29 日にオリジナルからアーカイブ済み。2026年 3 月 31 日に取得。
↑ Kaiser, Łukasz (2017-06-19). "Tensor2Tensorライブラリによる深層学習研究の加速" . Google Research Blog . 2026-04-15のオリジナルからアーカイブ済み. 2026-03-31に取得.
1 2 3 4 5 Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (2018 年 10 月 11 日). "BERT: 言語理解のための深層双方向トランスフォーマーの事前学習". arXiv : 1810.04805v2 [ cs.CL ].
↑ 「Google: BERTがほぼすべての英語の検索クエリで使われるようになった」。Search Engine Land。2020年10月15日。2022年5月6日のオリジナルからアーカイブ。 2020年11月24日閲覧。
1 2 Caswell, Isaac; Liang, Bowen (2020年6月8日)。「Google翻訳の最近の進歩」。Googleリサーチ。2024年7月4日のオリジナルからアーカイブ。 2024年8月7日取得。
↑ 「ChatGPT がどのように構築されたか、開発者自身が語る内幕」 . MIT Technology Review . 2023年3月3日時点のオリジナルよりアーカイブ済み. 2024年8月6日閲覧.
↑ 「ChatGPT の紹介」 . OpenAI . 2022-11-30. 2026-04-05 のオリジナルからアーカイブ済み。2026-05-16 に取得。
↑ 「教師なし学習による言語理解の向上」 . openai.com . 2018年6月11日。2023年3月18日にオリジナルからアーカイブ済み。2023年3月18日に取得。
↑ "finetune-transformer-lm" . OpenAI. 2018年6月11日。2023年5月19日のオリジナルからアーカイブ済み。2023年5月1日に取得。
↑ Kaiser, Lukasz; Gomez, Aidan N.; Shazeer, Noam; Vaswani, Ashish; Parmar, Niki; Jones, Llion; Uszkoreit, Jakob (2017-06-16). "One Model To Learn Them All". arXiv : 1706.05137v1 [ cs.LG ].
1 2ドソヴィツキー、アレクセイ;バイエル、ルーカス。コレスニコフ、アレクサンダー。ヴァイセンボルン、ディルク。ザイ、シャオファ。ウンターティナー、トーマス。デガニ、モスタファ。ミンデラー、マティアス。ハイゴールド、ゲオルク。ジェリー、シルヴァン。ウシュコレイト、ヤコブ（2021-06-03）。「画像は 16x16 ワードの価値があります: 大規模な画像認識のためのトランスフォーマー」。arXiv : 2010.11929 [ cs.CV ]。
1 2アンモール、グラティ。秦、ジェームズ。チウ、チュンチェン。パルマー、ニキ。張、裕。ユウ、ジアフイ。ハン、ウェイ。王、紫博。張正東。ウー、ヨンフイ。龐明、龐明（2020）。「Conformer: 音声認識用の畳み込み拡張トランスフォーマー」。arXiv : 2005.08100 [ eess.AS ]。
↑チョロマンスキー、クシシュトフ。リホシェルストフ、ヴァレリー。ドーハン、デイビッド。ソン、シンユウ。ゲーン、アンドレア。サルロス、タマス;ホーキンス、ピーター。デイビス、ジャレッド。モヒウディン、アフロズ（2022-11-19）。「出演者に対するアテンションを再考する」。arXiv : 2009.14794 [ cs.LG ]。
↑ Liu, Zhuang; Mao, Hanzi; Wu, Chao-Yuan; Feichtenhofer, Christoph; Darrell, Trevor; Xie, Saining (2022). 2020年代のための畳み込みニューラルネットワーク. コンピュータビジョンとパターン認識に関する会議 ( CVPR ). pp. 11976–11986 .
↑ Esser, Patrick; Kulal, Sumith; Blattmann, Andreas; Entezari, Rahim; Müller, Jonas; Saini, Harry; Levi, Yam; Lorenz, Dominik; Sauer, Axel (2024-03-05). "高解像度画像合成のための整流フロー変換器のスケーリング". arXiv : 2403.03206 [ cs.CV ].
1 2シオン、ルイビン。ヤン、ユンチャン。彼、ディ。鄭、凱。鄭、淑新。シン、チェン。張恵帥。ラン、ヤンヤン。王、李偉。劉鉄燕（2020-06-29）。「トランスフォーマーアーキテクチャにおけるオンレイヤー正規化」。arXiv : 2002.04745 [ cs.LG ]。
1 2 3 4 Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" . Journal of Machine Learning Research . 21 (140): 1–67 . 2026-04-10のオリジナルからアーカイブ。2026-04-18 に取得。
↑ Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer". arXiv : 1910.10683 [ cs.LG ].
1 2 「マスクされた言語モデリング」 . huggingface.co . 2023-10-10 のオリジナルからアーカイブ済み. 2023-10-05に取得.
1 2 「因果言語モデリング」 . huggingface.co . 2023年10月10日にオリジナルからアーカイブ済み. 2023年10月5日に取得.
1 2 3 4 Tay, Yi; Dehghani, Mostafa; Tran, Vinh Q.; Garcia, Xavier; Wei, Jason; Wang, Xuezhi; Chung, Hyung Won; Shakeri, Siamak; Bahri, Dara (2023-02-28). "UL2: 統一的な言語学習パラダイム". arXiv : 2205.05131 [ cs.CL ].
↑ Press, Ofir; Wolf, Lior (2017-02-21). "出力埋め込みを使用して言語モデルを改善する". arXiv : 1608.05859 [ cs.CL ].
↑ Lintz, Nathan (2016-04-18). "ニューラルネットワークによるシーケンスモデリング（パート2）：アテンションモデル" . Indico . 2020-10-21 のオリジナルからアーカイブ済み. 2019-10-15に取得.
1 2 3 Alammar, Jay. "The Illustrated transformer" . jalammar.github.io . 2020-10-18 のオリジナルからアーカイブ済み. 2019-10-15に取得.
↑チーム、Keras。「Keras ドキュメント: GPT2Backbone モデル」。keras.io。2024年 8月8 日のオリジナルからアーカイブ済み。2024年 8 月 8 日取得。
↑ Clark, Kevin; Khandelwal, Urvashi; Levy, Omer; Manning, Christopher D. (2019年8月) 「BERTは何を見ているのか？BERTのアテンションの分析」 . Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP . フィレンツェ、イタリア：Association for Computational Linguistics：276–286 . arXiv : 1906.04341 . doi : 10.18653/v1/W19-4828 . 2020年10月21日のオリジナルからアーカイブ済み。 2020年5月20日取得。
↑ Yang, Zhilin; Dai, Zihang; Yang, Yiming; Carbonell, Jaime; Salakhutdinov, Russ R; Le, Quoc V (2019). "XLNet: Generalized Autoregressive Pretraining for Language Understanding" . Advances in Neural Information Processing Systems . 32 . Curran Associates, Inc. arXiv : 1906.08237 . 2024-08-09 のオリジナルからアーカイブ済み. 2024-08-09に取得.
↑王、強。李、北。シャオ、トン。朱、ジンポー。リー・チャンリャン。ウォン、デレク F.チャオ、リディア S. (2019-06-04)。「機械翻訳のためのディープトランスフォーマーモデルの学習」。arXiv : 1906.01787 [ cs.CL ]。
↑ Phuong, Mary; Hutter, Marcus (2022-07-19). "Formal Algorithms for Transformers". arXiv : 2207.09238 [ cs.LG ].
1 2 Shazeer, Noam (2020-02-01). "GLU バリアントが Transformer を改善". arXiv : 2002.05202 [ cs.LG ].
↑ Hendrycks, Dan; Gimpel, Kevin (2016-06-27). "ガウス誤差線形ユニット (GELU)". arXiv : 1606.08415v5 [ cs.LG ].
↑ Zhang, Biao; Sennrich, Rico (2019). "Root Mean Square Layer Normalization" . Advances in Neural Information Processing Systems . 32 . Curran Associates, Inc. arXiv : 1910.07467 . 2024-09-17 のオリジナルからアーカイブ済み. 2024-08-09に取得.
1 2 Nguyen, Toan Q.; Salazar, Julian (2019-11-02). Niehues, Jan; Cattoni, Rolando; Stüker, Sebastian; Negri, Matteo; Turchi, Marco; Ha, Thanh-Le; Salesky, Elizabeth; Sanabria, Ramon; Barrault, Loic (eds.). "Transformers without Tears: Improving the Normalization of Self-Attention" . Proceedings of the 16th International Conference on Spoken Language Translation . Hong Kong: Association for Computational Linguistics. arXiv : 1910.05895 . doi : 10.5281/zenodo.3525484 . Archived from the original on 2024-08-09 . Retrieved 2024-08-09 .
↑ダフター、フィリップ。シュミット、マーティン。シュッツェ、ハインリッヒ (2022 年 9 月)。「トランスフォーマーの位置情報: 概要」。計算言語学。48 (3): 733–763 . arXiv : 2102.11090。土井: 10.1162/coli_a_00445。
↑ Gehring, Jonas; Auli, Michael; Grangier, David; Yarats, Denis; Dauphin, Yann N. (2017-07-17). "Convolutional Sequence to Sequence Learning" . Proceedings of the 34th International Conference on Machine Learning . PMLR: 1243– 1252. 2024-08-09のオリジナルからアーカイブ済み。2024-08-09 に取得。
↑ Haviv, Adi; Ram, Ori; Press, Ofir; Izsak, Peter; Levy, Omer (2022-12-05). "位置エンコーディングのないTransformer言語モデルでも位置情報を学習する". arXiv : 2203.16634 [ cs.CL ].
↑蘇建林。ルー、ユウ。パン、シェンフェン。ムルタダ、アハメッド。ウェン、ボー。劉雲峰（2021-04-01）。「RoFormer: ロータリー位置埋め込みを備えた強化されたトランスフォーマー」。arXiv : 2104.09864 [ cs.CL ]。
↑ Press, Ofir; Smith, Noah A.; Lewis, Mike (2021-08-01). "Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation". arXiv : 2108.12409 [ cs.CL ].
↑ Shaw, Peter; Uszkoreit, Jakob; Vaswani, Ashish (2018). "Self-Attention with Relative Position Representations". arXiv : 1803.02155 [ cs.CL ].
↑柯、国林。彼、ディ。劉鉄燕（2021-03-15）。「言語の事前トレーニングにおける位置エンコーディングの再考」。arXiv : 2006.15595 [ cs.CL ]。
↑ Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph; Zhang, Hao; Stoica, Ion (2023-10-23). "Efficient Memory Management for Large Language Model Serving with PagedAttention" . Proceedings of the 29th Symposium on Operating Systems Principles . SOSP '23. New York, NY, USA: Association for Computing Machinery. pp. 611–626 . arXiv : 2309.06180 . doi : 10.1145/3600006.3613165 . ISBN 979-8-4007-0229-7。
↑ "vllm-project/vllm" . vLLM. 2024-06-20. 2024-06-18 のオリジナルからアーカイブ済み。2024-06-20 に取得。
↑ Zhuohan Li、Woosuk Kwon、Zhuang、Siyuan、Sheng、Ying、Zheng、Lianmin、Yu、Cody、Gonzalez、Joey、Zhang、Hao、Stoica、Ion (2023-06-20)。「vLLM: PagedAttention を使用した簡単、高速、安価な LLM サービング」。vLLMブログ。2024-06-20のオリジナルからアーカイブ。2024-06-20に取得。
↑胡、クンチェン。黄、賀陽。徐、梁梁。陳徐生。徐、江。チェン、シュアン。フェン、ハオ。王、陳熙。王沙（2024-01-20）。「干渉のない推論: 混合ダウンストリームワークロードの分離 LLM 推論」。arXiv : 2401.11181 [ cs.DC ]。
↑ Dao, Tri; Ermon, Stefano; Fu, Dan; Ré, Christopher; Rudra, Atri (2022). "FlashAttention: IO認識機能を備えた高速かつメモリ効率の良い正確なアテンション". Advances in Neural Information Processing Systems 35. pp. 16344–16359 . doi : 10.52202/068431-1189 . ISBN 978-1-7138-7108-8。
↑ Milakov, Maxim; Gimelshein, Natalia (2018). "ソフトマックスのオンライン正規化計算". arXiv : 1805.02867 [ cs.PF ].
↑ Dao, Tri; Fu, Dan; Ermon, Stefano; Rudra, Atri; Ré, Christopher (2022-12-06). "FlashAttention: IO 認識による高速かつメモリ効率の良い正確なアテンション" . Advances in Neural Information Processing Systems . 35 : 16344– 16359.
↑ "Stanford CRFM" . crfm.stanford.edu . 2023年7月18日にオリジナルからアーカイブ済み. 2023年7月18日に取得.
↑ "FlashAttention-2: より高速なアテンションと優れた並列処理および作業分割" . Princeton NLP . 2023-06-17. 2023-07-18 のオリジナルからアーカイブ済み。2023-07-18に取得。
↑ 「Together AIのチーフサイエンティスト、Tri Dao氏がFlashAttention-2をリリースし、モデルのトレーニングと推論を高速化」 . TOGETHER . 2023年7月17日にオリジナルからアーカイブ済み. 2023年7月18日に取得.
↑ Ainslie, Joshua; Lee-Thorp, James; de Jong, Michiel; Zemlyanskiy, Yury; Lebrón, Federico; Sanghai, Sumit (2023-12-23). "GQA: マルチヘッドチェックポイントからの一般化マルチクエリトランスフォーマーモデルのトレーニング". arXiv : 2305.13245 [ cs.CL ].
↑ 「Flash Attention 4をリバースエンジニアリングしました」。Modal 。 2025年9月27日にオリジナルからアーカイブされました。2025年9月26日に取得。
↑ Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; Bosma, Maarten; Mishra, Gaurav; Roberts, Adam; Barham, Paul; Chung, Hyung Won; Sutton, Charles; Gehrmann, Sebastian; Schuh, Parker; Shi, Kensen; Tsvyashchenko, Sasha; Maynez, Joshua; Rao, Abhishek (2022-04-01). "PaLM: Scaling Language Modeling with Pathways". arXiv : 2204.02311 [ cs.CL ].
↑ Ainslie, Joshua; Lee-Thorp, James; de Jong, Michiel; Zemlyanskiy, Yury; Lebrón, Federico; Sanghai, Sumit (2023-12-23). "GQA: マルチヘッドチェックポイントからの一般化マルチクエリトランスフォーマーモデルのトレーニング". arXiv : 2305.13245 [ cs.CL ].
1 2 DeepSeek-AI;劉愛新。フォン、ベイ。王斌、ワン・ビンシュアン。リュウ、ボー。趙、成港。デングル、成旗;ルアン、チョン（2024年6月19日）。「DeepSeek-V2: 強力、経済的、効率的な専門家の混合言語モデル」。arXiv : 2405.04434 [ cs.CL ]。。
1 2 Leviathan, Yaniv; Kalman, Matan; Matias, Yossi (2023-05-18). "投機的デコードによるトランスフォーマーからの高速推論". arXiv : 2211.17192 [ cs.LG ].
↑ Fu, Yao (2023-12-11). "100倍の高速化を目指して：フルスタックTransformer推論の最適化" . yaofu.notion.site .
↑ Chen, Charlie; Borgeaud, Sebastian; Irving, Geoffrey; Lespiau, Jean-Baptiste; Sifre, Laurent; Jumper, John (2023-02-02). "Accelerating Large Language Model Decoding with Speculative Sampling". arXiv : 2302.01318 [ cs.CL ].
↑ Gloeckle, Fabian; Badr Youbi Idrissi; Rozière, Baptiste; Lopez-Paz, David; Synnaeve, Gabriel (2024). "Better & Faster Large Language Models via Multi-token Prediction". arXiv : 2404.19737 [ cs.CL ].
↑ DeepSeek-AI;他。（2024年）。「DeepSeek-V3テクニカルレポート」。arXiv : 2412.19437 [ cs.CL ]。
1 2 Kitaev, Nikita; Kaiser, Łukasz; Levskaya, Anselm (2020). "Reformer: The Efficient Transformer". arXiv : 2001.04451 [ cs.LG ].
↑ Liu, Ze; Lin, Yutong; Cao, Yue; Hu, Han; Wei, Yixuan; Zhang, Zheng; Lin, Stephen; Guo, Baining (2021). "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows". 2021 IEEE/CVF International Conference on Computer Vision (ICCV) . IEEE. pp. 9992– 10002. arXiv : 2103.14030 . doi : 10.1109/ICCV48922.2021.00986 . ISBN 978-1-6654-2812-5。
↑リステア、ニコライア・カタリン。イヨネスク、ラドゥ・チューダー。カーン、ファハド・シャバズ（2022-09-18）。「SepTr: オーディオスペクトログラム処理用の分離可能なトランス」。スピーチ間。 ISCA: 4103～4107。arXiv : 2203.09581。土井：10.21437/Interspeech.2022-249。
↑ Tay, Yi; Dehghani, Mostafa; Abnar, Samira; Shen, Yikang; Bahri, Dara; Pham, Philip; Rao, Jinfeng; Yang, Liu; Ruder, Sebastian; Metzler, Donald (2020-11-08). "Long Range Arena: A Benchmark for Efficient Transformers". arXiv : 2011.04006 [ cs.LG ].
↑ 「Reformer: 効率的な変革者」。Google AI ブログ。2020 年 1 月 16 日。2020 年 10 月 22 日のオリジナルからアーカイブ。2020年 10 月 22 日取得。
↑ Gomez, Aidan N; Ren, Mengye; Urtasun, Raquel; Grosse, Roger B (2017). "The Reversible Residual Network: Backpropagation Without Storing Activations" . Advances in Neural Information Processing Systems . 30. Curran Associates, Inc. arXiv : 1707.04585 . 2024年8月11日にオリジナルからアーカイブ済み。2024年8月11日に取得。
↑ Child, Rewon; Gray, Scott; Radford, Alec; Sutskever, Ilya (2019-04-23). "Generating Long Sequences with Sparse Transformers". arXiv : 1904.10509 [ cs.LG ].
↑ 「スパースアテンション手法を用いた長尺シーケンス向けトランスフォーマーの構築」。Google AIブログ。2021年3月25日。2021年9月18日のオリジナルからアーカイブ。 2021年5月28日取得。
↑ Zhai, Shuangfei; Talbott, Walter; Srivastava, Nitish; Huang, Chen; Goh, Hanlin; Zhang, Ruixiang; Susskind, Josh (2021-09-21). "An Attention Free Transformer". arXiv : 2105.14103 [ cs.LG ].
↑ペン、ハオ。パパス、ニコラオス。ヨガタマ、ダニ。シュワルツ、ロイ。スミス、ノア A.コン、リンペン（2021-03-19）。「ランダム機能アテンション」。arXiv : 2103.02143 [ cs.CL ]。
↑ Choromanski, Krzysztof; Likhosherstov, Valerii; Dohan, David; Song, Xingyou; Gane, Andreea; Sarlos, Tamas; Hawkins, Peter; Davis, Jared; Belanger, David; Colwell, Lucy; Weller, Adrian (2020-09-30). "Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers". arXiv : 2006.03555 [ cs.LG ].
↑ Lu, Kevin; Grover, Aditya; Abbeel, Pieter; Mordatch, Igor (2022-06-28). "Frozen Pretrained Transformers as Universal Computation Engines" . Proceedings of the AAAI Conference on Artificial Intelligence . 36 (7): 7628– 7636. doi : 10.1609/aaai.v36i7.20729 . ISSN 2374-3468 . 2024-12-02 のオリジナルからアーカイブ済み. 2024-08-11に取得.
↑ "Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | LMSYS Org" . lmsys.org . 2023年3月30日。2024年8月12日のオリジナルからアーカイブ済み。 2024年8月11日取得。
↑リュウ、ハオティエン。李春源。呉、青陽。イ・ヨンジェ(2023-12-15)。「ビジュアル指示チューニング」。神経情報処理システムの進歩。 Vol. 36. pp. 34892–34916 .土井: 10.52202/075280-1516。ISBN 978-1-7138-9911-22024年9月26日にオリジナルからアーカイブされました。2024年8月11日に取得。
↑ Radford, Alec; Kim, Jong Wook; Xu, Tao; Brockman, Greg; McLeavey, Christine; Sutskever, Ilya (2022). "大規模弱教師ありによる堅牢な音声認識". arXiv : 2212.04356 [ eess.AS ].
↑ Jaegle, Andrew; Gimeno, Felix; Brock, Andrew; Zisserman, Andrew; Vinyals, Oriol; Carreira, Joao (2021-06-22). "Perceiver: 反復的注意による一般知覚". arXiv : 2103.03206 [ cs.CV ].
↑ジェイグル、アンドリュー。ボルジョー、セバスチャン。アライラック、ジャン＝バティスト。カール・ドーシュ。イヨネスク、カタリン州。ディン、デイビッド。コップラ、スカンダ。ゾラン、ダニエル。ブロック、アンドリュー。シェルハマー、エヴァン。エナフ、オリヴィエ (2021-08-02)。「パーシーバー IO: 構造化された入力と出力のための一般的なアーキテクチャ」。arXiv : 2107.14795 [ cs.LG ]。
↑ "Parti: Pathways Autoregressive Text-to-Image Model" . sites.research.google . 2024-08-10 のオリジナルからアーカイブ済み. 2024-08-09に取得.
1 2ビジェガス、ルーベン。ババエイザデ、モハマド。キンダーマンズ、ピーター＝ヤン。モラルド、ヘルナン。張、漢。サファール、モハマド・タギ。カストロ、サンティアゴ;クンツェ、ユリウス。エルハン、ドゥミトル（2022-09-29）。「Phenaki: オープンドメインのテキスト記述からの可変長ビデオ生成」。arXiv : 2210.02399 [ cs.CV ]。
1 2 Chang, Huiwen; Zhang, Han; Barber, Jarred; Maschinot, AJ; Lezama, Jose; Jiang, Lu; Yang, Ming-Hsuan ; Murphy, Kevin; Freeman, William T. (2023-01-02). "Muse: マスク付き生成トランスフォーマーによるテキストから画像への生成". arXiv : 2301.00704 [ cs.CV ].
↑ Ramesh, Aditya; Pavlov, Mikhail; Goh, Gabriel; Gray, Scott; Voss, Chelsea; Radford, Alec; Chen, Mark; Sutskever, Ilya (2021-02-26). "Zero-Shot Text-to-Image Generation". arXiv : 2102.12092 [ cs.CV ].
↑ユウ、ジアフイ。徐元中。コー・ジンユ。ルオン、タン;バイド、グンジャン。ワン・ジルイ。ヴァスデヴァン、ビジェイ。クー、アレクサンダー。ヤン、インフェイ（2022-06-21）。「コンテンツリッチなテキストから画像への生成のための自己回帰モデルのスケーリング」。arXiv : 2206.10789 [ cs.CV ]。
↑ Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Precision information extraction for rare disease epidemiology at scale" . Journal of Translational Medicine . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634 . PMID 36855134 .

さらに読む

Alexander Rush、「注釈付きトランスフォーマー」（Wayback Machineに2021年9月22日にアーカイブ済み）、ハーバード大学NLPグループ、2018年4月3日
Phuong, Mary; Hutter, Marcus (2022). "Transformers の形式アルゴリズム". arXiv : 2207.09238 [ cs.LG ].
フェランド、ハビエル。サルティ、ガブリエレ。ビザッツァ、アリアナ。コスタ・ジュッサ、マルタ R. (2024-05-01)。「トランスフォーマーベースの言語モデルの内部動作に関する入門書」。arXiv : 2405.00208 [ cs.CL ]。
Leech, Gavin (2024-11-06). "Transformer++" . argmin gravitas . 2025-02-26 のオリジナルからアーカイブ済み。2025-05-08 に取得。
米国特許 10452978、Noam M. Shazeer、エイダン・ニコラス・ゴメス。ウカシュ・ミエチスワフ・カイザー。ヤコブ・D・ウシュコライト。リオン・オーウェン・ジョーンズ。ニキ・J・パーマー;イリア・ポロスキン。 Ashish Teku Vaswani、「注意ベースのシーケンス変換ニューラルネットワーク」、2019 年 10 月 22 日に発行、Google LLC に譲渡
Raschka, Sebastian (2026-03-11). "大規模LLMアーキテクチャ比較：DeepSeek V3からGLM-5まで：最新のLLMアーキテクチャ設計の考察" . Sebastian Raschka's AI Magazine . 2026-03-21のオリジナルからアーカイブ済み。2026-03-25に取得。

[14] ゲート付き再帰ユニット（2014年）は、その複雑さをさらに軽減した。

[18] RWKV (Receptance Weighted Key Value) や状態空間モデルなどのアーキテクチャでは、この問題を回避しています。

[2017_Attention_Is_All_You_Need-1] 1 2 3 4 5 6 7 8 9 10 11 12 13バスワニ、アシシ;シャジーア、ノーム。パルマー、ニキ。ウシュコレイト、ヤコブ。ジョーンズ、リオン。エイダン・N・ゴメス;カイザー、ウカシュ。ポロスキン、イリア (2017)。「必要なのは注意だけです」(PDF)。第 31 回神経情報処理システム会議 (NIPS 2017)、2017 年 12 月 4 ～ 9 日、米国カリフォルニア州ロングビーチ。 Vol. 30. Curran Associates, Inc. arXiv : 1706.03762。ISBN 978-1-5108-6096-42024年2月21日にオリジナル（PDF）からアーカイブされました。2023年10月31日に取得。

[lstm1997-2] 1 2ゼップ・ホッホライター;シュミットフーバー、ユルゲン（1997 年 11 月）。「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井: 10.1162/neco.1997.9.8.1735。PMID 9377276。

[:7-3] 1 2 「より良い言語モデルとその影響」 . OpenAI . 2019-02-14. 2020-12-19 のオリジナルからアーカイブ済み。2019-08-25 に取得。

[4] Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2019-10-23). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer". arXiv : 1910.10683 [ cs.LG ].

[inventors-5] 1 2 Bahdanau; Cho, Kyunghyun; Bengio, Yoshua (2014年9月1日). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv : 1409.0473 [ cs.CL ].

[inventconfirm-6] Luong, Minh-Thang; Pham, Hieu; Manning, Christopher D. (2015年8月17日). "Effective Approaches to Attention-based Neural Machine Translation". arXiv : 1508.04025 [ cs.CL ].

[:10-7] 1 2 Chen, Lili; Lu, Kevin; Rajeswaran, Aravind; Lee, Kimin; Grover, Aditya; Laskin, Michael; Abbeel, Pieter; Srinivas, Aravind; Mordatch, Igor (2021-06-24). "Decision Transformer: Reinforcement Learning via Sequence Modeling". arXiv : 2106.01345 [ cs.LG ].

[8] Parisotto, Emilio; Song, Francis; Rae, Jack; Pascanu, Razvan; Gulcehre, Caglar; Jayakumar, Siddhant; Jaderberg, Max; Kaufman, Raphaël Lopez; Clark, Aidan; Noury, Seb; Botvinick, Matthew; Heess, Nicolas; Hadsell, Raia (2020-11-21). "Stabilizing Transformers for Reinforcement Learning" . Proceedings of the 37th International Conference on Machine Learning . PMLR: 7487– 7498. 2024-08-09のオリジナルからアーカイブ済み。2024-08-09 に取得。

[Robust_Speech_Recognition_via_Large-Scale_Weak_Supervision-9] Radford, Alec; Jong Wook Kim; Xu, Tao; Brockman, Greg; McLeavey, Christine; Sutskever, Ilya (2022). "大規模弱教師ありによる堅牢な音声認識". arXiv : 2212.04356 [ eess.AS ].

[10] Monastirsky, Maxim; Azulay, Osher; Sintov, Avishai (2023年2月)「意思決定トランスフォーマーを用いた少数のサンプルによる投擲学習」IEEE Robotics and Automation Letters . 8 (2): 576– 583. Bibcode : 2023IRAL....8..576M . doi : 10.1109/LRA.2022.3229266 .

[grandmaster-11] 1 2 Ruoss, Anian; Delétang, Grégoire; Medapati, Sourabh; Grau-Moya, Jordi; Wenliang, Li; Catt, Elliot; Reid, John; Genewein, Tim (2024-02-07). "Grandmaster-Level Chess Without Search". arXiv : 2402.04494v1 [ cs.LG ].

[wolf2020-12] 1 2 Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander (2020). "Transformers: 最先端の自然言語処理". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations . pp. 38–45 . doi : 10.18653/v1/2020.emnlp-demos.6 .

[:6-13] 1 2 3 「BERTのオープンソース化：自然言語処理のための最先端の事前学習」。Google AIブログ。2018年11月2日。 2021年1月13日のオリジナルからアーカイブ。 2019年8月25日取得。

[15] Feldman, J; Ballard, D (1982年9月)「コネクショニストモデルとその特性」認知科学6 ( 3): 205–254 . doi : 10.1016/S0364-0213(82)80001-3 .

[PDP-16] Rumelhart, David E.; McClelland, James L.; Hinton, Geoffrey E. (1986). Parallel Distributed Processing, Volume 1: Explorations in the Microstructure of Cognition: Foundations, Chapter 2 (PDF) . Cambridge, Massachusetts: Bradford Books. ISBN 978-0-262-68053-0. OCLC 12837549 . OL 21219798M . 2026年4月16日にオリジナルからアーカイブ（PDF）。

[17] Giles, C. Lee; Maxwell, Tom (1987 年 12 月) 「高次ニューラルネットワークにおける学習、不変性、および一般化」。Applied Optics . 26 (23): 4972– 4978. doi : 10.1364/AO.26.004972 . PMID 20523475 .

[transform19922-19] 1 2 Schmidhuber, Jürgen (1992 年 1 月). "高速重み記憶の制御学習: 動的再帰ネットワークの代替案". Neural Computation . 4 (1): 131– 139. doi : 10.1162/neco.1992.4.1.131 .

[malsburg1981-20] Christoph von der Malsburg: 脳機能の相関理論。内部報告書 81-2、マックス・プランク生物物理化学研究所、1981 年。http ://cogprints.org/1380/1/vdM_correlation.pdf 2022 年 1 月 26 日にWayback Machineにアーカイブ済み。Models of Neural Networks II、第 2 章、95 ～ 119 ページに再録。Springer、ベルリン、1994 年。

[feldman1982-21] フェルドマン、ジェローム A. (1982年12月) 「神経ネットワークにおける動的接続」。バイオロジカルサイバネティクス。46 ( 1 ): 27–39。doi : 10.1007 /BF00335349。PMID 6307398。

[22] Hinton, Geoffrey E.; Plaut, David C. (1987). "Using Fast Weights to Deblur Old Memories" . Proceedings of the Annual Meeting of the Cognitive Science Society . 9. 2024-07-23のオリジナルからアーカイブ済み。2024-07-23 に取得。

[fastlinear20202-23] Katharopoulos, Angelos; Vyas, Apoorv; Pappas, Nikolaos; Fleuret, François (2020). "Transformers are RNNs: Fast autoregressive Transformers with linear attention" . ICML 2020. PMLR. pp. 5156–5165 .

[schlag20212-24] Schlag, Imanol; Irie, Kazuki; Schmidhuber, Jürgen (2021). "Linear Transformers Are Secretly Fast Weight Programmers" . ICML 2021. Springer. pp. 9355–9366 . 2026年5月20日のオリジナルからアーカイブ済み。 2026年5月20日に取得。

[:22-25] 1 2 Cho, Kyunghyun; van Merriënboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014 年 10 月). "統計的機械翻訳のための RNN エンコーダー・デコーダーを使用したフレーズ表現の学習" . Moschitti, Alessandro; Pang, Bo; Daelemans, Walter (編). Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) . ドーハ、カタール: Association for Computational Linguistics. pp. 1724– 1734. arXiv : 1406.1078 . doi : 10.3115/v1/D14-1179 . 2024年9月6日にオリジナルからアーカイブされました。2024年8月9日に取得しました。

[sequence-26] 1 2 Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014年12月14日). "ニューラルネットワークによるシーケンス間学習". arXiv : 1409.3215 [ cs.CL ].[初版は2014年9月10日にarXivに投稿されました]

[MyUser_Arxiv.org_May_18_2016c-27] Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "シーケンスモデリングにおけるゲート付きリカレントニューラルネットワークの経験的評価". arXiv : 1412.3555 [ cs.NE ].

[gruber_jockisch-28] Gruber, Nicole; Jockisch, Alfred (2020年6月30日). "テキストの動機分類において、GRUセルはより特異性が高く、LSTMセルはより感度が高いのか？" . Frontiers in Artificial Intelligence . 3 40. doi : 10.3389/frai.2020.00040 . PMC 7861254 . PMID 33733157 .

[29] Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V (2014). "Sequence to Sequence Learning with Neural Networks" . Advances in Neural Information Processing Systems . 27 . Curran Associates, Inc. arXiv : 1409.3215 . 2025-01-27 のオリジナルからアーカイブ済み . 2024-07-23に取得.

[30] Luong, Minh-Thang; Pham, Hieu; Manning, Christopher D. (2015). "Effective Approaches to Attention-based Neural Machine Translation". arXiv : 1508.04025 [ cs.CL ].

[Y4moj-31] Wu, Yonghui; et al. (2016-09-01). "Googleのニューラル機械翻訳システム：人間と機械翻訳のギャップを埋める". arXiv : 1609.08144 [ cs.CL ].

[UJDu8-32] ルイス＝クラウス、ギデオン (2016-12-14)。「偉大なるAIの目覚め」。ニューヨーク・タイムズ。 2023年5月24日のオリジナルからアーカイブ。 2023年6月22日閲覧。

[33] Parikh, Ankur P.; Täckström, Oscar; Das, Dipanjan; Uszkoreit, Jakob (2016-09-25). "自然言語推論のための分解可能なアテンションモデル". arXiv : 1606.01933 [ cs.CL ].

[:11-34] 1 2 Levy, Steven. "Google社員8人が現代のAIを発明した。その内幕はこちら" . Wired . 2024年3月20日のオリジナルからアーカイブ済み。2024年8月6日閲覧。

[35] Cheng, Jianpeng; Dong, Li; Lapata, Mirella (2016年11月) 「機械読解のための長短期記憶ネットワーク」。Su, Jian; Duh, Kevin; Carreras, Xavier (編)『2016年自然言語処理における経験的手法に関する会議議事録』。テキサス州オースティン：計算言語学会。pp. 551–561。doi : 10.18653 /v1 / D16-1053。2024年8月27日にオリジナルからアーカイブ。2024年8月27日に取得。

[36] Peng, Bo; Alcaide, Eric; Anthony, Quentin; Albalak, Alon; Arcadinho, Samuel; Biderman, Stella; Cao, Huanqi; Cheng, Xin; Chung, Michael (2023-12-10). "RWKV: トランスフォーマー時代のためのRNNの再発明". arXiv : 2305.13048 [ cs.CL ].

[37] Marche, Stephen (2024-08-23). 「言語AIは偶然に作られたのか？」 . The New Yorker . 2024-08-27閲覧。

[38] Vaswani, Ashish; Bengio, Samy; Brevdo, Eugene; Chollet, Francois; Gomez, Aidan; Gouws, Stephan; Jones, Llion; Kaiser, Łukasz; Kalchbrenner, Nal; Parmar, Niki; Sepassi, Ryan; Shazeer, Noam; Uszkoreit, Jakob (2018 年 3 月). Cherry, Colin; Neubig, Graham (編). "Tensor2Tensor for Neural Machine Translation" . Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track) . Boston, MA: Association for Machine Translation in the Americas: 193– 199. 2026 年 4 月 29 日にオリジナルからアーカイブ済み。2026年 3 月 31 日に取得。

[39] Kaiser, Łukasz (2017-06-19). "Tensor2Tensorライブラリによる深層学習研究の加速" . Google Research Blog . 2026-04-15のオリジナルからアーカイブ済み. 2026-03-31に取得.

[:03-40] 1 2 3 4 5 Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (2018 年 10 月 11 日). "BERT: 言語理解のための深層双方向トランスフォーマーの事前学習". arXiv : 1810.04805v2 [ cs.CL ].

[41] 「Google: BERTがほぼすべての英語の検索クエリで使われるようになった」。Search Engine Land。2020年10月15日。2022年5月6日のオリジナルからアーカイブ。 2020年11月24日閲覧。

[gtrans-42] 1 2 Caswell, Isaac; Liang, Bowen (2020年6月8日)。「Google翻訳の最近の進歩」。Googleリサーチ。2024年7月4日のオリジナルからアーカイブ。 2024年8月7日取得。

[43] 「ChatGPT がどのように構築されたか、開発者自身が語る内幕」 . MIT Technology Review . 2023年3月3日時点のオリジナルよりアーカイブ済み. 2024年8月6日閲覧.

[44] 「ChatGPT の紹介」 . OpenAI . 2022-11-30. 2026-04-05 のオリジナルからアーカイブ済み。2026-05-16 に取得。

[gpt12-45] 「教師なし学習による言語理解の向上」 . openai.com . 2018年6月11日。2023年3月18日にオリジナルからアーカイブ済み。2023年3月18日に取得。

[ngEG3-46] "finetune-transformer-lm" . OpenAI. 2018年6月11日。2023年5月19日のオリジナルからアーカイブ済み。2023年5月1日に取得。

[47] Kaiser, Lukasz; Gomez, Aidan N.; Shazeer, Noam; Vaswani, Ashish; Parmar, Niki; Jones, Llion; Uszkoreit, Jakob (2017-06-16). "One Model To Learn Them All". arXiv : 1706.05137v1 [ cs.LG ].

[auto2-48] 1 2ドソヴィツキー、アレクセイ;バイエル、ルーカス。コレスニコフ、アレクサンダー。ヴァイセンボルン、ディルク。ザイ、シャオファ。ウンターティナー、トーマス。デガニ、モスタファ。ミンデラー、マティアス。ハイゴールド、ゲオルク。ジェリー、シルヴァン。ウシュコレイト、ヤコブ（2021-06-03）。「画像は 16x16 ワードの価値があります: 大規模な画像認識のためのトランスフォーマー」。arXiv : 2010.11929 [ cs.CV ]。

[Gulati2020-49] 1 2アンモール、グラティ。秦、ジェームズ。チウ、チュンチェン。パルマー、ニキ。張、裕。ユウ、ジアフイ。ハン、ウェイ。王、紫博。張正東。ウー、ヨンフイ。龐明、龐明（2020）。「Conformer: 音声認識用の畳み込み拡張トランスフォーマー」。arXiv : 2005.08100 [ eess.AS ]。

[choromanski2020-50] チョロマンスキー、クシシュトフ。リホシェルストフ、ヴァレリー。ドーハン、デイビッド。ソン、シンユウ。ゲーン、アンドレア。サルロス、タマス;ホーキンス、ピーター。デイビス、ジャレッド。モヒウディン、アフロズ（2022-11-19）。「出演者に対するアテンションを再考する」。arXiv : 2009.14794 [ cs.LG ]。

[51] Liu, Zhuang; Mao, Hanzi; Wu, Chao-Yuan; Feichtenhofer, Christoph; Darrell, Trevor; Xie, Saining (2022). 2020年代のための畳み込みニューラルネットワーク. コンピュータビジョンとパターン認識に関する会議 ( CVPR ). pp. 11976–11986 .

[:62-52] Esser, Patrick; Kulal, Sumith; Blattmann, Andreas; Entezari, Rahim; Müller, Jonas; Saini, Harry; Levi, Yam; Lorenz, Dominik; Sauer, Axel (2024-03-05). "高解像度画像合成のための整流フロー変換器のスケーリング". arXiv : 2403.03206 [ cs.CV ].

[auto1-53] 1 2シオン、ルイビン。ヤン、ユンチャン。彼、ディ。鄭、凱。鄭、淑新。シン、チェン。張恵帥。ラン、ヤンヤン。王、李偉。劉鉄燕（2020-06-29）。「トランスフォーマーアーキテクチャにおけるオンレイヤー正規化」。arXiv : 2002.04745 [ cs.LG ]。

[Raffel_Shazeer_2020_Exploring_the_Limits-54] 1 2 3 4 Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" . Journal of Machine Learning Research . 21 (140): 1–67 . 2026-04-10のオリジナルからアーカイブ。2026-04-18 に取得。

[55] Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei; Liu, Peter J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer". arXiv : 1910.10683 [ cs.LG ].

[:5-56] 1 2 「マスクされた言語モデリング」 . huggingface.co . 2023-10-10 のオリジナルからアーカイブ済み. 2023-10-05に取得.

[:8-57] 1 2 「因果言語モデリング」 . huggingface.co . 2023年10月10日にオリジナルからアーカイブ済み. 2023年10月5日に取得.

[:4-58] 1 2 3 4 Tay, Yi; Dehghani, Mostafa; Tran, Vinh Q.; Garcia, Xavier; Wei, Jason; Wang, Xuezhi; Chung, Hyung Won; Shakeri, Siamak; Bahri, Dara (2023-02-28). "UL2: 統一的な言語学習パラダイム". arXiv : 2205.05131 [ cs.CL ].

[59] Press, Ofir; Wolf, Lior (2017-02-21). "出力埋め込みを使用して言語モデルを改善する". arXiv : 1608.05859 [ cs.CL ].

[60] Lintz, Nathan (2016-04-18). "ニューラルネットワークによるシーケンスモデリング（パート2）：アテンションモデル" . Indico . 2020-10-21 のオリジナルからアーカイブ済み. 2019-10-15に取得.

[:1-61] 1 2 3 Alammar, Jay. "The Illustrated transformer" . jalammar.github.io . 2020-10-18 のオリジナルからアーカイブ済み. 2019-10-15に取得.

[62] チーム、Keras。「Keras ドキュメント: GPT2Backbone モデル」。keras.io。2024年 8月8 日のオリジナルからアーカイブ済み。2024年 8 月 8 日取得。

[63] Clark, Kevin; Khandelwal, Urvashi; Levy, Omer; Manning, Christopher D. (2019年8月) 「BERTは何を見ているのか？BERTのアテンションの分析」 . Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP . フィレンツェ、イタリア：Association for Computational Linguistics：276–286 . arXiv : 1906.04341 . doi : 10.18653/v1/W19-4828 . 2020年10月21日のオリジナルからアーカイブ済み。 2020年5月20日取得。

[64] Yang, Zhilin; Dai, Zihang; Yang, Yiming; Carbonell, Jaime; Salakhutdinov, Russ R; Le, Quoc V (2019). "XLNet: Generalized Autoregressive Pretraining for Language Understanding" . Advances in Neural Information Processing Systems . 32 . Curran Associates, Inc. arXiv : 1906.08237 . 2024-08-09 のオリジナルからアーカイブ済み. 2024-08-09に取得.

[65] 王、強。李、北。シャオ、トン。朱、ジンポー。リー・チャンリャン。ウォン、デレク F.チャオ、リディア S. (2019-06-04)。「機械翻訳のためのディープトランスフォーマーモデルの学習」。arXiv : 1906.01787 [ cs.CL ]。

[66] Phuong, Mary; Hutter, Marcus (2022-07-19). "Formal Algorithms for Transformers". arXiv : 2207.09238 [ cs.LG ].

[:14-67] 1 2 Shazeer, Noam (2020-02-01). "GLU バリアントが Transformer を改善". arXiv : 2002.05202 [ cs.LG ].

[68] Hendrycks, Dan; Gimpel, Kevin (2016-06-27). "ガウス誤差線形ユニット (GELU)". arXiv : 1606.08415v5 [ cs.LG ].

[69] Zhang, Biao; Sennrich, Rico (2019). "Root Mean Square Layer Normalization" . Advances in Neural Information Processing Systems . 32 . Curran Associates, Inc. arXiv : 1910.07467 . 2024-09-17 のオリジナルからアーカイブ済み. 2024-08-09に取得.

[:9-70] 1 2 Nguyen, Toan Q.; Salazar, Julian (2019-11-02). Niehues, Jan; Cattoni, Rolando; Stüker, Sebastian; Negri, Matteo; Turchi, Marco; Ha, Thanh-Le; Salesky, Elizabeth; Sanabria, Ramon; Barrault, Loic (eds.). "Transformers without Tears: Improving the Normalization of Self-Attention" . Proceedings of the 16th International Conference on Spoken Language Translation . Hong Kong: Association for Computational Linguistics. arXiv : 1910.05895 . doi : 10.5281/zenodo.3525484 . Archived from the original on 2024-08-09 . Retrieved 2024-08-09 .

[71] ダフター、フィリップ。シュミット、マーティン。シュッツェ、ハインリッヒ (2022 年 9 月)。「トランスフォーマーの位置情報: 概要」。計算言語学。48 (3): 733–763 . arXiv : 2102.11090。土井: 10.1162/coli_a_00445。

[72] Gehring, Jonas; Auli, Michael; Grangier, David; Yarats, Denis; Dauphin, Yann N. (2017-07-17). "Convolutional Sequence to Sequence Learning" . Proceedings of the 34th International Conference on Machine Learning . PMLR: 1243– 1252. 2024-08-09のオリジナルからアーカイブ済み。2024-08-09 に取得。

[73] Haviv, Adi; Ram, Ori; Press, Ofir; Izsak, Peter; Levy, Omer (2022-12-05). "位置エンコーディングのないTransformer言語モデルでも位置情報を学習する". arXiv : 2203.16634 [ cs.CL ].

[74] 蘇建林。ルー、ユウ。パン、シェンフェン。ムルタダ、アハメッド。ウェン、ボー。劉雲峰（2021-04-01）。「RoFormer: ロータリー位置埋め込みを備えた強化されたトランスフォーマー」。arXiv : 2104.09864 [ cs.CL ]。

[75] Press, Ofir; Smith, Noah A.; Lewis, Mike (2021-08-01). "Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation". arXiv : 2108.12409 [ cs.CL ].

[76] Shaw, Peter; Uszkoreit, Jakob; Vaswani, Ashish (2018). "Self-Attention with Relative Position Representations". arXiv : 1803.02155 [ cs.CL ].

[77] 柯、国林。彼、ディ。劉鉄燕（2021-03-15）。「言語の事前トレーニングにおける位置エンコーディングの再考」。arXiv : 2006.15595 [ cs.CL ]。

[78] Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph; Zhang, Hao; Stoica, Ion (2023-10-23). "Efficient Memory Management for Large Language Model Serving with PagedAttention" . Proceedings of the 29th Symposium on Operating Systems Principles . SOSP '23. New York, NY, USA: Association for Computing Machinery. pp. 611–626 . arXiv : 2309.06180 . doi : 10.1145/3600006.3613165 . ISBN 979-8-4007-0229-7。

[79] "vllm-project/vllm" . vLLM. 2024-06-20. 2024-06-18 のオリジナルからアーカイブ済み。2024-06-20 に取得。

[80] Zhuohan Li、Woosuk Kwon、Zhuang、Siyuan、Sheng、Ying、Zheng、Lianmin、Yu、Cody、Gonzalez、Joey、Zhang、Hao、Stoica、Ion (2023-06-20)。「vLLM: PagedAttention を使用した簡単、高速、安価な LLM サービング」。vLLMブログ。2024-06-20のオリジナルからアーカイブ。2024-06-20に取得。

[81] 胡、クンチェン。黄、賀陽。徐、梁梁。陳徐生。徐、江。チェン、シュアン。フェン、ハオ。王、陳熙。王沙（2024-01-20）。「干渉のない推論: 混合ダウンストリームワークロードの分離 LLM 推論」。arXiv : 2401.11181 [ cs.DC ]。

[82] Dao, Tri; Ermon, Stefano; Fu, Dan; Ré, Christopher; Rudra, Atri (2022). "FlashAttention: IO認識機能を備えた高速かつメモリ効率の良い正確なアテンション". Advances in Neural Information Processing Systems 35. pp. 16344–16359 . doi : 10.52202/068431-1189 . ISBN 978-1-7138-7108-8。

[83] Milakov, Maxim; Gimelshein, Natalia (2018). "ソフトマックスのオンライン正規化計算". arXiv : 1805.02867 [ cs.PF ].

[84] Dao, Tri; Fu, Dan; Ermon, Stefano; Rudra, Atri; Ré, Christopher (2022-12-06). "FlashAttention: IO 認識による高速かつメモリ効率の良い正確なアテンション" . Advances in Neural Information Processing Systems . 35 : 16344– 16359.

[85] "Stanford CRFM" . crfm.stanford.edu . 2023年7月18日にオリジナルからアーカイブ済み. 2023年7月18日に取得.

[86] "FlashAttention-2: より高速なアテンションと優れた並列処理および作業分割" . Princeton NLP . 2023-06-17. 2023-07-18 のオリジナルからアーカイブ済み。2023-07-18に取得。

[87] 「Together AIのチーフサイエンティスト、Tri Dao氏がFlashAttention-2をリリースし、モデルのトレーニングと推論を高速化」 . TOGETHER . 2023年7月17日にオリジナルからアーカイブ済み. 2023年7月18日に取得.

[88] Ainslie, Joshua; Lee-Thorp, James; de Jong, Michiel; Zemlyanskiy, Yury; Lebrón, Federico; Sanghai, Sumit (2023-12-23). "GQA: マルチヘッドチェックポイントからの一般化マルチクエリトランスフォーマーモデルのトレーニング". arXiv : 2305.13245 [ cs.CL ].

[89] 「Flash Attention 4をリバースエンジニアリングしました」。Modal 。 2025年9月27日にオリジナルからアーカイブされました。2025年9月26日に取得。

[90] Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; Bosma, Maarten; Mishra, Gaurav; Roberts, Adam; Barham, Paul; Chung, Hyung Won; Sutton, Charles; Gehrmann, Sebastian; Schuh, Parker; Shi, Kensen; Tsvyashchenko, Sasha; Maynez, Joshua; Rao, Abhishek (2022-04-01). "PaLM: Scaling Language Modeling with Pathways". arXiv : 2204.02311 [ cs.CL ].

[91] Ainslie, Joshua; Lee-Thorp, James; de Jong, Michiel; Zemlyanskiy, Yury; Lebrón, Federico; Sanghai, Sumit (2023-12-23). "GQA: マルチヘッドチェックポイントからの一般化マルチクエリトランスフォーマーモデルのトレーニング". arXiv : 2305.13245 [ cs.CL ].

[:73-92] 1 2 DeepSeek-AI;劉愛新。フォン、ベイ。王斌、ワン・ビンシュアン。リュウ、ボー。趙、成港。デングル、成旗;ルアン、チョン（2024年6月19日）。「DeepSeek-V2: 強力、経済的、効率的な専門家の混合言語モデル」。arXiv : 2405.04434 [ cs.CL ]。。

[:2-93] 1 2 Leviathan, Yaniv; Kalman, Matan; Matias, Yossi (2023-05-18). "投機的デコードによるトランスフォーマーからの高速推論". arXiv : 2211.17192 [ cs.LG ].

[94] Fu, Yao (2023-12-11). "100倍の高速化を目指して：フルスタックTransformer推論の最適化" . yaofu.notion.site .

[95] Chen, Charlie; Borgeaud, Sebastian; Irving, Geoffrey; Lespiau, Jean-Baptiste; Sifre, Laurent; Jumper, John (2023-02-02). "Accelerating Large Language Model Decoding with Speculative Sampling". arXiv : 2302.01318 [ cs.CL ].

[96] Gloeckle, Fabian; Badr Youbi Idrissi; Rozière, Baptiste; Lopez-Paz, David; Synnaeve, Gabriel (2024). "Better & Faster Large Language Models via Multi-token Prediction". arXiv : 2404.19737 [ cs.CL ].

[97] DeepSeek-AI;他。（2024年）。「DeepSeek-V3テクニカルレポート」。arXiv : 2412.19437 [ cs.CL ]。

[reformer-98] 1 2 Kitaev, Nikita; Kaiser, Łukasz; Levskaya, Anselm (2020). "Reformer: The Efficient Transformer". arXiv : 2001.04451 [ cs.LG ].

[99] Liu, Ze; Lin, Yutong; Cao, Yue; Hu, Han; Wei, Yixuan; Zhang, Zheng; Lin, Stephen; Guo, Baining (2021). "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows". 2021 IEEE/CVF International Conference on Computer Vision (ICCV) . IEEE. pp. 9992– 10002. arXiv : 2103.14030 . doi : 10.1109/ICCV48922.2021.00986 . ISBN 978-1-6654-2812-5。

[100] リステア、ニコライア・カタリン。イヨネスク、ラドゥ・チューダー。カーン、ファハド・シャバズ（2022-09-18）。「SepTr: オーディオスペクトログラム処理用の分離可能なトランス」。スピーチ間。 ISCA: 4103～4107。arXiv : 2203.09581。土井：10.21437/Interspeech.2022-249。

[101] Tay, Yi; Dehghani, Mostafa; Abnar, Samira; Shen, Yikang; Bahri, Dara; Pham, Philip; Rao, Jinfeng; Yang, Liu; Ruder, Sebastian; Metzler, Donald (2020-11-08). "Long Range Arena: A Benchmark for Efficient Transformers". arXiv : 2011.04006 [ cs.LG ].

[102] 「Reformer: 効率的な変革者」。Google AI ブログ。2020 年 1 月 16 日。2020 年 10 月 22 日のオリジナルからアーカイブ。2020年 10 月 22 日取得。

[103] Gomez, Aidan N; Ren, Mengye; Urtasun, Raquel; Grosse, Roger B (2017). "The Reversible Residual Network: Backpropagation Without Storing Activations" . Advances in Neural Information Processing Systems . 30. Curran Associates, Inc. arXiv : 1707.04585 . 2024年8月11日にオリジナルからアーカイブ済み。2024年8月11日に取得。

[104] Child, Rewon; Gray, Scott; Radford, Alec; Sutskever, Ilya (2019-04-23). "Generating Long Sequences with Sparse Transformers". arXiv : 1904.10509 [ cs.LG ].

[105] 「スパースアテンション手法を用いた長尺シーケンス向けトランスフォーマーの構築」。Google AIブログ。2021年3月25日。2021年9月18日のオリジナルからアーカイブ。 2021年5月28日取得。

[106] Zhai, Shuangfei; Talbott, Walter; Srivastava, Nitish; Huang, Chen; Goh, Hanlin; Zhang, Ruixiang; Susskind, Josh (2021-09-21). "An Attention Free Transformer". arXiv : 2105.14103 [ cs.LG ].

[107] ペン、ハオ。パパス、ニコラオス。ヨガタマ、ダニ。シュワルツ、ロイ。スミス、ノア A.コン、リンペン（2021-03-19）。「ランダム機能アテンション」。arXiv : 2103.02143 [ cs.CL ]。

[108] Choromanski, Krzysztof; Likhosherstov, Valerii; Dohan, David; Song, Xingyou; Gane, Andreea; Sarlos, Tamas; Hawkins, Peter; Davis, Jared; Belanger, David; Colwell, Lucy; Weller, Adrian (2020-09-30). "Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers". arXiv : 2006.03555 [ cs.LG ].

[109] Lu, Kevin; Grover, Aditya; Abbeel, Pieter; Mordatch, Igor (2022-06-28). "Frozen Pretrained Transformers as Universal Computation Engines" . Proceedings of the AAAI Conference on Artificial Intelligence . 36 (7): 7628– 7636. doi : 10.1609/aaai.v36i7.20729 . ISSN 2374-3468 . 2024-12-02 のオリジナルからアーカイブ済み. 2024-08-11に取得.

[110] "Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | LMSYS Org" . lmsys.org . 2023年3月30日。2024年8月12日のオリジナルからアーカイブ済み。 2024年8月11日取得。

[111] リュウ、ハオティエン。李春源。呉、青陽。イ・ヨンジェ(2023-12-15)。「ビジュアル指示チューニング」。神経情報処理システムの進歩。 Vol. 36. pp. 34892–34916 .土井: 10.52202/075280-1516。ISBN 978-1-7138-9911-22024年9月26日にオリジナルからアーカイブされました。2024年8月11日に取得。

[Radford_Kim_Xu_Brockman_p.-112] Radford, Alec; Kim, Jong Wook; Xu, Tao; Brockman, Greg; McLeavey, Christine; Sutskever, Ilya (2022). "大規模弱教師ありによる堅牢な音声認識". arXiv : 2212.04356 [ eess.AS ].

[perceiver2021-113] Jaegle, Andrew; Gimeno, Felix; Brock, Andrew; Zisserman, Andrew; Vinyals, Oriol; Carreira, Joao (2021-06-22). "Perceiver: 反復的注意による一般知覚". arXiv : 2103.03206 [ cs.CV ].

[jaegle2021b-114] ジェイグル、アンドリュー。ボルジョー、セバスチャン。アライラック、ジャン＝バティスト。カール・ドーシュ。イヨネスク、カタリン州。ディン、デイビッド。コップラ、スカンダ。ゾラン、ダニエル。ブロック、アンドリュー。シェルハマー、エヴァン。エナフ、オリヴィエ (2021-08-02)。「パーシーバー IO: 構造化された入力と出力のための一般的なアーキテクチャ」。arXiv : 2107.14795 [ cs.LG ]。

[115] "Parti: Pathways Autoregressive Text-to-Image Model" . sites.research.google . 2024-08-10 のオリジナルからアーカイブ済み. 2024-08-09に取得.

[:13-116] 1 2ビジェガス、ルーベン。ババエイザデ、モハマド。キンダーマンズ、ピーター＝ヤン。モラルド、ヘルナン。張、漢。サファール、モハマド・タギ。カストロ、サンティアゴ;クンツェ、ユリウス。エルハン、ドゥミトル（2022-09-29）。「Phenaki: オープンドメインのテキスト記述からの可変長ビデオ生成」。arXiv : 2210.02399 [ cs.CV ]。

[:12-117] 1 2 Chang, Huiwen; Zhang, Han; Barber, Jarred; Maschinot, AJ; Lezama, Jose; Jiang, Lu; Yang, Ming-Hsuan ; Murphy, Kevin; Freeman, William T. (2023-01-02). "Muse: マスク付き生成トランスフォーマーによるテキストから画像への生成". arXiv : 2301.00704 [ cs.CV ].

[118] Ramesh, Aditya; Pavlov, Mikhail; Goh, Gabriel; Gray, Scott; Voss, Chelsea; Radford, Alec; Chen, Mark; Sutskever, Ilya (2021-02-26). "Zero-Shot Text-to-Image Generation". arXiv : 2102.12092 [ cs.CV ].

[119] ユウ、ジアフイ。徐元中。コー・ジンユ。ルオン、タン;バイド、グンジャン。ワン・ジルイ。ヴァスデヴァン、ビジェイ。クー、アレクサンダー。ヤン、インフェイ（2022-06-21）。「コンテンツリッチなテキストから画像への生成のための自己回帰モデルのスケーリング」。arXiv : 2206.10789 [ cs.CV ]。

[120] Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Precision information extraction for rare disease epidemiology at scale" . Journal of Translational Medicine . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634 . PMID 36855134 .

[

[

[

[

[

[

[

[

[

[

[注 1 ]

[ 14 ]

[ 15 ]

[ 16 ]

[注 2 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[

[

[

[ 35 ]

[ 36 ]

[ 37 ]

[

[

[ 41 ]

[ 42 ]

[ 43 ]

[

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 57 ]

[ 58 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ]

[

[ 66 ]

[ 67 ]

[ 69 ]

[ 70 ]

[ 71 ]

[ 72 ]

[ 73 ]

[ 74 ]

[ 75 ]

[ 76 ]

[ 77 ]

[ 78 ]

[ 79 ]

[ 80 ]

[

[

[ 83 ]

[ 84 ]

[ 85 ]

[ 86 ]

[

[ 88 ]

[ 89 ]

[ 92 ]

[ 93 ]

[ 94 ]

[ 95 ]

[ 96 ]

[ 97 ]

[ 98 ]

[ 99 ]

[ 100 ]

[ 101 ]

[ 102 ]

[ 103 ]

[ 104 ]

[ 105 ]

[ 106 ]

[ 107 ]

[ 108 ]

[ 109 ]

[ 110 ]

[ 111 ]

[ 112 ]

[ 113 ]

歴史

前任者