T5（言語モデル）

T5（Text-to-Text Transfer Transformer）は、 2019年に導入されたGoogle AIによって開発され、大規模な言語モデルシリーズです。 ^{[1] [2]}オリジナルのTransformerモデルと同様に、^[3] T5モデルはエンコーダー-デコーダーTransformerであり、エンコーダーが入力テキストを処理し、デコーダーが出力テキストを生成します。

T5 モデルは通常、テキストとコードの大規模なデータセットで事前トレーニングされ、その後、事前トレーニングされたタスクに類似したテキストベースのタスクを実行できます。また、他のタスクを実行するように微調整することもできます。

T5モデルは、チャットボット、機械翻訳システム、テキスト要約ツール、コード生成、ロボット工学など、さまざまなアプリケーションで採用されています。^[4]

オリジナルの T5 モデルは、インターネットから収集したテキストとコードを含むColossal Clean Crawled Corpus (C4)で事前トレーニングされています。この事前トレーニング プロセスにより、モデルは一般的な言語理解と生成能力を学習できます。その後、T5 モデルは特定の下流タスクに合わせて微調整され、さまざまなアプリケーションで優れたパフォーマンスを発揮するように知識を適応させることができます。

<input text>T5 モデルは、すべて->の形式で、多くのタスクについて事前トレーニングされました<output text>。

例をいくつか挙げます。

• 破損したテキストを復元しています: Thank you <X> me to your party <Y> week.-> <X> for inviting <Y> last <Z>、ここで は<Z>「出力の終わり」を意味し、 および <X>は <Y>埋める必要がある空白を示し、元のレポートでは「センチネル」と呼ばれています。
• 翻訳: translate English to German: That is good.-> Das ist gut..
• 文の文法的許容性を判断する（CoLA文）：The course is jumping well.-> not acceptable。

T5 シリーズには、さまざまなサイズと機能を備えた複数のモデルが含まれており、すべてエンコーダー/デコーダー トランスフォーマーであり、エンコーダーが入力テキストを処理し、デコーダーが出力テキストを生成します。

これらのモデルは、多くの場合、モデルの複雑さと潜在的な容量を示すパラメータ数によって区別されます。元の論文^[1]では、次の5つのモデルが報告されています。

^{※エンコーダーとデコーダーは同じ形状です。例えば、T5-small の場合、エンコーダー側に 6 層、デコーダー側に 6 層あります。}

上記の表では、

• ${\displaystyle n_{\text{レイヤー}}}$: エンコーダーのレイヤー数。また、デコーダーのレイヤー数。レイヤー数は常に同じです。
• ${\displaystyle n_{\text{head}}}$: 各アテンション ブロック内のアテンション ヘッドの数。
• ${\displaystyle d_{\text{モデル}}}$: 埋め込みベクトルの次元。
• ${\displaystyle d_{\text{ff}}}$: 各エンコーダー層とデコーダー層内のフィードフォワード ネットワークの次元。
• ${\displaystyle d_{\text{kv}}}$: 自己注意メカニズムで使用されるキーと値のベクトルの次元。

一般的なトランスフォーマーとは異なり、3Bモデルと11Bモデルはを満たさないことに注意してください。^[6]${\displaystyle d_{\text{モデル}}=d_{\text{kv}}n_{\text{ヘッド}}}$

オリジナルのTransformerと比較すると、いくつかの小さな変更が加えられています。加法バイアスのないレイヤー正規化、残差パスの外側へのレイヤー正規化の配置、相対位置埋め込みなどです。^[7]

すべての実験で、語彙サイズが 32,000 の WordPiece トークナイザーを使用しました。トークナイザーは、各モデルの入力と出力の両方で共有されます。トークナイザーは、C4 データセットの英語、ドイツ語、フランス語、ルーマニア語のデータを 10:1:1:1 の比率で混合してトレーニングされました。

その後のいくつかのモデルはT5アーキテクチャを採用し、それらを区別するために非標準化された命名規則が使用されました。このセクションでは、主なものを収集します。Google Brainによってリリースされたバリアントの完全なリストは、T5XのGitHubリポジトリにあります。^[8]

一部のモデルは最初からトレーニングされますが、他のモデルは以前にトレーニングされたモデルから開始してトレーニングされます。特に明記されていない限り、デフォルトでは各モデルは最初からトレーニングされます。

• T5スモール、ベース、ラージ、3B、11B（2019）：オリジナルモデル。^[1]
• T5 1.1スモール、ベース、ラージ、XL、XXL: オリジナルのT5シリーズの改良版。これらはほぼ同等のパラメータを持っています。活性化関数はReLUではなくGEGLU ^[9]です。3Bと11Bは「XL」と「XXL」に変更され、形状も変更されました: ^{[8] [10] [11]}

• LM適応型T5 （2021）： T5シリーズのチェックポイントから始まり、C4からの100Bの追加トークンでさらにトレーニングされた一連のモデル（小型からXXLまで） 。 ^[12]
• Switch Transformer（2021）： T5の混合エキスパート版で、エンコーダーブロックとデコーダーブロックのフィードフォワード層を混合エキスパートフィードフォワード層に置き換えたものである。^{[13] [14]}
• T0 3B、11B（2021）： LM適応型T5のチェックポイントから始まり、さらにタスク指示（ゼロショット）のみに基づいてタスクを実行するように訓練された一連のモデル。 ^[15]シリーズの異なるエントリは、異なる微調整データを使用しています。^[16]
• ByT5（2021）：mC4（多言語C4）データセットでトレーニングされたT5のバイトレベルバージョン。^{[17]トークナイザーなしで、} UTF-8バイトとしてエンコードされたテキストに対して動作します。
• Flan-T5-XL （2022）： T5 XLのチェックポイントから始まり、FLANデータセットで命令調整されたモデル。 ^{[18] [19] [20] [21]}
• T5X (2022):オリジナルのT5コードベースのJAXベースの再実装。モデルではありません。 ^[22]オリジナルのT5コードベースは、 MeshTFを使用してTensorFlowで実装されました。^[2]
• UL2 20B（2022）： T5シリーズと同じアーキテクチャを持つモデルですが、20Bにスケールアップされ、C4で「ノイズ除去の混合」目標でトレーニングされました。^[23]トレーニング実行が誤って1か月間実行されたままになったため、偶然にTPUクラスターでトレーニングされました。^[24]
• Flan-UL2 20B（2022）：FLANデータセットでUL2 20B命令を微調整した。 ^{[23] [20]}
• Pile-T5 （2024）： T5と同じアーキテクチャだが、 Llamaトークナイザーを使用している。The Pileでトレーニングされた。サイズはベース、ラージ、XL、XXLがある。^[25]

T5 モデル自体はエンコーダー/デコーダー モデルであり、命令の追跡に使用できます。エンコーダーは命令をエンコードし、デコーダーは自己回帰的に応答を生成します。

T5エンコーダはBERTと同様にテキストエンコーダとして使用できます。テキストを実数ベクトルのシーケンスにエンコードし、下流のアプリケーションで使用できます。たとえば、Google Imagen ^[26]はT5-XXLをテキストエンコーダとして使用し、エンコードされたテキストベクトルは拡散モデルの条件付けとして使用されます。別の例として、AuraFlow拡散モデル^[27]はPile-T5-XLを使用します。

• 「T5 リリース - Google コレクション」。huggingface.co . 2024-07-31 . 2024-10-16閲覧。