チンチラ（言語モデル）

Chinchillaは、 Google DeepMindの研究チームによって開発され、2022年3月に発表された大規模言語モデル（LLM）のファミリーです。 ^{[ 1 ]}

これは、以前のモデルファミリーである Gopher をさらに発展させたものであるため、「チンチラ」と名付けられました。両方のモデルファミリーは、大規模言語モデルのスケーリング法則を調査するためにトレーニングされました。^{[ 2 ]}

GPT-3 を上回る性能を発揮すると主張している。推論と微調整に必要な計算能力がはるかに少ないため、下流での利用が大幅に簡素化される。以前に使用された言語モデルのトレーニングに基づいて、モデルのサイズを 2 倍にすると、トレーニング トークンの数も 2 倍にする必要があることが判明した。この仮説は、DeepMind による Chinchilla のトレーニングに使用された。コストの点では Gopher と似ているが、Chinchilla は 70B 個のパラメータと 4 倍のデータ (1.4T トークン対 300B) を持つ。^{[ 3 ]}

Chinchillaは、大規模マルチタスク言語理解測定（MMLU）ベンチマークで平均精度67.5%を達成しており、これはGopherのパフォーマンスより7%高い。Chinchillaは2023年1月12日時点ではまだテスト段階であった。^{[ 4 ]}

Chinchillaは、限られた計算リソースで大規模な自己回帰言語モデルを効果的に学習させるパラダイムの開発に貢献しています。Chinchillaチームは、モデルサイズが2倍になるごとに学習トークンの数を2倍にすることを推奨しており、これは、より大きく、より高品質な学習データセットを使用することで、下流タスクでより良い結果が得られることを意味します。^{[ 5 ] [ 6 ]}

これはFlamingoの視覚言語モデルに使用されています。^{[ 7 ]}

ゴーファーファミリーとチンチラファミリーはどちらもトランスフォーマーモデルのファミリーです。

特に、これらは基本的にGPT-2と同じで、サイズと若干の変更点があるだけです。GopherファミリーはLayerNormの代わりにRMSNormを使用し、絶対位置エンコーディングではなく相対位置エンコーディングを使用しています。ChinchillaファミリーはGopherファミリーと同じですが、Adamオプティマイザの代わりにAdamWを使用して学習されています。

Gopherファミリーには、4400万パラメータから2800億パラメータまで、規模の異なる6つのモデルが含まれています。デフォルトでは、最大のモデルが「Gopher」と呼ばれます。Chinchillaファミリーにも同様の命名規則が適用されます。

^{[ 2 ]}の表1には、Gopherファミリー全体が示されている。

^{[ 1 ]}の表4では、700億パラメータのChinchillaとGopher 280Bを比較しています。

• ラムダ