チンチラ（言語モデル）

チンチラは、Google DeepMindの研究チームによって開発され、2022年3月に発表された大規模言語モデル（LLM）ファミリーです。 ^[1]

これは、Gopherという以前のモデルファミリーをさらに発展させたものであるため、「チンチラ」と名付けられました。両方のモデルファミリーは、大規模言語モデルのスケーリング法則を調査するためにトレーニングされました。^[2]

GPT-3 を上回る性能を持つと主張されています。推論と微調整に必要なコンピュータパワーが大幅に少なくなるため、下流での利用が大幅に簡素化されます。以前に使用された言語モデルのトレーニングに基づいて、モデルサイズを2倍にすると、トレーニングトークンの数も2倍になることが判明しました。この仮説は、DeepMind によって Chinchilla のトレーニングに使用されました。コストの点では Gopher と同様ですが、Chinchilla には 700 億のパラメータと 4 倍のデータがあります。^[3]

Chinchillaは、 Measuring Massive Multitask Language Understanding (MMLU)ベンチマークで平均67.5%の精度を誇り、これはGopherのパフォーマンスより7%高い。Chinchillaは2023年1月12日時点ではまだテスト段階だった。^[4]

Chinchillaは、限られた計算リソースで大規模な自己回帰言語モデルを効果的にトレーニングするためのパラダイムの開発に貢献しています。Chinchillaチームは、モデルサイズが2倍になるごとにトレーニングトークンの数を2倍にすることを推奨しています。つまり、より大規模で高品質のトレーニングデータセットを使用すると、下流のタスクでより良い結果が得られるということです。^{[5] [6]}

これはフラミンゴ視覚言語モデルに使用されている。^[7]

Gopher ファミリーと Chinchilla ファミリーはどちらもトランスフォーマー モデルのファミリーです。

特に、サイズが異なり、若干の変更が加えられているものの、本質的にはGPT-2と同じです。Gopher ファミリーは、 LayerNormの代わりにRMSNorm を使用します。つまり、絶対位置エンコーディングではなく相対位置エンコーディングです。Chinchilla ファミリーは Gopher ファミリーと同じですが、 Adam optimizer の代わりに AdamW を使用してトレーニングされます。

Gopher ファミリーには、4,400 万パラメータから 2,800 億パラメータまで、サイズが増加する 6 つのモデルが含まれています。デフォルトでは、最大のモデルが「Gopher」と呼ばれます。Chinchilla ファミリーにも同様の命名規則が適用されます。

^[2]の表1にGopherファミリー全体を示します。

^[1]の表4は700億パラメータのChinchillaとGopher 280Bを比較している。

• ラムダ