ニューラルスケーリング法則

ほとんどの場合、モデルのサイズは単にパラメータの数です。しかし、専門家混合モデルなどのスパースモデルを使用すると、1 つの問題が生じます。^{[ 4 ]}スパースモデルでは、推論中にパラメータのごく一部しか使用されません。これに対し、トランスフォーマーモデルなどの他のほとんどの種類のニューラルネットワークは、推論中に常にすべてのパラメータを使用します。

トレーニングデータセットのサイズは、通常、その中のデータポイントの数で定量化されます。トレーニングデータセットが大きいほど、モデルが学習できる情報源がより豊富で多様になるため、一般的に好ましいとされています。これにより、モデルを新しい未知のデータに適用したときの汎化性能が向上します。^{[ 5 ]}ただし、トレーニングデータセットのサイズを大きくすると、モデルのトレーニングに必要な計算リソースと時間も増加します。

ほとんどの大規模言語モデルで使用される「事前学習、その後ファインチューニング」方式では、事前学習データセットとファインチューニングデータセットの2種類のトレーニングデータセットがあります。これらのサイズはモデルのパフォーマンスに異なる影響を与えます。一般的に、ファインチューニングデータセットのサイズは事前学習データセットのサイズの1%未満です。^{[ 6 ]}

場合によっては、微調整には少量の高品質データで十分であり、データ量を増やしても必ずしもパフォーマンスが向上するとは限らない。^{[ 6 ]}

多くのスケーリング法則は、その固有の収穫逓減の性質により、 このトピックに関する論文^{[ 7 ]}で示された劣モジュラ集合関数に基づいてデータを評価する。

トレーニングコストは通常​​、時間（モデルのトレーニングにかかる​​時間）と計算リソース（必要な処理能力とメモリ量）で測定されます。効率的なトレーニングアルゴリズム、最適化されたソフトウェアライブラリ、GPUやTPUなどの専用ハードウェア上での並列計算を用いることで、トレーニングコストを大幅に削減できることに注意が必要です。

ニューラルネットワークモデルのトレーニングコストは、モデルサイズ、トレーニングデータセットサイズ、トレーニングアルゴリズムの複雑さ、利用可能な計算リソースなど、いくつかの要因によって決まります。^{[ 5 ]}特に、トレーニングデータセットのサイズを2倍にしても、トレーニングコストが必ずしも2倍になるわけではありません。同じデータセットでモデルを複数回トレーニングできるからです（それぞれが「エポック」です）。

ニューラルネットワークモデルのパフォーマンスは、入力データが与えられたときに出力を正確に予測する能力に基づいて評価されます。モデルのパフォーマンスを評価するための一般的な指標には、次のものがあります。^{[ 5 ]}

• 言語モデリングにおけるトークンごとの負の対数尤度（パープレキシティの対数）
• 分類タスクにおける精度、適合率、再現率、およびF1スコア。
• 回帰タスクにおける平均二乗誤差（MSE）または平均絶対誤差（MAE）。
• Eloレーティングは、ゲームプレイ^{[ 10 ]}や人間の審査員の好み^{[ 11 ]}など、他のモデルとの競争において評価されます。

パフォーマンスを向上させるには、より多くのデータ、より大規模なモデル、異なる学習アルゴリズムの使用、過学習を防ぐためのモデルの正則化、および検証セットを使用した早期停止が有効です。

パフォーマンスが以下の範囲内の数値である場合${\displaystyle [0,1]}$精度や正確さなど、多くの場合、コストのシグモイド関数としてスケーリングします。これは図に示されています。

2017年の論文^{[ 2 ]}は、実験データに対する統計分析によって適合されたニューラルスケーリング法則の一般的な参照点である。この論文で引用されている2000年以前の先行研究は、理論的なものか、規模が桁違いに小さいものであった。先行研究では一般的にスケーリング指数は次のようにスケーリングすることが見出された。${\displaystyle L\propto D^{-\alpha }}$、 と${\displaystyle \alpha \in \{0.5,1,2\}}$論文によると、${\displaystyle \alpha \in [0.07,0.35]}$。

彼らが変化させた要因のうち、指数を変えることができるのはタスクだけです${\displaystyle \alpha }$アーキテクチャのオプティマイザ、正則化器、損失関数を変更しても、比例係数は変わるだけで、指数は変わりません。たとえば、同じタスクの場合、あるアーキテクチャでは${\displaystyle L=1000D^{-0.3}}$一方、別の人は${\displaystyle L=500D^{-0.3}}$また、特定のアーキテクチャの場合、固定データセットサイズで損失を最小レベルにするために必要なパラメータの数は、次のように増加することもわかった。${\displaystyle N\propto D^{\beta }}$別の指数については${\displaystyle \beta }$。

彼らはLSTMを用いた機械翻訳を研究した（${\displaystyle \alpha \sim 0.13}$）、LSTM を用いた生成言語モデリング (${\displaystyle \alpha \in [0.06,0.09],\beta \approx 0.7}$) ResNet による ImageNet 分類 (${\displaystyle \alpha \in [0.3,0.5],\beta \approx 0.6}$）、および 2 つのハイブリッド (LSTM に CNN またはアテンションデコーダーのいずれかを補完) アーキテクチャを使用した音声認識 (${\displaystyle \alpha \approx 0.3}$)

2020年の分析^{[ 12 ]}では、統計的関係が研究されました。${\displaystyle C,N,D,L}$広範囲の値にわたって、同様のスケーリング法則が見つかりました。${\displaystyle N\in [10^{3},10^{9}]}$、${\displaystyle C\in [10^{12},10^{21}]}$、そして複数のモダリティ（テキスト、ビデオ、画像、テキストから画像など）にわたって。^{[ 12 ]}

特に、発見されたスケーリング法則は以下のとおりである（^{[ 12 ]}の表1 ）。

• 各モダリティについて、2つのうちの1つを固定した。${\displaystyle C,N}$、そしてもう一方のものを変化させる（${\displaystyle D}$使用方法によって変化する${\displaystyle D=C/6N}$）達成可能なテスト損失は$${\displaystyle L=L_{0}+\left({\frac {x_{0}}{x}}\right)^{\alpha }}$$どこ${\displaystyle x}$は変化する変数であり、${\displaystyle L_{0},x_{0},\alpha }$は統計的フィッティングによって求められるパラメータです。${\displaystyle \alpha }$最も重要なのはこれです。
  • いつ${\displaystyle N}$は変化する変数であり、${\displaystyle \alpha }$範囲は${\displaystyle 0.037}$に${\displaystyle 0.24}$モデルのモダリティによって異なります。これは、${\displaystyle \alpha =0.34}$チンチラの鱗の測定に関する論文より。
  • いつ${\displaystyle C}$は変化する変数であり、${\displaystyle \alpha }$範囲は${\displaystyle 0.048}$に${\displaystyle 0.19}$モデルのモダリティによって異なります。これは、${\displaystyle \beta =0.28}$チンチラの鱗の測定に関する論文より。
• 計算予算が固定されている場合、最適なモデルパラメータ数は一貫して約$${\displaystyle N_{opt}(C)=\left({\frac {C}{5\times 10^{-12}{\text{petaFLOP-day}}}}\right)^{0.7}=9.0\times 10^{-7}C^{0.7}}$$パラメータ${\displaystyle 9.0\times 10^{-7}}$異なるモダリティによって最大10倍の差が生じる。指数パラメータ${\displaystyle 0.7}$から${\displaystyle 0.64}$に${\displaystyle 0.75}$異なる様式の場合。この指数は、${\displaystyle \approx 0.5}$チンチラの鱗の測定に関する論文より。
• 「強く示唆されている」（ただし統計的に検証されていない）のは、${\displaystyle D_{opt}(C)\propto N_{opt}(C)^{0.4}\propto C^{0.28}}$この指数は、${\displaystyle \approx 0.5}$チンチラの鱗の測定に関する論文より。

スケーリング法則${\displaystyle L=L_{0}+(C_{0}/C)^{0.048}}$GPT-3のトレーニング中に確認された（図3.1 ^{[ 13 ]}）。

ある特定のスケーリング法則（「チンチラ・スケーリング」）によれば、コサイン学習率スケジュールで1エポック自己回帰的に学習された大規模言語モデル（LLM）の場合、次のようになります。 ^{[ 15 ]}$${\displaystyle {\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$変数は

• ${\displaystyle C}$は、浮動小数点演算（FLOPs）で測定される、モデルのトレーニングにかかる​​コストです。
• ${\displaystyle D}$は、トレーニングセットに含まれるトークンの数です。
• ${\displaystyle L}$は、テストデータセットで学習済みのLLMによって達成された、 トークンあたりの平均負の対数尤度損失（nats /トークン）です。
  • ${\displaystyle L_{0}}$これは、テストデータにおける理想的な生成プロセスの喪失を表しています。
  • ${\displaystyle {\frac {A}{N^{\alpha }}}}$Transformer言語モデルが${\displaystyle N}$パラメータは理想的な生成プロセスよりも劣る
  • ${\displaystyle {\frac {B}{D^{\beta }}}}$これは、モデルがトレーニングされたという事実を捉えています。${\displaystyle D}$トークンは理想的な生成プロセスよりも劣る

統計パラメータは

• ${\displaystyle C_{0}=6}$つまり、1 つのトークンでトレーニングするには、パラメータごとに 6 FLOPs のコストがかかります。これは Kaplan ら^{[ 16 ]}によって推定されています。トレーニングには順方向パスと逆方向パスの両方が含まれるため、トレーニングのコストは推論のコストよりもはるかに高いことに注意してください。一方、推論では、1 つのトークンで推論するためにパラメータごとに 1 ～ 2 FLOPs のコストがかかります。
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$。

Besiroglu ら^{[ 17 ]}は統計的推定がわずかにずれていると主張し、${\displaystyle \alpha =0.35,\beta =0.37,A=482.01,B=2085.43,L_{0}=1.82}$。

統計法則は実験データに適合され、${\displaystyle N\in [7\times 10^{7},1.6\times 10^{10}],D\in [5\times 10^{9},5\times 10^{11}],C\in [10^{18},10^{24}]}$。

2つの方程式で関連付けられた4つの変数があるため、1つの追加制約と1つの追加最適化目的を課すことで、4つの変数すべてを解くことができます。特に、任意の固定値に対して${\displaystyle C}$4 つの変数すべてを一意に解くことで、${\displaystyle L}$これにより最適な${\displaystyle D_{opt}(C),N_{opt}(C)}$任意の固定値に対して${\displaystyle C}$:$${\displaystyle N_{opt}(C)=G\left({\frac {C}{6}}\right)^{a},\quad D_{opt}(C)=G^{-1}\left({\frac {C}{6}}\right)^{b},\quad {\text{ where }}\quad G=\left({\frac {\alpha A}{\beta B}}\right)^{\frac {1}{\alpha +\beta }},\quad a={\frac {\beta }{\alpha +\beta }}{\text{, and }}b={\frac {\alpha }{\alpha +\beta }}{\text{. }}}$$数値を代入すると、「チンチラ効率」モデルのサイズとトレーニングデータセットのサイズ、および達成可能なテスト損失が得られます。$${\displaystyle {\begin{cases}N_{opt}(C)=0.6\;C^{0.45}\\D_{opt}(C)=0.3\;C^{0.55}\\L_{opt}(C)=1070\;C^{-0.154}+1.7\end{cases}}}$$同様に、任意の固定モデルパラメータサイズに対して最適なトレーニングデータセットサイズとトレーニング計算予算を見つけることもできます。

「チンチラ効率」モデルのサイズとトレーニングデータセットのサイズについては、他にも推定値があります。上記は、統計モデルに基づいています。${\displaystyle L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}}$また、統計法則を直接当てはめることもできます。${\displaystyle D_{opt}(C),N_{opt}(C)}$迂回せずに、以下のことを行うと、次の結果が得られる。$${\displaystyle {\begin{cases}N_{opt}(C)=0.1\;C^{0.5}\\D_{opt}(C)=1.7\;C^{0.5}\end{cases}}}$$または表形式で表すと次のようになります。

2022年の分析^{[ 26 ]}では、人工ニューラルネットワークの多くのスケーリング挙動が、滑らかに折れ曲がったべき乗則関数形式に従うことがわかった。

${\displaystyle y=a+{\bigg (}bx^{-c_{0}}{\bigg )}\prod _{i=1}^{n}\left(1+\left({\frac {x}{d_{i}}}\right)^{1/f_{i}}\right)^{-c_{i}*f_{i}}}$

その中で${\displaystyle x}$スケーリングされる量を指します（つまり${\displaystyle C}$、${\displaystyle N}$、${\displaystyle D}$（トレーニングステップ数、推論ステップ数、またはモデル入力サイズ）${\displaystyle y}$ゼロショット、プロンプト、またはファインチューニング設定における、下流（または上流）の関心のあるパフォーマンス評価指標（予測誤差、交差エントロピー、較正誤差、AUROC、BLEUスコアパーセンテージ、F1スコア、報酬、Eloレーティング、解決率、またはFIDスコアなど）を指します。${\displaystyle a,b,c_{0},c_{1}...c_{n},d_{1}...d_{n},f_{1}...f_{n}}$統計的フィッティングによって求められる。

対数-対数グラフでは、${\displaystyle f_{i}}$大きすぎず、${\displaystyle a}$y軸から差し引くと、この関数形式は弧でつながれた一連の線分のように見えます。${\displaystyle n}$セグメント間の遷移は「ブレーク」と呼ばれ、そのため、壊れたニューラルスケーリング法則（BNSL）という名前が付けられています。

人工ニューラルネットワークのスケーリング動作がこの関数形式に従うことがわかったシナリオには、大規模な視覚、言語、音声、ビデオ、拡散、生成モデリング、マルチモーダル学習、対照学習、AI アライメント、AI 機能、ロボット工学、分布外 (OOD) 汎化、継続的学習、転移学習、不確実性推定/較正、分布外検出、敵対的堅牢性、蒸留、スパース性、検索、量子化、剪定、公平性、分子、コンピュータ プログラミング / コーディング、数学の文章問題、算術、創発能力、二重降下、教師あり学習、教師なし/自己教師あり学習、強化学習(シングル エージェントおよびマルチ エージェント) が含まれます。

人工ニューラルネットワークのスケーリング挙動がこの関数形式に従うことがわかったアーキテクチャには、残差ニューラルネットワーク、トランスフォーマー、MLP、MLPミキサー、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、グラフニューラルネットワーク、Uネット、エンコーダーデコーダー（およびエンコーダーのみ）（およびデコーダーのみ）モデル、アンサンブル（および非アンサンブル）、MoE（エキスパートの混合）（および非MoE）モデル、スパース剪定（および非スパース剪定なし）モデルが含まれます。

トレーニング計算をスケールアップする以外にも、推論計算（または「テスト時計算」^{[ 3 ]}）をスケールアップすることもできます。たとえば、AlphaGoのElo レーティングは、1 回のプレイでモンテ カルロ ツリー検索に費やす時間を増やすと着実に向上します。^{[ 27 ] :図 4} AlphaGo Zeroの場合、Elo を 120 上げるには、モデル サイズとトレーニングを 2 倍にするか、テスト時検索を 2 倍にする必要があります。^{[ 28 ]}同様に、競技レベルのコーディング チャレンジを解決するための言語モデルである AlphaCode は、検索時間を増やすと一貫してパフォーマンスが向上しました (対数線形)。^{[ 29 ]}

Hexの場合、トレーニング時の計算量が 10 倍になる代わりに、テスト時の計算量が 15 倍になります。^{[ 10 ]}ヘッズアップノーリミットテキサス ホールデムのLibratus、ディプロマシーのCicero 、その他多くの部分情報抽象ゲームでは、推論時の検索により、トレーニング時の計算量が最大 100,000 倍に実効的に増加するという同様のトレードオフ比率でパフォーマンスが向上します。^{[ 28 ]}

2024年のOpenAI o1レポートでは、o1のパフォーマンスはトレーニング時の計算とテスト時の計算の両方の増加に伴って一貫して向上することが文書化され、数学、科学的推論、コーディングタスクにおけるテスト時の計算スケーリングの多数の例が示されました。^{[ 30 ] [ 31 ]}

テスト時の計算をスケールアップする1つの方法は、プロセスベースの監視です。これは、モデルが質問に答えるための段階的な推論チェーンを生成し、別のモデル（人間またはAI）が最終的な答えだけでなく、いくつかの中間ステップに対して報酬スコアを提供するものです。プロセスベースの監視は、別のモデルを使用せずに合成報酬スコアを使用することで任意にスケールアップできます。たとえば、モンテカルロロールアウトを実行し、推論の各ステップが正しい答えにつながる可能性に応じてスコアを付けます。もう1つの方法は、修正モデルを使用することです。これは、問題を複数回解決するようにトレーニングされたモデルで、毎回前回の試みを修正します。^{[ 32 ]}