神経スケーリング則

機械学習において、ニューラルスケーリング法則は、主要な要因が拡大または縮小されたときにニューラルネットワークのパフォーマンスがどのように変化するかを記述する経験的なスケーリング法則です。これらの要因には通常、パラメータの数、トレーニングデータセットのサイズ、^{[1] [2]}、トレーニングコストが含まれます。

一般に、ディープラーニングモデルは、モデル サイズ、トレーニング データセット サイズ、トレーニング コスト、トレーニング後のエラー率 (テスト セット エラー率など) という 4 つのパラメーターで特徴付けられます。これらの変数はそれぞれ実数として定義でき、通常は(それぞれ、パラメーター数、データセット サイズ、計算コスト、損失) と記述されます。 ${\displaystyle N,D,C,L}$

ニューラル スケーリング法則は、これらのパラメーター間の理論的または経験的な統計法則です。他のスケーリング法則を持つパラメーターも存在します。

ほとんどの場合、モデルのサイズは単純にパラメータの数です。しかし、専門家混合モデルなどのスパースモデルを使用すると、1つの複雑な問題が発生します。^{[3]スパースモデルでは、推論中にパラメータの一部のみが使用されます。比較すると、}トランスフォーマーモデルなどの他のほとんどの種類のニューラルネットワークでは、推論中に常にすべてのパラメータが使用されます。

トレーニングデータセットのサイズは、通常、その中のデータポイントの数によって定量化されます。通常、トレーニングデータセットが大きいほど、モデルが学習できる情報源がより豊富で多様になるため、好まれます。これにより、モデルを新しい未知のデータに適用したときに、一般化のパフォーマンスが向上します。^[4]ただし、トレーニングデータセットのサイズが大きくなると、モデルのトレーニングに必要な計算リソースと時間も増加します。

ほとんどの大規模言語モデルで使用されている「事前学習後に微調整」方式では、事前学習データセットと微調整データセットの2種類の学習データセットがあります。これらのサイズはモデルのパフォーマンスに異なる影響を及ぼします。一般的に、微調整データセットは事前学習データセットの1%未満の大きさです。^[5]

場合によっては、少量の高品質データで微調整に十分であり、より多くのデータが必ずしもパフォーマンスを向上させるとは限りません。^[5]

トレーニング コストは通常​​、時間 (モデルのトレーニングにかかる​​時間) と計算リソース (必要な処理能力とメモリの量) の観点から測定されます。効率的なトレーニング アルゴリズム、最適化されたソフトウェア ライブラリ、GPUやTPUなどの専用ハードウェアでの並列コンピューティングによって、トレーニング コストを大幅に削減できることに注意することが重要です。

ニューラルネットワークモデルのトレーニングコストは、モデルサイズ、トレーニングデータセットのサイズ、トレーニングアルゴリズムの複雑さ、利用可能な計算リソースなど、いくつかの要因によって決まります。^[4]特に、トレーニングデータセットのサイズを2倍にしても、必ずしもトレーニングコストが2倍になるわけではありません。これは、同じデータセットに対してモデルを複数回トレーニングする可能性があるためです（それぞれが「エポック」です）。

ニューラルネットワークモデルのパフォーマンスは、入力データから出力を正確に予測する能力に基づいて評価されます。モデルのパフォーマンスを評価するための一般的な指標には次のものがあります。^[4]

• 分類タスクの精度、適合率、再現率、F1スコア
• 回帰タスクの平均二乗誤差(MSE) または平均絶対誤差(MAE)
• 言語モデル化のためのトークンあたりの負の対数尤度（困惑度の対数）
• ゲームプレイ^[7]や人間の審査員による好みなど、他のモデルとの競争におけるEloレーティング。^[8]

より多くのデータ、より大きなモデル、異なるトレーニング アルゴリズムの使用、過剰適合を防ぐためのモデルの正規化、検証セットを使用した早期停止 によって、パフォーマンスを向上させることができます。

2017年の論文^[2]は、実験データの統計分析によって当てはめられた神経スケーリング則の共通の参照点です。論文で引用されているように、2000年代以前の以前の研究は、理論的なものか、規模が桁違いに小さいものでした。以前の研究では、スケーリング指数は一般に のようにスケーリングされ、 と比例することが分かっていましたが、この論文では であることが分かりました。 ${\displaystyle L\propto D^{-\alpha }}$${\displaystyle \alpha \in \{0.5,1,2\}}$${\displaystyle \alpha \in [0.07,0.35]}$

彼らが変化させた要因のうち、タスクのみが指数 を変えることができます。アーキテクチャの最適化装置、正規化装置、損失関数を変更しても、比例係数のみが変わり、指数は変わりません。たとえば、同じタスクに対して、あるアーキテクチャは であるのに対し、別のアーキテクチャは である可能性があります。彼らはまた、特定のアーキテクチャにおいて、データセットのサイズが固定されている場合、損失を最低レベルにするために必要なパラメータの数は、別の指数 に対して のように増えることも発見しました。 ${\displaystyle \alpha}$${\displaystyle L=1000D^{-0.3}}$${\displaystyle L=500D^{-0.3}}$${\displaystyle N\propto D^{\beta }}$${\displaystyle \beta}$

彼らは、LSTMを使用した機械翻訳（）、LSTMを使用した生成言語モデリング（）、ResNetを使用したImageNet分類（）、および2つのハイブリッド（CNNまたはアテンションデコーダーによって補完されたLSTM）アーキテクチャを使用した音声認識（）を研究しました。 ${\displaystyle \alpha \sim 0.13}$${\displaystyle \alpha \in [0.06,0.09],\beta \approx 0.7}$${\displaystyle \alpha \in [0.3,0.5],\beta \approx 0.6}$${\displaystyle \alpha \approx 0.3}$

2020年の分析^[9]では、広い範囲の値の間の統計的関係を研究し、、の範囲、および複数のモダリティ（テキスト、ビデオ、画像、テキストから画像など）にわたって同様のスケーリング則を発見しました。[ ^9]${\displaystyle C,N,D,L}$${\displaystyle N\in [10^{3},10^{9}]}$${\displaystyle C\in [10^{12},10^{21}]}$

特に、発見されたスケーリング則は次の通りである（^[9]の表1 ）。

• 各モダリティについて、2 つの のうち 1 つを固定し、もう 1 つ (は とともに変化します) を変化させると、達成可能なテスト損失は を満たします。ここで は変化する変数であり、 は統計的フィッティングによって求められるパラメータです。 パラメータは最も重要なものです。 ${\displaystyle C,N}$${\displaystyle D}$${\displaystyle D=C/6N}$$${\displaystyle L=L_{0}+\left({\frac {x_{0}}{x}}\right)^{\alpha }}$$${\displaystyle x}$${\displaystyle L_{0},x_{0},\alpha }$${\displaystyle \alpha }$
  • が可変変数である場合、モデル モダリティに応じて から の範囲になります。これは、チンチラのスケーリング ペーパーの に対応します。${\displaystyle N}$${\displaystyle \alpha }$${\displaystyle 0.037}$${\displaystyle 0.24}$${\displaystyle \alpha =0.34}$
  • が可変変数である場合、モデル モダリティに応じて から の範囲になります。これは、チンチラのスケーリング ペーパーの に対応します。${\displaystyle C}$${\displaystyle \alpha }$${\displaystyle 0.048}$${\displaystyle 0.19}$${\displaystyle \beta =0.28}$
• 計算予算が固定されている場合、最適なモデル パラメータ数は常に 付近になります。パラメータは、モダリティによって最大 10 倍変化します。指数パラメータは、モダリティによってからまで変化します。この指数は、Chinchilla スケーリング ペーパーの に対応します。$${\displaystyle N_{opt}(C)=\left({\frac {C}{5\times 10^{-12}{\text{petaFLOP-day}}}}\right)^{0.7}=9.0\times 10^{-7}C^{0.7}}$$${\displaystyle 9.0\times 10^{-7}}$${\displaystyle 0.7}$${\displaystyle 0.64}$${\displaystyle 0.75}$${\displaystyle \approx 0.5}$
• であることが「強く示唆」されています (ただし、統計的に確認されていません) 。この指数は、チンチラのスケーリング論文の に対応します。${\displaystyle D_{opt}(C)\propto N_{opt}(C)^{0.4}\propto C^{0.28}}$${\displaystyle \approx 0.5}$

のスケーリング則はGPT-3の訓練中に確認された（図3.1 ^[10]）。 ${\displaystyle L=L_{0}+(C_{0}/C)^{0.048}}$

特定のスケーリング則（「チンチラスケーリング」）は、コサイン学習率スケジュールで1エポック自己回帰学習された大規模言語モデル（LLM）の場合、次の式が得られると述べている。^[12]ここで、変数は $${\displaystyle {\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$

• ${\displaystyle C}$モデルのトレーニングにかかる​​コスト（FLOPS単位） 。
• ${\displaystyle N}$モデル内のパラメータの数です。
• ${\displaystyle D}$トレーニング セット内のトークンの数です。
• ${\displaystyle L}$は、テストデータセットでトレーニングされた LLM によって達成された トークンあたりの平均負の対数尤度損失 ( nats /トークン ) です。
  • ${\displaystyle L_{0}}$テストデータにおける理想的な生成プロセスの損失を表す
  • ${\displaystyle {\frac {A}{N^{\alpha }}}}$パラメータ付きのTransformer言語モデルが理想的な生成プロセスよりも劣るという事実を捉えている${\displaystyle N}$
  • ${\displaystyle {\frac {B}{D^{\beta }}}}$トークンで訓練されたモデルが理想的な生成プロセスよりもパフォーマンスが低いという事実を捉えている${\displaystyle D}$

そして統計パラメータは

• ${\displaystyle C_{0}=6}$つまり、1つのトークンを訓練するには、パラメータごとに6 FLOPsのコストがかかります。これはKaplanら^{[13]によって推定されています。訓練には順方向パスと}逆方向パスの両方が必要なため、訓練コストは推論コストよりもはるかに高いことに注意してください。一方、推論では、1つのトークンを推論するためにパラメータごとに1～2 FLOPsのコストがかかります。
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$。

Besirogluら^[14]は、統計的推定値はわずかにずれていると主張しているが、そうあるべきだ。 ${\displaystyle \alpha =0.35,\beta =0.37,A=482.01,B=2085.43,L_{0}=1.82}$

統計法則は、実験データに適合されました。 ${\displaystyle N\in [7\times 10^{7},1.6\times 10^{10}],D\in [5\times 10^{9},5\times 10^{11}],C\in [10^{18},10^{24}]}$

2 つの方程式で関連付けられた 4 つの変数があるため、制約を 1 つ追加し、最適化目標を1 つ追加することで、 4 つの変数すべてを解くことができます。特に、任意の固定 に対して、 を最小化する 4 つの変数すべてを一意に解くことができます。これにより、任意の固定 に対する最適値が提供されます。数値を代入すると、「Chinchilla 効率」のモデル サイズとトレーニング データセット サイズ、および達成可能なテスト損失が得られます。同様に、任意の固定モデル パラメータ サイズに対する最適なトレーニング データセット サイズとトレーニング計算予算などが見つかる場合があります。 ${\displaystyle C}$${\displaystyle L}$${\displaystyle D_{opt}(C),N_{opt}(C)}$${\displaystyle C}$$${\displaystyle N_{opt}(C)=G\left({\frac {C}{6}}\right)^{a},\quad D_{opt}(C)=G^{-1}\left({\frac {C}{6}}\right)^{b},\quad {\text{ where }}\quad G=\left({\frac {\alpha A}{\beta B}}\right)^{\frac {1}{\alpha +\beta }},\quad a={\frac {\beta }{\alpha +\beta }}{\text{, and }}b={\frac {\alpha }{\alpha +\beta }}{\text{. }}}$$$${\displaystyle {\begin{cases}N_{opt}(C)=0.6\;C^{0.45}\\D_{opt}(C)=0.3\;C^{0.55}\\L_{opt}(C)=1070\;C^{-0.154}+1.7\end{cases}}}$$

「チンチラ効率」モデルのサイズとトレーニングデータセットのサイズについては、他にも推定値があります。上記は、 の統計モデルに基づいています。迂回せずにの統計法則を直接当てはめることもできます。その場合、次の式が得られます。または、表に示されたとおりです。 ${\displaystyle L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}}$${\displaystyle D_{opt}(C),N_{opt}(C)}$$${\displaystyle {\begin{cases}N_{opt}(C)=0.1\;C^{0.5}\\D_{opt}(C)=1.7\;C^{0.5}\end{cases}}}$$

トランスフォーマー言語モデルのトレーニングにおけるチンチラスケーリング則の分析は、与えられたトレーニング計算予算( )に対して、その予算に対する事前トレーニング損失を最小限に抑えるためには、モデルパラメータの数( )とトレーニングトークンの数( )を等しい割合でスケーリングする必要があることを示唆している。この結論は、 をよりも急速に増加させる必要があることを発見したKaplanら^{[13]による分析とは異なる。}${\displaystyle C}$${\displaystyle N}$${\displaystyle D}$${\displaystyle N_{opt}(C)\propto C^{0.5},D_{opt}(C)\propto C^{0.5}}$${\displaystyle N}$${\displaystyle D}$${\displaystyle N_{opt}(C)\propto C^{0.73},D_{opt}(C)\propto C^{0.27}}$

この食い違いは、主にモデルサイズの測定方法が異なる研究に起因しています。Kaplanらは非埋め込みパラメータのみをカウントしましたが、これはより小さなモデルサイズで分析すると偏った係数につながります。^[15] ハイパーパラメータの調整と学習率スケジュールの違いによっても二次的な影響が生じます。^[16]

Chinchilla スケーリングは多くの大規模トレーニング実行の基準点となっているため、「Chinchilla スケーリングを超える」という同時進行の取り組みがありました。これは、より少ない労力で同じ損失を得るためにトレーニング パイプラインの一部を変更したり、「Chinchilla 最適」よりも意図的に長くトレーニングしたりすることを意味します。

通常、目標はスケーリング則の指数を大きくすることであり、これは同じ損失をより少ない計算量で訓練できることを意味します。たとえば、データをフィルタリングすると、スケーリング則の指数が大きくなります。^[17]

もう一つの研究では、限られたデータをどのように扱うかを研究しています。チンチラスケーリングの法則によれば、最大の言語モデルのトレーニングデータセットのサイズは、すでにインターネットで利用可能なサイズに近づいています。^{[18] は、}データセットから構築された「ノイズ除去目標」を組み合わせてデータセットを拡張すると、パフォーマンスが向上することを発見しました。^{[19] は}、利用可能なデータがすべて使い果たされている場合（まれな言語など）の最適なスケーリングを研究しており、同じデータセットで複数のエポックをトレーニングする必要があります（チンチラスケーリングでは1つのエポックのみが必要です）。Phiシリーズの小さな言語モデルは、大規模な言語モデルによって生成された教科書のようなデータでトレーニングされました。このデータでは、利用可能な計算量によってのみデータが制限されます。^[20]

チンチラ最適性は「トレーニング計算に最適」と定義されていましたが、実際の製品品質のモデルでは、トレーニングが完了した後に多くの推論が行われます。トレーニング中の「オーバートレーニング」は、推論中のパフォーマンスが向上することを意味します。^[21] LLaMAモデルは、この理由でオーバートレーニングされました。その後の研究では、チンチラ最適よりも最大32倍大きいデータセットサイズまで、オーバートレーニング体制におけるスケーリング法則が発見されました。^[22]

2022年の分析^[23]では、人工ニューラルネットワークの多くのスケーリング動作が、滑らかに破れたべき乗則関数形式に従うことがわかった。

${\displaystyle y=a+{\bigg (}bx^{-c_{0}}{\bigg )}\prod _{i=1}^{n}\left(1+\left({\frac {x}{d_{i}}}\right)^{1/f_{i}}\right)^{-c_{i}*f_{i}}}$

ここで、はスケーリングされる量（つまり、、、トレーニングステップ数、推論ステップ数、またはモデル入力サイズ）を指し、 はゼロショット、プロンプト、または微調整された設定での下流（または上流）の対象となるパフォーマンス評価メトリック（たとえば、予測誤差、クロスエントロピー、キャリブレーション誤差、AUROC、BLEU スコアパーセンテージ、F1 スコア、報酬、Eloレーティング、解決率、またはFIDスコア）を指します。パラメータは統計的フィッティングによって見つけられます。 ${\displaystyle x}$${\displaystyle C}$${\displaystyle N}$${\displaystyle D}$${\displaystyle y}$${\displaystyle a,b,c_{0},c_{1}...c_{n},d_{1}...d_{n},f_{1}...f_{n}}$

両対数プロットでは、が大きすぎず、 がy 軸から減算されている場合、この機能形式は、円弧で接続された一連の線形セグメントのように見えます。セグメント間の遷移は「ブレーク」と呼ばれ、そのため、ブロークン ニューラル スケーリング則 (BNSL) という名前が付けられています。 ${\displaystyle f_{i}}$${\displaystyle a}$${\displaystyle n}$

人工ニューラル ネットワークのスケーリング動作がこの機能形式に従うことが判明したシナリオには、大規模ビジョン、言語、オーディオ、ビデオ、拡散、生成モデリング、マルチモーダル学習、対照学習、AI アライメント、 AI 機能、ロボット工学、分布外 (OOD) の一般化、継続的学習、転移学習、不確実性の推定/較正、分布外検出、敵対的堅牢性、蒸留、スパース性、検索、量子化、剪定、公平性、分子、コンピューター プログラミング / コーディング、数学の文章題、算術、創発能力、二重降下法、教師あり学習、教師なし/自己教師あり学習、強化学習(シングル エージェントおよびマルチ エージェント) などがあります。

人工ニューラル ネットワークのスケーリング動作がこの機能形式に従うことが判明したアーキテクチャには、残差ニューラル ネットワーク、トランスフォーマー、MLP、MLP ミキサー、再帰型ニューラル ネットワーク、畳み込みニューラル ネットワーク、グラフ ニューラル ネットワーク、U ネット、エンコーダー/デコーダー(およびエンコーダーのみ) (およびデコーダーのみ) モデル、アンサンブル(および非アンサンブル)、MoE (専門家の混合) (および非 MoE) モデル、およびスパース プルーニング(および非スパース プルーニングなし) モデルが含まれます。

トレーニング計算のスケールアップ以外に、推論計算のスケールアップも可能です。例えば、AlphaGoのEloレーティングは、プレイごとにモンテカルロ木探索に費やす時間が長くなるにつれて着実に向上しています。^{[24] ：図4} AlphaGo Zeroの場合、Eloを120増やすには、モデルサイズとトレーニングを2倍にするか、テスト時間の検索を2倍にする必要があります。^[25]同様に、競技レベルのコーディング課題を解決するための言語モデルであるAlphaCodeは、検索時間が長くなるにつれて一貫してパフォーマンスが向上しました。^[26]

Hexの場合、10倍のトレーニング時間の計算は15倍のテスト時間の計算と引き換えになります。^[27]ヘッズアップノーリミットテキサスホールデムのLibratus、DiplomacyのCicero 、その他多くの部分情報抽象ゲームでは、推論時間検索により同様のトレードオフ比でパフォーマンスが向上し、トレーニング時間の計算が最大100,000倍効果的に増加します。^[25]

2024年のOpenAI o1レポートでは、o1のパフォーマンスはトレーニング時の計算とテスト時の計算の両方の増加によって一貫して向上し、数学、科学的推論、コーディングタスクにおけるテスト時の計算のスケーリングの例が多数示されました。^{[28] [29]}

ビジョントランスフォーマーは、言語トランスフォーマーと同様に、スケーリング則を示します。2022年の研究では、パラメータ数 のビジョントランスフォーマーを、サイズ の画像セットでトレーニングし、計算を行いました（TPUv3コア日単位）。^[30]${\displaystyle N\in [5\times 10^{6},2\times 10^{9}]}$${\displaystyle D\in [3\times 10^{7},3\times 10^{9}]}$${\displaystyle C\in [0.2,10^{4}]}$

モデルをトレーニングした後、ImageNetトレーニング セットで微調整します。ImageNetテスト セットを分類する微調整されたモデルのエラー確率を とします。彼らは を発見しました。 ${\displaystyle L}$${\displaystyle \min _{N,D}L=0.09+{\frac {0.26}{(C+0.01)^{0.35}}}}$

Ghorbani、Behroozら^{[31]は、同じデータセットで収束するまで訓練されたエンコーダー-デコーダー}Transformerモデルにおけるニューラル機械翻訳（具体的には、英語をソース、ドイツ語をターゲットとする）のスケーリング則を研究した（したがって、計算コストやデータセットのサイズに対するスケーリング則には適合しなかった）。彼らは、3つの結果を発見した。 ${\displaystyle C}$${\displaystyle D}$${\displaystyle N\in [10^{8},3.5\times 10^{9}]}$

• ${\displaystyle L}$は のスケーリング則関数であり、ここではエンコーダとデコーダのパラメータ数です。これは単に合計パラメータ数の関数ではありません。この関数は の形を持ち、ここでは適合パラメータです。 が固定されている場合、損失が最小になることが分かりました。${\displaystyle N_{E},N_{D}}$${\displaystyle N_{E},N_{D}}$${\displaystyle N=N_{E}+N_{D}}$${\displaystyle L\left(N_{e},N_{d}\right)=\alpha \left({\frac {{\bar {N}}_{e}}{N_{e}}}\right)^{p_{e}}\left({\frac {{\bar {N}}_{d}}{N_{d}}}\right)^{p_{d}}+L_{\infty }}$${\displaystyle \alpha ,p_{e},p_{d},L_{\infty },{\bar {N}}_{e},{\bar {N}}_{d}}$${\displaystyle N_{d}/N\approx 0.55}$${\displaystyle N}$
• ${\displaystyle L}$トレーニングデータセットとテストデータセットが「ターゲットナチュラル」よりも「ソースナチュラル」である場合、より小さなモデルに対しては「飽和」（つまり、 に達する）します。「ソースナチュラル」データポイントとは、英語とドイツ語の文章のペアを意味し、モデルは英語の文章をドイツ語に翻訳するように求められます。英語の文章は自然な英語の筆者によって書かれ、ドイツ語の文章は機械翻訳者によって英語の文章から翻訳されます。^[32] 2種類のデータセットを構築するために、著者らは自然な英語とドイツ語の文章をオンラインで収集し、機械翻訳を使用して翻訳を生成しました。${\displaystyle L_{\infty }}$
• モデルが大きくなるにつれて、ソース元のデータセットでトレーニングされたモデルは、損失は低くなりますが、 BLEUスコアは悪くなります。対照的に、ターゲット元のデータセットでトレーニングされたモデルは、損失が低く、BLEUスコアが良好です（図10、11 ^[31]）。

著者らは、ソースナチュラルデータセットには均一で退屈なターゲット文が含まれているため、ターゲット文を予測するようにトレーニングされたモデルはすぐに過剰適合してしまうだろうと仮定しています。

^[33]は、データセットサイズ のサイズで機械翻訳用のTransformerを訓練しました。彼らは、機械翻訳に適用されるKaplan et al (2020) ^[13]のスケーリング則を発見しました。彼らはまた、BLEUスコアが としてスケーリングすることを発見しました。 ${\displaystyle N\in [4\times 10^{5},5.6\times 10^{7}]}$${\displaystyle D\in [6\times 10^{5},6\times 10^{9}]}$${\displaystyle L(N,D)=\left[\left({\frac {N_{C}}{N}}\right)^{\frac {\alpha _{N}}{\alpha _{D}}}+{\frac {D_{C}}{D}}\right]^{\alpha _{D}}}$${\displaystyle BLEU\approx Ce^{-kL}}$

ヘルナンデス、ダニーら^{[34]は言語モデルにおける}転移学習のスケーリング則を研究した。彼らは3つの方法でTransformerファミリーを訓練した。

• 英語の事前トレーニング、Pythonの微調整
• 英語とPythonを均等に組み合わせた事前トレーニング、Pythonでの微調整
• Pythonのトレーニング

英語で事前トレーニングを行うことで、モデルが Python テキストのテスト セットで低い損失を達成できるという考え方です。モデルのパラメータ数が で、Python トークンで微調整された後、損失がいくらか になるとします。同じパラメータを持つ別のモデルがPython トークン でトレーニングした後に同じ結果を達成する場合、その「転送されたトークン数」は であると言えます。${\displaystyle N}$${\displaystyle D_{F}}$${\displaystyle L}$${\displaystyle D_{T}}$${\displaystyle N}$${\displaystyle L}$${\displaystyle D_{F}+D_{T}}$

彼らは、英語のテキストでの事前トレーニングと、英語と Python 以外のコードでの事前トレーニングを発見しました。 ${\displaystyle D_{T}=1.9e4\left(D_{F}\right)^{.18}(N)^{.38}}$${\displaystyle D_{T}=2.1e5\left(D_{F}\right)^{.096}(N)^{.38}}$