モデルの崩壊

モデル崩壊^[注1]とは、機械学習モデルが、それ自身の以前のバージョンを含む他のモデルの出力に基づいてキュレーションされていないトレーニングを行うことで生じるエラーにより、徐々に劣化していく現象である。^{[9] [10] [11] [12]このような出力は}合成データとして知られている。

シュマイロフら^[9]はこの用語を作り出し、劣化の2つの特定の段階、すなわち初期モデル崩壊と後期モデル崩壊について説明しました。初期モデル崩壊では、モデルは分布の裾に関する情報を失い始めます。これは主に少数データに影響します。後の研究では、全体的なパフォーマンスが向上しているように見える一方で、モデルは少数データでパフォーマンスを失うため、初期モデル崩壊に気付きにくいことが強調されました。^{[13]後期モデル崩壊では、モデルのパフォーマンスが大幅に低下し、概念が混乱し、}分散のほとんどが失われます。

合成データをトレーニングデータとして使用すると、トレーニング済みモデルの品質と信頼性に問題が生じる可能性があります。^{[14] [15]モデルの崩壊は、主に}機能近似エラー、サンプリングエラー、学習エラーの3つの理由で発生します。^[9]重要なのは、すべてのエラーソースが存在しない最も単純なモデルでもモデルの崩壊が発生することです。より複雑なモデルでは、エラーが複合して崩壊が早まることがよくあります。

モデル崩壊に関する研究者や評論家の中には、この現象が将来の生成AI開発を根本的に脅かす可能性があると警告する人もいる。AIが生成したデータはインターネット上で共有されるため、将来のトレーニングデータセットに必然的に含まれ、多くの場合インターネットからクロールされる。「スロップ」（大量のラベルなし合成データ）でのトレーニングが必然的にモデル崩壊につながる場合、これは難しい問題を引き起こす可能性がある。^[16]

しかし、最近、他の研究者はこの議論に反対し、合成データが人間が生成したデータと並行して蓄積されれば、モデルの崩壊は避けられると示した。^[17]研究者らは、時間の経過とともに蓄積されるデータは、毎年既存のデータをすべて削除するよりも現実をより現実的に描写しており、モデル崩壊の現実世界への影響は恐れられているほど壊滅的ではないかもしれないと主張している。^[18]

文献の別の分野では、機械学習検出器と透かしを使用してモデル生成データを識別し、フィルタリングする方法について調査しています。^{[19] [20]}

2024年には、^{[9]最も単純なモデル、つまり前世代のサンプルから計算された平均と分散の}不偏推定値を使用した1次元正規分布の近似の崩壊を示す最初の試みが行われました。

より正確に言うと、元のデータは正規分布 に従い、のサンプルを保有していると言えます。一般的なサンプルを世代 のサンプル とすると、次の世代のモデルはサンプルの平均と分散を使用して推定されます。 ${\displaystyle X^{0}\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$${\displaystyle M_{0}}$${\displaystyle X_{j}^{0}}$${\displaystyle j\in {\{\,1,\dots ,M_{0}\,{}\}}}$${\displaystyle X_{j}^{i}}$${\displaystyle j\in {\{\,1,\dots ,M_{i}\,{}\}}}$${\displaystyle i}$

${\displaystyle \mu_{i+1}={\frac{1}{M_{i}}}\sum_{j}X_{j}^{i};\quad \sigma_{i+1}^{2}={\frac{1}{M_{i}-1}}\sum_{j}(X_{j}^{i}-\mu_{i+1})^{2}.}$

条件付き正規分布の次世代モデルにつながります。理論的には、これは の完全な分布を計算するのに十分です。ただし、最初の世代の後でも、完全な分布はもはや正規分布ではなく、分散ガンマ分布に従います。 ${\displaystyle X_{j}^{i+1}|\mu _{i+1},\;\sigma _{i+1}\sim {\mathcal {N}}(\mu _{i+1},\sigma _{i+1}^{2})}$${\displaystyle X_{j}^{i}}$

分析を続けるには、各世代の確率密度関数を書く代わりに、コクラン定理を使用して、それらを独立したランダム変数で明示的に構築することができます。正確には、およびは独立しており、ガンマ分布 に従います。に従って分布するガウスランダム変数を で表し、に従って分布するランダム変数を で表すと、各世代のサンプルを次のように書くことができます。 ${\displaystyle \mu_{1}}$${\displaystyle \sigma _{1}}$${\displaystyle \mu _{1}\sim {\mathcal {N}}\left(\mu ,{\frac {\sigma ^{2}}{M_{0}}}\right)}$${\displaystyle (M_{0}-1)\,\sigma _{1}^{2}\sim \sigma ^{2}\,\Gamma \left({\frac {M_{0}-1}{2}},{\frac {1}{2}}\right)}$${\displaystyle Z}$${\displaystyle {\mathcal {N}}(0,1)}$${\displaystyle S^{i}}$${\displaystyle {\frac {1}{M_{i-1}-1}}\Gamma \left({\frac {M_{i-1}-1}{2}},{\frac {1}{2}}\right)}$

${\textstyle X_{j}^{0}=\mu +\sigma Z_{j}^{0},}$

${\textstyle X_{j}^{1}=\mu +{\frac {\sigma }{\sqrt {M_{0}}}}Z^{1}+\sigma {\sqrt {S^{1} }}Z_{j}^{1},}$

そしてより一般的には

$${\displaystyle X_{j}^{n}=\mu +{\frac {\sigma }{\sqrt {M_{0}}}}Z^{1}+{\frac {\sigma }{\sqrt {M_{1}}}}{\sqrt {S^{1}}}Z^{2}+\dots +{\frac {\sigma }{\sqrt {M_{n-1}}}}{\sqrt {S^{1}\times \dots \times S^{n-1}}}Z^{n}+\sigma {\sqrt {S^{1}\times \dots \times S^{n}}}Z_{j}^{n}.}$$

とはに直接依存するため、これらは結合分布ではないことに注意してください。ただし、を単独で考えると、上記の式は完全な分布に関するすべての情報を提供します。 ${\displaystyle Z^{n}}$${\displaystyle S^{n}}$${\displaystyle Z_{j}^{n-1}}$${\displaystyle X_{j}^{n}}$

モデルの崩壊を分析するには、まず世代 におけるサンプルの分散と平均を計算します。これにより、世代後にどのような分布に到達すると予想されるかがわかります。その正確な値を閉じた形で求めることは可能ですが、ガンマ分布の平方根の平均と分散はガンマ関数で表現されるため、結果は非常に扱いにくいものになります。次に、^[9]では、各サンプルサイズが大きいと仮定して、 のそれぞれについてすべての結果を2次まで展開することができます。すると、${\displaystyle n}$${\displaystyle n}$${\displaystyle 1/M_{i}}$

${\displaystyle {\frac {1}{\sigma ^{2}}}\operatorname {Var} (X_{j}^{n})={\frac {1}{M_{0}}}+{\frac {1}{M_{1}}}+\dots +{\frac {1}{M_{n-1}}}+1+{\mathcal {O}}\left(M_{i}^{-2}\right).}$

すべてのサンプルサイズが一定であれば、これは次のように線形に発散します。 ${\displaystyle M_{i}=M}$${\displaystyle n\to \infty }$

${\displaystyle \operatorname {Var} (X_{j}^{n})=\sigma ^{2}\left(1+{\frac {n}{M}}\right);\quad \mathbb {E} (X_{j}^{n})=\mu .}$

これは、1 次元のガウスランダムウォークと同じスケーリングです。ただし、 の分散の発散は、 およびの対応する推定値に関する情報を直接提供しません。特に、それらが元の およびとどの程度異なるかに関する情報は提供しません。ステップ での真の分布と近似分布の間の距離は、Wasserstein-2 距離(リスクと呼ばれることもあります) を使用して計算できることがわかります。${\displaystyle X_{j}^{n}}$${\displaystyle \mu _{n+1}}$${\displaystyle \sigma _{n+1}}$${\displaystyle \mu }$${\displaystyle \sigma }$${\displaystyle n+1}$

${\displaystyle \mathbb {E} \left[\mathbb {W} _{2}^{2}\left({\mathcal {N}}(\mu ,\sigma ^{2}),{\mathcal {N}}(\mu _{n+1},\sigma _{n+1}^{2})\right)\right]={\frac {3}{2}}\sigma ^{2}\left({\frac {1}{M_{0}}}+{\frac {1}{M_{1}}}+\dots +{\frac {1}{M_{n}}}\right)+{\mathcal {O}}\left(M_{i}^{-2}\right),}$

${\displaystyle \operatorname {Var} \left[\mathbb {W} _{2}^{2}\left({\mathcal {N}}(\mu ,\sigma ^{2}),{\mathcal {N}}(\mu _{n+1},\sigma _{n+1}^{2})\right)\right]={\frac {1}{2}}\sigma ^{4}\left({\frac {3}{M_{0}^{2}}}+{\frac {3}{M_{1}^{2}}}+\dots +{\frac {3}{M_{n}^{2}}}+\sum _{i\neq j}{\frac {4}{M_{i}M_{j}}}\right)+{\mathcal {O}}\left(M_{i}^{-3}\right).}$

これは、この単純なモデルでモデル崩壊が発生する理由を直接示しています。近似分布の再サンプリングによる誤差により、各世代はモデルパラメータのランダムウォークの新しいステップに対応することになります。各世代のサンプルサイズが一定である場合、開始点からの平均距離は発散し、最終分布の近似が正確であるため、または距離が有限であるためには、サンプリングレートが超線形に増加する必要があり、つまり、時間の経過とともに、おそらく2乗的に、より多くのサンプルを収集する必要があります。ただし、その場合でも、ステップ後の期待距離はゼロではなく、実際にゼロになる唯一のケースは、各ステップでサンプリングが無限である場合です。全体として、これは平均して元の分布からどれだけ離れているかを示しているだけですが、特定の世代での推定分散が十分に小さくなり、分布が事実上デルタ関数に変わる場合にのみ、プロセスは「終了」できます。これは、以下のサブセクションで一般的なガウスモデル^[14]で発生することが示されています。経験的調査により、この理論的分析が確認されています。^[21]${\displaystyle M_{i}}$${\displaystyle n}$

さらに、完全に合成されたデータを用いた多次元モデルの場合には、正確な崩壊を示すことができる。^{[14] [9]}

線形回帰モデルの場合、^{[22] [23]} スケーリング則と学習の境界が得られる。

次のトークンを予測するための線形ソフトマックス分類器の場合、^[24]部分的に合成されたデータセットであっても学習の正確な境界を得ることができます。

大規模言語モデルの文脈では、先行モデルによって生成された合成データでLLMを訓練すると、モデル出力の語彙、統語、意味の多様性が反復を経るごとに一貫して減少することが研究で明らかになりました。これは、高いレベルの創造性を要求するタスクでは特に顕著です。^[25]

• 世代損失
• 生成型人工知能