一般化エラー

機械学習および統計的学習理論における教師あり学習アプリケーションでは、汎化誤差^{[ 1 ]}（サンプル外誤差^{[ 2 ]}またはリスクとも呼ばれる）は、アルゴリズムがこれまで見たことのないデータに対して結果をどれだけ正確に予測できるかを示す尺度です。学習アルゴリズムは有限サンプルで評価されるため、学習アルゴリズムの評価はサンプリング誤差の影響を受けやすい場合があります。その結果、現在のデータに対する予測誤差の測定値は、新しい未知のデータに対するアルゴリズムの予測能力についてあまり情報を提供しない可能性があります。汎化誤差は、学習アルゴリズムにおける過学習を避けることで最小限に抑えることができます。機械学習アルゴリズムのパフォーマンスは、学習プロセス全体を通して汎化誤差の推定値を示す学習曲線プロットによって視覚化されるのが一般的です。

学習問題では、関数を開発することが目標です。${\displaystyle f_{n}({\vec {x}})}$出力値を予測する${\displaystyle y}$各入力データに対して${\displaystyle {\vec {x}}}$下付き文字${\displaystyle n}$関数が${\displaystyle f_{n}}$は、データセットに基づいて開発されています。${\displaystyle n}$データポイント。一般化誤差、または予想損失またはリスク。${\displaystyle I[f]}$特定の機能の${\displaystyle f}$すべての可能な値にわたって${\displaystyle {\vec {x}}}$そして${\displaystyle y}$損失関数の期待値${\displaystyle V(f)}$: ^{[ 1 ]}

${\displaystyle I[f]=\int _{X\times Y}V(f({\vec {x}}),y)\rho ({\vec {x}},y)d{\vec {x}}dy,}$

どこ${\displaystyle \rho ({\vec {x}},y)}$は未知の同時確率分布である。${\displaystyle {\vec {x}}}$そして${\displaystyle y}$。

同時確率分布を知らない場合${\displaystyle \rho }$計算することは不可能です${\displaystyle I[f]}$代わりに、サンプルデータに基づいて誤差を計算することができます。これは経験誤差（または経験リスク）と呼ばれます。${\displaystyle n}$データポイント、候補関数の経験的誤差${\displaystyle f}$は：

${\displaystyle I_{n}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

アルゴリズムが汎化すると言われるのは、以下の条件を満たす場合である。

${\displaystyle \lim _{n\rightarrow \infty }I[f]-I_{n}[f]=0}$

特に重要なのは一般化エラーである。${\displaystyle I[f_{n}]}$データ依存関数の${\displaystyle f_{n}}$これはサンプルに基づく学習アルゴリズムによって発見されます。繰り返しますが、未知の確率分布の場合、${\displaystyle I[f_{n}]}$計算することはできません。その代わりに、統計的学習理論における多くの問題の目的は、確率における汎化誤差と経験誤差の差を制限または特徴づけることです。

${\displaystyle P_{G}=P(I[f_{n}]-I_{n}[f_{n}]\leq \epsilon )\geq 1-\delta _{n}}$

つまり、目標は確率を特徴づけることである$1-δn$一般化誤差は経験誤差に何らかの誤差限界を加えた値よりも小さい。${\displaystyle \epsilon }$（一般的に依存する${\displaystyle \delta }$そして${\displaystyle n}$多くの種類のアルゴリズムにおいて、特定の安定性基準を満たせば、アルゴリズムには汎化限界があることが示されています。具体的には、アルゴリズムが対称的（入力の順序が結果に影響しない）、損失が有界であり、かつ2つの安定性条件を満たす場合、汎化します。最初の安定性条件であるリーブワンアウト交差検証の安定性とは、安定するためには、リーブワンアウト交差検証を使用した場合の各データポイントの予測誤差が、次の条件を満たすとゼロに収束しなければならないということです。${\displaystyle n\rightarrow \infty }$2 番目の条件は、1 つを除外するエラーの安定性（仮説の安定性とも呼ばれる）です。${\displaystyle L_{1}}$ノルム）は、トレーニングデータセットから単一のデータポイントを削除しても、残りのデータポイントの予測が変化しない場合に満たされます。^{[ 3 ]}

これらの条件は次のように定式化できる。

一般化誤差と過学習の概念は密接に関連している。過学習は、学習した関数が${\displaystyle f_{S}}$サンプルのノイズに敏感になる。結果として、この関数はトレーニングセットではうまく機能するが、結合確率分布からの他のデータではうまく機能しない。${\displaystyle x}$そして${\displaystyle y}$したがって、過学習が多ければ多いほど、汎化誤差は大きくなる。

過学習の程度は、サンプルをシミュレーションされたトレーニング サンプルとテスト サンプルに分割する交差検証法を使用してテストできます。次に、モデルはトレーニング サンプルでトレーニングされ、テスト サンプルで評価されます。テスト サンプルはアルゴリズムによって事前に認識されていないため、結合確率分布からのランダム サンプルを表します。${\displaystyle x}$そして${\displaystyle y}$このテストサンプルを用いることで、予想される誤差を近似することができ、結果として、汎化誤差の特定の形式を近似することができる。

過学習を防ぐためのアルゴリズムは数多く存在する。最小化アルゴリズムは、より複雑な関数に対してペナルティを課すことができる（チホノフ正則化として知られる）。あるいは、仮説空間を制約することもできる。制約は、関数の形式で明示的に指定するか、最小化関数に制約を追加する（イワノフ正則化）ことによって行うことができる。

過学習を起こさない関数を見つけるアプローチは、データの特定の特性を捉えるのに十分な複雑さを持つ関数を見つけるという目標とは相反する。これはバイアス・バリアンスのトレードオフとして知られている。過学習を避けるために関数を単純に保つと、結果として得られる予測にバイアスが生じる可能性がある一方、関数をより複雑にすると過学習が起こり、予測のバリアンスが大きくなる。両方を同時に最小化することは不可能である。

• Olivier, Bousquet; Luxburg, Ulrike; Rätsch, Gunnar 編 (2004).機械学習に関する高度な講義. Lecture Notes in Computer Science. Vol.  3176. pp. 169–207 . doi : 10.1007/b100712 . ISBN  978-3-540-23122-6. S2CID 431437 . 2022年12月10日取得. 
• Bousquet, Olivier; Elisseeff, Andr´e (2002年3月1日). 「安定性と汎化」 . The Journal of Machine Learning Research . 2 : 499–526 . doi : 10.1162/153244302760200704 . S2CID 1157797. 2022年12月10日取得。 
• Mohri, M., Rostamizadeh A., Talwakar A.,​​ (2018)機械学習の基礎、第2版、ボストン：MIT Press。
• Moody, JE (1992)、「パラメータの有効数：非線形学習システムにおける一般化と正則化の分析（2016年9月10日にWayback Machineにアーカイブ）」、Moody, JE、Hanson, SJ、Lippmann, RP、「Advances in Neural Information Processing Systems 4」、847–854。
• White, H. (1992b),人工ニューラルネットワーク：近似と学習理論、Blackwell。