指導付き学習

最初の問題は、バイアスとバリアンスのトレードオフです。^{[ 3 ]}複数の異なる、しかし同等に優れたトレーニングデータセットが利用可能であると想像してください。学習アルゴリズムは、特定の入力に対してバイアスがかかっています。${\displaystyle x}$これらのデータセットのそれぞれでトレーニングした場合、正しい出力を予測する際に体系的に誤りがある場合${\displaystyle x}$学習アルゴリズムは、特定の入力に対して高い分散を示す。${\displaystyle x}$異なるトレーニング セットでトレーニングした場合に異なる出力値を予測する場合。学習済み分類器の予測誤差は、学習アルゴリズムのバイアスと分散の合計に関連しています。^{[ 4 ]}一般的に、バイアスと分散の間にはトレードオフがあります。バイアスが低い学習アルゴリズムは、データにうまく適合できるように「柔軟」である必要があります。しかし、学習アルゴリズムが柔軟すぎると、各トレーニング データ セットに異なる方法で適合し、分散が高くなります。多くの教師あり学習方法の重要な側面は、バイアスと分散の間のこのトレードオフを調整できることです (自動的に、またはユーザーが調整できるバイアス / 分散パラメータを提供することによって)。

2つ目の問題は、「真の」関数（分類器または回帰関数）の複雑さに対して、利用可能な訓練データの量です。真の関数が単純な場合、バイアスが高く分散が低い「柔軟性のない」学習アルゴリズムでも、少量のデータから学習できます。しかし、真の関数が非常に複雑な場合（例えば、多くの異なる入力特徴間の複雑な相互作用を含み、入力空間の異なる部分で異なる挙動を示す場合）、その関数は、バイアスが低く分散が高い「柔軟な」学習アルゴリズムと大量の訓練データを組み合わせた場合にのみ学習できます。

3つ目の問題は、入力空間の次元です。入力特徴ベクトルの次元が大きい場合、真の関数がそれらの特徴のごく一部にしか依存していなくても、関数の学習は困難になる可能性があります。これは、多くの「余分な」次元が学習アルゴリズムを混乱させ、高い分散を引き起こす可能性があるためです。したがって、次元が大きい入力データの場合、通常は分類器を低分散かつ高バイアスになるように調整する必要があります。実際には、エンジニアが入力データから無関係な特徴を手動で削除できれば、学習された関数の精度が向上する可能性が高くなります。さらに、関連する特徴を特定し、無関係な特徴を破棄しようとする特徴選択アルゴリズムが多数存在します。これは、教師あり学習アルゴリズムを実行する前に、入力データを低次元空間にマッピングしようとする、より一般的な次元削減戦略の一例です。

4つ目の問題は、目標出力値（監視対象変数）のノイズの程度です。目標出力値が（人的ミスやセンサーのエラーなどにより）頻繁に誤っている場合、学習アルゴリズムは訓練例と完全に一致する関数を見つけようとすべきではありません。データを過度に慎重に適合させようとすると、過学習につながります。学習しようとしている関数が学習モデルにとって複雑すぎる場合、測定誤差（確率的ノイズ）がない場合でも過学習が発生する可能性があります。このような状況では、モデル化できない目標関数の部分が訓練データを「汚染」します。この現象は決定論的ノイズと呼ばれています。どちらのタイプのノイズが存在する場合でも、バイアスが高く分散が低い推定器を使用する方が良いでしょう。

実際には、過学習を防ぐための早期停止や、教師あり学習アルゴリズムのトレーニング前にノイズの多いトレーニング例を検出して除去するなど、出力値のノイズを軽減するためのいくつかの方法があります。ノイズの多いトレーニング例を識別するアルゴリズムはいくつかあり、トレーニング前に疑わしいノイズの多いトレーニング例を除去すると、統計的に有意な汎化誤差が減少します。^{[ 5 ] [ 6 ]}

学習アルゴリズムを選択および適用する際に考慮すべきその他の要素は以下のとおりです。

• データの異質性。特徴ベクトルにさまざまな種類の特徴（離散値、離散順序値、カウント、連続値）が含まれる場合、アルゴリズムによっては適用しやすいものとそうでないものがあります。サポートベクターマシン、線形回帰、ロジスティック回帰、ニューラルネットワーク、最近傍法など、多くのアルゴリズムでは、入力特徴が数値であり、同様の範囲（例えば、[-1,1] 区間）にスケーリングされている必要があります。最近傍法やガウスカーネルを用いたサポートベクターマシンなど、距離関数を用いる手法は、特にこの点に敏感です。決定木の利点は、異質なデータを容易に処理できることです。
• データの冗長性。入力特徴量に冗長な情報（例えば、相関性の高い特徴量）が含まれている場合、数値的不安定性のため、一部の学習アルゴリズム（例えば、線形回帰、ロジスティック回帰、距離ベースの手法）は性能が低下します。これらの問題は、何らかの正則化を適用することで解決できる場合が多くあります。
• 相互作用と非線形性の存在。各特徴量が出力に独立して寄与する場合、線形関数（例：線形回帰、ロジスティック回帰、サポートベクターマシン、ナイーブベイズ）および距離関数（例：最近傍法、ガウスカーネルを用いたサポートベクターマシン）に基づくアルゴリズムは一般的に良好な性能を発揮します。しかし、特徴量間に複雑な相互作用がある場合は、決定木やニューラルネットワークなどのアルゴリズムの方が優れています。これらのアルゴリズムは、特にこれらの相互作用を検出するように設計されているためです。線形手法も適用できますが、エンジニアは使用時に相互作用を手動で指定する必要があります。

新しいアプリケーションを検討する際、エンジニアは複数の学習アルゴリズムを比較し、どのアルゴリズムが対象となる問題に最適かを実験的に判断することができます（交差検証を参照）。学習アルゴリズムの性能調整は非常に時間がかかる場合があります。限られたリソースの中で、学習アルゴリズムの調整に時間を費やすよりも、追加のトレーニングデータやより有益な特徴量の収集に時間を費やす方が、多くの場合賢明です。

最も広く使われている学習アルゴリズムは以下のとおりです。

• サポートベクターマシン
• 線形回帰
• ロジスティック回帰
• ナイーブベイズ
• 線形判別分析
• 決定木
• k近傍法
• ニューラルネットワーク（例：多層パーセプトロン）
• 類似性学習

経験的リスク最小化において、教師あり学習アルゴリズムは関数を探索する。${\displaystyle g}$最小限に抑える${\displaystyle R(g)}$したがって、最適化アルゴリズムを適用して、教師あり学習アルゴリズムを構築することができます。${\displaystyle g}$。

いつ${\displaystyle g}$条件付き確率分布${\displaystyle P(y|x)}$そして損失関数は負の対数尤度である。${\displaystyle L(y,{\hat {y}})=-\log P(y|x)}$すると、経験的リスク最小化は最尤推定と同等になります。

いつ${\displaystyle G}$候補関数が多数含まれている場合、または訓練データセットが十分に大きくない場合、経験的リスク最小化によって分散が大きくなり、汎化性能が低下します。学習アルゴリズムは訓練例を記憶することはできますが、汎化性能は低くなります（過学習）。

構造的リスク最小化は、最適化に正則化ペナルティを組み込むことで過学習を防ぐことを目的としている。正則化ペナルティは、より複雑な関数よりもより単純な関数を優先する、オッカムの剃刀の一種と考えることができる。

複雑さのさまざまな定義に対応する、多種多様なペナルティが採用されてきた。たとえば、関数が${\displaystyle g}$は、次の形式の線形関数です。

${\displaystyle g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}}$。

一般的な正則化ペナルティは${\displaystyle \sum _{j}\beta _{j}^{2}}$これは重みのユークリッドノルムの二乗であり、${\displaystyle L_{2}}$規範。その他の規範には、${\displaystyle L_{1}}$標準、${\displaystyle \sum _{j}|\beta _{j}|}$、そして${\displaystyle L_{0}}$「ノルム」とは、ゼロでない要素の数のことです。${\displaystyle \beta _{j}}$s. ペナルティは次のように表されます。${\displaystyle C(g)}$。

教師あり学習最適化問題は、関数を見つけることである。${\displaystyle g}$最小限に抑える

${\displaystyle J(g)=R_{emp}(g)+\lambda C(g).}$

パラメータ${\displaystyle \lambda }$バイアス・バリアンスのトレードオフを制御します。${\displaystyle \lambda =0}$これにより、バイアスが低く分散が高い経験的リスク最小化が得られます。${\displaystyle \lambda }$が大きい場合、学習アルゴリズムはバイアスが高く分散が低くなります。${\displaystyle \lambda }$交差検証によって経験的に選択することができる。

複雑性ペナルティは、負の対数事前確率としてベイズ的に解釈される。${\displaystyle g}$、${\displaystyle -\log P(g)}$その場合${\displaystyle J(g)}$事後確率は${\displaystyle g}$。