誘導バイアス

学習アルゴリズムの帰納的バイアス（学習バイアスとも呼ばれる）は、学習者が、与えられた入力に対して、遭遇したことのない出力を予測するために使用する一連の仮定である。^{[1]帰納的バイアスとは、アルゴリズムが、あるパターンではなく別のパターンを学習するようにするもの（例えば、}線形回帰モデルの連続関数ではなく、決定木のステップ関数）である。学習には、データを適切に説明するソリューションをソリューション空間から探すことが含まれる。しかし、多くの場合、同等に適切なソリューションが複数存在する可能性がある。^[2]帰納的バイアスにより、学習アルゴリズムは、観測されたデータとは無関係に、あるソリューション（または解釈）を他のソリューションよりも優先することができる。^[3]

機械学習では、特定のターゲット出力を予測することを学習できるアルゴリズムを構築することが目的です。これを実現するために、学習アルゴリズムには、入力値と出力値の意図された関係を示すいくつかのトレーニング例が提示されます。次に、学習者は、トレーニング中に示されなかった例であっても、正しい出力を近似することになります。追加の仮定がなければ、この問題は解決できません。なぜなら、目に見えない状況では任意の出力値が発生する可能性があるからです。ターゲット関数の性質に関する必要な仮定の種類は、帰納的バイアスというフレーズに含まれています。^[1]^[4]

帰納的バイアスの典型的な例は、オッカムの剃刀です。これは、ターゲット関数に関する最も単純で一貫した仮説が実際には最良であると仮定するものです。ここで、一貫性があるというのは、学習者の仮説が、アルゴリズムに与えられたすべての例に対して正しい出力を生成することを意味します。

帰納的バイアスのより正式な定義へのアプローチは、数学的論理に基づいています。ここで、帰納的バイアスは、トレーニングデータとともに、学習者によって生成された仮説を論理的に導く論理式です。ただし、この厳密な形式主義は、帰納的バイアスが大まかな説明としてしか与えられない場合 (たとえば、人工ニューラルネットワークの場合)、またはまったく与えられない場合の多くの実際のケースでは機能しません。

種類

以下は、機械学習アルゴリズムにおける一般的な帰納的バイアスのリストです。

最大条件付き独立性: 仮説をベイズフレームワークで展開できる場合は、条件付き独立性を最大化するようにします。これは、ナイーブベイズ分類器で使用されるバイアスです。
最小のクロス検証エラー: 仮説を選択する場合、クロス検証エラーが最も低い仮説を選択します。クロス検証はバイアスがないように見えるかもしれませんが、「ただで得られるものはない」定理は、たとえばデータの順序にエンコードされた情報がないと仮定すると、クロス検証にはバイアスが必要であることを示しています。
最大マージン: 2 つのクラスの間に境界を描くときに、境界の幅を最大化するようにします。これは、サポートベクターマシンで使用されるバイアスです。異なるクラスは広い境界で分離される傾向があるという前提に基づいています。
最小記述長: 仮説を立てる際に、仮説の記述の長さを最小限に抑えるようにしてください。
最小限の特徴:特徴が有用であるという十分な証拠がない限り、その特徴は削除されるべきです。これが特徴選択アルゴリズムの背後にある前提です。
最近傍法:特徴空間内の小さな近傍のほとんどのケースが同じクラスに属すると仮定します。クラスが不明なケースがある場合、そのケースはすぐ近くの大多数と同じクラスに属すると推測します。これは、k 最近傍法アルゴリズムで使用されるバイアスです。互いに近いケースは同じクラスに属する傾向があるという仮定です。

偏見の転換

ほとんどの学習アルゴリズムは静的なバイアスを持っていますが、一部のアルゴリズムはより多くのデータを取得するにつれてバイアスをシフトするように設計されています。 ^[5]バイアスシフトプロセス自体にバイアスがあるため、これはバイアスを回避するものではありません。

参照

参考文献

^ ab Mitchell, TM (1980)、一般化の学習におけるバイアスの必要性、CBM-TR 5-110、ニューブランズウィック、ニュージャージー州、米国：ラトガース大学、CiteSeerX 10.1.1.19.5466
^ グッドマン、ネルソン (1955)。「帰納法の新しい謎」。事実、フィクション、予測。ハーバード大学出版局。pp. 59–83。ISBN 978-0-674-29071-6。{{cite book}}: CS1 メンテナンス: 日付と年 (リンク)
^ Mitchell, Tom M (1980). 「一般化を学ぶ際のバイアスの必要性」(PDF)ラトガース大学技術レポート CBM-TR-117 : 184–191。
^ DesJardins, M.; Gordon, DF (1995)、「機械学習におけるバイアスの評価と選択」、機械学習、20 (1–2): 5–22、doi :10.1007/BF00993472
^ Utgoff, PE (1984)、「帰納的概念学習のためのバイアスのシフト」、ニュージャージー州ニューブランズウィック、米国：博士論文、ラトガース大学コンピュータサイエンス学部、ISBN 9780934613002

[Mitchell1980-1] Mitchell, TM (1980)、一般化の学習におけるバイアスの必要性、CBM-TR 5-110、ニューブランズウィック、ニュージャージー州、米国：ラトガース大学、CiteSeerX 10.1.1.19.5466

[2] グッドマン、ネルソン (1955)。「帰納法の新しい謎」。事実、フィクション、予測。ハーバード大学出版局。pp. 59–83。ISBN 978-0-674-29071-6。{{cite book}}: CS1 メンテナンス: 日付と年 (リンク)

[3] Mitchell, Tom M (1980). 「一般化を学ぶ際のバイアスの必要性」(PDF)ラトガース大学技術レポート CBM-TR-117 : 184–191。

[DesJardinsandGordon1995-4] DesJardins, M.; Gordon, DF (1995)、「機械学習におけるバイアスの評価と選択」、機械学習、20 (1–2): 5–22、doi :10.1007/BF00993472

[Utgoff1984-5] Utgoff, PE (1984)、「帰納的概念学習のためのバイアスのシフト」、ニュージャージー州ニューブランズウィック、米国：博士論文、ラトガース大学コンピュータサイエンス学部、ISBN 9780934613002