アンサンブル学習

回帰タスクと分類タスクの両方を含むアンサンブル学習は、幾何学的フレームワークを使用して説明できます。^{[ 15 ]}このフレームワークでは、データセット全体に対する個々の分類器または回帰器の出力は、多次元空間内の点として見ることができます。さらに、目標結果もこの空間内の点として表され、「理想点」と呼ばれます。

ユークリッド距離は、単一の分類器または回帰器の性能（その点と理想点との距離）と、2つの分類器または回帰器間の類似性（それぞれの点との距離）の両方を測定するための指標として使用されます。この視点により、アンサンブル学習は決定論的な問題へと変換されます。

例えば、この幾何学的枠組みの中では、すべての基本分類器または回帰器の出力（スコア）を平均化することで、個々のモデルの平均よりも同等以上の結果が得られることが証明できます。また、最適な重み付けスキームを使用すれば、重み付き平均化アプローチは、アンサンブルを構成する個々の分類器または回帰器のいずれよりも優れた性能を発揮するか、少なくとも最も優れた性能を発揮するモデルと同等の性能を発揮することが証明できます。

ベイズ最適分類器は分類手法です。これは仮説空間内のすべての仮説のアンサンブルです。平均的に、他のどのアンサンブルもこれを上回ることはできません。^{[ 18 ]}ナイーブベイズ分類器は、データがクラスに対して条件付き独立であると仮定し、計算をより実行可能にするこのバージョンです。各仮説には、その仮説が真である場合にトレーニングデータセットがシステムからサンプリングされる可能性に比例した投票が与えられます。有限サイズのトレーニングデータを容易にするために、各仮説の投票にはその仮説の事前確率も乗算されます。ベイズ最適分類器は、次の式で表すことができます。

${\displaystyle y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}}$

どこ${\displaystyle y}$予測クラスは、${\displaystyle C}$は、可能なすべてのクラスの集合です。${\displaystyle H}$は仮説空間であり、${\displaystyle P}$確率を指し、${\displaystyle T}$はトレーニングデータです。アンサンブルとして、ベイズ最適分類器は、必ずしもではない仮説を表します。${\displaystyle H}$しかし、ベイズ最適分類器によって表される仮説は、アンサンブル空間（仮説のみで構成されるすべての可能なアンサンブルの空間）における最適仮説である。${\displaystyle H}$)

この式は、事後確率が尤度と事前確率の積に比例するというベイズの定理を用いて言い換えることができる。

${\displaystyle P(h_{i}|T)\propto P(T|h_{i})P(h_{i})}$

したがって、

${\displaystyle y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(h_{i}|T)}}$

ブートストラップ集約（バギング）では、ブートストラップデータセットでアンサンブルをトレーニングします。ブートストラップセットは、元のトレーニングデータセットから復元抽出によって選択することで作成されます。したがって、ブートストラップセットには、特定の例が0回、1回、または複数回含まれる可能性があります。アンサンブルメンバーは、特徴（決定木のノードなど）に制限を設けることもでき、多様な特徴の探索を促します。^{[ 19 ]}ブートストラップセット内の局所情報の分散と特徴の考慮により、アンサンブルの多様性が促進され、アンサンブルが強化されます。^{[ 20 ]}過学習を減らすために、メンバーはアウトオブバッグセット（ブートストラップセットに含まれていない例）を使用して検証できます。^{[ 21 ]}

推論は、アンサンブルメンバーの予測に対する投票（集約と呼ばれる）によって行われます。以下に、4つの決定木からなるアンサンブルの例を示します。クエリ例は、各決定木によって分類されます。4つのうち3つが正のクラスを予測するため、アンサンブル全体の分類は正となります。図に示すようなランダムフォレストは、バギングの一般的な応用例です。

ブースティングとは、以前に学習したモデルによって誤分類された訓練データを強調することで、連続的にモデルを訓練する手法です。まず、すべてのデータ（D1）に等しい重みが与えられ、ベースモデルM1の学習に使用されます。M1によって誤分類されたサンプルには、正しく分類されたサンプルよりも大きな重みが割り当てられます。このブースティングされたデータ（D2）を使用して、2番目のベースモデルM2を訓練します。これを繰り返します。推論は投票によって行われます。

ブースティングは、場合によってはバギングよりも高い精度を示すことがあるが、過学習を起こしやすい傾向がある。ブースティングの最も一般的な実装はAdaBoostであるが、より新しいアルゴリズムの中には、より良い結果を達成するものもあると報告されている。

ベイズモデル平均法（BMA）は、データに基づいて事後確率で重み付けされたモデルの予測を平均化することによって予測を行います。^{[ 22 ]} BMAは、例えばステップワイズ回帰に​​よって得られる単一のモデルよりも一般的に優れた回答を与えることが知られています。特に、非常に異なるモデルがトレーニングセットではほぼ同じパフォーマンスを示すものの、それ以外の場合はかなり異なるパフォーマンスを示す可能性がある場合に有効です。

ベイズの定理を使用する際の問題は事前確率、つまり、特定の目的に対して各モデルが最適であるという確率（おそらく主観的）です。概念的には、BMA は任意の事前確率で使用できます。R パッケージ ensembleBMA ^{[ 23 ]}および BMA ^{[ 24 ]}は、Raftery (1995) に従って、ベイズ情報量規準(BIC)によって示される事前確率を使用します。 ^{[ 25 ]} Rパッケージ BAS は、代替モデルに対する赤池情報量規準(AIC) およびその他の基準によって示される事前確率、および係数に対する事前確率の使用をサポートしています。 ^{[ 26 ]}

BICとAICの違いは、簡潔性に対する選好の強さです。BICのモデル複雑性に対するペナルティは${\displaystyle \ln(n)k}$AICの${\displaystyle 2k}$大規模サンプル漸近理論によれば、最適なモデルが存在する場合、サンプルサイズが増加するにつれて、BIC は強く一致し、ほぼ確実にそれを見つけるが、AIC は必要以上に複雑なモデルに過剰な事後確率を割り当て続ける可能性があるため、そうではない可能性がある。一方、AIC と AICc は漸近的に「効率的」（つまり、最小平均二乗予測誤差）であるが、BIC はそうではない。^{[ 27 ]}

Haussler ら (1994) は、BMA を分類に使用すると、その期待誤差はベイズ最適分類器の期待誤差の最大 2 倍になることを示した。^{[ 28 ]} Burnham と Anderson (1998、2002) は、ベイズモデル平均化の基本概念をより多くの人に紹介し、この方法論を普及させることに大きく貢献した。^{[ 29 ]}上記のもの以外にも、 R用の他の無料のオープンソース パッケージを含むソフトウェアが利用可能になったことで、この方法がより多くの人に利用しやすくなった。^{[ 30 ]}

ベイズモデル結合（BMC）は、ベイズモデル平均化（BMA）に対するアルゴリズム的修正です。アンサンブル内の各モデルを個別にサンプリングする代わりに、可能なアンサンブルの空間からサンプリングします（モデルの重みは、一様パラメータを持つディリクレ分布からランダムに抽出されます）。この修正により、BMAがすべての重みを単一のモデルに与える方向に収束する傾向が克服されます。BMCはBMAよりも計算コストがやや高くなりますが、劇的に優れた結果をもたらす傾向があります。BMCは、平均的に（統計的に有意に）BMAやバギングよりも優れていることが示されています。^{[ 31 ]}

ベイズの定理を用いてモデルの重みを計算するには、各モデルが与えられた場合のデータの確率を計算する必要があります。通常、アンサンブル内のどのモデルも、トレーニングデータが生成された分布と完全に一致するわけではないため、すべてのモデルがこの項に対してゼロに近い値を正しく受け取ります。アンサンブルがモデル空間全体をサンプリングできるほど十分に大きければ、この方法はうまく機能しますが、実際にはそのようなことはほとんど不可能です。結果として、トレーニングデータの各パターンによって、アンサンブルの重みは、トレーニングデータの分布に最も近いアンサンブル内のモデルへとシフトします。これは本質的に、モデル選択を行うための不必要に複雑な方法に帰着します。

アンサンブルの可能な重み付けは、単体上に配置されているものとして視覚化できます。単体の各頂点では、アンサンブル内の単一のモデルにすべての重みが割り当てられます。BMAは、トレーニングデータの分布に最も近い頂点に向かって収束します。一方、BMCは、この分布が単体上に投影される点に向かって収束します。つまり、生成分布に最も近い単一のモデルを選択するのではなく、生成分布に最も近いモデルの組み合わせを探します。

BMAの結果は、モデル群の中から最適なモデルを選択するために交差検証を用いることで近似できる場合が多い。同様に、BMCの結果も、可能な重み付けのランダムサンプリングから最適なアンサンブルの組み合わせを選択するために交差検証を用いることで近似できる。

「モデルバケット」とは、モデル選択アルゴリズムを用いて各問題に最適なモデルを選択するアンサンブル学習手法です。単一の問題でテストした場合、モデルバケットはセット内の最良のモデルよりも優れた結果を生み出すことはできませんが、多くの問題で評価すると、平均的にはセット内のどのモデルよりもはるかに優れた結果を生み出すのが一般的です。

モデル選択に最も一般的に用いられる手法は、交差検証による選択（「ベーキングコンテスト」と呼ばれることもある）です。これは、以下の擬似コードで説明できます。

バケット内の各モデルmについて： c 回実行します（cは定数です）。 トレーニングデータセットをランダムに2つのセットAとBに分割します。 m を A でトレーニングする m を B でテストする 平均スコアが最も高いモデルを選択してください。

交差検証選択は、「トレーニングセットですべてを試して、最もうまくいくものを選ぶ」と要約できます。^{[ 32 ]}

ゲーティングは、交差検証選択の一般化です。これは、バケット内のモデルの中から、問題を解決するのに最も適したモデルを決定するために、別の学習モデルを訓練するものです。ゲーティングモデルには、パーセプトロンがよく用いられます。パーセプトロンは、「最適な」モデルを選択するために使用することも、バケット内の各モデルからの予測に線形重みを与えるために使用することもできます。

多数の問題に対してモデルのバケットを使用する場合、学習に時間がかかるモデルの一部は学習させないことが望ましい場合があります。ランドマーク学習は、この問題を解決しようとするメタ学習アプローチです。バケット内の高速（ただし不正確）なアルゴリズムのみを学習させ、これらのアルゴリズムのパフォーマンスを使用して、どの低速（ただし正確）なアルゴリズムが最も良い結果を出す可能性が高いかを判断します。^{[ 33 ]}

分類器のトレーニングで最も一般的なアプローチは、交差エントロピーコスト関数を使用することです。しかし、多様性のあるモデルのアンサンブルをトレーニングして、それらを組み合わせたときに最良の結果が得られるようにしたいものです。^{[ 34 ] [ 35 ]} 単純な平均化アンサンブルを使用すると仮定します。${\displaystyle K}$分類器。すると、修正された交差エントロピーコストは

${\displaystyle e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})}$

どこ${\displaystyle e^{k}}$コスト関数は${\displaystyle k^{th}}$分類器、$\displaystyle q^{k}}$確率は${\displaystyle k^{th}}$分類器、${\displaystyle p}$推定する必要がある真の確率は、${\displaystyle \lambda }$は、私たちが確立したい多様性を定義する0から1の間のパラメータです。${\displaystyle \lambda =0}$私たちは、アンサンブルやタイミングに関係なく、各分類器が最善を尽くすことを望んでいます。${\displaystyle \lambda =1}$分類器はできるだけ多様性を持たせたい。

スタッキング（スタック汎化とも呼ばれる）では、複数の学習アルゴリズムの予測を組み合わせるようにモデルをトレーニングします。まず、利用可能なデータを使用して他のすべてのアルゴリズムをトレーニングし、次に、他のすべてのアルゴリズム（ベース推定器）の予測を追加の入力として使用するか、ベース推定器からの交差検証済みの予測を使用して最終的な予測を行うように、結合アルゴリズム（最終推定器）をトレーニングします。これにより、過学習を防ぐことができます。^{[ 36 ]}任意の結合アルゴリズムを使用する場合、スタッキングは理論的にはこの記事で説明されているアンサンブル手法のいずれでも表現できますが、実際には、結合器としてロジスティック回帰モデルがよく使用されます。

スタッキングは通常、訓練されたモデルのいずれか1つよりも優れたパフォーマンスをもたらします。^{[ 37 ]}これは、教師あり学習タスク（回帰、^{[ 38 ]}分類、距離学習^{[ 39 ]}）と教師なし学習（密度推定）の両方で成功裏に使用されています。^{[ 40 ]}また、バギングのエラー率を推定するためにも使用されています。^{[ 3 ] [ 41 ]}ベイズモデル平均化よりも優れたパフォーマンスを発揮することが報告されています。^{[ 42 ]} Netflixコンペティションで上位2位になったものは、スタッキングの一種と考えられるブレンディングを使用しました。^{[ 43 ]}

ベイズ予測スタッキングは、統計的推定の文献におけるスタッキングの概念を事後予測分布の組み合わせに一般化したものです。^{[ 44 ]}これらのアイデアは、ガウス過程モデル、特に空間データ分析のために開発および調査されており^{[ 45 ]}、大規模な空間データセットの転移学習フレームワークを構築するために使用できます。^{[ 46 ]}

投票はアンサンブルの一種です。例えば、加重多数決アルゴリズム（機械学習）を参照してください。

顔認識は、近年パターン認識の研究分野で最も人気のある分野の一つとなっており、デジタル画像による人物の識別や検証を扱っている。^{[ 73 ]}

Gabor Fisher分類器と独立成分分析前処理技術に基づく階層型アンサンブルは、この分野で最も初期に採用されたアンサンブルのいくつかである。^{[ 74 ] [ 75 ] [ 76 ]}

音声認識は主に深層学習に基づいており、Google、Microsoft、IBMなどのこの分野の業界プレーヤーのほとんどが、音声認識の中核技術がこのアプローチに基づいていることを明らかにしていますが、音声ベースの感情認識もアンサンブル学習で満足のいくパフォーマンスを発揮できます。^{[ 77 ] [ 78 ]}また、顔の感情認識にも成功裏に使用されています。^{[ 79 ] [ 80 ] [ 81 ]}

不正検出は、マネーロンダリング、クレジットカード詐欺、通信詐欺などの銀行詐欺の特定を扱い、機械学習の研究と応用の領域は広範に及んでいます。アンサンブル学習は正常な動作モデリングの堅牢性を向上させるため、銀行やクレジットカードシステムにおけるこのような不正行為や活動を検出する効率的な手法として提案されています。^{[ 82 ] [ 83 ]}

アンサンブル学習法は、信用スコアリング、倒産予測、リスク管理などのタスクにおいて金融分野で広く採用されています。複数の基本モデルを組み合わせることで、アンサンブルは非線形関係を活用し、高次元でノイズの多いデータを処理でき、多くの場合、単一モデルやロジスティック回帰や線形因子モデルなどの従来の統計的ベースラインよりも安定したサンプル外パフォーマンスを実現します。このアプローチは、多様な学習器を組み合わせることで堅牢性を向上させ、過学習を緩和し、ノイズの多い金融時系列から持続的なパターンを抽出できると主張する、マルコス・ロペス・デ・プラドが説明する金融機械学習のより広範なトレンドと一致しています。^{[ 84 ]}

小売業や企業の信用スコアリングでは、ランダムフォレスト、勾配ブースティングマシン、スタックドモデルなどのアンサンブル分類器がデフォルトリスクの評価によく使用されます。2018年から2024年の間に発表された機械学習信用スコアリング研究の最近の体系的な文献レビューによると、ツリーベースのアンサンブルとブースティング法は最も一般的に適用されている手法の1つであり、通常、従来のスコアカードや単一の分類器よりも高い予測精度を達成しています。^{[ 85 ] [ 86 ]}

アンサンブル法は、企業の倒産や破産の予測にも適用されています。さまざまなアンサンブル構成（バギング、ブースティング、異種分類器プールなど）を比較した研究では、適切に調整されたアンサンブルは、個々のモデルよりも業界全体で高い分類精度とより堅牢なパフォーマンスを達成する傾向があると報告されています。^{[ 87 ]}企業の倒産予測の精度は、財務上の意思決定において非常に重要な問題です。そのため、金融危機や金融苦境を予測するために、さまざまなアンサンブル分類器が提案されています。^{[ 88 ]}また、トレーダーが売買活動によって株価を操作しようとする取引ベースの操作問題では、株式市場データの変化を分析し、株価操作の疑わしい兆候を検出するために、アンサンブル分類器が必要です。^{[ 88 ]}

機械学習モデルだけでなく、隠れマルコフモデルなどの数学的フレームワークを用いたアンサンブル学習の実装は、取引、レジーム検出、資産価格設定などの分野への応用において、急速に発展している研究分野である。

アンサンブル分類器は、神経科学、プロテオミクス、およびMRIデータセットに基づく神経認知障害（アルツハイマー病や筋強直性ジストロフィーなど）の検出[ ^{89 ] [ 90 ] [ 91 ] 、子宮頸部細胞診分類[ 92 ] [ 93 ]}などの医療診断に成功裏に適用されています。

さらに、アンサンブルは、例えば脳腫瘍^{[ 94 ] [ 95 ]}や高輝度領域のセグメンテーション^{[ 96 ]などの医療セグメンテーションタスクにうまく適用されています。}