ランダムサブスペース法

機械学習において、ランダムサブスペース法[ ^1]は、属性バギング^[2]または特徴バギングとも呼ばれ、特徴セット全体ではなく特徴のランダムサンプルでトレーニングすることで、アンサンブル内の推定量間の相関を低減しようとするアンサンブル学習法です。

アンサンブル学習では、複数の学習者によって生成されたモデルを、元の学習者よりもパフォーマンスの高いアンサンブルに組み合わせようとします。学習者を組み合わせる方法の 1 つに、ブートストラップ集約またはバギングがあります。これは、各学習者にトレーニング ポイントのランダムにサンプリングされたサブセットを示し、学習者が適切に平均化できる異なるモデルを生成するようにします。 ^[a]バギングでは、完全なトレーニング セットから トレーニング ポイントを復元抽出します。

ランダム サブスペース法は、バギングに似ていますが、特徴(「属性」、「予測子」、「独立変数」) が各学習者に対してランダムにサンプリングされ、置換される点が異なります。簡単に言うと、これにより、個々の学習者は、トレーニング セット内では予測力/記述力が高いように見えるが、そのセット外のポイントでは予測力が低​​い特徴に過度に集中することがなくなります。このため、ランダム サブスペースは、fMRI データ^[3]や遺伝子発現データからの学習など、特徴の数がトレーニング ポイントの数よりはるかに多い高次元の問題に魅力的な選択肢です。^[4]

ランダムサブスペース法は決定木に使用されており、決定木の「通常の」バギングと組み合わせると、結果として得られるモデルはランダムフォレストと呼ばれます。^[5]また、線形分類器、^[6] サポートベクターマシン、^[7] 最近傍法^{[8] [9]}およびその他のタイプの分類器にも適用されています。この方法は、1クラス分類器にも適用できます。^{[10] [11]ランダムサブスペース法は、}ポートフォリオ選択^{[12] [13] [14] [15]}問題にも適用されており、基本的にバギングに基づく従来の再サンプルポートフォリオよりも優れていることが示されています。

高次元スパース問題に取り組むために、ランダムサブスペースアンサンブル（RaSE）^[16]と呼ばれるフレームワークが開発されました。RaSEは、ランダムサブスペースで訓練された弱学習器と2層構造および反復プロセスを組み合わせたものです。^[17] RaSEは魅力的な理論的特性と実用的なパフォーマンスを備えていることが示されています。^[16]

ランダムサブスペース法を採用したモデルのアンサンブルは、次のアルゴリズムを使用して構築できます。

1. トレーニングポイントの数をN、トレーニングデータ内の特徴の数をDとします。
2. アンサンブル内の個々のモデルの数をLとします。
3. 各モデルlについて、l の入力ポイントの数としてn _l (n _l < N)を選択します。すべてのモデルに対してn _{lの値が 1 つだけであることが一般的です。}
4. 個々のモデル l ごとに、D からd _{l 個の} 特徴を置換選択してトレーニング セットを作成し、モデルをトレーニングします。

ここで、アンサンブル モデルを見えないポイントに適用するには、L個の個別モデルの出力を多数決または事後確率の組み合わせによって組み合わせます。