ブートストラップ集計

ブートストラップ集約（バギング、ブートストラップとも呼ばれる）は、機械学習（ML）のアンサンブルメタアルゴリズムであり、ML分類および回帰アルゴリズムの安定性と精度を向上させるために設計されています。また、分散と過学習も軽減します。通常は決定木法に適用されますが、あらゆる種類の手法で使用できます。バギングは、アンサンブル平均化アプローチの特殊なケースです。

標準的なトレーニングセットが与えられた場合${\displaystyle D}$サイズの${\displaystyle n}$袋詰めによって${\displaystyle m}$新しいトレーニングセット${\displaystyle D_{i}}$それぞれのサイズは${\displaystyle n'}$からサンプリングすることによって${\displaystyle D}$均一かつ復元抽出。復元抽出では、各サンプルで一部の観測値が繰り返される可能性がある。${\displaystyle D_{i}}$。 もし${\displaystyle n'=n}$大きな${\displaystyle n}$セット${\displaystyle D_{i}}$は、(1 - 1/ e ) (~63.2%) の割合のユニークなサンプルを持つと予想されます。${\displaystyle D}$残りは重複です。^{[ 1 ]}この種のサンプルはブートストラップサンプルとして知られています。置換サンプリングでは、サンプリング時に以前に選択されたサンプルに依存しないため、各ブートストラップがピアから独立していることが保証されます。次に、${\displaystyle m}$上記のブートストラップサンプルを使用してモデルを適合させ、出力を平均化（回帰の場合）または投票（分類の場合）によって組み合わせます。

バギングは「不安定な手順の改善」につながり、^{[ 2 ]}例えば、人工ニューラルネットワーク、分類木と回帰木、線形回帰における部分集合選択などが含まれます。^{[ 3 ]}バギングは、プリイメージ学習を改善することが示されています。^{[ 4 ] [ 5 ]}一方、k近傍法などの安定した手法のパフォーマンスをわずかに低下させる可能性があります。^{[ 2 ]}

上記の手法ではランダムフォレストとバギング（ブートストラップとも呼ばれる）を利用していますが、実行時間と投票時間、予測精度、および全体的なパフォーマンスを向上させるために使用できる特定の手法があります。効率的なランダムフォレストを作成するための重要な手順は次のとおりです。

1. ツリーの最大深度を指定します。ランダムフォレストをすべてのノードが純粋になるまで継続させるのではなく、過学習の可能性をさらに減らすために、ある時点で切断する方が良いでしょう。
2. データセットを整理する：非常に大きなデータセットを使用すると、より正確に焦点を当てている小さなデータセットを使用した場合よりも、提供されたデータを適切に反映しない結​​果が生じる可能性があります。
   • 元のバギング処理だけでなく、各ノード分割時にもデータの剪定を継続する。
3. 精度か速度かを選択する：求める結果に応じて、森の中の木の数を増減させることで効果が得られます。一般的に、木の数を増やすとより正確な結果が得られ、木の数を減らすとより迅速な結果が得られます。

分類には、トレーニングセットを使用します。${\displaystyle D}$誘導剤${\displaystyle I}$ブートストラップサンプルの数${\displaystyle m}$入力として。分類器を生成する${\displaystyle C^{*}}$出力として^{[ 12 ]}

1. 作成する${\displaystyle m}$新しいトレーニングセット ${\displaystyle D_{i}}$、 から${\displaystyle D}$交換品付き
2. 分類器${\displaystyle C_{i}}$各セットから構築されています${\displaystyle D_{i}}$使用${\displaystyle I}$セットの分類を決定する${\displaystyle D_{i}}$
3. 最後に分類器${\displaystyle C^{*}}$以前に作成された分類器セットを使用して生成されます${\displaystyle C_{i}}$元のデータセットについて${\displaystyle D}$サブ分類器によって最も頻繁に予測された分類${\displaystyle C_{i}}$最終分類

i = 1 から m まで { D' = Dからのブートストラップサンプル（復元抽出によるサンプル） Ci = I(D') } C*(x) = argmax #{i:Ci(x)=y} (最も頻繁に予測されるラベルはy) y∈Y 

袋詰めの基本原理を説明するために、以下にオゾンと温度の関係についての分析を示します（データはRousseeuwと Leroy (1986) によるもので、分析はRで行いました）。

散布図に基づくと、このデータセットでは温度とオゾンの関係は非線形であるように見えます。この関係を数学的に記述するために、LOESS平滑化器（帯域幅0.5）を使用します。データセット全体に対して単一の平滑化器を作成する代わりに、100個のブートストラップサンプルを抽出しました。各サンプルは元のデータのランダムなサブセットで構成され、マスターセットの分布と変動の類似性を維持します。各ブートストラップサンプルに対して、LOESS平滑化器を適合させました。次に、これらの100個の平滑化器から、データの範囲全体にわたって予測を行いました。黒線はこれらの初期予測を表しています。線は予測に一致がなく、データポイントに過剰適合する傾向があります。これは、線の流れが不安定であることから明らかです。

元のデータセットのサブセットに対応する100個の平滑化関数の平均を取ることで、1つのバギング予測器（赤線）が得られます。赤線の流れは安定しており、どのデータポイントにも過度に適合しません。

利点：

• 多数の弱学習器を集約すると、通常は単一の学習器よりも全体を通して優れた性能を発揮し、過学習も少なくなる。
• 高分散低バイアス弱学習器の分散を低減し、^{[ 13 ]}効率（統計）を向上させることができる。
• 並列処理が可能であり、各ブートストラップは集計前に個別に処理できる。^{[ 14 ]}

デメリット：

• バイアスの大きい弱い学習器の場合、バギングもその集計にバイアスを及ぼします^{[ 13 ]。}
• モデルの解釈可能性の喪失。
• データセットによっては、計算コストが高くなる場合があります。

ブートストラップ集約の概念は、ブラッドリー・エフロンによって開発されたブートストラップの概念に由来します。^{[ 15 ]}ブートストラップ集約は、レオ・ブレイマン によって提案され、彼はまた「バギング」（ブートストラップ集約）という略語も考案しました。ブレイマンは、ランダムに生成されたトレーニングセットの分類を組み合わせることによって分類を改善するために、1994 年にバギングの概念を開発しました。彼は、「学習セットを摂動することで構築された予測器に大きな変化が生じる可能性がある場合、バギングによって精度を向上させることができる」と主張しました。^{[ 3 ]}

• ブースティング（機械学習）
• ブートストラップ法（統計学）
• 交差検証（統計）
• 袋から出たエラー
• ランダムフォレスト
• ランダム部分空間法（属性バギング）
• リサンプリングされた効率的フロンティア
• 予測分析：分類木と回帰木

• Breiman, Leo (1996). "Bagging predictors". Machine Learning . 24 (2): 123–140 . CiteSeerX 10.1.1.32.9399 . doi : 10.1007/BF00058655 . S2CID 47328136 .  
• アルファロ、E.、ガメス、M.、ガルシア、N. (2012)。「adabag: AdaBoost.M1、AdaBoost-SAMME、および Bagging を使用した分類用の R パッケージ」。{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ) CS1 メンテナンス: 複数の名前: 著者リスト (リンク)が必要です
• Kotsiantis, Sotiris (2014). "分類問題処理のためのバギングとブースティングの変種：概説". Knowledge Eng. Review . 29 (1): 78–100 . doi : 10.1017/S0269888913000313 . S2CID 27301684 . 
• ベームケ、ブラッドリー；グリーンウェル、ブランドン（2019）。「バギング」。『Rによる実践的機械学習』。チャップマン＆ホール。191 ～ 202ページ。ISBN  978-1-138-49568-5。