Loading article…
機械学習(ML)において、ブースティングは、精度が低いモデル (「弱学習器」と呼ばれる) のセットを組み合わせて、単一の高精度モデル (「強学習器」) を作成するアンサンブル学習手法です。モデルを並列に構築する他のアンサンブル手法 (バギングなど) とは異なり、ブースティング アルゴリズムはモデルを順次構築します。シーケンス内の各新しいモデルは、前のモデルが犯したエラーを修正するようにトレーニングされます。この反復プロセスにより、特にバイアスを減らすことによって、モデル全体の精度が向上します。[ 1 ]ブースティングは、分類タスクと回帰タスクの両方で教師あり学習で使用される、人気があり効果的な手法です。[ 2 ]
ブースティングの理論的基礎は、 KearnsとValiant（1988、1989）が提起した次の質問から生まれた。 [ 3 ] [ 4 ]「一連の弱い学習器で単一の強い学習器を作成できるか？」弱い学習器は、ランダムな推測よりもわずかに優れた性能を発揮する分類器として定義され、強い学習器は、真の分類と高い相関関係にある分類器である。Robert Schapireが1990年の論文でこの質問に肯定的に答えたことが、実用的なブースティングアルゴリズムの開発につながった。[ 5 ] [ 6 ]そのようなアルゴリズムの最初のものはSchapireによって開発され、その後FreundとSchapireがAdaBoostを開発し、これはブースティングの基礎的な例となっている。[ 7 ]
ブースティングはアルゴリズム的に制約されていませんが、ほとんどのブースティングアルゴリズムは、分布に関して弱い分類器を繰り返し学習し、それらを最終的な強い分類器に追加することで構成されています。それらが追加されるとき、弱い学習器の精度に関連する方法で重みが付けられます。弱い学習器が追加された後、データの重みが再調整されます。これは「再重み付け」として知られています。誤分類された入力データはより高い重みを獲得し、正しく分類された例は重みを失います。[注1 ]したがって、将来の弱い学習器は、以前の弱い学習器が誤分類した例に重点を置きます。
ブースティングアルゴリズムは数多く存在する。ロバート・シャピール（再帰的多数決ゲート定式化）[ 8 ]とヨアブ・フロイント（多数決によるブースト）[ 9 ]によって提案された初期のものは適応性がなく、弱い学習器を十分に活用できなかった。シャピールとフロイントはその後、権威あるゲーデル賞を受賞した適応型ブースティングアルゴリズムであるAdaBoostを開発した。
おそらく近似的に正しい学習定式化において証明可能なブースティングアルゴリズムであるアルゴリズムのみが、正確にブースティングアルゴリズムと呼ばれる。ブースティングアルゴリズムと精神的に類似した他のアルゴリズムは、「レバレッジングアルゴリズム」と呼ばれることもあるが、誤ってブースティングアルゴリズムと呼ばれることもある。[ 9 ]
多くのブースティングアルゴリズムの主な違いは、トレーニングデータポイントと仮説に重み付けする 方法です。AdaBoostは非常に人気があり、弱い学習器に適応できる最初のアルゴリズムであったため、歴史的に最も重要なものです。大学の機械学習コースでブースティングの入門的な説明の基礎となることがよくあります。[ 10 ] LPBoost、TotalBoost、BrownBoost、xgboost、MadaBoost、LogitBoost、CatBoostなど、より新しいアルゴリズムが多数あります。多くのブースティングアルゴリズムはAnyBoostフレームワークに適合し、[ 9 ]ブースティングは凸コスト関数を使用して関数空間で勾配降下を実行することを示しています。
世界中の様々な既知の物体を含む画像が与えられた場合、それらの画像から分類器を学習することで、将来の画像内の物体を自動的に分類することができます。物体の画像特徴に基づいて構築された単純な分類器は、分類性能が弱い傾向があります。物体分類にブースティング手法を用いることは、弱い分類器を特別な方法で統合し、分類能力全体を向上させる方法です。
物体分類は、画像に特定のカテゴリの物体が含まれているかどうかを判断する、コンピュータビジョンの典型的なタスクです。この考え方は、認識、識別、検出と密接に関連しています。外観に基づく物体分類は、通常、特徴抽出、分類器の学習、および新しい例への分類器の適用を含みます。物体のカテゴリを表現する方法は数多くあり、たとえば、形状分析、単語のバッグモデル、 SIFTなどのローカル記述子などがあります。教師あり分類器の例としては、ナイーブベイズ分類器、サポートベクターマシン、ガウス混合モデル、ニューラルネットワークなどがあります。しかし、研究によると、物体のカテゴリと画像内のそれらの位置は、教師なしの方法でも発見できることが示されています。 [ 11 ]
画像内のオブジェクトカテゴリの認識は、特にカテゴリ数が多い場合、コンピュータビジョンにおける困難な問題です。これは、クラス内の変動性が高く、同じカテゴリ内のオブジェクトのバリエーション全体にわたって一般化する必要があるためです。1 つのカテゴリ内のオブジェクトは、かなり異なって見える場合があります。同じオブジェクトでさえ、異なる視点、スケール、照明の下では異なって見える場合があります。背景の雑然さや部分的な遮蔽も認識を困難にします。[ 12 ] 人間は何千ものオブジェクトタイプを認識できますが、既存のオブジェクト認識システムのほとんどは、人間の顔、車、単純なオブジェクトなど、ごく少数のオブジェクトのみを認識するように訓練されています。 [ 13 ] 研究は、より多くのカテゴリを扱い、新しいカテゴリを段階的に追加できるようにするために非常に活発に行われており、一般的な問題は未解決のままですが、いくつかのマルチカテゴリオブジェクト検出器（最大数百または数千のカテゴリ[ 14 ]）が開発されています。その手段の1つは、特徴共有とブースティングです。
AdaBoostは、二値分類の一例として顔検出に利用できます。分類されるカテゴリは、顔と背景の2つです。一般的なアルゴリズムは以下のとおりです。
ブースティング後、200個の特徴量から構築された分類器は、偽陽性率。[ 15 ]
二値分類のためのブースティングのもう1つの応用例は、動きと外観のパターンを使用して歩行者を検出するシステムです。 [ 16 ]この研究は、歩行者を検出するために動き情報と外観情報の両方を特徴として組み合わせた最初のものです。これは、 Viola-Jones物体検出フレームワークと同様のアプローチを採用しています。
二値分類と比較して、多クラス分類では、複数のカテゴリ間で同時に共有できる共通の特徴を探します。これらの特徴は、より汎用的なエッジのような特徴となります。学習時には、各カテゴリの検出器をまとめて学習させることができます。個別に学習させる場合と比較して、汎化性能が高く、必要な学習データが少なく、同じ性能を達成するために必要な特徴量も少なくて済みます。
アルゴリズムの主な流れは、バイナリの場合と同様です。異なる点は、共同トレーニング誤差の尺度を事前に定義する必要があることです。各反復で、アルゴリズムは単一の特徴の分類器を選択します（より多くのカテゴリで共有できる特徴が推奨されます）。これは、多クラス分類をバイナリ分類（カテゴリのセットとそれ以外のカテゴリ）に変換するか、[ 17 ]または分類器の特徴を持たないカテゴリからのペナルティ誤差を導入することによって行うことができます。[ 18 ]
論文「多クラスおよび多視点物体検出のための視覚的特徴の共有」において、A. Torralba らはGentleBoost をブースティングに使用し、訓練データが限られている場合、同じブースティングラウンドであれば、特徴を共有して学習する方が共有しない場合よりもはるかに優れた結果を示すことを明らかにした。また、与えられた性能レベルにおいて、特徴共有検出器に必要な特徴の総数（したがって分類器の実行時間コスト）は、クラス数に対してほぼ対数的に増加することが観察され、つまり、共有しない場合の線形増加よりも遅いことがわかった。同様の結果は論文「視覚的形状アルファベットを使用した物体検出器の増分学習」でも示されているが、著者らはブースティングにAdaBoost を使用している。
ブースティングアルゴリズムは、凸最適化アルゴリズムまたは非凸最適化アルゴリズムに基づいて構築できます。AdaBoostやLogitBoostなどの凸アルゴリズムは、ランダムノイズによって「打ち負かされる」可能性があり、弱い仮説の基本的で学習可能な組み合わせを学習できません。[ 19 ] [ 20 ]この制限は、2008年にLongとServedioによって指摘されました。しかし、2009年までに、BrownBoostなどの非凸最適化に基づくブースティングアルゴリズムは、ノイズのあるデータセットから学習でき、特にLong–Servedioデータセットの基となる分類器を学習できることが複数の著者によって実証されました。
分散削減において、アーキング [ブースティング] はバギングよりも優れている。
ブースティングという用語は、弱い学習器を強い学習器に変換できるアルゴリズム群を指します。
Schapire (1990) はブースティングが可能であることを証明した。(823 ページ)
