ロジットブースト

機械学習と計算学習理論において、LogitBoost は、 Jerome Friedman、Trevor Hastie、Robert Tibshiraniによって考案されたブースティングアルゴリズムです。

元の論文では、 AdaBoostアルゴリズムを統計的枠組みに当てはめています。^[1]具体的には、AdaBoostを一般化加法モデルとして考え、ロジスティック回帰のコスト関数を適用すると、LogitBoostアルゴリズムを導出できます。^[2]

LogitBoostは凸最適化として見ることができる。具体的には、次のような加法モデルを求めると、

${\displaystyle f=\sum _{t}\alpha _{t}h_{t}}$

LogitBoostアルゴリズムはロジスティック損失を最小化します。

${\displaystyle \sum _{i}\log \left(1+e^{-y_{i}f(x_{i})}\right)}$

• 勾配ブースティング
• ロジスティックモデルツリー