XGBoost

入力: トレーニング セット、微分可能な損失関数、弱学習器の数、学習率。 ${\displaystyle \{(x_{i},y_{i})\}_{i=1}^{N}}$${\displaystyle L(y,F(x))}$${\displaystyle M}$${\displaystyle \alpha}$

アルゴリズム：

1. モデルを定数値で初期化します: ^{[詳細な説明が必要]}$${\displaystyle {\hat {f}}_{(0)}(x)={\underset {\theta }{\arg \min }}\sum _{i=1}^{N}L(y_{i},\theta ).}$$
2. m = 1 からMの場合:
   1. 「勾配」と「ヘッセ行列」を計算します: ^{[説明が必要]} $${\displaystyle {\begin{aligned}{\hat {g}}_{m}(x_{i})&=\left[{\frac {\partial L(y_{i},f(x_{i}))}{\partial f(x_{i})}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.\\{\hat {h}}_{m}(x_{i})&=\left[{\frac {\partial ^{2}L(y_{i},f(x_{i}))}{\partial f(x_{i})^{2}}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.\end{aligned}}}$$
   2. 以下の最適化問題を解くことにより、トレーニング セット^{[明確化が必要]}を使用して基本学習器 (または弱学習器、例: ツリー) を適合します。^{[明確化が必要]}${\displaystyle \left\{x_{i},{\dfrac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right\}_{i=1}^{N}}$$${\displaystyle {\hat {\phi }}_{m}={\underset {\phi \in \mathbf {\Phi } }{\arg \min }}\sum _{i=1}^{N}{\frac {1}{2}}{\hat {h}}_{m}(x_{i})\left[\phi (x_{i})-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right]^{2}.}$$ $${\displaystyle {\hat {f}}_{m}(x)=\alpha {\hat {\phi }}_{m}(x).}$$
   3. モデルを更新します。$${\displaystyle {\hat {f}}_{(m)}(x)={\hat {f}}_{(m-1)}(x)-{\hat {f}}_{m}(x).}$$
3. 出力${\displaystyle {\hat {f}}(x)={\hat {f}}_{(M)}(x)=\sum _{m=0}^{M}{\hat {f}}_{m}(x).}$