XGBoost

入力: トレーニングセット${\displaystyle \{(x_{i},y_{i})\}_{i=1}^{N}}$微分可能な損失関数${\displaystyle L(y,F(x))}$学習能力の低い生徒多数${\displaystyle M}$学習率${\displaystyle \alpha }$。

アルゴリズム：

• モデルを定数値で初期化します。$${\displaystyle {\hat {f}}_{(0)}(x)={\underset {\theta }{\arg \min }}\sum _{i=1}^{N}L(y_{i},\theta ).}$$

これはモデルの初期化であるため、すべての入力に対して定数値を設定することに注意してください。したがって、後の反復処理で最適化を使用して新しい関数を見つける場合でも、ステップ0では、損失関数を最小化する値をすべての入力に対して等しく設定する必要があります。

1. m = 1 からMまで:
   1. 「勾配」と「ヘッセ行列」を計算します。$${\displaystyle {\begin{aligned}{\hat {g}}_{m}(x_{i})&=\left[{\frac {\partial L(y_{i},f(x_{i}))}{\partial f(x_{i})}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.\\{\hat {h}}_{m}(x_{i})&=\left[{\frac {\partial ^{2}L(y_{i},f(x_{i}))}{\partial f(x_{i})^{2}}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.\end{aligned}}}$$
   2. トレーニングセットを使用して、基本学習器（または弱学習器、例えばツリー）を適合させる。${\displaystyle \left\{x_{i},{\dfrac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right\}_{i=1}^{N}}$以下の最適化問題を解くことによって：$${\displaystyle {\hat {\phi }}_{m}={\underset {\phi \in \mathbf {\Phi } }{\arg \min }}\sum _{i=1}^{N}{\frac {1}{2}}{\hat {h}}_{m}(x_{i})\left[\phi (x_{i})-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right]^{2}.}$$$$\displaystyle {\hat {f}}_{m}(x)=\alpha {\hat {\phi }}_{m}(x).}$$
   3. モデルを更新する：$${\displaystyle {\hat {f}}_{(m)}(x)={\hat {f}}_{(m-1)}(x)-{\hat {f}}_{m}(x).}$$
2. 出力${\displaystyle {\hat {f}}(x)={\hat {f}}_{(M)}(x)=\sum _{m=0}^{M}{\hat {f}}_{m}(x).}$