ランダムフォレストのジャックナイフ分散推定

統計学において、ランダムフォレストのジャックナイフ分散推定は、ブートストラップ効果を排除するために、ランダムフォレストモデルの分散を推定する方法である。

袋詰め学習者の標本分散は次のとおりです。

${\displaystyle V(x)=Var[{\hat {\theta }}^{\infty }(x)]}$

ブートストラップ効果を排除するために、ジャックナイフ推定を検討することができます。ジャックナイフ分散推定量は次のように定義されます。^{[ 1 ]}

$${\displaystyle {\hat {V}}_{j}={\frac {n-1}{n}}\sum _{i=1}^{n}({\hat {\theta }}_{(-i)}-{\overline {\theta }})^{2}}$$

一部の分類問題において、ランダムフォレストを用いてモデルを適合させる場合、ジャックナイフ推定分散は次のように定義されます。

$${\displaystyle {\hat {V}}_{j}={\frac {n-1}{n}}\sum _{i=1}^{n}({\overline {t}}_{(-i)}^{\star }(x)-{\overline {t}}^{\star }(x))^{2}}$$

ここ、$\displaystyle t^{\star }}$はトレーニング後の決定木を表します。$\displaystyle t_{(-i)}^{\star }}$サンプルなしの結果を示します${\displaystyle ith}$観察。

Eメールのスパム問題は一般的な分類問題であり、この問題では、スパムメールと非スパムメールを分類するために57の特徴が使用されます。IJ-U分散式を適用して、m=15、19、57のモデルの精度を評価します。結果は論文(ランダムフォレストの信頼区間: ジャックナイフと無限小ジャックナイフ)で示されており、m=57のランダムフォレストは非常に不安定であるのに対し、m=5のランダムフォレストによる予測は非常に安定しているように見えます。この結果は、エラー率による評価に対応しており、m=5のモデルの精度は高く、m=57のモデルの精度は低いことがわかります。

ここでは、精度はエラー率によって測定され、エラー率は次のように定義されます。

${\displaystyle ErrorRate={\frac {1}{N}}\sum _{i=1}^{N}\sum _{j=1}^{M}y_{ij},}$

ここでNはサンプル数、Mはクラス数です。$\displaystyle y_{ij}}$は、次の場合に 1 となる指示関数です。${\displaystyle ith}$観測値はクラス j に属し、他のクラスに属する場合は 0 となります。ここでは確率は考慮されていません。精度を測定するためのエラー率に似た別の方法があります。

${\displaystyle logloss={\frac {1}{N}}\sum _{i=1}^{N}\sum _{j=1}^{M}y_{ij}log(p_{ij})}$

ここで、Nはサンプル数、Mはクラス数です。$\displaystyle y_{ij}}$は、次の場合に 1 となる指示関数です。${\displaystyle ith}$観測値はクラス j に属し、他のクラスに属する場合は 0 となります。${\displaystyle p_{ij}}$予測される確率は${\displaystyle ith}$授業中の観察${\displaystyle j}$この方法はKaggleで使用されています^{[ 2 ]} 。 これら2つの方法は非常によく似ています。

モンテカルロMSEを使用して推定する場合${\displaystyle V_{IJ}^{\infty }}$そして${\displaystyle V_{J}^{\infty }}$特にnが大きい場合、モンテカルロバイアスの問題を考慮する必要がある。バイアスは大きくなる。

$${\displaystyle E[{\hat {V}}_{IJ}^{B}]-{\hat {V}}_{IJ}^{\infty }\approx {\frac {n\sum _{b=1}^{B}(t_{b}^{\star }-{\bar {t}}^{\star })^{2}}{B}}}$$

この影響を排除するために、バイアス補正された修正が提案されている。

${\displaystyle {\hat {V}}_{IJ-U}^{B}={\hat {V}}_{IJ}^{B}-{\frac {n\sum _{b=1}^{B}(t_{b}^{\star }-{\bar {t}}^{\star })^{2}}{B}}}$

${\displaystyle {\hat {V}}_{JU}^{B}={\hat {V}}_{J}^{B}-(e-1){\frac {n\sum _{b=1}^{B}(t_{b}^{\star }-{\bar {t}}^{\star })^{2}}{B}}}$