変数カーネル密度推定

統計学において、適応型または「可変帯域幅」カーネル密度推定は、推定に使用されるカーネルのサイズがサンプルの位置またはテストポイントの位置に応じて変化するカーネル密度推定の一種です。これは、サンプル空間が多次元 の場合に特に効果的な手法です。 ^{[ 1 ]}

サンプルセットが与えられた場合、${\displaystyle \lbrace {\vec {x}}_{i}\rbrace }$密度を推定したい、${\displaystyle P({\vec {x}})}$テストポイントで、${\displaystyle {\vec {x}}}$:

${\displaystyle P({\vec {x}})\approx {\frac {W}{nh^{D}}}}$

${\displaystyle W=\sum _{i=1}^{n}w_{i}}$

${\displaystyle w_{i}=K\left({\frac {{\vec {x}}-{\vec {x}}_{i}}{h}}\right)}$

ここで、nはサンプル数、Kは 「カーネル」、hはその幅、Dは次元数である。${\displaystyle {\vec {x}}}$カーネルは、単純な線形フィルタと考えることができます。

固定フィルタ幅を使用すると、密度が低い領域ではすべてのサンプルが非常に低い重みでフィルタの裾野に落ち込み、密度が高い領域では重みが1に近い中央領域に過剰な数のサンプルが見つかる可能性があります。この問題を解決するために、サンプル空間の異なる領域でカーネルの幅を変化させます。これには、バルーン推定とポイントワイズ推定の2つの方法があります。バルーン推定器では、カーネル幅はテストポイントの位置に応じて変化します。ポイントワイズ推定器では、カーネル幅はサンプルの位置に応じて変化します。^{[ 1 ]}

多変量推定量の場合、パラメータhは、カーネルのサイズだけでなく形状も変化させるように一般化できます。ただし、このより複雑なアプローチについてはここでは扱いません。

カーネル幅を変化させる一般的な方法は、テストポイントにおける密度に反比例させることである。

${\displaystyle h={\frac {k}{\left[nP({\vec {x}})\right]^{1/D}}}}$

ここでkは定数です。推定 PDF を逆代入し、ガウスカーネル関数を仮定すると、 Wが定数であることが示されます。 ^{[ 2 ]}

${\displaystyle W=k^{D}(2\pi )^{D/2}}$

同様の導出は、正規化関数がh ^Dのオーダーである任意のカーネルに対しても成り立ちますが、 (2 π) ^D/2項の代わりに異なる定数係数が使用されます。これにより、 k 近傍アルゴリズムの一般化が得られます。つまり、一様カーネル関数はKNN 手法を返します。^{[ 2 ]}

誤差には、分散項とバイアス項の 2 つの要素があります。分散項は次のように与えられます。^{[ 1 ]}

${\displaystyle e_{1}={\frac {P\int K^{2}}{nh^{D}}}}$。

バイアス項は、カーネル幅がサンプル間隔よりもはるかに大きくなる極限で近似関数を評価することによって求められます。実関数に対してテイラー展開を用いると、バイアス項は消えます。

${\displaystyle e_{2}={\frac {h^{2}}{n}}\nabla ^{2}P}$

こうして、各推定値の誤差を最小化する最適なカーネル幅を導き出すことができる。

この方法は、統計的分類に適用する場合に特に効果的です。 2 つの方法があります。 1 つ目は、異なる帯域幅パラメータを使用して各クラスの PDF を個別に計算し、Taylor のように比較する方法です。^{[ 3 ]} または、各サンプルのクラスに基づいて合計を分割する方法もあります。

${\displaystyle P(j,{\vec {x}})\approx {\frac {1}{n}}\sum _{i=1,c_{i}=j}^{n}w_{i}}$

ここでc _iはi番目のサンプルのクラスです。テストポイントのクラスは最尤法によって推定できます。

• akde1d.m - 1次元適応型カーネル密度推定のためのMATLAB mファイル。
• libAGF -多変量適応型カーネル密度推定のためのC++ライブラリ。
• akde.m 2017-02-09 にWayback Machineにアーカイブされました-多変量 (高次元) 変数カーネル密度推定のためのMatlab関数。