カーネルスムーザー

カーネルスムージングは​​、実数値関数を近傍の観測データの加重平均として推定する統計手法です。重みはカーネルによって定義され、近い点には高い重みが与えられます。推定された関数は滑らかで、滑らかさのレベルは 1 つのパラメーターによって設定されます。カーネル スムージングは​​、加重移動平均の一種です。 ${\displaystyle f:\mathbb {R} ^{p}\to \mathbb {R} }$

を次のように定義される核と する。${\displaystyle K_{h_{\lambda}}(X_{0},X)}$

${\displaystyle K_{h_{\lambda }}(X_{0},X)=D\left({\frac {\left\|X-X_{0}\right\|}{h_{\lambda }(X_{0})}}\right)}$

どこ：

• ${\displaystyle X,X_{0}\in \mathbb {R} ^{p}}$
• ${\displaystyle \left\|\cdot \right\|}$ユークリッドノルム
• ${\displaystyle h_{\lambda }(X_{0})}$パラメータ（カーネル半径）
• D ( t ) は通常、正の実数値関数であり、その値はXとX ₀の間の距離が増加するにつれて減少します（または増加しません） 。

スムージングに使用される一般的なカーネルには、放物線型 (Epanechnikov)、Tricube、ガウスカーネルなどがあります。

をXの連続関数とする。各に対して、ナダラヤ・ワトソンカーネル加重平均（滑らかなY（X）推定）は次のように定義される。 ${\displaystyle Y(X):\mathbb {R} ^{p}\to \mathbb {R} }$${\displaystyle X_{0}\in \mathbb {R} ^{p}}$

${\displaystyle {\hat {Y}}(X_{0})={\frac {\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})Y(X_{i})}}{\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})}}}}$

どこ：

• Nは観測点の数である
• Y ( X _i ) はX _i点における観測値です。

次のセクションでは、カーネル スムーザーのいくつかの特定のケースについて説明します。

ガウスカーネルは最も広く使用されているカーネルの 1 つであり、次の式で表されます。

${\displaystyle K(x^{*},x_{i})=\exp \left(-{\frac {(x^{*}-x_{i})^{2}}{2b^{2}}}\right)}$

ここで、b は入力空間の長さスケールです。

k最近傍アルゴリズムは、次のようにk最近傍スムーザーを定義するために使用できます。各ポイントX ₀について、m 個の最近傍を取り、これらの近傍の値を平均して Y ( X 0 ) の値を推定し_ます。

正式には、 はX _0近傍のm番目に近い点であり、 ${\displaystyle h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|}$${\displaystyle X_{[m]}}$

${\displaystyle D(t)={\begin{cases}1/m&{\text{if }}|t|\leq 1\\0&{\text{otherwise}}\end{cases}}}$

例：

この例では、X は1 次元です。各 X ₀について、 はX ₀ポイントに最も近い 16 個の平均値です(赤で表示)。 ${\displaystyle {\hat {Y}}(X_{0})}$

カーネル平均スムーザーの考え方は次のとおりです。各データ ポイントX ₀に対して、一定の距離サイズλ (カーネル半径、またはp = 1 次元のウィンドウ幅) を選択し、 X ₀より も近いすべてのデータ ポイントの加重平均を計算します( X ₀に近いポイントほど、重みが高くなります)。 ${\displaystyle \lambda}$

正式には、 D ( t )は人気のあるカーネルの1つです。 ${\displaystyle h_{\lambda }(X_{0})=\lambda ={\text{定数}},}$

例：

各X ₀のウィンドウ幅は一定で、ウィンドウ内の各ポイントの重みはグラフの黄色の数字で模式的に示されています。推定は滑らかですが、境界ポイントは偏っていることがわかります。その理由は、X ₀が境界に十分近い場合、ウィンドウ内のポイントの数（右から X _{0までと左から}X 0 まで）が等しくないことです。

前の 2 つのセクションでは、基礎となる Y(X) 関数が局所的に一定であると仮定したため、推定に加重平均を使用できました。局所線形回帰の考え方は、定数 (水平線) ではなく、直線 (または高次元の場合は超平面) を局所的に近似することです。線を近似した後、推定値は X ₀ポイント でのこの線の値によって提供されます。この手順を各X ₀に対して繰り返すことで、推定関数を取得できます。前のセクションと同様に、ウィンドウ幅は一定です。 正式には、局所線形回帰は加重最小二乗問題を解くことによって計算されます。 ${\displaystyle {\hat {Y}}(X_{0})}$${\displaystyle {\hat {Y}}(X)}$${\displaystyle h_{\lambda }(X_{0})=\lambda ={\text{定数}}.}$

1次元の場合（p = 1）：

${\displaystyle {\begin{aligned}&\min _{\alpha (X_{0}),\beta (X_{0})}\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\beta (X_{0})X_{i}\right)^{2}}\\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\Downarrow \\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\hat {Y}}(X_{0})=\alpha (X_{0})+\beta (X_{0})X_{0}\\\end{aligned}}}$

閉じた形式の解は次のように与えられます。

${\displaystyle {\hat {Y}}(X_{0})=\left(1,X_{0}\right)\left(B^{T}W(X_{0})B\right)^{-1}B^{T}W(X_{0})y}$

どこ：

• ${\displaystyle y=\left(Y(X_{1}),\dots ,Y(X_{N})\right)^{T}}$
• ${\displaystyle W(X_{0})=\operatorname {diag} \left(K_{h_{\lambda}}(X_{0},X_{i})\right)_{N\times N}}$
• ${\displaystyle B^{T}=\left({\begin{matrix}1&1&\dots &1\\X_{1}&X_{2}&\dots &X_{N}\\\end{matrix}}\right)}$

例：

結果として得られる関数は滑らかになり、偏った境界点の問題が軽減されます。

ローカル線形回帰は任意の次元空間に適用できますが、ローカル近傍とは何かという問題はより複雑になります。ローカル線形回帰を適合させるには、テスト ポイントに最も近い k 個のトレーニング ポイントを使用するのが一般的です。これにより、適合関数の分散が大きくなる可能性があります。分散を制限するには、トレーニング ポイントのセットに凸包内のテスト ポイントを含める必要があります (Gupta らの参考文献を参照)。

局所的に線形関数を当てはめる代わりに、多項式関数を当てはめることができます。p=1 の場合、以下を最小化する必要があります。

${\displaystyle {\underset {\alpha (X_{0}),\beta _{j}(X_{0}),j=1,...,d}{\mathop {\min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{i}^{j}}\right)^{2}}}$

と${\displaystyle {\hat {Y}}(X_{0})=\alpha (X_{0})+\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{0}^{j}}}$

一般的なケース（p>1）では、以下を最小化する必要があります。

${\displaystyle {\begin{aligned}&{\hat {\beta }}(X_{0})={\underset {\beta (X_{0})}{\mathop {\arg \min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-b(X_{i})^{T}\beta (X_{0})\right)}^{2}\\&b(X)=\left({\begin{matrix}1,&X_{1},&X_{2},...&X_{1}^{2},&X_{2}^{2},...&X_{1}X_{2}\,\,\,...\\\end{matrix}}\right)\\&{\hat {Y}}(X_{0})=b(X_{0})^{T}{\hat {\beta}}(X_{0})\\\end{aligned}}}$

• サビツキー・ゴレイフィルタ
• カーネルメソッド
• カーネル密度推定
• ローカル回帰
• カーネル回帰

• Li, Q. および JS Racine。ノンパラメトリック計量経済学: 理論と実践。プリンストン大学出版局、2007年、ISBN  0-691-12161-3。
• T. Hastie、R. Tibshirani、J. Friedman、「The Elements of Statistical Learning」、第 6 章、Springer、2001 年。ISBN 0-387-95284-5 (関連書籍サイト)。 
• M. Gupta、E. Garcia、E. Chin、「プリンタの色管理への応用を伴う適応型ローカル線形回帰」、IEEE Trans. Image Processing 2008。