カーネルスムーザー

前の2つのセクションでは、基となるY(X)関数が局所的に一定であると仮定したため、加重平均を用いて推定することができました。局所線形回帰の考え方は、定数（水平線）ではなく、局所的に直線（高次元の場合は超平面）を当てはめることです。直線を当てはめた後、推定値は $\displaystyle {\hat {Y}}(X_{0})}$これは、 X ₀点 におけるこの線の値によって与えられます。各X ₀に対してこの手順を繰り返すことで、推定関数を得ることができます。$\displaystyle {\hat {Y}}(X)}$前のセクションと同様に、ウィンドウの幅は一定です。${\displaystyle h_{\lambda }(X_{0})=\lambda ={\text{定数}}.}$ 厳密に言えば、局所線形回帰は、重み付き最小二乗問題を解くことによって計算される。

1次元の場合（p = 1）：

${\displaystyle {\begin{aligned}&\min _{\alpha (X_{0}),\beta (X_{0})}\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\beta (X_{0})X_{i}\right)^{2}}\\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\Downarrow \\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\hat {Y}}(X_{0})=\alpha (X_{0})+\beta (X_{0})X_{0}\\\end{aligned}}}$

閉形式解は次のように表されます。

${\displaystyle {\hat {Y}}(X_{0})=\left(1,X_{0}\right)\left(B^{T}W(X_{0})B\right)^{-1}B^{T}W(X_{0})y}$

どこ：

• ${\displaystyle y=\left(Y(X_{1}),\dots ,Y(X_{N})\right)^{T}}$
• ${\displaystyle W(X_{0})=\operatorname {diag} \left(K_{h_{\lambda }}(X_{0},X_{i})\right)_{N\times N}}$
• ${\displaystyle B^{T}=\left({\begin{matrix}1&1&\dots &1\\X_{1}&X_{2}&\dots &X_{N}\\\end{matrix}}\right)}$

結果として得られる関数は滑らかであり、境界点の偏りの問題は軽減される。

局所線形回帰は任意の次元空間に適用できますが、局所近傍とは何かという問題はより複雑になります。局所線形回帰を適合させるには、テスト点に最も近いk個の訓練点を使用するのが一般的です。しかし、この方法では適合関数の分散が大きくなる可能性があります。分散を抑えるには、訓練点の集合が凸包内にテスト点を含むようにする必要があります（Guptaらの文献を参照）。

局所的に線形関数を当てはめる代わりに、多項式関数を当てはめることができる。p=1の場合、以下を最小化する必要がある。

${\displaystyle {\underset {\alpha (X_{0}),\beta _{j}(X_{0}),j=1,...,d}{\mathop {\min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{i}^{j}}\right)^{2}}}$

と${\displaystyle {\hat {Y}}(X_{0})=\alpha (X_{0})+\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{0}^{j}}}$

一般的に（p>1の場合）、以下を最小化する必要があります。

${\displaystyle {\begin{aligned}&{\hat {\beta }}(X_{0})={\underset {\beta (X_{0})}{\mathop {\arg \min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-b(X_{i})^{T}\beta (X_{0})\right)}^{2}\\&b(X)=\left({\begin{matrix}1,&X_{1},&X_{2},...&X_{1}^{2},&X_{2}^{2},...&X_{1}X_{2}\,\,\,...\\\end{matrix}}\right)\\&{\hat {Y}}(X_{0})=b(X_{0})^{T}{\hat {\beta }}(X_{0})\\\end{aligned}}}$