カーネル正則化のベイズ解釈

再生核ヒルベルト空間（RKHS）${\displaystyle {\mathcal {H}}_{k}}$は、対称かつ正定値関数によって定義される関数のヒルベルト空間である。${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$再生核と呼ばれる関数${\displaystyle k(\mathbf {x} ,\cdot )}$に属する${\displaystyle {\mathcal {H}}_{k}}$すべての人々のために${\displaystyle \mathbf {x} \in {\mathcal {X}}}$^{[ 6 ] [ 7 ] [ 8 ]} RKHSを魅力的なものにする主な特性は3つあります。

1. RKHS の名称の由来となった再生特性、

${\displaystyle f(\mathbf {x} )=\langle f,k(\mathbf {x} ,\cdot )\rangle _{k},\quad \forall \ f\in {\mathcal {H}}_{k},}$

どこ${\displaystyle \langle \cdot ,\cdot \rangle _{k}}$内積は${\displaystyle {\mathcal {H}}_{k}}$。

2. RKHS 内の関数は、与えられた点における核の線形結合の閉包に属します。

${\displaystyle f(\mathbf {x} )=\sum _{i}k(\mathbf {x} _{i},\mathbf {x} )c_{i}}$。

これにより、線形モデルと一般化線形モデルの両方を統一的な枠組みの中で構築することが可能になる。

3. RKHSにおける二乗ノルムは次のように表すことができます。

${\displaystyle \|f\|_{k}^{2}=\sum _{i,j}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}}$

そして、それは関数の複雑さを測る指標と見なすことができる。

推定量は、正則化された関数の最小化として導出される。

どこ${\displaystyle f\in {\mathcal {H}}_{k}}$そして${\displaystyle \|\cdot \|_{k}}$は標準です${\displaystyle {\mathcal {H}}_{k}}$この関数の最初の項は、誤差の二乗の平均を測定します。${\displaystyle f(\mathbf {x} _{i})}$そして$\displaystyle y_{i}}$は経験的リスクと呼ばれ、予測によって支払うコストを表します。${\displaystyle f(\mathbf {x} _{i})}$真の値$\displaystyle y_{i}}$関数の第2項は、RKHSにおけるノルムの2乗に重みを乗じたものである。${\displaystyle \lambda }$そして、問題の安定化^{[ 3 ] [ 5 ]}と推定量の適合性と複雑さの間のトレードオフを追加する目的を果たします。^{[ 2 ]} 重み${\displaystyle \lambda }$は、正則化項と呼ばれ、推定量の不安定性と複雑さにペナルティを課す度合いを決定します（ の値の増加に対してペナルティが大きくなります）。${\displaystyle \lambda }$)

式 ( 1 )の推定量の明示的な形式は、2 つのステップで導出されます。まず、表現定理^{[ 9 ] [ 10 ] [ 11 ]}によれば、関数 ( 2 ) の最小化は、常にトレーニング セットの点を中心とするカーネルの線形結合として記述できます。

一部の人にとって$\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}$係数の明示的な形式$\displaystyle \mathbf {c} =[c_{1},\ldots ,c_{n}]^{\top }}$を代入することで見つけることができます${\displaystyle f(\cdot )}$関数（2 ）において、式（ 3 ）の形の関数については、次のようになる。

${\displaystyle {\begin{aligned}\|f\|_{k}^{2}&=\langle f,f\rangle _{k},\\&=\left\langle \sum _{i=1}^{N}c_{i}k(\mathbf {x} _{i},\cdot ),\sum _{j=1}^{N}c_{j}k(\mathbf {x} _{j},\cdot )\right\rangle _{k},\\&=\sum _{i=1}^{N}\sum _{j=1}^{N}c_{i}c_{j}\langle k(\mathbf {x} _{i},\cdot ),k(\mathbf {x} _{j},\cdot )\rangle _{k},\\&=\sum _{i=1}^{N}\sum _{j=1}^{N}c_{i}c_{j}k(\mathbf {x} _{i},\mathbf {x} _{j}),\\&=\mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .\end{aligned}}}$

関数（2）は次のように書き換えることができます。

${\displaystyle {\frac {1}{n}}\|\mathbf {y} -\mathbf {K} \mathbf {c} \|^{2}+\lambda \mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .}$

この関数は凸である${\displaystyle \mathbf {c} }$したがって、勾配を に設定することでその最小値を求めることができます。${\displaystyle \mathbf {c} }$ゼロに、

${\displaystyle {\begin{aligned}-{\frac {1}{n}}\mathbf {K} (\mathbf {Y} -\mathbf {K} \mathbf {c} )+\lambda \mathbf {K} \mathbf {c} &=0,\\(\mathbf {K} +\lambda n\mathbf {I} )\mathbf {c} &=\mathbf {Y} ,\\\mathbf {c} &=(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .\end{aligned}}}$

この式を式（ 3 ）の係数に代入すると、式（ 1）で先に述べた推定値が得られます。

${\displaystyle {\hat {f}}(\mathbf {x} ')=\mathbf {k} ^{\top }(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .}$

ベイズ統計の枠組みにおいて、ガウス過程は、モデル化対象関数の特性に関する事前信念を記述する事前分布を指定します。これらの信念は、事前信念と観測値を関連付ける尤度関数を用いて、観測データを考慮した後に更新されます。事前分布と尤度関数を合わせると、事後分布と呼ばれる更新された分布が得られ、これは通常、テストケースの予測に用いられます。

ガウス過程（GP）は、サンプリングされた有限個の確率変数が結合正規分布に従う確率過程です。^{[ 12 ]} ガウス分布の平均ベクトルと共分散行列は、GPを完全に規定します。GPは通常、関数の事前分布として使用され、そのため平均ベクトルと共分散行列は関数と見なすことができ、共分散関数はGPのカーネルとも呼ばれます。関数を考えます。${\displaystyle f}$平均関数を持つガウス過程に従う${\displaystyle m}$カーネル関数${\displaystyle k}$、

${\displaystyle f\sim {\mathcal {GP}}(m,k).}$

基礎となるガウス分布に関して、任意の有限集合に対して、${\displaystyle \mathbf {X} =\{\mathbf {x} _{i}\}_{i=1}^{n}}$もし私たちが許せば${\displaystyle f(\mathbf {X} )=[f(\mathbf {x} _{1}),\ldots ,f(\mathbf {x} _{n})]^{\top }}$それから

${\displaystyle f(\mathbf {X} )\sim {\mathcal {N}}(\mathbf {m} ,\mathbf {K} ),}$

どこ${\displaystyle \mathbf {m} =m(\mathbf {X} )=[m(\mathbf {x} _{1}),\ldots ,m(\mathbf {x} _{N})]^{\top }}$は平均ベクトルであり、${\displaystyle \mathbf {K} =k(\mathbf {X} ,\mathbf {X} )}$は多変量ガウス分布の共分散行列です。

回帰分析の文脈では、尤度関数は通常ガウス分布であり、観測値は独立同分布（iid）であると仮定されます。

${\displaystyle p(y|f,\mathbf {x} ,\sigma ^{2})={\mathcal {N}}(f(\mathbf {x} ),\sigma ^{2}).}$

この仮定は、観測値が分散を持つ平均ゼロのガウスノイズによって汚染されていることに対応します。${\displaystyle \sigma ^{2}}$独立同分布（iid）の仮定により、入力セットが与えられた場合、データポイント上の尤度関数を因数分解することが可能になります。${\displaystyle \mathbf {X} }$そしてノイズの分散${\displaystyle \sigma ^{2}}$したがって、事後分布は解析的に計算できる。テスト入力ベクトルについては、${\displaystyle \mathbf {x} '}$トレーニングデータが与えられた場合${\displaystyle S=\{\mathbf {X} ,\mathbf {Y} \}}$事後分布は次のように与えられる。

${\displaystyle p(f(\mathbf {x} ')|S,\mathbf {x} ',{\boldsymbol {\phi }})={\mathcal {N}}(m(\mathbf {x} '),\sigma ^{2}(\mathbf {x} ')),}$

どこ${\displaystyle {\boldsymbol {\phi }}}$は、ノイズの分散を含むパラメータのセットを表します。${\displaystyle \sigma ^{2}}$共分散関数からのパラメータ${\displaystyle k}$そしてどこで

${\displaystyle {\begin{aligned}m(\mathbf {x} ')&=\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {Y} ,\\\sigma ^{2}(\mathbf {x} ')&=k(\mathbf {x} ',\mathbf {x} ')-\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} .\end{aligned}}}$