ラジアル基底関数カーネル

機械学習において、ラジアル基底関数カーネル（RBFカーネル）は、さまざまなカーネル化学習アルゴリズムで使用される一般的なカーネル関数です。特に、サポートベクターマシン分類でよく使用されます。^[1]

2つのサンプルと上のRBFカーネルは、入力空間上の特徴ベクトルとして表され、 ^[2]のように定義される。${\displaystyle \mathbf {x} \in \mathbb {R} ^{k}}$${\displaystyle \mathbf {x'} }$

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)}$

${\displaystyle \textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}}$は、2つの特徴ベクトル間のユークリッド距離の2乗として認識される。は自由パラメータである。同等の定義にはパラメータが含まれる: ${\displaystyle \sigma}$${\displaystyle \textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}}$

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})}$

RBFカーネルの値は距離とともに減少し、ゼロ（無限距離の極限）から1（x = x'のとき）の範囲をとるため、類似度尺度として簡単に解釈できます。^[2]カーネルの 特徴空間は無限次元を持ちます。 の場合、多項式定理を使用した展開は次のようになります。^[3]${\displaystyle \sigma =1}$

${\displaystyle {\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\exp(\mathbf {x} ^{\top }\mathbf {x'} )\exp(-{\frac {1}{2}}\|\mathbf {x} \|^{2})\exp(-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\\[5pt]&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}}$

${\displaystyle \varphi (\mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{\ell _{0}}^{(0)},a_{1}^{(1)},\dots ,a_{\ell _{1}}^{(1)},\dots ,a_{1}^{(j)},\dots ,a_{\ell _{j}}^{(j)},\dots \right)}$

どこ、 ${\displaystyle \ell _{j}={\tbinom {k+j-1}{j}}}$

${\displaystyle a_{\ell }^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_{k}=j\wedge 1\leq \ell \leq \ell _{j}}$

サポートベクターマシンやカーネルトリックを採用した他のモデルは、多数のトレーニングサンプルや入力空間内の多数の特徴にうまく対応できないため、RBFカーネル（および同様のカーネル）の近似値がいくつか導入されています。^[4] 通常、これらは関数zの形をとり、単一のベクトルを高次元のベクトルにマッピングしてカーネルを近似します。

${\displaystyle \langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )}$

ここで、は RBF カーネルに埋め込まれた暗黙的なマッピングです。 ${\displaystyle \textstyle \varphi }$

このようなzを 構築する1つの方法は、カーネルのフーリエ変換^[5]からランダムにサンプルを採取することです。ここで、カーネルは正規分布からの独立したサンプルです。 $${\displaystyle \varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\ldots ,\cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}}$$${\displaystyle w_{1},...,w_{D}}$${\displaystyle N(0,\sigma ^{-2}I)}$

定理： ${\displaystyle \operatorname {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{\|x-y\|^{2}/(2\sigma ^{2})}.}$

証明:の場合を証明すれば十分です。三角関数の恒等式、ガウス分布の球対称性を用いて、積分を評価します。 ${\displaystyle D=1}$${\displaystyle \cos(a-b)=\cos(a)\cos(b)+\sin(a)\sin(b)}$

${\displaystyle \int _{-\infty }^{\infty }{\frac {\cos(kx)e^{-x^{2}/2}}{\sqrt {2\pi }}}dx=e^{-k^{2}/2}.}$

定理: . (付録A.2 ^[6] ). ${\displaystyle \operatorname {Var} [\langle \varphi (x),\varphi (y)\rangle ]=O(D^{-1})}$

別のアプローチでは、ニストローム法を使用して、トレーニングセットのランダムサンプルのみを使用して、グラム行列Kの固有値分解を近似します。^[7]

• ガウス関数
• カーネル（統計）
• 多項式カーネル
• ラジアル基底関数
• ラジアル基底関数ネットワーク
• Obstカーネルネットワーク