正定値カーネル

作用素論は数学の一分野であり、正定値カーネルは正定値関数または正定値行列の一般化です。これは20世紀初頭にジェームズ・マーサーによって、積分作用素方程式を解く文脈で初めて導入されました。それ以来、正定値関数とその様々な類似物や一般化は、数学の様々な分野で出現しています。これらは、フーリエ解析、確率論、作用素論、複素関数論、モーメント問題、積分方程式、偏微分方程式の境界値問題、機械学習、埋め込み問題、情報理論、その他の分野で自然に現れます。

意味

させて $\displaystyle {\mathcal {X}}}$ 空でない集合であり、インデックス集合と呼ばれることもある。対称関数 $K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R}$ これは正定値（pd）カーネルと呼ばれます。 $\displaystyle {\mathcal {X}}}$ もし

すべての $x_{1},\dots ,x_{n}\in {\mathcal {X}}$ 、 $n\in \mathbb {N} ,c_{1},\dots ,c_{n}\in \mathbb {R}$ 。

確率論では、(1.1) の等号が意味する正定値カーネルと、 $c_{i}=0\;(\forall i)$ 、およびこの条件を課さない正半定値 (psd) カーネル。これは、ペアワイズ評価によって構築されたすべての有限行列が、 $\mathbf {K} _{ij}=K(x_{i},x_{j})$ は、完全に正の固有値（pd）または非負の固有値（psd）のいずれかを持つ。

数学文献では、カーネルは通常、複素数値関数である。つまり、複素数値関数 $K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {C}$ は、以下の条件を満たす場合にエルミート核と呼ばれます。 $K(x,y)={\overline {K(y,x)}}$ 任意の有限個の点集合に対して正定値である $x_{1},\dots ,x_{n}\in {\mathcal {X}}$ および任意の複素数 $\xi _{1},\dots ,\xi _{n}\in \mathbb {C}$ 、

\sum _{i=1}^{n}\sum _{j=1}^{n}\xi _{i}{\overline {\xi }}_{j}K(x_{i},x_{j})\geq 0

どこ ${\overline {\xi }}_{j}$ は複素共役を表します。^{[ 1 ]}この記事の残りの部分では、pdカーネルの応用で一般的な慣行である実数値関数を仮定します。

いくつかの一般的な特性

pdカーネルのファミリーの場合 $\displaystyle (K_{i})_{i\in \mathbb {N} },\ \ K_{i}:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$ $\displaystyle (K_{i})_{i\in \mathbb {N} },\ \ K_{i}:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$
- 円錐和 $\displaystyle \sum _{i=1}^{n}\lambda _{i}K_{i}}$ はpdであり、 $\lambda _{1},\dots ,\lambda _{n}\geq 0$
- この製品は $K_{1}^{a_{1}}\dots K_{n}^{a_{n}}$ はpdであり、 $a_{1},\dots ,a_{n}\in \mathbb {N}$
- 限界 $K=\lim _{n\to \infty }K_{n}$ 極限が存在する場合、それはpdである。
もし $({\mathcal {X}}_{i})_{i=1}^{n}$ は集合の列であり、 $\displaystyle (K_{i})_{i=1}^{n},\ \ K_{i}:{\mathcal {X}}_{i}\times {\mathcal {X}}_{i}\to \mathbb {R} }$ pdカーネルのシーケンス、そして両方 $K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\prod _{i=1}^{n}K_{i}(x_{i},y_{i})$ そして $K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\sum _{i=1}^{n}K_{i}(x_{i},y_{i})$ pdカーネルは $\displaystyle {\mathcal {X}}={\mathcal {X}}_{1}\times \dots \times {\mathcal {X}}_{n}}$ 。
させて $\displaystyle {\mathcal {X}}_{0}\subset {\mathcal {X}}}$ すると制限が $\displaystyle K_{0}}$ の $K$ に $\displaystyle {\mathcal {X}}_{0}\times {\mathcal {X}}_{0}}$ これもpdカーネルです。

pdカーネルの例

ユークリッド空間上で定義されたpdカーネルの一般的な例 $\displaystyle \mathbb {R} ^{d}}$ $\displaystyle \mathbb {R} ^{d}}$ 含む：
- 線形カーネル: $K(\mathbf {x} ,\mathbf {y} )=\mathbf {x} ^{T}\mathbf {y} ,\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}$ 。
- 多項式カーネル： $K(\mathbf {x} ,\mathbf {y} )=(\mathbf {x} ^{T}\mathbf {y} +r)^{n},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},r\geq 0,n\geq 1$ 。
- ガウスカーネル（RBFカーネル）： $K(\mathbf {x} ,\mathbf {y} )=e^{-{\frac {\|\mathbf {x} -\mathbf {y} \|^{2}}{2\sigma ^{2}}}},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\sigma >0$ 。
- ラプラシアンカーネル: $K(\mathbf {x} ,\mathbf {y} )=e^{-\alpha \|\mathbf {x} -\mathbf {y} \|},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\alpha >0$ 。
- アベル核： $K(x,y)=e^{-\alpha |x-y|},\quad x,y\in \mathbb {R} ,\alpha >0$ 。
- カーネル生成ソボレフ空間 $W_{2}^{k}(\mathbb {R} ^{d})$ : $K(x,y)=\|x-y\|_{2}^{k-{\frac {d}{2}}}B_{k-{\frac {d}{2}}}(\|x-y\|_{2})$ 、どこ $B_{\nu }$ は第3種ベッセル関数です。
- ペイリー・ウィーナー空間を生成するカーネル： $K(x,y)=\operatorname {sinc} (\alpha (x-y)),\quad x,y\in \mathbb {R} ,\alpha >0$ 。
もし $H$ がヒルベルト空間である場合、対応する内積 $(\cdot ,\cdot )_{H}:H\times H\to \mathbb {R}$ これはpdカーネルです。実際、私たちは $\sum _{i,j=1}^{n}c_{i}c_{j}(x_{i},x_{j})_{H}=\left(\sum _{i=1}^{n}c_{i}x_{i},\sum _{j=1}^{n}c_{j}x_{j}\right)_{H}=\left\|\sum _{i=1}^{n}c_{i}x_{i}\right\|_{H}^{2}\geq 0$
カーネルは以下のように定義されます $\mathbb {R} _{+}^{d}$ ^{およびヒストグラム: ヒストグラムは、} 実生活の問題の応用において頻繁に遭遇します。ほとんどの観測値は通常、カウントの非負ベクトルの形式で得られ、これを正規化すると、頻度のヒストグラムが得られます。^次^の二乗メトリックの族、それぞれジェンセンダイバージェンス、 $\chi$ -二乗、全変動、およびヘリンジャー距離の2つのバリエーション： $\psi _{JD}=H\left({\frac {\theta +\theta '}{2}}\right)-{\frac {H(\theta )+H(\theta ')}{2}},$ $\psi _{\chi ^{2}}=\sum _{i}{\frac {(\theta _{i}-\theta _{i}')^{2}}{\theta _{i}+\theta _{i}'}},\quad \psi _{TV}=\sum _{i}\left|\theta _{i}-\theta _{i}'\right|,$ $\psi _{H_{1}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|,\psi _{H_{2}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|^{2},$ 以下の式を用いてpdカーネルを定義することができる。 $K(\theta ,\theta ')=e^{-\alpha \psi (\theta ,\theta ')},\alpha >0.$

その他のカーネルの例

シグモイドカーネル、または双曲線正接カーネルは次のように定義されます。 $K(\mathbf {x} ,\mathbf {y} )=\tanh(\gamma \mathbf {x} ^{T}\mathbf {y} +r),\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}$ どこ $\gamma ,r$ は実数パラメータです。カーネルはPDではありませんが、カーネルアルゴリズムに使用されることがあります。^{[ 3 ]}

歴史

(1.1)で定義される正定値カーネルは、1909年にジェームズ・マーサーによる積分方程式に関する論文で初めて登場した。^{[ 4 ]}その後20年間で他の著者数名がこの概念を利用したが、カーネルを明示的に使用した者はいなかった。 $K(x,y)=f(x-y)$ 、iepd 関数（実際、M. Mathias とS. Bochner はpd カーネルの研究を知らなかったようです）。マーサーの研究は、1904 年のヒルベルトの論文^{[ 5 ]}の第 2 種フレドホルム積分方程式から始まりました。

特にヒルベルトは、

どこ $K$ は連続実対称核であり、 $x$ 連続的である、 $\{\psi _{n}\}$ は正規直交固有関数の完全なシステムであり、 $\lambda _{n}$ は、(1.2) の対応する固有値である。ヒルベルトは、「確定」核を、二重積分が $J(x)=\int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\;\mathrm {d} t$ 満たす $J(x)>0$ 例外 $x(t)=0$ マーサーの論文の本来の目的は、ヒルベルトの意味で正定値である核関数を特徴づけることであったが、マーサーはすぐに、そのような関数のクラスは行列式で特徴づけるには制約が厳しすぎることに気づいた。そこで彼は、連続な実対称核関数を定義した。 $K(s,t)$ 正型（つまり正定値）である場合 $J(x)\geq 0$ すべての実連続関数に対して $x$ の上 $[a,b]$ そして彼は、(1.1)がカーネルが正型であるための必要十分条件であることを証明した。マーサーは、任意の連続pdカーネルに対して展開が成り立つことを証明した。 $K(s,t)=\sum _{n}{\frac {\psi _{n}(s)\psi _{n}(t)}{\lambda _{n}}}$ 絶対的かつ均一に成り立つ。

ほぼ同時期に、WH Young ^{[ 6 ]}は、積分方程式の理論における別の疑問に触発されて、連続核の場合、条件 (1.1) は以下と同等であることを示した。 $J(x)\geq 0$ すべての人々のために $x\in L^{1}[a,b]$ 。

EH ムーア^{[ 7 ]}^{[ 8 ]}は、非常に一般的な種類の pd カーネルの研究を開始しました。 $E$ は抽象的な集合であり、彼は関数と呼ぶ。 $K(x,y)$ 定義済み $E\times E$ すべてのに対して (1.1) を満たす場合、「正のエルミート行列」 $x_{i}\in E$ ムーアは積分方程式の一般化に興味を持ち、そのような各積分方程式に対して $K$ ヒルベルト空間が存在する $H$ 各関数について $f\in H,f(y)=(f,K(\cdot ,y))_{H}$ この性質は核の再生性質と呼ばれ、楕円型偏微分方程式の境界値問題の解法において重要な意味を持つことがわかっています。

pd 核が大きな役割を果たしたもう 1 つの発展の流れは、 1929 年にE. Cartanによって始められ、H. Weylと S. Ito によって引き継がれた同次空間上の調和理論です。同次空間における pd 核の最も包括的な理論はM. Krein ^{[ 9 ]}によるもので、pd 関数と局所コンパクト群の既約ユニタリ表現に関する研究を特殊なケースとして含んでいます。

確率論では、pdカーネルは確率過程の共分散カーネルとして現れる。^{[ 10 ]}

再生核ヒルベルト空間および特徴マップとの関連性

正定値カーネルは、いくつかの基本的なヒルベルト空間構成を包含する枠組みを提供する。以下では、正定値カーネルと、再生ヒルベルト空間および特徴マップという2つの数学的対象との密接な関係を示す。

させて $X$ セットである、 $H$ 関数のヒルベルト空間 $f:X\to \mathbb {R}$ 、そして $(\cdot ,\cdot )_{H}:H\times H\to \mathbb {R}$ 対応する内積 $H$ どのような場合でも $x\in X$ 評価関数 $e_{x}:H\to \mathbb {R}$ 定義される $f\mapsto e_{x}(f)=f(x)$ まず、再生核ヒルベルト空間（RKHS）を定義します。

定義：空間 $H$ 評価汎関数が連続である場合、それは再生核ヒルベルト空間と呼ばれます。

すべてのRKHSには、再生核という特別な機能が関連付けられています。

定義：再生核は関数である $K:X\times X\to \mathbb {R}$ そのため
$K_{x}(\cdot )\in H,\forall x\in X$ 、そして
$(f,K_{x})_{H}=f(x)$ すべての $f\in H$ そして $x\in X$ 。
後者の性質は再生性質と呼ばれる。

以下の結果は、RKHSと再生核が等価であることを示している。

定理—すべての再生核 $K$ 固有のRKHSを誘導し、すべてのRKHSは固有の再生核を持つ。

正定値カーネルとRKHSの関係は、次の定理によって示される。

定理—すべての再生核は正定値であり、すべての正定値核は一意のRKHSを定義し、そのRKHSの唯一の再生核である。

したがって、正定値カーネルが与えられた場合 $K$ 関連するRKHSを構築することが可能です $K$ 再生核として。

前述のように、正定値カーネルは内積から構築できます。この事実は、pdカーネルを機械学習アプリケーションで発生するもう1つの興味深いオブジェクト、つまり特徴マップと関連付けるために使用できます。 $F$ ヒルベルト空間であり、 $(\cdot ,\cdot )_{F}$ 対応する内積。任意のマップ $\Phi :X\to F$ これはフィーチャマップと呼ばれます。この場合、 $F$ ^{特徴空間。 [ 11 ]}からわかるように、すべての特徴マップは、次の方法で一意のpdカーネルを定義します。 $K(x,y)=(\Phi (x),\Phi (y))_{F}.$ 実際、正定値性 $K$ これは内積のpd特性から導かれる。一方、すべてのpdカーネルとその対応するRKHSには、多くの関連特徴マップがある。例えば： $F=H$ 、そして $\Phi (x)=K_{x}$ すべての人々のために $x\in X$ 。それから $(\Phi (x),\Phi (y))_{F}=(K_{x},K_{y})_{H}=K(x,y)$ これは、再生特性によるものです。このことから、pdカーネルを適切なヒルベルト空間における内積として捉える新たな視点が示唆されます。言い換えれば、pdカーネルは、2点間の類似性を効果的に定量化する類似性マップとして見なすことができます。 $x$ そして $y$ 価値を通じて $K(x,y)$ さらに、pdカーネルとその対応するRKHSの等価性により、すべての特徴マップを使用してRKHSを構築できます。

カーネルと距離

カーネル法は、最近傍法などの距離ベースの手法と比較されることが多い。このセクションでは、それぞれの構成要素であるカーネル間の類似点について議論する。 $K$ 距離 $d$ 。

ここでは、ある集合の各要素のペア間の距離関数によって定義される。 $X$ ここでいう距離とは、その集合上で定義された距離、すなわち非負の値をとる任意の関数を指します。 $d$ の上 ${\mathcal {X}}\times {\mathcal {X}}$ これは以下を満たす

$d(x,y)\geq 0$ 、そして $d(x,y)=0$ かつその場合に限り $x=y$ 、
$d(x,y)=d(y,x),$
$d(x,z)\leq d(x,y)+d(y,z).$

距離とpdカーネルの間の関係の一つは、負定値カーネルと呼ばれる特定の種類のカーネルによって与えられ、それは次のように定義される。

定義：対称関数 ${\displaystyle \psi$ は負定値 (nd) カーネルと呼ばれます。 ${\mathcal {X}}$ もし
あらゆる $n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in {\mathcal {X}},$ そして $c_{1},\dots ,c_{n}\in \mathbb {R}$ そのため ${\textstyle \sum _{i=1}^{n}c_{i}=0}$ 。

nd カーネルと距離の類似点は次のとおりです。 nd カーネルが集合上で消滅する場合 $\{(x,x):x\in {\mathcal {X}}\}$ 、そして、この集合上でのみゼロである場合、その平方根は距離である。 ${\mathcal {X}}$ ^{[ 12 ]}同時に、各距離は必ずしもカーネルに対応するわけではありません。これは、距離がヒルベルト距離の場合にのみ当てはまります。 $d$ 距離空間を埋め込むことができる場合、それはヒルベルト的と呼ばれる。 $({\mathcal {X}},d)$ あるヒルベルト空間に等長変換する。

一方、ndカーネルは、無限に分割可能なカーネルとして知られるpdカーネルのサブファミリーと同一視できる。非負の値を持つカーネル $K$ は、すべてのに対してが無限に割り切れると言われます。 $n\in \mathbb {N}$ 正定値カーネルが存在する $K_{n}$ そのため $K=(K_{n})^{n}$ 。

もう1つの関連性は、pdカーネルが擬似距離を誘導し、距離関数の最初の制約が緩和されて $d(x,y)=0$ のために $x\neq y$ 正定値カーネルが与えられた場合 $K$ 距離関数は次のように定義できます。 $d(x,y)={\sqrt {K(x,x)-2K(x,y)+K(y,y)}}$

いくつかのアプリケーション

機械学習におけるカーネル

正定値カーネルは、再生核ヒルベルト空間（RKHS）との等価性から、統計的学習理論の分野において特に重要です。これは、RKHSにおけるすべての最小化関数が、訓練点におけるカーネル関数の線形結合として表せるという有名な表現定理によるものです。この定理は、経験的リスク最小化問題を無限次元から有限次元の最適化問題へと効果的に単純化するため、実用上非常に有用な結果と言えます。

確率モデルにおけるカーネル

確率論においてカーネルが生じる方法はいくつか存在する。

非決定論的回復問題: 応答を見つけたいと仮定します $f(x)$ 未知のモデル関数 $f$ 新たな地点で $x$ 集合の ${\mathcal {X}}$ 入力と応答のペアのサンプルがある場合 $(x_{i},f_{i})=(x_{i},f(x_{i}))$ 観察または実験によって得られた反応。 $f_{i}$ で $x_{i}$ 固定関数ではない $x_{i}$ むしろ実数値の確率変数の実現値 $Z(x_{i})$ 目的は、その機能に関する情報を取得することです。 $E[Z(x_{i})]$ 置き換える $f$ 決定論的な設定において。2つの要素について $x,y\in {\mathcal {X}}$ ランダム変数 $Z(x)$ そして $Z(y)$ 相関がないわけではない、なぜなら $x$ 近すぎる $y$ ランダム実験は次のように説明される $Z(x)$ そして $Z(y)$ 多くの場合、同様の挙動を示す。これは共分散カーネルによって記述される。 $K(x,y)=E[Z(x)\cdot Z(y)]$ このようなカーネルは存在し、弱い追加仮定の下で正定値である。 $Z(x)$ 共分散カーネルを用いたカーネル補間を用いることで、確率的背景を完全に無視して得ることができる。

ここで、ノイズ変数を仮定します。 $\epsilon (x)$ 平均ゼロ、分散 $\sigma ^{2}$ 、追加されます $x$ ノイズは異なる $x$ そして独立して $Z$ そこで、 $f$ 上記のものと同一だが、カーネルが修正されている。 $K(x,y)=E[Z(x)\cdot Z(y)]+\sigma ^{2}\delta _{xy}$ 。

カーネルによる密度推定：問題は密度を復元することです $f$ 領域上の多変量分布 ${\mathcal {X}}$ 大規模なサンプルから $x_{1},\dots ,x_{n}\in {\mathcal {X}}$ 繰り返しを含む。サンプリング点が密集している場所では、真の密度関数は大きな値をとらなければならない。グリッドの各セル内のサンプル数を数え、結果として得られるヒストグラムをプロットすることで、単純な密度推定が可能であり、区分的に一定の密度推定値が得られる。非負の並進不変カーネルを使用することで、より良い推定値が得られる。 $K$ 、全積分は1に等しく、定義する $f(x)={\frac {1}{n}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)$ 滑らかな概算として。

偏微分方程式の数値解法

いわゆるメッシュフリー法の最も大きな応用分野の一つは、偏微分方程式の数値解法である。一般的なメッシュフリー法の中には、正定値カーネルと密接に関連しているものがある（例えば、メッシュレス局所ペトロフ・ガラーキン法（MLPG）、再生核粒子法（RKPM）、平滑化粒子流体動力学法（SPH）など）。これらの方法は、コロケーションに動径基底カーネルを使用する。^{[ 13 ]}

スタインスプリング膨張定理

その他の用途

^{コンピュータ実験[ 14 ]}やその他の工学実験に関する文献では、pdカーネル、RBF、またはクリギングに基づくモデルに遭遇することが増えています。そのようなトピックの1つが応答曲面法です。データフィッティングに帰着する他のタイプのアプリケーションには、ラピッドプロトタイピングとコンピュータグラフィックスがあります。ここでは、点群データを近似または補間するために暗黙的曲面モデルがよく使用されます。

pdカーネルの応用は、多変数積分、多変数最適化、数値解析、科学計算など、数学のさまざまな分野に及んでおり、これらの分野では、高性能計算環境で理想的に実装される高速で正確かつ適応性の高いアルゴリズムが研究されている。^{[ 15 ]}

参考文献

↑ベレザンスキー、ユーリ・マカロヴィチ( 1968)。自己共役作用素の固有関数による展開。プロビデンス、ロードアイランド州：アメリカ数学会。pp. 45–47。ISBN 978-0-8218-1567-0。
↑ Hein, M. および Bousquet, O. (2005). "確率測度上のヒルベルト計量と正定値カーネル". Ghahramani, Z. および Cowell, R. 編、AISTATS 2005 論文集。
↑ Lin, Hsuan-Tien、Chih-Jen Lin。「SVM 用シグモイドカーネルの研究と SMO 型手法による非 PSD カーネルの学習」 Neural Comput 3.1-32 (2003): 16。
↑ Mercer, J. (1909). “正負の関数と積分方程式の理論との関連”. Philosophical Transactions of the Royal Society of London, Series A 209, pp. 415–446.
↑ヒルベルト、D. (1904)。「Grundzuge einer allgemeinen Theorie der lineen Integralgleichungen I」、Gott。ナクリテン、数学-物理学。 K1 (1904)、49 ～ 91 ページ。
↑ Young, WH (1909). 「対称関数のクラスと積分方程式の理論で必要とされる定理に関する注記」、Philos. Trans. Roy.Soc. London, Ser. A, 209, pp. 415–446.
↑ Moore, EH (1916). 「正のエルミート行列について」、Bull. Amer. Math. Soc. 23, 59, pp. 66–67.
↑ムーア、EH (1935)。「一般分析、パート I」、アメリカ哲学会紀要 1、フィラデルフィア。
↑ Krein. M (1949/1950). "均質空間 I および II 上のエルミート正核" (ロシア語)、Ukrain. Mat. Z. 1(1949)、pp. 64–98、および 2(1950)、pp. 10–59。英語訳: Amer. Math. Soc. Translations Ser. 2、34 (1963)、pp. 69–164。
↑ Loève, M. (1960). "確率論", 第2版、Van Nostrand、プリンストン、ニュージャージー州
↑ Rosasco, L. および Poggio, T. (2015). "機械学習の正則化ツアー – MIT 9.520 講義ノート" 原稿。
↑ Berg, C., Christensen, JPR, and Ressel, P. (1984). "半群上の調和解析". 数学大学院テキスト第100巻、Springer Verlag。
↑ Schaback, R. および Wendland, H. (2006). "カーネル技術: 機械学習からメッシュレス法まで", Cambridge University Press, Acta Numerica (2006), pp. 1–97.
↑ Haaland, B. および Qian, PZG (2010). 「大規模コンピュータ実験のための正確なエミュレータ」、Ann. Stat.
↑ Gumerov, NA および Duraiswami, R. (2007). "前処理付き Krylov 反復による高速放射基底関数補間". SIAM J. Scient. Computing 29/5, pp. 1876–1899.

[1] ベレザンスキー、ユーリ・マカロヴィチ( 1968)。自己共役作用素の固有関数による展開。プロビデンス、ロードアイランド州：アメリカ数学会。pp. 45–47。ISBN 978-0-8218-1567-0。

[2] Hein, M. および Bousquet, O. (2005). "確率測度上のヒルベルト計量と正定値カーネル". Ghahramani, Z. および Cowell, R. 編、AISTATS 2005 論文集。

[3] Lin, Hsuan-Tien、Chih-Jen Lin。「SVM 用シグモイドカーネルの研究と SMO 型手法による非 PSD カーネルの学習」 Neural Comput 3.1-32 (2003): 16。

[4] Mercer, J. (1909). “正負の関数と積分方程式の理論との関連”. Philosophical Transactions of the Royal Society of London, Series A 209, pp. 415–446.

[5] ヒルベルト、D. (1904)。「Grundzuge einer allgemeinen Theorie der lineen Integralgleichungen I」、Gott。ナクリテン、数学-物理学。 K1 (1904)、49 ～ 91 ページ。

[6] Young, WH (1909). 「対称関数のクラスと積分方程式の理論で必要とされる定理に関する注記」、Philos. Trans. Roy.Soc. London, Ser. A, 209, pp. 415–446.

[7] Moore, EH (1916). 「正のエルミート行列について」、Bull. Amer. Math. Soc. 23, 59, pp. 66–67.

[8] ムーア、EH (1935)。「一般分析、パート I」、アメリカ哲学会紀要 1、フィラデルフィア。

[9] Krein. M (1949/1950). "均質空間 I および II 上のエルミート正核" (ロシア語)、Ukrain. Mat. Z. 1(1949)、pp. 64–98、および 2(1950)、pp. 10–59。英語訳: Amer. Math. Soc. Translations Ser. 2、34 (1963)、pp. 69–164。

[10] Loève, M. (1960). "確率論", 第2版、Van Nostrand、プリンストン、ニュージャージー州

[11] Rosasco, L. および Poggio, T. (2015). "機械学習の正則化ツアー – MIT 9.520 講義ノート" 原稿。

[12] Berg, C., Christensen, JPR, and Ressel, P. (1984). "半群上の調和解析". 数学大学院テキスト第100巻、Springer Verlag。

[13] Schaback, R. および Wendland, H. (2006). "カーネル技術: 機械学習からメッシュレス法まで", Cambridge University Press, Acta Numerica (2006), pp. 1–97.

[14] Haaland, B. および Qian, PZG (2010). 「大規模コンピュータ実験のための正確なエミュレータ」、Ann. Stat.

[15] Gumerov, NA および Duraiswami, R. (2007). "前処理付き Krylov 反復による高速放射基底関数補間". SIAM J. Scient. Computing 29/5, pp. 1876–1899.

[ 1 ]

およびヒストグラム: ヒストグラムは、

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

特徴空間。 [ 11 ]

[ 12 ]

[ 13 ]

コンピュータ実験[ 14 ]

[ 15 ]

正定値カーネル

意味

いくつかの一般的な特性

pdカーネルの例

その他のカーネルの例

歴史

再生核ヒルベルト空間および特徴マップとの関連性

カーネルと距離

いくつかのアプリケーション

機械学習におけるカーネル

確率モデルにおけるカーネル

偏微分方程式の数値解法

スタインスプリング膨張定理

その他の用途

関連項目

参考文献

関連するトピック

作用素論

正定値関数

正定値行列

ジェームズ・マーサー