カーネル法

機械学習において、カーネルマシンはパターン分析のためのアルゴリズムの一種であり、最もよく知られているのがサポートベクターマシン(SVM) です。これらの方法では、線形分類器を使用して非線形問題を解決します。^[1]パターン分析の一般的なタスクは、データセット内の一般的なタイプの関係 (クラスター、ランキング、主成分、相関、分類など)を見つけて調査することです。これらのタスクを解決する多くのアルゴリズムでは、生の表現のデータは、ユーザー指定の特徴マップを介して特徴ベクトル表現に明示的に変換する必要があります。対照的に、カーネル法では、ユーザー指定のカーネル、つまり、内積を使用して計算されたすべてのデータポイントのペアに対する類似度関数のみが必要です。カーネルマシンの特徴マップは無限次元ですが、表現者定理に従って、ユーザー入力からの有限次元マトリックスのみが必要です。カーネルマシンは、並列処理を行わないと、数千の例よりも大きいデータセットの計算に時間がかかります。

カーネル法はカーネル関数を使用することからその名前が付けられています。カーネル関数を使用すると、高次元の暗黙的な 特徴空間で、その空間内のデータの座標を計算することなく、特徴空間内のすべてのデータペアの画像間の内積を計算するだけで操作できます。この操作は、座標を明示的に計算するよりも計算コストが安くなることがよくあります。このアプローチは「カーネルトリック」と呼ばれます。^{[2]カーネル関数は、シーケンスデータ、}グラフ、テキスト、画像、およびベクター に導入されています。

カーネルで動作可能なアルゴリズムには、カーネル パーセプトロン、サポート ベクター マシン (SVM)、ガウス過程、主成分分析(PCA)、正準相関分析、リッジ回帰、スペクトル クラスタリング、線形適応フィルタなどがあります。

ほとんどのカーネル アルゴリズムは、凸最適化または固有値問題に基づいており、統計的に十分に根拠づけられています。通常、その統計特性は、統計学習理論(たとえば、Rademacher 複雑度)を使用して分析されます。

カーネル法は、インスタンスベースの学習器と考えることができます。つまり、入力の特徴に対応する固定のパラメータセットを学習するのではなく、番目のトレーニング例を「記憶」し、それに対応する重みを学習します。ラベルなしの入力、つまりトレーニングセットに含まれていない入力の予測は、ラベルなしの入力と各トレーニング入力の間のカーネルと呼ばれる類似度関数を適用することによって処理されます。たとえば、カーネル化されたバイナリ分類器は通常、類似度の加重合計を計算します 。ここで ${\displaystyle i}$${\displaystyle (\mathbf {x} _{i},y_{i})}$${\displaystyle w_{i}}$ ${\displaystyle k}$${\displaystyle \mathbf {x'} }$${\displaystyle \mathbf {x} _{i}}$$${\displaystyle {\hat {y}}=\operatorname {sgn} \sum _{i=1}^{n}w_{i}y_{i}k(\mathbf {x} _{i},\mathbf {x'} ),}$$

• ${\displaystyle {\hat {y}}\in \{-1,+1\}}$隠された真のラベルが関心のあるラベルなし入力に対するカーネル化されたバイナリ分類器の予測ラベルです。${\displaystyle \mathbf {x'} }$${\displaystyle y}$
• ${\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$任意の入力ペア間の類似性を測定するカーネル関数です。${\displaystyle \mathbf {x} ,\mathbf {x'} \in {\mathcal {X}}}$
• 合計は分類器のトレーニングセット内のn個のラベル付き例にわたっており、${\displaystyle \{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n}}$${\displaystyle y_{i}\in \{-1,+1\}}$
• 学習アルゴリズムによって決定されるトレーニング例の重みです。${\displaystyle w_{i}\in \mathbb {R} }$
• 符号関数は、 予測された分類が正になるか負になるかを決定します。${\displaystyle \operatorname {sgn} }$${\displaystyle {\hat {y}}}$

カーネル分類器は、カーネルパーセプトロンの発明とともに、1960年代にはすでに説明されていました。^{[3] 1990年代に}サポートベクターマシン（SVM）が人気を博し、手書き認識などのタスクでニューラルネットワークと競合できることが判明したことで、カーネル分類器は大きな注目を集めました。

カーネル トリックは、線形学習アルゴリズムで非線形関数または決定境界を学習するために必要な明示的なマッピングを回避します。入力空間内のすべてのおよびについて、特定の関数を別の空間の内積として表現できます。この関数は、カーネルまたはカーネル関数と呼ばれることがよくあります。数学では、「カーネル」という単語は、加重和または積分の加重関数を表すために使用されます。 ${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x'} }$${\displaystyle {\mathcal {X}}}$${\displaystyle k(\mathbf {x} ,\mathbf {x'} )}$${\displaystyle {\mathcal {V}}}$${\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$

機械学習における特定の問題には、任意の重み関数よりも構造化されたものがあります。カーネルをを満たす 「特徴マップ」の形式で記述できれば、計算がはるかに簡単になります。 重要な制限は、 が適切な内積でなければならないということです。一方、が内積空間である限り、 の明示的な表現は必要ありません。別の方法は、マーサーの定理に従います。つまり、空間に適切な尺度を備え、関数がマーサーの条件を満たすことを保証する場合は常に、暗黙的に定義された関数が存在します。 ${\displaystyle k}$${\displaystyle \varphi \colon {\mathcal {X}}\to {\mathcal {V}}}$$${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle _{\mathcal {V}}.}$$${\displaystyle \langle \cdot ,\cdot \rangle _{\mathcal {V}}}$${\displaystyle \varphi }$${\displaystyle {\mathcal {V}}}$${\displaystyle \varphi }$${\displaystyle {\mathcal {X}}}$${\displaystyle k}$

マーサーの定理は、任意の正定値行列 に内積を関連付ける線型代数の結果を一般化したものと同様です。実際、マーサーの条件は、このより単純なケースに簡略化できます。 の測度として、集合 内の点の数を数えるすべての に対する計数測度 を選択すると、マーサーの定理の積分は和 に簡略化されます。 この和が内の すべての有限点列とすべての実数値係数の選択(正定値カーネルを参照) に対して成立する場合、関数 はマーサーの条件を満たします。 ${\displaystyle \mu (T)=|T|}$${\displaystyle T\subset X}$${\displaystyle T}$$${\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}\geq 0.}$$${\displaystyle (\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n})}$${\displaystyle {\mathcal {X}}}$${\displaystyle n}$${\displaystyle (c_{1},\dots ,c_{n})}$${\displaystyle k}$

ネイティブ空間での任意の関係に依存するアルゴリズムの中には、実際には、異なる設定、つまり の範囲空間では線形解釈を持つものがあります。線形解釈により、アルゴリズムについての洞察が得られます。さらに、サポートベクターマシンの場合のように、計算中に直接計算する必要がないこともよくあります。この実行時間の短縮を主な利点として挙げる人もいます。研究者は、既存のアルゴリズムの意味と特性を正当化するためにもこれを使用します。 ${\displaystyle {\mathcal {X}}}$${\displaystyle \varphi }$${\displaystyle \varphi }$

理論的には、グラム行列 （「カーネル行列」^[4]とも呼ばれる） ）は、半正定値行列（PSD）でなければなりません。^[5]経験的には、機械学習のヒューリスティックでは、マーサーの条件を満たさない関数の選択でも、 が直感的な類似性の考え方に少なくとも近似していれば、適切に機能する可能性があります。^[6]がマーサーカーネルであるかどうかに関係なく、は依然として「カーネル」と呼ばれることがあります。 ${\displaystyle \mathbf {K} \in \mathbb {R} ^{n\times n}}$${\displaystyle \{\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n}\}}$${\displaystyle K_{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})}$${\displaystyle k}$${\displaystyle k}$${\displaystyle k}$${\displaystyle k}$

カーネル関数がガウス過程で使用される共分散関数でもある場合、グラム行列は共分散行列とも呼ばれます。^[7]${\displaystyle k}$${\displaystyle \mathbf {K} }$

カーネル法の応用分野は多岐にわたり、地統計学、^{[8] 、} クリギング、逆距離加重、3D再構成、バイオインフォマティクス、ケモインフォマティクス、情報抽出、手書き認識などが含まれます。

• フィッシャーカーネル
• グラフカーネル
• カーネルスムーザー
• 多項式カーネル
• ラジアル基底関数カーネル(RBF)
• 文字列カーネル
• ニューラル接線カーネル
• ニューラルネットワークガウス過程（NNGP）カーネル

• ベクトル出力のためのカーネルメソッド
• カーネル密度推定
• 代表者定理
• 類似性学習
• カバーの定理

• Shawe-Taylor, J. ; Cristianini, N. (2004).パターン分析のためのカーネル法. Cambridge University Press. ISBN 9780511809682。
• Liu, W.; Principe, J.; Haykin, S. (2010). カーネル適応フィルタリング: 包括的な入門. Wiley. ISBN 9781118211212。
• Schölkopf, B. ; Smola, AJ; Bach, F. (2018). カーネルによる学習: サポートベクターマシン、正規化、最適化、そしてその先へ。MIT Press。ISBN 978-0-262-53657-8。

• Kernel-Machines Org — コミュニティ ウェブサイト
• onlineprediction.net カーネルメソッドの記事