カーネル法

機械学習において、カーネルマシンはパターン分析のためのアルゴリズムの一種であり、最もよく知られているのはサポートベクターマシン（SVM）です。これらの手法では、線形分類器を使用して非線形問題を解決します。^{[ 1 ]}パターン分析の一般的なタスクは、データセット内の一般的なタイプの関係（たとえば、クラスタ、ランキング、主成分、相関、分類）を見つけて研究することです。これらのタスクを解決する多くのアルゴリズムでは、生の表現のデータを、ユーザー指定の特徴マップを介して明示的に特徴ベクトル表現に変換する必要があります。対照的に、カーネル法では、内積を使用して計算されたすべてのデータポイントのペアに対する類似度関数である、ユーザー指定のカーネルのみが必要です。カーネルマシンの特徴マップは無限次元ですが、表現定理に従って、ユーザー入力から有限次元の行列のみを必要とします。カーネルマシンは、並列処理なしでは、数千例を超えるデータセットの計算に時間がかかります。

カーネル法は、カーネル関数を使用することで、高次元の暗黙的な特徴空間で、その空間内のデータの座標を計算することなく、特徴空間内のすべてのデータペアの画像間の内積を計算するだけで操作できるという名前が付けられています。この操作は、座標を明示的に計算するよりも計算コストが低い場合が多いです。このアプローチは「カーネルトリック」と呼ばれています。^{[ 2 ]}カーネル関数は、シーケンスデータ、グラフ、テキスト、画像、およびベクトルに対して導入されています。

カーネルを扱うことができるアルゴリズムには、カーネルパーセプトロン、サポートベクターマシン（SVM）、ガウス過程、主成分分析（PCA）、正準相関分析、リッジ回帰、スペクトルクラスタリング、線形適応フィルタなど、その他多数がある。

ほとんどのカーネルアルゴリズムは凸最適化問題または固有値問題に基づいており、統計的に妥当である。通常、それらの統計的特性は統計的学習理論（例えば、ラデマッハー複雑度を用いる）を用いて分析される。

カーネル法はインスタンスベースの学習器と考えることができます。入力の特徴に対応する固定されたパラメータのセットを学習するのではなく、代わりに${\displaystyle i}$- 番目のトレーニング例${\displaystyle (\mathbf {x} _{i},y_{i})}$そしてそれに対応する重さを学ぶ${\displaystyle w_{i}}$ラベルなし入力、つまりトレーニングセットに含まれていない入力の予測は、類似度関数を適用することによって処理されます。${\displaystyle k}$カーネルと呼ばれる、ラベルなし入力間の${\displaystyle \mathbf {x'} }$そして各トレーニング入力${\displaystyle \mathbf {x} _{i}}$例えば、カーネル化された二値分類器は通常、類似性の加重和を計算します 。$${\displaystyle {\hat {y}}=\operatorname {sgn} \sum _{i=1}^{n}w_{i}y_{i}k(\mathbf {x} _{i},\mathbf {x'} ),}$$ どこ

• $\displaystyle {\hat {y}}\in \{-1,+1\}}$は、ラベルなし入力に対するカーネル化バイナリ分類器の予測ラベルです。${\displaystyle \mathbf {x'} }$その隠された真のラベル${\displaystyle y}$興味深い。
• $\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$これは、任意の入力ペア間の類似性を測定するカーネル関数です。${\displaystyle \mathbf {x} ,\mathbf {x'} \in {\mathcal {X}}}$;
• 合計はn個のラベル付き例にわたって${\displaystyle \{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n}}$分類器のトレーニングセットでは、$\displaystyle y_{i}\in \{-1,+1\}}$;
• の${\displaystyle w_{i}\in \mathbb {R} }$これらは、学習アルゴリズムによって決定される、訓練例の重みです。
• 符号関数${\displaystyle \operatorname {sgn} }$予測された分類が${\displaystyle {\hat {y}}}$結果は肯定的か否定的かのどちらかになります。

カーネル分類器は、カーネルパーセプトロンの発明とともに、早くも1960年代に記述されました。^{[ 3 ]} 1990年代にサポートベクターマシン（SVM）が人気を博したことで、カーネル分類器は大きな注目を集めるようになりました。SVMは、手書き認識などのタスクにおいてニューラルネットワークと競合することがわかっています。

カーネルトリックは、線形学習アルゴリズムが非線形関数や決定境界を学習するために必要な明示的なマッピングを回避します。${\displaystyle \mathbf {x} }$そして${\displaystyle \mathbf {x'} }$入力空間において${\displaystyle {\mathcal {X}}}$特定の機能${\displaystyle k(\mathbf {x} ,\mathbf {x'} )}$別の空間における内積として表現できる${\displaystyle {\mathcal {V}}}$. 機能${\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$は、カーネルまたはカーネル関数と呼ばれることが多い。「カーネル」という言葉は、数学において、重み付き和または積分の重み付け関数を表すために使われる。

機械学習における特定の問題は、恣意的な重み付け関数よりも構造が複雑である。${\displaystyle k}$カーネルを「特徴マップ」の形式で記述できれば、計算ははるかに簡単になります。${\displaystyle \varphi \colon {\mathcal {X}}\to {\mathcal {V}}}$これは以下を満たす $${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle _{\mathcal {V}}.}$$主な制約は${\displaystyle \langle \cdot ,\cdot \rangle _{\mathcal {V}}}$は適切な内積でなければならない。一方、明示的な表現は${\displaystyle \varphi }$必要ありません。${\displaystyle {\mathcal {V}}}$は内積空間である。代替案はマーサーの定理から導かれる。暗黙的に定義された関数${\displaystyle \varphi }$空間が存在するときはいつでも${\displaystyle {\mathcal {X}}}$機能を保証する適切な措置を講じることができる${\displaystyle k}$マーサーの条件を満たす。

マーサーの定理は、任意の正定値行列に内積を関連付ける線形代数の結果の一般化に似ています。実際、マーサーの条件はこのより単純なケースに還元できます。計数尺度を尺度として選択すると、${\displaystyle \mu (T)=|T|}$すべての人々のために${\displaystyle T\subset X}$これは、集合内の点の数を数えるものです。${\displaystyle T}$すると、マーサーの定理の積分は総和に簡略化される。$${\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}\geq 0.}$$この総和がすべての有限点列に対して成り立つ場合${\displaystyle (\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n})}$で${\displaystyle {\mathcal {X}}}$そしてすべての選択肢${\displaystyle n}$実数値係数${\displaystyle (c_{1},\dots ,c_{n})}$（正定値カーネルを参照）すると、関数は${\displaystyle k}$マーサーの条件を満たす。

ネイティブ空間における任意の関係に依存するアルゴリズム${\displaystyle {\mathcal {X}}}$実際、別の設定では線形解釈が可能となる。範囲空間は${\displaystyle \varphi }$線形解釈はアルゴリズムについての洞察を与えてくれる。さらに、多くの場合、計算する必要はない。${\displaystyle \varphi }$サポートベクターマシンと同様に、計算中に直接処理が行われます。この実行時間の短縮を主な利点として挙げる人もいます。研究者たちは、既存のアルゴリズムの意味や特性を正当化するためにもこれを利用しています。

理論的には、グラム行列${\displaystyle \mathbf {K} \in \mathbb {R} ^{n\times n}}$に関して${\displaystyle \{\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n}\}}$（「カーネル行列」^{[ 4 ]}とも呼ばれる）${\displaystyle K_{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})}$、正半定値（PSD）でなければならない。^{[ 5 ]}経験的に、機械学習のヒューリスティクスでは、関数の選択は${\displaystyle k}$マーサーの条件を満たさないものでも、以下の条件を満たせば、合理的に機能する可能性がある。${\displaystyle k}$少なくとも類似性の直感的な概念に近似している。^{[ 6 ]}${\displaystyle k}$マーサーカーネルは、${\displaystyle k}$今でも「カーネル」と呼ばれることがある。

カーネル関数${\displaystyle k}$はガウス過程で使用される共分散関数でもあり、グラム行列${\displaystyle \mathbf {K} }$共分散行列とも呼ばれる。^{[ 7 ]}

カーネル法の応用分野は多岐にわたり、地球統計学、^{[ 8 ]}クリギング、逆距離加重法、3D再構成、バイオインフォマティクス、ケモインフォマティクス、情報抽出、手書き認識などが含まれる。

• フィッシャーカーネル
• グラフカーネル
• カーネルスムーザー
• 多項式カーネル
• 放射基底関数カーネル（RBF）
• 文字列カーネル
• ニューラルタンジェントカーネル
• ニューラルネットワークガウス過程（NNGP）カーネル

• ベクトル出力のためのカーネル法
• カーネル密度推定
• 表現定理
• 類似性学習
• カバーの定理

• Shawe-Taylor, J. ; Cristianini, N. (2004).パターン解析のためのカーネル法. Cambridge University Press. ISBN 9780511809682。
• Liu, W.; Principe, J.; Haykin, S. (2010).カーネル適応フィルタリング：包括的な入門. Wiley. ISBN 9781118211212。
• Schölkopf, B. ; Smola, AJ; Bach, F. (2018). Learning with Kernels  : Support Vector Machines, Regularization, Optimization, and Beyond . MIT Press. ISBN 978-0-262-53657-8。

• onlineprediction.net カーネル法に関する記事