カーネル（統計）

カーネルという用語は、統計分析においてウィンドウ関数を指すために使用されます。「カーネル」という用語は、統計のさまざまな分野でいくつかの異なる意味を持ちます。

統計学、特にベイズ統計学において、確率密度関数(pdf) または確率質量関数(pmf)のカーネルは、定義域内のいずれの変数の関数でもない因子が省略された pdf または pmf の形式である。 ^[1]このような因子は、pdf または pmf のパラメータ の関数である可能性があることに注意してください。これらの因子は、確率分布の正規化因子の一部を形成し、多くの状況で不要です。たとえば、疑似乱数サンプリングでは、ほとんどのサンプリング アルゴリズムが正規化因子を無視します。また、共役事前分布のベイズ解析では、計算中に正規化因子は通常無視され、カーネルのみが考慮されます。最後に、カーネルの形式が検査され、既知の分布と一致する場合は、正規化係数を復元できます。それ以外の場合は、正規化係数が不要な場合があります (たとえば、分布のみをサンプリングする必要がある場合)。

多くの分布では、カーネルは閉じた形式で記述できますが、正規化定数は閉じた形式で記述できません。

一例として正規分布が挙げられます。その確率密度関数は

${\displaystyle p(x|\mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$

そして関連するカーネルは

${\displaystyle p(x|\mu ,\sigma ^{2})\propto e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$

指数関数の前の係数は、パラメータ を含んでいても、ドメイン変数 の関数ではないため省略されていることに注意してください。 ${\displaystyle \sigma ^{2}}$${\displaystyle x}$

再生カーネルヒルベルト空間のカーネルは、カーネル法と呼ばれる一連の手法で使用され、暗黙の空間内のデータに対して統計分類、回帰分析、クラスター分析などのタスクを実行します。この使用法は、機械学習で特に一般的です。

ノンパラメトリック統計では、カーネルはノンパラメトリック推定手法で使用される重み関数です。カーネルは、カーネル密度推定でランダム変数の密度関数を推定するために、またはカーネル回帰でランダム変数の条件付き期待値を推定するために使用されます。カーネルは、時系列でも使用され、ピリオドグラムを使用してスペクトル密度を推定する場合、ウィンドウ関数として知られています。また、ウィンドウ関数 (カーネル) が時系列データと畳み込まれる ポイント プロセスの時間とともに変化する強度の推定にも使用されます。

通常、ノンパラメトリック推定を実行する場合はカーネル幅も指定する必要があります。

カーネルは非負の 実数値の 積分可能な関数Kです。ほとんどのアプリケーションでは、次の 2 つの追加要件を満たすように関数を定義することが望ましいです。

• 正規化:

${\displaystyle \int _{-\infty }^{+\infty }K(u)\,du=1\,;}$

• 偶関数対称性:

${\displaystyle K(-u)=K(u){\mbox{ }}u\,のすべての値に対して。}$

最初の要件は、カーネル密度推定法によって確率密度関数が得られることを保証します。2 番目の要件は、対応する分布の平均が、使用されるサンプルの平均と等しくなることを保証します。

Kがカーネルである場合、関数K * もカーネルであり、 K *( u ) = λ K (λ u )で定義されます( λ > 0)。これを使用して、データに適したスケールを選択できます。

一般的に使用されているカーネル関数には、均一、三角形、エパネチニコフ、^[2] 4次（バイウェイト）、トライキューブ、^[3]トライウェイト、ガウス、2次^[4]、コサインなどがあります。

下の表では、 が有界なサポートとともに与えられている場合、uの値がサポートの外側にある場合、 となります。 ${\displaystyle K}$${\displaystyle K(u)=0}$

• カーネル密度推定
• カーネルスムーザー
• 確率カーネル
• 正定値カーネル
• 密度推定
• 多変量カーネル密度推定
• カーネル法

• Li, Qi; Racine, Jeffrey S. (2007)。『ノンパラメトリック計量経済学：理論と実践』。プリンストン大学出版局。ISBN 978-0-691-12161-1。

• Zucchini, Walter. 「応用スムージング技術パート 1: カーネル密度推定」(PDF) 。2018年9 月 6 日閲覧。

• Comaniciu, D; Meer, P (2002). 「平均シフト: 特徴空間分析に向けた堅牢なアプローチ」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 24 (5): 603–619. CiteSeerX  10.1.1.76.8968 . doi :10.1109/34.1000236.