カーネル非依存型成分分析

統計学において、カーネル独立成分分析（カーネルICA）は、再生核ヒルベルト空間の表現に基づく一般化分散コントラスト関数を最適化することによってソース成分を推定する、独立成分分析の効率的なアルゴリズムである。^{[ 1 ] [ 2 ]}これらのコントラスト関数は、統計的独立性の尺度として相互情報量の概念を使用する。

カーネルICAは、2つの確率変数間の相関関係を再生核ヒルベルト空間（RKHS）で表現できるという考えに基づいており、$\displaystyle {\mathcal {F}}}$フィーチャーマップに関連付けられている${\displaystyle L_{x}:{\mathcal {F}}\mapsto \mathbb {R} }$固定値に対して定義${\displaystyle x\in \mathbb {R} }$.$\displaystyle {\mathcal {F}}}$2つのランダム変数間の相関${\displaystyle X}$そして${\displaystyle Y}$は次のように定義される。

${\displaystyle \rho _{\mathcal {F}}(X,Y)=\max _{f,g\in {\mathcal {F}}}\operatorname {corr} (\langle L_{X},f\rangle ,\langle L_{Y},g\rangle )}$

関数${\displaystyle f,g:\mathbb {R} \to \mathbb {R} }$範囲$\displaystyle {\mathcal {F}}}$そして

${\displaystyle \operatorname {corr} (\langle L_{X},f\rangle ,\langle L_{Y},g\rangle ):={\frac {\operatorname {cov} (f(X),g(Y))}{\operatorname {var} (f(X))^{1/2}\operatorname {var} (g(Y))^{1/2}}}}$

固定の場合${\displaystyle f,g\in {\mathcal {F}}}$^{[ 1 ]}再生特性は、次のことを意味することに注意してください。${\displaystyle f(x)=\langle L_{x},f\rangle }$固定の場合${\displaystyle x\in \mathbb {R} }$そして${\displaystyle f\in {\mathcal {F}}}$^{[ 3 ]}したがって、$\displaystyle {\mathcal {F}}}$2つの独立した確率変数間の相関は ゼロである。

この概念は$\displaystyle {\mathcal {F}}}$-相関は、カーネルICAアルゴリズムで最適化されるコントラスト関数を定義するために使用されます。具体的には、${\displaystyle \mathbf {X}$ :=(x_{ij})\in \mathbb {R} ^{n\times m}} は前処理済みのデータ行列です。つまり、各列の標本平均はゼロで、行の標本共分散は${\displaystyle m\times m}$次元単位行列、カーネル ICA は、${\displaystyle m\times m}$次元直交行列${\displaystyle \mathbf {A} }$有限サンプルを最小限に抑えるため$\displaystyle {\mathcal {F}}}$-列間の相関${\displaystyle \mathbf {S}$ :=\mathbf {X} \mathbf {A} ^{\prime }} 。