分布のカーネル埋め込み

分布のカーネル埋め込み${\displaystyle P}$で$\displaystyle {\mathcal {H}}}$（カーネル平均または平均マップとも呼ばれる）は次のように与えられる：^{[ 1 ]}

${\displaystyle \mu _{X}:=\mathbb {E} [k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)}$

もし${\displaystyle P}$二乗可積分密度を可能にする${\displaystyle p}$、 それから${\displaystyle \mu _{X}={\mathcal {E}}_{k}p}$、 どこ${\displaystyle {\mathcal {E}}_{k}}$はヒルベルト・シュミット積分演算子である。カーネルは、平均埋め込みが${\displaystyle \mu$ :\{{\text{Omega 上の分布の族}\to {\mathcal {H}}} は単射である。 ^{[ 7 ]}したがって、各分布は RKHS で一意に表現でき、特性カーネルが使用される場合、分布のすべての統計的特徴はカーネル埋め込みによって保持される。

与えられた${\displaystyle n}$トレーニング例${\displaystyle \{x_{1},\ldots ,x_{n}\}}$独立同分布（iid）で抽出された${\displaystyle P,}$カーネル埋め込み${\displaystyle P}$経験的に推定できる

${\displaystyle {\widehat {\mu }}_{X}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})}$

もし${\displaystyle Y}$は別の確率変数を表します（簡略化のため、 の共定義域を仮定します）${\displaystyle Y}$また${\displaystyle \Omega }$同じカーネルを使用${\displaystyle k}$これは以下を満たす${\displaystyle \langle \varphi (x)\otimes \varphi (y),\varphi (x')\otimes \varphi (y')\rangle =k(x,x')k(y,y')}$)、そして同時分布${\displaystyle P(x,y))}$テンソル積特徴空間にマッピングできる$\displaystyle {\mathcal {H}}\otimes {\mathcal {H}}}$^{[ 2 ]}経由

${\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d} P(x,y)}$

テンソルと線形写像の等価性により、この結合埋め込みは非中心化相互共分散演算子として解釈できる。${\displaystyle {\mathcal {C}}_{XY}:{\mathcal {H}}\to {\mathcal {H}}}$関数の相互共分散${\displaystyle f,g\in {\mathcal {H}}}$^{[ 8 ]}のように計算できる。

${\displaystyle \operatorname {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)]-\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}}=\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}}$

与えられた${\displaystyle n}$トレーニング例のペア${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$から抽出されたiid${\displaystyle P}$また、以下の方法で結合分布カーネル埋め込みを経験的に推定することもできます。

${\displaystyle {\widehat {\mathcal {C}}}_{XY}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})\otimes \varphi (y_{i})}$

条件付き分布が与えられた場合${\displaystyle P(y\mid x),}$対応するRKHS埋め込みは次のように定義できる^{[ 2 ]}

${\displaystyle \mu _{Y\mid x}=\mathbb {E} [\varphi (Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)}$

埋め込みに注意${\displaystyle P(y\mid x)}$これにより、RKHS 内の値によってインデックス付けされた点の族が定義されます。${\displaystyle x}$条件付け変数によって取得される${\displaystyle X}$修正することで${\displaystyle X}$特定の値にすると、単一の要素が得られます。${\displaystyle {\mathcal {H}}}$したがって、演算子を定義するのは自然なことである

${\displaystyle {\begin{cases}{\mathcal {C}}_{Y\mid X}:{\mathcal {H}}\to {\mathcal {H}}\\{\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1}\end{cases}}}$

特徴マッピングが与えられた場合${\displaystyle x}$条件付き埋め込みを出力する${\displaystyle Y}$与えられた${\displaystyle X=x.}$すべての${\displaystyle g\in {\mathcal {H}}:\mathbb {E} [g(Y)\mid X]\in {\mathcal {H}},}$^{[ 8 ]}が示せる。

${\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)}$

この仮定は特性核を持つ有限領域では常に成り立つが、連続領域では必ずしも成り立つとは限らない。^{[ 2 ]}それにもかかわらず、仮定が成り立たない場合でも、${\displaystyle {\mathcal {C}}_{Y\mid X}\varphi (x)}$条件付きカーネル埋め込みを近似するために引き続き使用できる${\displaystyle \mu _{Y\mid x},}$実際には、逆演算子はそれ自身の正則化バージョンに置き換えられる。${\displaystyle ({\mathcal {C}}_{XX}+\lambda \mathbf {I} )^{-1}}$（どこ${\displaystyle \mathbf {I} }$（単位行列を表す）。

トレーニング例が与えられた場合${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\},}$経験的カーネル条件付き埋め込み演算子は次のように推定できます^{[ 2 ]}

${\displaystyle {\widehat {C}}_{Y\mid X}={\boldsymbol {\Phi }}(\mathbf {K} +\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}^{T}}$

どこ${\displaystyle {\boldsymbol {\Phi }}=\left(\varphi (y_{1}),\dots ,\varphi (y_{n})\right),{\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\dots ,\varphi (x_{n})\right)}$暗黙的に形成された特徴行列、${\displaystyle \mathbf {K} ={\boldsymbol {\Upsilon }}^{T}{\boldsymbol {\Upsilon }}}$はサンプルのグラム行列です${\displaystyle X}$、 そして${\displaystyle \lambda }$は、過学習を避けるために必要な正則化パラメータです。

したがって、カーネル条件付き埋め込みの経験的推定値は、サンプルの重み付き和によって与えられます。${\displaystyle Y}$機能面において：

${\displaystyle {\widehat {\mu }}_{Y\mid x}=\sum _{i=1}^{n}\beta _{i}(x)\varphi (y_{i})={\boldsymbol {\Phi }}{\boldsymbol {\beta }}(x)}$

どこ${\displaystyle {\boldsymbol {\beta }}(x)=(\mathbf {K} +\lambda \mathbf {I} )^{-1}\mathbf {K} _{x}}$そして${\displaystyle \mathbf {K} _{x}=\left(k(x_{1},x),\dots ,k(x_{n},x)\right)^{T}}$

• もし${\displaystyle k}$は次のように定義される。${\displaystyle f}$値を取る${\displaystyle [0,1]}$すべての人々のために${\displaystyle f\in {\mathcal {H}}}$と${\displaystyle \|f\|_{\mathcal {H}}\leq 1}$（広く使われている放射基底関数カーネルの場合と同様）その場合、少なくとも確率は${\displaystyle 1-\delta }$: ^{[ 6 ]}

${\displaystyle \|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal {H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\sum _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatorname {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}}$

どこ${\displaystyle {\mathcal {B}}(0,1)}$は単位球を表す${\displaystyle {\mathcal {H}}}$そして${\displaystyle \mathbf {K} =(k_{ij})}$はグラム行列で、${\displaystyle k_{ij}=k(x_{i},x_{j}).}$

• 経験的カーネル埋め込みからその分布への収束率（RKHSノルム）は${\displaystyle O(n^{-1/2})}$次元に依存しない${\displaystyle X}$。
• カーネル埋め込みに基づく統計は次元の呪いを回避し、実際には真の基礎となる分布は不明であるが、高い確率で近似値を得ることができる。${\displaystyle O(n^{-1/2})}$有限サンプルサイズに基づく真のカーネル埋め込み${\displaystyle n}$。
• 条件付き分布の埋め込みの場合、経験的推定は特徴マッピングの加重平均と見なすことができる（ここで重みは${\displaystyle \beta _{i}(x)}$（条件付け変数の値に依存し、カーネル埋め込みに対する条件付けの影響を捉える）。この場合、経験的推定値は、条件付き分布RKHS埋め込みに収束する。${\displaystyle O\left(n^{-1/4}\right)}$正則化パラメータ${\displaystyle \lambda }$減少する${\displaystyle O\left(n^{-1/2}\right),}$ただし、同時分布に追加の仮定を設けることで、より速い収束速度を達成できる可能性がある。^{[ 2 ]}

• させて${\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{b}}$コンパクトな距離空間であり、${\displaystyle C({\mathcal {X}})}$連続関数の集合。再生核${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$RKHSが普遍的 であるのは、${\displaystyle {\mathcal {H}}}$の${\displaystyle k}$密度が高い${\displaystyle C({\mathcal {X}})}$つまり、任意の${\displaystyle g\in C({\mathcal {X}})}$そしてすべて ${\displaystyle \varepsilon >0}$存在する${\displaystyle f\in {\mathcal {H}}}$そのため${\displaystyle \|f-g\|_{\infty }\leq \varepsilon }$[ ^{9 ]}コンパクト空間上で定義されたすべての普遍核は^特性核であるが、その逆は必ずしも真ではない。^{[ 10 ]}
• させて${\displaystyle k}$連続的な並進不変カーネルである${\displaystyle k(x,x')=h(x-x')}$と${\displaystyle x\in \mathbb {R} ^{b}}$すると、ボフナーの定理により、一意の有限ボレル測度の存在が保証される。${\displaystyle \mu }$（スペクトル測度と呼ばれる）${\displaystyle \mathbb {R} ^{b}}$そのため

${\displaystyle h(t)=\int _{\mathbb {R} ^{b}}e^{-i\langle t,\omega \rangle }d\mu (\omega ),\quad \forall t\in \mathbb {R} ^{b}.}$

のために${\displaystyle k}$普遍的であるためには、連続部分が${\displaystyle \mu }$その独自のルベーグ分解において${\displaystyle \mu =\mu _{c}+\mu _{s}}$はゼロではない。さらに、

${\displaystyle d\mu _{c}(\omega )=s(\omega )d\omega ,}$

それから${\displaystyle s}$は周波数のスペクトル密度です${\displaystyle \omega }$で${\displaystyle \mathbb {R} ^{b}}$そして${\displaystyle h}$はフーリエ変換である${\displaystyle s}$. もしサポートがあれば${\displaystyle \mu }$すべて${\displaystyle \mathbb {R} ^{b}}$、 それから${\displaystyle k}$は特徴的なカーネルでもある。^{[ 11 ] [ 12 ] [ 13 ]}

• もし${\displaystyle k}$任意の異なる点の集合に対して厳密に正定値のカーネル行列を誘導する場合、それは普遍カーネルである。^{[ 6 ]}例えば、広く用いられているガウスRBFカーネル

${\displaystyle k(x,x')=\exp \left(-{\frac {1}{2\sigma ^{2}}}\|x-x'\|^{2}\right)}$

コンパクトサブセット上で${\displaystyle \mathbb {R} ^{b}}$普遍的である。

• 経験的カーネル条件付き分布埋め込み演算子${\displaystyle {\widehat {\mathcal {C}}}_{Y|X}}$あるいは、次の正則化最小二乗（関数値）回帰問題の解と見なすこともできる^{[ 14 ]}

${\displaystyle \min _{{\mathcal {C}}:{\mathcal {H}}\to {\mathcal {H}}}\sum _{i=1}^{n}\left\|\varphi (y_{i})-{\mathcal {C}}\varphi (x_{i})\right\|_{\mathcal {H}}^{2}+\lambda \|{\mathcal {C}}\|_{HS}^{2}}$

どこ${\displaystyle \|\cdot \|_{HS}}$はヒルベルト・シュミットノルムです。

• 正則化パラメータを選択できる${\displaystyle \lambda }$回帰問題の二乗損失関数に基づく交差検証を行うことによって。

確率論では、周辺分布は${\displaystyle X}$積分することで計算できます${\displaystyle Y}$結合密度から（事前分布を含む）${\displaystyle Y}$）

${\displaystyle Q(X)=\int _{\Omega }P(X\mid Y)\,\mathrm {d} \pi (Y)}$

カーネル埋め込みフレームワークにおけるこの規則の類似点は、次のように述べている。${\displaystyle \mu _{X}^{\pi },}$RKHS埋め込み${\displaystyle Q(X)}$は、以下によって計算できます。

${\displaystyle \mu _{X}^{\pi }=\mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }}$

どこ${\displaystyle \mu _{Y}^{\pi }}$はカーネル埋め込みです${\displaystyle \pi (Y).}$実際の実装では、カーネル和ルールは次の形式をとります。

${\displaystyle {\widehat {\mu }}_{X}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mu }}_{Y}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}}$

どこ

${\displaystyle \mu _{Y}^{\pi }=\sum _{i=1}^{\widetilde {n}}\alpha _{i}\varphi ({\widetilde {y}}_{i})}$

は事前分布の経験的カーネル埋め込みであり、${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{\widetilde {n}})^{T},}$${\displaystyle {\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\ldots ,\varphi (x_{n})\right)}$、 そして${\displaystyle \mathbf {G} ,{\widetilde {\mathbf {G} }}}$は、エントリを持つグラム行列です。${\displaystyle \mathbf {G} _{ij}=k(y_{i},y_{j}),{\widetilde {\mathbf {G} }}_{ij}=k(y_{i},{\widetilde {y}}_{j})}$それぞれ。

確率論では、同時分布は条件付き分布と周辺分布の積に因数分解できる。

${\displaystyle Q(X,Y)=P(X\mid Y)\pi (Y)}$

カーネル埋め込みフレームワークにおけるこの規則の類似点は、次のように述べている。${\displaystyle {\mathcal {C}}_{XY}^{\pi },}$共同埋め込み${\displaystyle Q(X,Y),}$は、条件付き埋め込み演算子と、それに関連付けられた自己共分散演算子の合成として因数分解できます。${\displaystyle \pi (Y)}$

${\displaystyle {\mathcal {C}}_{XY}^{\pi }={\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }}$

どこ

${\displaystyle {\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)],}$

${\displaystyle {\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].}$

実際の実装では、カーネル連鎖ルールは次の形式をとります。

${\displaystyle {\widehat {\mathcal {C}}}_{XY}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mathcal {C}}}_{YY}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}){\boldsymbol {\widetilde {\Phi }}}^{T}}$

確率論では、事後分布は事前分布と尤度関数を用いて次のように表現できる。

${\displaystyle Q(Y\mid x)={\frac {P(x\mid Y)\pi (Y)}{Q(x)}}}$どこ${\displaystyle Q(x)=\int _{\Omega }P(x\mid y)\,\mathrm {d} \pi (y)}$

カーネル埋め込みフレームワークにおけるこの規則の類似物は、条件付き分布のカーネル埋め込みを、事前分布によって修正される条件付き埋め込み演算子を用いて表現する。

${\displaystyle \mu _{Y\mid x}^{\pi }={\mathcal {C}}_{Y\mid X}^{\pi }\varphi (x)={\mathcal {C}}_{YX}^{\pi }\left({\mathcal {C}}_{XX}^{\pi }\right)^{-1}\varphi (x)}$

連鎖律からすると：

${\displaystyle {\mathcal {C}}_{YX}^{\pi }=\left({\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }\right)^{T}.}$

実際の実装では、カーネルベイズのルールは次の形式をとります。

${\displaystyle {\widehat {\mu }}_{Y\mid x}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }\varphi (x)={\widetilde {\boldsymbol {\Phi }}}{\boldsymbol {\Lambda }}^{T}\left((\mathbf {D} \mathbf {K} )^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {K} \mathbf {D} \mathbf {K} _{x}}$

どこ

${\displaystyle {\boldsymbol {\Lambda }}=\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}),\qquad \mathbf {D} =\operatorname {diag} \left(\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}\right).}$

このフレームワークでは、2つの正則化パラメータが使用されます。${\displaystyle \lambda }$推定のために${\displaystyle {\widehat {\mathcal {C}}}_{YX}^{\pi },{\widehat {\mathcal {C}}}_{XX}^{\pi }={\boldsymbol {\Upsilon }}\mathbf {D} {\boldsymbol {\Upsilon }}^{T}}$そして${\displaystyle {\widetilde {\lambda }}}$最終条件付き埋め込み演算子の推定

${\displaystyle {\widehat {\mathcal {C}}}_{Y\mid X}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}^{\pi }\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }.}$

後者の正則化は、${\displaystyle {\widehat {\mathcal {C}}}_{XX}^{\pi }}$なぜなら${\displaystyle D}$正定値ではない可能性があります。

最大平均不一致（MMD）は分布間の距離尺度である。${\displaystyle P(X)}$そして${\displaystyle Q(Y)}$^{これはRKHS [ 6 ]}におけるそれらの埋め込み間の距離として定義される。

${\displaystyle {\text{MMD}}(P,Q)=\left\|\mu _{X}-\mu _{Y}\right\|_{\mathcal {H}}.}$

広く用いられているカルバック・ライブラー情報量などの分布間の距離尺度のほとんどは、密度推定（パラメトリックまたはノンパラメトリック）または空間分割/バイアス補正戦略を必要とするが、^{[ 6 ]} MMDは、MMDの真の値の周りに集中する経験的平均として容易に推定できる。この距離を最大平均不一致と特徴づけるのは、MMDを計算することが、2つの確率分布間の期待値の差を最大化するRKHS関数を見つけることと同等であるという事実に基づいている。

${\displaystyle {\text{MMD}}(P,Q)=\sup _{\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right),}$

積分確率計の一形態。

n個のトレーニング例が与えられた場合${\displaystyle P(X)}$そしてm個のサンプルから${\displaystyle Q(Y)}$MMDの経験的推定値に基づいて検定統計量を定式化することができる。

${\displaystyle {\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_{\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},y_{j})\end{aligned}}}$

2標本検定^{[ 15 ]}を行うために、両方の標本が同じ分布から得られたという帰無仮説（すなわち、${\displaystyle P=Q}$）広範な代替案に対して${\displaystyle P\neq Q}$MMDに基づく検定は、2標本仮説検定において漸近的に最適であることが示された最初の検定であった。 ^{[ 16 ]}

カーネル埋め込みフレームワークにおける学習アルゴリズムは中間的な密度推定の必要性を回避するものの、それでもなお、経験的埋め込みを用いて、基となる分布から抽出されたn個のサンプルに基づいて密度推定を行うことができる。${\displaystyle P_{X}^{*}}$これは、次の最適化問題を解くことによって実現できます^{[ 6 ] [ 17 ]}

${\displaystyle \max _{P_{X}}H(P_{X})}$対象${\displaystyle \|{\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon }$

最大化は分布空間全体にわたって行われる${\displaystyle \Omega .}$ここ、${\displaystyle \mu _{X}[P_{X}]}$は、提案された密度のカーネル埋め込みである。${\displaystyle P_{X}}$そして${\displaystyle H}$はエントロピーのような量です（例：エントロピー、KLダイバージェンス、ブレグマンダイバージェンス）。この最適化を解決する分布は、サンプルの経験的カーネル平均によく適合することと、確率空間のすべての領域（その多くはトレーニング例に表現されていない可能性があります）に確率質量の相当部分を割り当てることとの間の妥協として解釈できます。実際には、候補密度の空間を、正則化された混合比率を持つM個の候補分布の混合に制限することで、困難な最適化の良い近似解を見つけることができます。カーネルに関連付けられた特徴マッピングを一般化された（おそらく無限次元の）指数族の十分統計量と見なす場合、この方法で条件付き確率分布を推定することで、ガウス過程と条件付き確率場の根底にある考え方の間のつながりを引き出すことができます。^{[ 6 ]}

確率変数間の統計的依存性の尺度${\displaystyle X}$そして${\displaystyle Y}$^{（適切なカーネルを定義できる任意の領域から）は、ヒルベルト・シュミット独立性基準[ 18 ]}に基づいて定式化できる。

${\displaystyle {\text{HSIC}}(X,Y)=\left\|{\mathcal {C}}_{XY}-\mu _{X}\otimes \mu _{Y}\right\|_{{\mathcal {H}}\otimes {\mathcal {H}}}^{2}}$

HSICは、相互情報量、ピアソン相関係数、または学習アルゴリズムで使用されるその他の依存性尺度の原理に基づいた代替として使用できます。特に、HSICは任意の依存性を検出できます（埋め込みに特性カーネルを使用する場合、変数が独立である場合に限りHSICはゼロになります）。また、異なるタイプのデータ（画像とテキストキャプションなど）間の依存性を測定するために使用できます。各確率変数のn個のiidサンプルが与えられた場合、真の値の周りに集中するHSICの単純なパラメータフリーの不偏推定量は、次のように計算できます。${\displaystyle O(n(d_{f}^{2}+d_{g}^{2}))}$時間、^{[ 6 ]}ここで、2つのデータセットのグラム行列は、${\displaystyle \mathbf {A} \mathbf {A} ^{T},\mathbf {B} \mathbf {B} ^{T}}$と${\displaystyle \mathbf {A} \in \mathbb {R} ^{n\times d_{f}},\mathbf {B} \in \mathbb {R} ^{n\times d_{g}}}$HSICの望ましい特性により、特徴選択（BAHSIC ^{[ 19 ]}）、クラスタリング（CLUHSIC ^{[ 20 ]）、次元削減（MUHSIC [ 21 ]}）など、^{さまざまな一般}的な機械学習タスクにこの依存性尺度を利用する多数のアルゴリズムが考案されました。

HSICは、複数の確率変数の依存性を測定するように拡張できます。この場合、HSICが独立性を捉えるのはどのような場合かという問題は、最近研究されています。^{[ 22 ]} 2つ以上の変数の場合

• の上${\displaystyle \mathbb {R} ^{d}}$個々の種子の特性は、同等の状態を維持する。
• 一般的な領域では、カーネルコンポーネントの特性は必要条件ではあるが十分条件ではない。

信念伝播は、条件付き期待値の評価に対応するメッセージをノードが繰り返し送受信するグラフィカルモデルにおける推論のための基本的なアルゴリズムです。カーネル埋め込みフレームワークでは、メッセージはRKHS関数として表現でき、条件付き分布埋め込みを適用することでメッセージの更新を効率的に計算できます。マルコフ確率場のノードによって表現されるn個の確率変数のサンプルが与えられた場合、ノードuからノードtへの受信メッセージは次のように表現できます。

${\displaystyle m_{ut}(\cdot )=\sum _{i=1}^{n}\beta _{ut}^{i}\varphi (x_{t}^{i})}$

それがRKHS内にあると仮定した場合、tからノードsへのカーネル信念伝播更新メッセージは^{[ 2 ]}で与えられる。

${\displaystyle {\widehat {m}}_{ts}=\left(\odot _{u\in N(t)\backslash s}\mathbf {K} _{t}{\boldsymbol {\beta }}_{ut}\right)^{T}(\mathbf {K} _{s}+\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}_{s}^{T}\varphi (x_{s})}$

どこ${\displaystyle \odot }$要素ごとのベクトル積を表します。${\displaystyle N(t)\backslash s}$は、ノードsを除く、 tに接続されているノードの集合です。${\displaystyle {\boldsymbol {\beta }}_{ut}=\left(\beta _{ut}^{1},\dots ,\beta _{ut}^{n}\right)}$、${\displaystyle \mathbf {K} _{t},\mathbf {K} _{s}}$は変数からのサンプルのグラム行列です${\displaystyle X_{t},X_{s}}$それぞれ、${\displaystyle {\boldsymbol {\Upsilon }}_{s}=\left(\varphi (x_{s}^{1}),\dots ,\varphi (x_{s}^{n})\right)}$は、サンプルからの特徴行列です。${\displaystyle X_{s}}$。

したがって、ノードtへの受信メッセージが、特徴マップされたサンプルの線形結合である場合${\displaystyle X_{t}}$すると、このノードからの送信メッセージも、特徴マップされたサンプルの線形結合になります。${\displaystyle X_{s}}$したがって、このRKHS関数表現によるメッセージ伝達更新は、ポテンシャルがデータから推論されるノンパラメトリック関数である効率的な信念伝播アルゴリズムを生み出し、任意の統計的関係をモデル化することができる。^{[ 2 ]}

隠れマルコフモデル（HMM）において、注目すべき重要な量は、隠れ状態間の遷移確率である。${\displaystyle P(S^{t}\mid S^{t-1})}$放出確率${\displaystyle P(O^{t}\mid S^{t})}$観測値については、カーネル条件付き分布埋め込みフレームワークを使用すると、これらの量をHMMからのサンプルで表現できます。この分野の埋め込み方法の重大な制限は、隠れ状態を含むトレーニングサンプルが必要であることです。そうでないと、HMM内の任意の分布による推論は不可能です。

HMMの一般的な用途の一つはフィルタリングであり、その目的は隠れ状態に関する事後分布を推定することである。${\displaystyle s^{t}}$時刻tにおいて、過去の観測履歴が与えられた場合${\displaystyle h^{t}=(o^{1},\dots ,o^{t})}$システムから。フィルタリングでは、信念状態${\displaystyle P(S^{t+1}\mid h^{t+1})}$予測ステップ（更新）によって再帰的に維持されます${\displaystyle P(S^{t+1}\mid h^{t})=\mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]}$は、前の隠れ状態を周辺化することによって計算され、その後条件付けステップ（更新が行われる）が続きます${\displaystyle P(S^{t+1}\mid h^{t},o^{t+1})\propto P(o^{t+1}\mid S^{t+1})P(S^{t+1}\mid h^{t})}$は、新しい観測に基づいて条件付けするためにベイズの定理を適用することによって計算されます。^{[ 2 ]}時刻t+1における信念状態の RKHS 埋め込みは、次のように再帰的に表現できます。

${\displaystyle \mu _{S^{t+1}\mid h^{t+1}}={\mathcal {C}}_{S^{t+1}O^{t+1}}^{\pi }\left({\mathcal {C}}_{O^{t+1}O^{t+1}}^{\pi }\right)^{-1}\varphi (o^{t+1})}$

カーネル和則による予測ステップの埋め込みとカーネルベイズ則による条件付けステップの埋め込みを計算することによって。トレーニングサンプルを仮定する${\displaystyle ({\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T},{\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T})}$が与えられれば、実際には推定することができる

${\displaystyle {\widehat {\mu }}_{S^{t+1}\mid h^{t+1}}=\sum _{i=1}^{T}\alpha _{i}^{t}\varphi ({\widetilde {s}}^{t})}$

したがって、カーネル埋め込みによるフィルタリングは、重みに対する以下の更新を使用して再帰的に実装されます。${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\dots ,\alpha _{T})}$^{[ 2 ]}

${\displaystyle \mathbf {D} ^{t+1}=\operatorname {diag} \left((G+\lambda \mathbf {I} )^{-1}{\widetilde {G}}{\boldsymbol {\alpha }}^{t}\right)}$

${\displaystyle {\boldsymbol {\alpha }}^{t+1}=\mathbf {D} ^{t+1}\mathbf {K} \left((\mathbf {D} ^{t+1}K)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {D} ^{t+1}\mathbf {K} _{o^{t+1}}}$

どこ${\displaystyle \mathbf {G} ,\mathbf {K} }$グラム行列を表す${\displaystyle {\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T}}$そして${\displaystyle {\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T}}$それぞれ、${\displaystyle {\widetilde {\mathbf {G} }}}$は、次のように定義される転送グラム行列である。${\displaystyle {\widetilde {\mathbf {G} }}_{ij}=k({\widetilde {s}}_{i},{\widetilde {s}}_{j+1}),}$そして${\displaystyle \mathbf {K} _{o^{t+1}}=(k({\widetilde {o}}^{1},o^{t+1}),\dots ,k({\widetilde {o}}^{T},o^{t+1}))^{T}.}$

サポート尺度マシン（SMM）は、サポートベクターマシン（SVM）の一般化であり、訓練データはラベルとペアになった確率分布である。${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n},\ y_{i}\in \{+1,-1\}}$^{[ 23 ]} SMMは、以下の期待カーネルを使用して標準的なSVM双対最適化問題を解きます。

${\displaystyle K\left(P(X),Q(Z)\right)=\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]}$

これは、多くの一般的な特定分布に対して閉形式で計算可能である。${\displaystyle P_{i}}$（ガウス分布など）と一般的な埋め込みカーネルを組み合わせたもの${\displaystyle k}$（例えばガウスカーネルや多項式カーネルなど）、または独立同分布のサンプルから正確に経験的に推定できる。${\displaystyle \{x_{i}\}_{i=1}^{n}\sim P(X),\{z_{j}\}_{j=1}^{m}\sim Q(Z)}$経由

${\displaystyle {\widehat {K}}(X,Z)={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},z_{j})}$

埋め込みカーネルの特定の選択の下で${\displaystyle k}$トレーニング例に適用されたSMM${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n}}$サンプルでトレーニングされたSVMに相当します${\displaystyle \{x_{i},y_{i}\}_{i=1}^{n}}$したがって、SMMは、異なるデータ依存カーネル（分布の想定される形式によって指定される）を持つ柔軟なSVMと見なすことができる。${\displaystyle P_{i}}$）は各トレーニングポイントに配置される可能性がある。^{[ 23 ]}

ドメイン適応の目標は、訓練データとテストデータの分布が異なる場合でもうまく汎化できる学習アルゴリズムを定式化することです。訓練例が与えられた場合${\displaystyle \{(x_{i}^{\text{tr}},y_{i}^{\text{tr}})\}_{i=1}^{n}}$そしてテストセット${\displaystyle \{(x_{j}^{\text{te}},y_{j}^{\text{te}})\}_{j=1}^{m}}$どこで${\displaystyle y_{j}^{\text{te}}}$トレーニング例の分布には、一般的に3種類の差異があると想定されているが、${\displaystyle P^{\text{tr}}(X,Y)}$そしてテスト分布${\displaystyle P^{\text{te}}(X,Y)}$: ^{[ 24 ] [ 25 ]}

1. 共変量の周辺分布がドメイン間で変化する共変量シフト：${\displaystyle P^{\text{tr}}(X)\neq P^{\text{te}}(X)}$
2. 目標シフトとは、出力の周辺分布がドメイン間で変化することである。${\displaystyle P^{\text{tr}}(Y)\neq P^{\text{te}}(Y)}$
3. 条件付きシフト${\displaystyle P(Y)}$ドメイン間で同じままだが、条件付き分布は異なる。${\displaystyle P^{\text{tr}}(X\mid Y)\neq P^{\text{te}}(X\mid Y)}$一般的に、条件付きシフトの存在は不適切問題につながり、さらに次の仮定が${\displaystyle P(X\mid Y)}$位置-スケール(LS) 変換の下でのみ変更${\displaystyle X}$問題を扱いやすくするために、一般的に課される措置である。

周辺分布と条件付き分布のカーネル埋め込みを利用することで、トレーニング領域とテスト領域間のこのような差異に対処するための実際的なアプローチを策定できます。共変量のシフトは、比率の推定値によるサンプルの再重み付けによって考慮することができます。${\displaystyle P^{\text{te}}(X)/P^{\text{tr}}(X)}$周辺分布のカーネル埋め込みから直接得られた${\displaystyle X}$各ドメインにおいて、分布の明示的な推定は不要です。^{[ 25 ]}ターゲットシフトは、サンプルがないため同様に処理できません。${\displaystyle Y}$テストドメインで利用可能なものは、ベクトルを使用してトレーニング例に重み付けすることで考慮されます。${\displaystyle {\boldsymbol {\beta }}^{*}(\mathbf {y} ^{\text{tr}})}$これは、次の最適化問題を解決します（実際には、経験的近似を使用する必要があります）^{[ 24 ]}

${\displaystyle \min _{{\boldsymbol {\beta }}(y)}\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$対象${\displaystyle {\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text{tr}})]=1}$

位置スケール条件シフトに対処するには、トレーニングポイントに対してLS変換を実行して、新しい変換済みトレーニングデータを取得すればよい。${\displaystyle \mathbf {X} ^{\text{new}}=\mathbf {X} ^{\text{tr}}\odot \mathbf {W} +\mathbf {B} }$（どこ${\displaystyle \odot }$は要素ごとのベクトル積を表します。新しい変換されたトレーニングサンプルとテストデータの間で同様の分布を保証するために、${\displaystyle \mathbf {W} ,\mathbf {B} }$は、以下の経験的カーネル埋め込み距離を最小化することによって推定されます^{[ 24 ]}

${\displaystyle \left\|{\widehat {\mu }}_{X^{\text{new}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}=\left\|{\widehat {\mathcal {C}}}_{(X\mid Y)^{\text{new}}}{\widehat {\mu }}_{Y^{\text{tr}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$

一般的に、LS条件シフトとターゲットシフトに対処するためのカーネル埋め込み法を組み合わせることで、テスト分布を模倣するトレーニングデータの重み付け変換を見つけることができ、これらの方法は、位置スケール変化以外の条件シフトが存在する場合でも良好なパフォーマンスを発揮する可能性があります。^{[ 24 ]}

分布から独立同分布でサンプリングされたN個の訓練例のセットが与えられた場合${\displaystyle P^{(1)}(X,Y),P^{(2)}(X,Y),\ldots ,P^{(N)}(X,Y)}$ドメイン汎化の目標は、これまで見たことのないドメインからサンプリングされたテスト例に対して優れた性能を発揮する学習アルゴリズムを定式化することです。${\displaystyle P^{*}(X,Y)}$トレーニング時にテストドメインのデータが利用できない場合。条件付き分布の場合${\displaystyle P(Y\mid X)}$すべてのドメインで比較的類似していると仮定すると、ドメイン汎化が可能な学習器は、周辺分布の変化に対して頑健な変数間の関数関係を推定する必要がある。${\displaystyle P(X)}$これらの分布のカーネル埋め込みに基づいて、ドメイン不変成分分析（DICA）は、すべてのトレーニングドメイン間で共有される共通の条件付き分布を維持しながら、周辺分布間の差を最小化するトレーニングデータの変換を決定する方法です。^{[ 26 ]} DICAは、ドメイン間で転送される特徴である不変量を抽出し、カーネル主成分分析、転送成分分析、共分散演算子逆回帰などの多くの一般的な次元削減方法の一般化と見なすことができます。^{[ 26 ]}

確率分布の定義${\displaystyle {\mathcal {P}}}$RKHSにて${\displaystyle {\mathcal {H}}}$と

${\displaystyle {\mathcal {P}}\left(\mu _{X^{(i)}Y^{(i)}}\right)={\frac {1}{N}}\qquad {\text{ for }}i=1,\dots ,N,}$

DICAは、分布分散によってドメイン間の類似性を測定し、それは次のように計算されます。

${\displaystyle V_{\mathcal {H}}({\mathcal {P}})={\frac {1}{N}}\operatorname {tr} (\mathbf {G} )-{\frac {1}{N^{2}}}\sum _{i,j=1}^{N}\mathbf {G} _{ij}}$

どこ

${\displaystyle \mathbf {G} _{ij}=\left\langle \mu _{X^{(i)}},\mu _{X^{(j)}}\right\rangle _{\mathcal {H}}}$

それで${\displaystyle \mathbf {G} }$は${\displaystyle N\times N}$トレーニングデータがサンプリングされる分布のグラム行列。分布の分散を最小化する低次元部分空間B (特徴空間内)への直交変換を見つけることで、DICA は同時に、 B が中心部分空間Cの基底と一致することを保証します。${\displaystyle Y}$独立する${\displaystyle X}$与えられた${\displaystyle C^{T}X}$すべての領域にわたって。目標値がない場合${\displaystyle Y}$DICAの教師なしバージョンを定式化すると、分布分散を最小化しつつ分散を最大化する低次元部分空間が見つかる。${\displaystyle X}$（特徴空間において）すべてのドメインにわたって（中心部分空間を保持するのではなく）。^{[ 26 ]}

分布回帰では、確率分布から実数（またはベクトル）への回帰が目標となります。多くの重要な機械学習および統計タスクがこのフレームワークに適合し、マルチインスタンス学習や解析解のない点推定問題（ハイパーパラメータ推定やエントロピー推定など）が含まれます。実際には、サンプリングされた分布からのサンプルのみが観測可能であり、推定値は点の集合間で計算された類似性に依存する必要があります。分布回帰は、たとえば教師ありエントロピー学習や、マルチスペクトル衛星画像を使用したエアロゾル予測にうまく適用されています。^{[ 27 ]}

与えられた${\displaystyle {\left(\{X_{i,n}\}_{n=1}^{N_{i}},y_{i}\right)}_{i=1}^{\ell }}$トレーニングデータでは、${\displaystyle {\hat {X_{i}}}:=\{X_{i,n}\}_{n=1}^{N_{i}}}$袋には確率分布からのサンプルが入っている${\displaystyle X_{i}}$そして${\displaystyle i^{\text{th}}}$出力ラベルは${\displaystyle y_{i}\in \mathbb {R} }$分布の埋め込みを取得し、その埋め込みから出力への回帰器を学習することで、分布回帰タスクに取り組むことができます。言い換えれば、次のカーネルリッジ回帰問題を検討することができます。${\displaystyle (\lambda >0)}$

${\displaystyle J(f)={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)-y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\to \min _{f\in {\mathcal {H}}(K)},}$

どこ

${\displaystyle \mu _{{\hat {X}}_{i}}=\int _{\Omega }k(\cdot ,u)\,\mathrm {d} {\hat {X}}_{i}(u)={\frac {1}{N_{i}}}\sum _{n=1}^{N_{i}}k(\cdot ,X_{i,n})}$

と共に${\displaystyle k}$カーネルは、${\displaystyle X_{i}}$-s${\displaystyle (k:\Omega \times \Omega \to \mathbb {R} )}$、${\displaystyle K}$は埋め込みディストリビューションのカーネルであり、${\displaystyle {\mathcal {H}}(K)}$RKHSは、${\displaystyle K}$.例${\displaystyle K}$線形カーネルを含める${\displaystyle \left[K(\mu _{P},\mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]}$ガウスカーネル${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]}$指数カーネル${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})}\right]}$コーシー核${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/\sigma ^{2}\right)^{-1}\right]}$一般化t分布カーネル${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]}$または逆多重二次関数カーネル${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{-{\frac {1}{2}}}\right]}$。