独立成分分析

古典的な ICA モデルでは、観測データは$\displaystyle \mathbf {x} _{i}\in \mathbb {R} ^{m}}$その時$t_i$ソース信号から生成されます$\displaystyle \mathbf {s} _{i}\in \mathbb {R} ^{m}}$線形変換を介して${\displaystyle \mathbf {x} _{i}=A\mathbf {s} _{i}}$、 どこ${\displaystyle A}$は未知の可逆混合行列です。ソース信号を復元するために、まずデータを中心化（平均0）し、次に変換されたデータの共分散が1になるように白色化します。この白色化により、一般的な行列を推定するという問題が軽減されます。${\displaystyle A}$直交行列を推定するために${\displaystyle V}$これにより、独立成分の探索が大幅に簡素化される。

中心化されたデータの共分散行列が$\displaystyle \Sigma _{x}=AA^{\top }}$固有値分解を用いて$\displaystyle \Sigma _{x}=QDQ^{\top }}$、ホワイトニングの変化は次のように考えることができる。${\displaystyle D^{-1/2}Q^{\top }}$このステップにより、復元されたソースが無相関で単位分散であることが保証され、統計的独立性を最大化するために白色化されたデータを回転させる作業だけが残ります。この一般的な導出は多くの ICA アルゴリズムの基礎となっており、ICA モデルを理解する上で基礎となります。^{[ 12 ]}

独立成分は、ソースの順列とスケーリングを除いて識別可能である。^{[ 13 ]}この識別可能性には、以下の条件が必要である。

• 最大で1つの情報源${\displaystyle s_{k}}$ガウス分布であり、
• 観測された混合物の数、${\displaystyle m}$推定される構成要素の数以上でなければならない${\displaystyle n}$:${\displaystyle m\geq n}$混合行列は${\displaystyle {\boldsymbol {A}}}$その逆元が存在するためには、元のランクがフルランクでなければならない。

信号混合物はガウス型の確率密度関数を持つ傾向があり、ソース信号は非ガウス型の確率密度関数を持つ傾向があります。各ソース信号は、重みベクトルと、この内積が信号混合物の直交射影を与える信号混合物との内積を取ることによって、信号混合物のセットから抽出できます。残りの課題は、そのような重みベクトルを見つけることです。これを行う方法の 1 つは、射影追跡です。^{[ 17 ] [ 18 ]}

射影追跡法は、抽出された信号が可能な限り非ガウス分布となるように、一度に1つの射影を探索します。これは、通常M個の信号混合物からM個の信号を同時に抽出するICAとは対照的です。ICAでは、 M × Mの分離行列を推定する必要があります。射影追跡法のICAに対する実用的な利点の1つは、必要に応じてM個未満の信号を抽出できることです。この場合、各ソース信号はM個の信号混合物からM個の要素を持つ重みベクトルを使用して抽出されます。

尖度を用いることで、射影追跡法によって正しい重みベクトルを見つけ出し、複数のソースからの信号を復元することができる。

有限サンプルにおける信号の確率密度関数の尖度は、次のように計算されます。

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

どこ${\displaystyle \mathbf {\overline {y}} }$は、​${\displaystyle \mathbf {y} }$、抽出された信号。定数 3 は、ガウス信号の尖度がゼロ、スーパーガウス信号の尖度が正、サブガウス信号の尖度が負であることを保証します。分母は、${\displaystyle \mathbf {y} }$また、測定された尖度が信号の分散を考慮に入れることを保証します。射影追跡の目的は、尖度を最大化し、抽出された信号を可能な限り非正規分布にすることです。

非正規性の尺度として尖度を用いることで、信号の尖度がどのように変化するかを調べることができます。${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$M種類の混合物から抽出${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$重みベクトルに応じて変化する${\displaystyle \mathbf {w} }$各ソース信号は原点を中心に回転します。${\displaystyle \mathbf {s} }$超ガウス分布になるのは当然のことです。

1. 抽出された信号の尖度${\displaystyle \mathbf {y} }$最大限になるのはまさに${\displaystyle \mathbf {y} =\mathbf {s} }$。
2. 抽出された信号の尖度${\displaystyle \mathbf {y} }$最大化するには${\displaystyle \mathbf {w} }$投影軸に直交する${\displaystyle S_{1}}$または${\displaystyle S_{2}}$なぜなら、最適な重みベクトルは変換された軸に直交する必要があることがわかっているからである。${\displaystyle S_{1}}$または${\displaystyle S_{2}}$。

複数の信号源が混在する信号の場合、尖度とグラム・シュミット直交化（GSO）を用いて信号を復元できます。M次元空間にM個の信号混合物がある場合、 GSOは重みベクトルを用いてこれらのデータ点を（M-1）次元空間に投影します。GSOを用いることで、抽出された信号の独立性を保証できます。

正しい値を見つけるために${\displaystyle \mathbf {w} }$勾配降下法を使用できます。まずデータをホワイトニングし、変換します。${\displaystyle \mathbf {x} }$新しい混合物へ${\displaystyle \mathbf {z} }$単位分散を持ち、${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$このプロセスは、特異値分解を適用することによって実現できます。${\displaystyle \mathbf {x} }$、

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

各ベクトルのスケーリング${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$、そして${\displaystyle \mathbf {z} =\mathbf {U} }$重み付きベクトルによって抽出された信号${\displaystyle \mathbf {w} }$は${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$重みベクトルw の長さが単位であれば、 yの分散も 1 になります。${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$したがって、尖度は次のように表すことができます。

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

更新プロセス${\displaystyle \mathbf {w} }$は：

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

どこ${\displaystyle \eta }$は、以下のことを保証する小さな定数です。${\displaystyle \mathbf {w} }$最適解に収束します。更新ごとに正規化します${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$、そして設定する${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$そして、収束するまで更新プロセスを繰り返します。重みベクトルを更新するために別のアルゴリズムを使用することもできます。${\displaystyle \mathbf {w} }$。

別のアプローチとして、尖度の代わりにネゲントロピー^{[ 10 ] [ 19 ]}を使用する方法があります。尖度は外れ値に非常に敏感であるため、ネゲントロピーを使用する方法は尖度よりも頑健な方法です。ネゲントロピー法は、ガウス分布の重要な特性に基づいています。ガウス変数は、等分散のすべての連続確率変数の中で最大のエントロピーを持ちます。これが、最も非ガウス的な変数を見つけたい理由でもあります。簡単な証明は、微分エントロピーで見つけることができます。

${\displaystyle J(x)=S(y)-S(x)\,}$

yはxと同じ共分散行列を持つガウス型確率変数である。

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

ネゲントロピーの近似値は

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

証明はComonの原著論文^{[ 20 ] [ 10 ]}に記載されており、 Aapo Hyvärinen、Juha Karhunen、Erkki Ojaによる書籍「Independent Component Analysis」にも掲載されている^{[ 21 ]。}この近似も尖度と同様の問題（外れ値に対する感度）を抱えている。他のアプローチも開発されている^{[ 22 ] 。}

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

選択肢${\displaystyle G_{1}}$そして${\displaystyle G_{2}}$は

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$そして${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

Infomax ICA ^{[ 23 ]}は、本質的に射影追跡の多変量並列バージョンです。射影追跡は、 M 個の信号混合のセットから一度に 1 つの信号を抽出するのに対し、ICA はM 個の信号を並列に抽出します。これにより、ICA は射影追跡よりも堅牢になる傾向があります。^{[ 24 ]}

射影追跡法は、抽出信号の独立性を確保するためにグラム・シュミット直交化法を使用する一方、ICAは、抽出信号の独立性を確保するためにインフォマックス法と最尤推定法を使用する。抽出信号の非正規性は、信号に適切なモデルまたは事前分布を割り当てることによって実現される。

Infomaxに基づくICAのプロセスを簡単に説明すると、信号混合物のセットが与えられた場合、${\displaystyle \mathbf {x} }$そして、同一の独立したモデル累積分布関数（cdf）のセット${\displaystyle g}$我々は混合分離行列を求める${\displaystyle \mathbf {W} }$これは信号の結合エントロピーを最大化する。${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$、 どこ${\displaystyle \mathbf {y} =\mathbf {Wx} }$抽出された信号は${\displaystyle \mathbf {W} }$最適な${\displaystyle \mathbf {W} }$信号${\displaystyle \mathbf {Y} }$エントロピーが最大であり、したがって独立しているため、抽出された信号が${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$また、独立している。${\displaystyle g}$は可逆関数であり、 は信号モデルです。ソース信号モデルの確率密度関数が${\displaystyle p_{s}}$抽出された信号の確率密度関数に一致する${\displaystyle p_{\mathbf {y} }}$結合エントロピーを最大化する${\displaystyle Y}$また、相互情報量を最大化する${\displaystyle \mathbf {x} }$そして${\displaystyle \mathbf {Y} }$このため、エントロピーを使用して独立した信号を抽出することは、インフォマックスとして知られています。

ベクトル変数のエントロピーを考えてみましょう${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$、 どこ${\displaystyle \mathbf {y} =\mathbf {Wx} }$は、アンミキシング行列によって抽出された信号のセットです。${\displaystyle \mathbf {W} }$確率密度関数を持つ分布からサンプリングされた有限個の値の場合${\displaystyle p_{\mathbf {y} }}$エントロピー${\displaystyle \mathbf {Y} }$以下のように推定できます。

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

共同PDF${\displaystyle p_{\mathbf {Y} }}$結合PDFと関連していることが示される${\displaystyle p_{\mathbf {y} }}$抽出された信号を多変量形式で表すと次のようになります。

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

どこ${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$はヤコビ行列です。${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$、 そして${\displaystyle g'}$ソース信号に対して想定されるpdfは${\displaystyle g'=p_{s}}$、 したがって、

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

したがって、

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

私たちは、${\displaystyle p_{\mathbf {y} }=p_{s}}$、${\displaystyle p_{\mathbf {Y} }}$は均一分布であり、${\displaystyle H({\mathbf {Y} })}$最大化されます。

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

どこ${\displaystyle |\mathbf {W} |}$は、分離行列の行列式の絶対値です。${\displaystyle \mathbf {W} }$。 したがって、

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

それで、

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

以来${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$最大化${\displaystyle \mathbf {W} }$影響しない${\displaystyle H_{\mathbf {x} }}$関数を最大化することができます

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

抽出された信号の独立性を実現するため。

モデルの結合確率密度関数の周辺確率密度関数がM個ある場合${\displaystyle p_{\mathbf {s} }}$これらは独立しており、ソース信号には一般的にスーパーガウスモデルの確率密度関数を使用します。${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$すると、

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w} _{i}^{\mathsf {T}}\mathbf {x} ^{t})^{2})+\ln |\mathbf {W} |}$

合計すると、観測された信号混合物が ${\displaystyle \mathbf {x} }$対応する抽出信号のセット ${\displaystyle \mathbf {y} }$ およびソース信号モデル${\displaystyle p_{\mathbf {s} }=g'}$最適な混合分離行列を見つけることができます${\displaystyle \mathbf {W} }$抽出された信号を独立かつ非ガウス分布にします。射影追跡の場合と同様に、勾配降下法を使用して、分離行列の最適解を見つけることができます。

最尤推定法（MLE）は、パラメータ値（例えば、混合行列）を求めるための標準的な統計ツールです。${\displaystyle \mathbf {W} }$抽出された信号など、一部のデータに最適な適合を提供する${\displaystyle y}$) 与えられたモデル (例えば、仮定された同時確率密度関数 (pdf)) に対して${\displaystyle p_{s}}$ソース信号について）。^{[ 24 ]}

ML 「モデル」にはpdfの仕様が含まれており、この場合それはpdfである。${\displaystyle p_{s}}$未知のソース信号の${\displaystyle s}$ML ICAを使用する場合、目的は抽出された信号が得られる分離行列を見つけることです。${\displaystyle y=\mathbf {W} x}$可能な限りジョイント PDF に類似したジョイント PDF${\displaystyle p_{s}}$未知のソース信号の${\displaystyle s}$。

MLEは、モデルのpdfが${\displaystyle p_{s}}$そしてモデルパラメータ${\displaystyle \mathbf {A} }$が正しい場合、データに対して高い確率が得られるはずです${\displaystyle x}$実際に観察されたもの。逆に、${\displaystyle \mathbf {A} }$パラメータ値が正しい値から大きく外れている場合、観測されたデータの確率は低いと予想される。

MLEを使用すると、特定のモデルパラメータ値のセット (たとえば、pdf) に対する観測データの確率を次のように定義します。${\displaystyle p_{s}}$そして行列${\displaystyle \mathbf {A} }$）観測データに基づいてモデルパラメータ値が得られる可能性。

尤度関数を定義する${\displaystyle \mathbf {L(W)} }$の${\displaystyle \mathbf {W} }$:

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

これは次の確率密度に等しい。${\displaystyle x}$、 以来${\displaystyle s=\mathbf {W} x}$。

したがって、${\displaystyle \mathbf {W} }$観測された混合物を生成した可能性が最も高いのは${\displaystyle x}$未知のソースからの信号${\displaystyle s}$PDF付き${\displaystyle p_{s}}$そうすれば、我々はただそれを見つけるだけでよい${\displaystyle \mathbf {W} }$可能性を最大化する${\displaystyle \mathbf {L(W)} }$式を最大化する分離行列は、最適分離行列の最尤推定値として知られています。

対数尤度を用いるのが一般的である。なぜなら、これは評価が容易だからである。対数は単調関数であるため、${\displaystyle \mathbf {W} }$関数を最大化する${\displaystyle \mathbf {L(W)} }$また、その対数を最大化する${\displaystyle \ln \mathbf {L(W)} }$これにより、上記の式の対数を取ることができ、対数尤度関数が得られます。

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

ソース信号に一般的に使用される高尖度モデルのpdfを代入すると${\displaystyle p_{s}=(1-\tanh(s)^{2})}$すると、

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

このマトリックス${\displaystyle \mathbf {W} }$この関数を最大化するのは最尤推定法である。