独立成分分析

信号処理において、独立成分分析( ICA ) は、多変量信号を加法的なサブコンポーネントに分離する計算方法です。これは、最大で 1 つのサブコンポーネントがガウス分布であり、サブコンポーネントは互いに統計的に独立していると仮定して行われます。 ^[1] ICA は、1985 年に Jeanny Hérault と Christian Jutten によって発明されました。^{[2] ICA は、}ブラインド ソース分離の特殊なケースです。ICA の一般的な応用例としては、騒がしい部屋で 1 人の人の話を盗み聞きするという「カクテル パーティー問題」があります。^[3]

独立成分分析は、多変量信号を独立した非ガウス信号に分解しようとします。たとえば、音は通常、各時刻 t における複数のソースからの信号の数値加算で構成される信号です。この場合の疑問は、これらの寄与ソースを観測された全信号から分離できるかどうかです。統計的独立性の仮定が正しい場合、混合信号のブラインド ICA 分離は非常に良好な結果をもたらします。^[5]また、分析目的で混合によって生成されるはずのない信号にも使用されます。

ICA の簡単な応用例は「カクテル パーティー問題」です。これは、基礎となる音声信号が、部屋で同時に話している人々のサンプル データから分離される問題です。通常、この問題は、時間遅延やエコーがないと仮定することで簡略化されます。フィルター処理され遅延された信号は従属コンポーネントのコピーであるため、統計的独立性の仮定に違反しないことに注意してください。

コンポーネントから観測信号を構築するための混合重みは、行列に配置できます。考慮すべき重要な点は、ソースが存在する場合、元の信号を復元するには少なくとも観測値 (観測信号がオーディオの場合はマイクなど) が必要であることです。観測値とソース信号の数が同じ場合、混合行列は正方行列 ( ) です。その他の劣決定 ( ) および過剰決定 ( )のケースも調査されています。 ${\textstyle M}$${\textstyle N}$${\textstyle M\times N}$${\textstyle N}$${\textstyle N}$${\textstyle M=N}$${\textstyle M<N}$${\textstyle M>N}$

混合信号の ICA 分離が成功するかどうかは、2 つの仮定と混合ソース信号の 3 つの効果に依存します。2 つの仮定:

1. ソース信号は互いに独立しています。
2. 各ソース信号の値は非ガウス分布を持ちます。

ソース信号を混合する 3 つの効果:

1. 独立性: 仮定 1 によれば、ソース信号は独立していますが、信号混合は独立していません。これは、信号混合が同じソース信号を共有しているためです。
2. 正規性:中心極限定理によれば、有限分散を持つ独立したランダム変数の合計の分布は、ガウス分布に近づく傾向があります。
   大まかに言えば、2 つの独立したランダム変数の合計は、通常、元の 2 つの変数のいずれよりもガウスに近い分布になります。ここでは、各信号の値をランダム変数として考えます。
3. 複雑さ: あらゆる信号混合の時間的複雑さは、その最も単純な構成ソース信号の時間的複雑さよりも大きくなります。

これらの原理はICAの基本的な確立に貢献しています。混合物の集合から抽出された信号が独立しており、非ガウス分布を持つか、複雑性が低い場合、それらはソース信号である必要があります。^{[6] [7]}

ICAは、推定されたコンポーネントの統計的独立性を最大化することで、独立コンポーネント（因子、潜在変数、ソースとも呼ばれる）を見つけます。独立性の代理を定義する方法は数多くありますが、その選択によってICAアルゴリズムの形式が決まります。ICAの独立性の最も広い定義は2つあります。

1. 相互情報量の最小化
2. 非ガウス性の最大化

相互情報量最小化（MMI）系のICAアルゴリズムは、カルバック・ライブラー・ダイバージェンスや最大エントロピーなどの尺度を使用します。中心極限定理に基づく非ガウス性系のICAアルゴリズムは、尖度とネゲントロピーを使用します。^[8]

ICA の一般的なアルゴリズムでは、実際の反復アルゴリズムの問​​題を簡素化し、複雑さを軽減するために、前処理ステップとしてセンタリング (平均値を減算してゼロ平均値の信号を作成)、白色化 (通常は固有値分解を使用)、次元削減を使用します。白色化と次元削減は、主成分分析または特異値分解で実現できます。白色化により、アルゴリズムを実行する前に、すべての次元が事前に平等に扱われることが保証されます。ICA のよく知られたアルゴリズムには、infomax、FastICA、JADE、カーネル独立成分分析などがあります。一般に、ICA は、ソース信号の実際の数、ソース信号の一意に正しい順序、ソース信号の適切なスケーリング (符号を含む) を識別することはできません。

ICA はブラインド信号分離に重要であり、多くの実用的な用途があります。これは、データの階乗コードの検索と密接に関連しています (または特殊なケースです) 。階乗コードとは、各データ ベクトルの新しいベクトル値表現で、結果のコード ベクトルによって一意にエンコードされます (損失のないコーディング) が、コード コンポーネントは統計的に独立しています。

線形独立成分分析は、ノイズなしの場合とノイズありの場合に分けられます。ノイズなし ICA は、ノイズあり ICA の特殊なケースです。非線形 ICA は、別のケースとして考慮する必要があります。

データは観測されたランダム ベクトル とランダム ベクトルとして隠れたコンポーネントで表されます。タスクは、線形静的変換を使用して観測データを、何らかの独立関数によって測定された最大限に独立したコンポーネントのベクトルに変換することです。 ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}.}$${\displaystyle {\boldsymbol {x}},}$${\displaystyle {\boldsymbol {W}}}$${\displaystyle {\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}},}$${\displaystyle {\boldsymbol {s}}}$${\displaystyle F(s_{1},\ldots ,s_{n})}$

観測されたランダムベクトルの成分は、 独立した成分の合計として生成されます。${\displaystyle x_{i}}$${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$${\displaystyle s_{k}}$${\displaystyle k=1,\ldots ,n}$

${\displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}}$

混合重みによって重み付けされます。 ${\displaystyle a_{i,k}}$

同じ生成モデルは、ベクトル形式では と表すことができます。ここで、観測されたランダム ベクトルは基底ベクトル で表されます。基底ベクトルは混合行列の列を形成し、生成式は と表すことができます。ここで です。 ${\displaystyle {\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}}$${\displaystyle {\boldsymbol {a}}_{k}}$${\displaystyle {\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})}$${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}}$${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$

ランダムベクトルのモデルと実現値（サンプル）が与えられた場合、タスクは混合行列とソースの両方を推定することです。これは、ベクトルを適応的に計算し、計算された非ガウス性を最大化するか相互情報量を最小化するコスト関数を設定することによって行われます。場合によっては、ソースの確率分布に関する事前知識をコスト関数で使用できます。 ${\displaystyle {\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {A}}}$${\displaystyle {\boldsymbol {s}}}$${\displaystyle {\boldsymbol {w}}}$${\displaystyle s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}}$

元の音源は、観測信号に混合行列 の逆行列（分離行列とも呼ばれる）を乗算することで復元できます。ここでは、混合行列が正方行列（）であると仮定します。基底ベクトルの数が観測ベクトルの次元よりも大きい場合、タスクは過剰完了になりますが、擬似逆行列で解決可能です。 ${\displaystyle {\boldsymbol {s}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {W}}={\boldsymbol {A}}^{-1}}$${\displaystyle n=m}$${\displaystyle n>m}$

平均がゼロで相関のないガウスノイズという仮定を追加すると、ICA モデルは次の形式になります。 ${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n}$

ソースの混合は線形である必要はありません。パラメータを持つ非線形混合関数を使用すると、非線形 ICA モデルは次のようになります。 ${\displaystyle f(\cdot |\theta )}$${\displaystyle \theta }$${\displaystyle x=f(s|\theta )+n}$

独立成分は、ソースの順列とスケーリングまで識別可能である。^[9]この識別可能性には以下が必要である。

• 最大で1つのソースがガウス分布であり、${\displaystyle s_{k}}$
• 観測される混合の数 は、推定される成分の数:と少なくとも同じ大きさでなければなりません。これは、混合行列の逆行列が存在するためには、混合行列がフルランクでなければならないということと同じです。${\displaystyle m}$${\displaystyle n}$${\displaystyle m\geq n}$${\displaystyle {\boldsymbol {A}}}$

ICA の特殊なバリエーションとして、信号ソースとモニターの両方がバイナリ形式であり、モニターからの観測がバイナリ独立ソースの分離混合であるバイナリ ICA があります。この問題は、医療診断、マルチクラスター割り当て、ネットワークトモグラフィー、インターネットリソース管理など、多くの分野で応用できることが示されています。

をモニターからのバイナリ変数の集合とし、をソースからのバイナリ変数の集合とします。ソースとモニターの接続は、(未知の)混合行列 によって表されます。ここで、 は、i番目のソースからの信号がj番目のモニターで観測できることを示します。システムは次のように動作します。いつでも、ソースがアクティブ ( ) で、それがモニター( ) に接続されている場合、モニターは何らかのアクティビティ ( ) を観察します。正式には次のようになります。 ${\displaystyle {x_{1},x_{2},\ldots ,x_{m}}}$${\displaystyle m}$${\displaystyle {y_{1},y_{2},\ldots ,y_{n}}}$${\displaystyle n}$${\textstyle {\boldsymbol {G}}}$${\displaystyle g_{ij}=1}$${\displaystyle i}$${\displaystyle y_{i}=1}$${\displaystyle j}$${\displaystyle g_{ij}=1}$${\displaystyle j}$${\displaystyle x_{j}=1}$

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,}$

ここで、はブール AND で、はブール OR です。ノイズは明示的にモデル化されておらず、独立したソースとして扱うことができます。 ${\displaystyle \wedge }$${\displaystyle \vee }$

上記の問題は、^変数が連続していると仮定し、バイナリ観測データに対してFastICAを実行して混合行列（実数値）を取得し、次に丸め数値技術を適用してバイナリ値を取得することで、経験的に解決できます[10]。このアプローチは、非常に不正確な結果を生み出すことが示されています。^{[引用が必要]}${\textstyle {\boldsymbol {G}}}$${\textstyle {\boldsymbol {G}}}$

もう一つの方法は、動的計画法を使うことです。観測行列を部分行列に再帰的に分割し、これらの部分行列に対して推論アルゴリズムを実行します。このアルゴリズムにつながる重要な観測は、の部分行列です。ここで、は、番目のモニターに接続されていない隠れたコンポーネントの不偏観測行列に対応します。 ^[11]の実験結果は、このアプローチが中程度のノイズレベルで正確であることを示しています。 ${\textstyle {\boldsymbol {X}}}$${\textstyle {\boldsymbol {X}}^{0}}$${\textstyle {\boldsymbol {X}}}$${\textstyle x_{ij}=0,\forall j}$${\displaystyle i}$

一般化バイナリICAフレームワーク^[12]は、生成モデルに関する知識を必要としない、より広範な問題定式化を導入しています。言い換えれば、この方法は、ソースをその生成方法に関する事前の仮定なしに、（可能な限り、そしていかなる情報も失うことなく）独立したコンポーネントに分解しようとします。この問題は非常に複雑に見えますが、分岐限定探索木アルゴリズムで正確に解くことも、行列とベクトルの1回の乗算で厳密に上限を設定することもできます。

信号混合はガウス確率密度関数を持つ傾向があり、ソース信号は非ガウス確率密度関数を持つ傾向があります。各ソース信号は、重みベクトルと信号混合の内積を取ることで、信号混合の集合から抽出できます。この内積は信号混合の直交投影を提供します。残された課題は、そのような重みベクトルを見つけることです。そのための1つの方法は、射影追跡です。^{[13] [14]}

射影追跡は、抽出された信号が可能な限り非ガウスになるように、一度に 1 つの射影を探します。これは、通常M 個の信号混合物からM 個の信号を同時に抽出し、M × Mの分離行列を推定する必要がある ICA とは対照的です。射影追跡が ICA より優れている点の 1 つは、必要に応じてM個未満の信号を抽出できることです。この場合、各ソース信号はM 個の信号混合物からM個の要素の重みベクトルを使用して抽出されます。

投影追跡を使用して正しい重みベクトルを見つけることで、 尖度を使用して複数のソース信号を回復できます。

有限サンプルの信号の確率密度関数の尖度は次のように計算される。

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

ここで、 は抽出された信号の標本平均です。定数 3 は、ガウス信号の尖度がゼロであること、スーパーガウス信号の尖度が正であること、サブガウス信号の尖度が負であることを保証します。分母はの分散であり、測定された尖度が信号分散を考慮に入れていることを保証します。射影追跡の目標は、尖度を最大化し、抽出された信号を可能な限り非正規にすることです。 ${\displaystyle \mathbf {\overline {y}} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} }$

非正規性の尺度として尖度を使用すると、重みベクトルが原点を中心に回転すると、M個の混合セットから抽出された信号の尖度がどのように変化するかを調べることができます。各ソース信号が超ガウス分布である という仮定から、次のことが予想されます。${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {s} }$

1. 抽出された信号の尖度は、まさに のときに最大になります。${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} =\mathbf {s} }$
2. 抽出された信号の尖度は、 が投影された軸またはに直交しているときに最大になります。これは、最適な重みベクトルが変換された軸またはに直交する必要があることがわかっているためです。${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {w} }$${\displaystyle S_{1}}$${\displaystyle S_{2}}$${\displaystyle S_{1}}$${\displaystyle S_{2}}$

複数のソースが混在する信号の場合、尖度とグラム・シュミット直交化 (GSO) を使用して信号を回復できます。M 次元空間に M 個の信号が混在する場合、GSOは重みベクトルを使用してこれらのデータ ポイントを ( M-1 ) 次元空間に投影します。GSO を使用すると、抽出された信号の独立性を保証できます。

の正しい値を見つけるために、勾配降下法を使用することができます。まずデータを白色化し、単位分散と を持つ新しい混合 に変換します。このプロセスは、に特異値分解を適用することで実現できます。 ${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {z} }$${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

各ベクトル を再スケールし、 とします。重み付きベクトルによって抽出された信号は です。重みベクトルw の長さが単位の場合、 の分散も 1、つまり になります。したがって、尖度は次のように表すことができます。 ${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$${\displaystyle \mathbf {z} =\mathbf {U} }$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

更新プロセスは次のとおりです。 ${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

ここで、 は最適解に収束することを保証する小さな定数です。各更新の後、 を正規化し、 を設定して、収束するまで更新プロセスを繰り返します。重みベクトル を更新するために別のアルゴリズムを使用することもできます。 ${\displaystyle \eta }$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$${\displaystyle \mathbf {w} }$

もう一つのアプローチは、尖度の代わりにネゲントロピー^{[8] [15]}を使用することです。尖度は外れ値に非常に敏感なので、ネゲントロピーを使用する方法は尖度よりも堅牢です。ネゲントロピー法は、ガウス分布の重要な特性に基づいています。ガウス変数は、等分散のすべての連続ランダム変数の中で最大のエントロピーを持ちます。これは、最も非ガウス変数を見つけたい理由でもあります。簡単な証明は、微分エントロピーに記載されています。

${\displaystyle J(x)=S(y)-S(x)\,}$

yはxと同じ共分散行列のガウス分布のランダム変数である

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

ネゲントロピーの近似値は

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

証明はComonの原著論文に記載されています。^{[16] [8]} Aapo Hyvärinen、Juha Karhunen、Erkki Ojaの著書「Independent Component Analysis」にも記載されています。^[17]この近似も尖度（外れ値に対する感度）と同じ問題を抱えています。他のアプローチも開発されています。^[18]

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

およびの選択肢は ${\displaystyle G_{1}}$${\displaystyle G_{2}}$

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$そして${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

インフォマックスICA ^[19]は本質的には投影追跡の多変量並列バージョンです。投影追跡がM個の信号混合物のセットから一連の信号を1つずつ抽出するのに対し、ICAはM個の信号を並列に抽出します。これにより、ICAは投影追跡よりも堅牢になる傾向があります。^[20]

射影追跡法では、抽出された信号の独立性を確保するためにグラム・シュミット直交化を使用しますが、ICA では、抽出された信号の独立性を確保するためにインフォマックスと最大尤度推定を使用します。抽出された信号の非正規性は、信号に適切なモデルまたは事前値を割り当てることによって実現されます。

インフォマックスに基づく ICA のプロセスを簡単に説明すると、次のようになります。信号混合のセットと、同一の独立モデル累積分布関数(cdf)のセットが与えられた場合、信号 の結合エントロピーを最大化する分離行列を求めます。ここで、はによって抽出された信号です。最適な が与えられた場合、信号 は最大エントロピーを持ち、したがって独立しているため、抽出された信号も独立していることが保証されます。は可逆関数で、 は信号モデルです。ソース信号モデルの確率密度関数が抽出された信号 の確率密度関数と一致する場合、 の結合エントロピーを最大化すると、との間の相互情報量も最大化されることに注意してください。このため、エントロピーを使用して独立した信号を抽出することは、インフォマックスと呼ばれます。 ${\displaystyle \mathbf {x} }$${\displaystyle g}$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$${\displaystyle \mathbf {y} =\mathbf {Wx} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$${\displaystyle g}$ ${\displaystyle p_{s}}$${\displaystyle p_{\mathbf {y} }}$${\displaystyle Y}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {Y} }$

ベクトル変数 のエントロピーを考えます。ここで、 は分離行列 によって抽出された信号のセットです。 pdf の分布からサンプリングされた値の有限セットの場合、 のエントロピーは次のように推定できます。 ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$${\displaystyle \mathbf {y} =\mathbf {Wx} }$${\displaystyle \mathbf {W} }$${\displaystyle p_{\mathbf {y} }}$${\displaystyle \mathbf {Y} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

結合 pdf は、多変量形式によって抽出された信号の 結合 pdf と関連していることが示されます。${\displaystyle p_{\mathbf {Y} }}$${\displaystyle p_{\mathbf {y} }}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

ここで はヤコビ行列です。 であり、 はソース信号 に対して想定される pdf です。したがって、 ${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$${\displaystyle g'}$${\displaystyle g'=p_{s}}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

したがって、

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

のとき、は一様分布となり、最大化されることが分かっています。 ${\displaystyle p_{\mathbf {y} }=p_{s}}$${\displaystyle p_{\mathbf {Y} }}$${\displaystyle H({\mathbf {Y} })}$

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

ここで、は分離行列の行列式の絶対値です。したがって、 ${\displaystyle |\mathbf {W} |}$${\displaystyle \mathbf {W} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

それで、

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

であり、最大化はには影響しないので、関数を最大化できる。 ${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$${\displaystyle \mathbf {W} }$${\displaystyle H_{\mathbf {x} }}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

抽出された信号の独立性を実現します。

モデルのマージナルpdfがM個あり、ジョイントpdfが独立しており、ソース信号に一般的なスーパーガウスモデルpdfを使用する場合、 ${\displaystyle p_{\mathbf {s} }}$${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w} _{i}^{\mathsf {T}}\mathbf {x} ^{t})^{2})+\ln |\mathbf {W} |}$

つまり、観測された信号混合物 、対応する抽出信号のセット 、およびソース信号モデルが与えられれば、最適な分離行列を見つけ、抽出された信号を独立かつ非ガウスにすることができます。射影追跡状況と同様に、勾配降下法を使用して分離行列の最適解を見つけることができます。 ${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle p_{\mathbf {s} }=g'}$${\displaystyle \mathbf {W} }$

最大尤度推定法（MLE）は、与えられたモデル（例えば、ソースいくつかのデータ（例えば、抽出された信号）を最もよく適合させるパラメータ値（例えば、分離行列）を見つけるための標準的な統計ツール。 ^[20]${\displaystyle \mathbf {W} }$${\displaystyle y}$${\displaystyle p_{s}}$

ML 「モデル」には、この場合、未知のソース信号のpdf の仕様が含まれています。 ML ICA を使用する場合、その目的は、未知のソース信号の結合 pdf に可能な限り類似した結合 pdf を持つ抽出信号を生成する分離行列を見つけることです。 ${\displaystyle p_{s}}$${\displaystyle s}$${\displaystyle y=\mathbf {W} x}$${\displaystyle p_{s}}$${\displaystyle s}$

したがって、 MLE は、モデル pdfとモデル パラメータが正しい場合、実際に観測されたデータに対して高い確率が得られるという仮定に基づいています。逆に、正しいパラメータ値から遠い場合、観測されたデータの確率は低くなると予想されます。 ${\displaystyle p_{s}}$${\displaystyle \mathbf {A} }$${\displaystyle x}$${\displaystyle \mathbf {A} }$

MLE を使用すると、特定のモデルパラメータ値のセット (たとえば、pdfと行列)に対する観測データの確率を、観測データが与えられた場合のモデルパラメータ値の 尤度と呼びます。${\displaystyle p_{s}}$${\displaystyle \mathbf {A} }$

尤度関数を次のように定義します。 ${\displaystyle \mathbf {L(W)} }$${\displaystyle \mathbf {W} }$

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

これは における確率密度に等しい。なぜなら であるからである。 ${\displaystyle x}$${\displaystyle s=\mathbf {W} x}$

したがって、 pdf を持つ未知のソース信号から観測された混合物を生成した可能性が最も高い を見つけたい場合は、尤度 を最大化する を見つければよいだけです。方程式 を最大化する分離行列は、最適分離行列の MLEとして知られています。${\displaystyle \mathbf {W} }$${\displaystyle x}$${\displaystyle s}$${\displaystyle p_{s}}$${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {L(W)} }$

対数尤度を使用するのが一般的です。これは評価が簡単だからです。対数は単調関数なので、関数を最大化する は、その対数 も最大化します。これにより、上記の式の対数を取ることができ、対数尤度関数 が得られます。${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {L(W)} }$${\displaystyle \ln \mathbf {L(W)} }$

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

一般的に使用される高尖度モデルpdfをソース信号に代入すると、次のようになります。 ${\displaystyle p_{s}=(1-\tanh(s)^{2})}$

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

この関数を最大化する行列が最大尤度推定値です。 ${\displaystyle \mathbf {W} }$

独立成分分析の初期の一般的な枠組みは、1984年にJeanny HéraultとBernard Ansによって導入され、^[21] Christian Juttenによって1985年と1986年にさらに開発され、^{[2] [22] [23]} Pierre Comonによって1991年に改良され、^[16] 1994年の論文で普及しました。^[8] 1995年にTony BellとTerry Sejnowskiは、1987年にRalph Linskerによって導入された原理であるinfomaxに基づく高速で効率的なICAアルゴリズムを導入しました。MLとInfomaxアプローチの興味深いつながりは、にあります。^[24] MLアプローチに関する非常に包括的なチュートリアルは、1998年にJF.Cardosoによって公開されました。^[25]

文献には ICA を実行するアルゴリズムが多数掲載されています。産業用途を含め広く使用されているアルゴリズムは、Hyvärinen と Oja が開発した FastICA アルゴリズムです^{[26] 。このアルゴリズムは}ネゲントロピーをコスト関数として使用しますが、この分野では Pierre Comon が 7 年前にすでに提案しています^{[8] 。他の例は、}ブラインド ソース分離に関連するもので、より一般的なアプローチが使用されています。たとえば、独立性の仮定を捨てて、相互に相関する信号、つまり統計的に「依存する」信号を分離することができます。Sepp Hochreiter とJürgen Schmidhuber は、正則化の副産物として非線形 ICA またはソース分離を取得する方法を示しました(1999)。^[27]彼らの方法では、独立したソースの数に関する事前知識は必要ありません。

ICA は非物理的な信号を分析するように拡張できます。たとえば、ICA はニュース リスト アーカイブのバッグで議論のトピックを発見するために適用されています。

ICAの応用例をいくつか挙げると以下の通りである。^[6]

• ニューロンの光学イメージング^[28]
• 神経スパイクソーティング^[29]
• 顔認識^[30]
• 一次視覚ニューロンの受容野のモデル化^[31]
• 株式市場の価格予測^[32]
• 携帯電話通信^[33]
• トマトの成熟度を色で検出する^[34]
• EEGデータから瞬きなどのアーティファクトを除去する。^[35]
• 脳波を用いた意思決定の予測^[36]
• 単一細胞 RNAシークエンシング実験における遺伝子発現の経時的変化の解析。 ^[37]
• 脳の安静時ネットワークの研究。 ^[38]
• 天文学と宇宙論^[39]
• 金融^[40]

ICA は次のソフトウェアを通じて適用できます。

• SASプロセス ICA
• R ICA パッケージ
• scikit-learn Python 実装 sklearn.decomposition.FastICA
• mlpack RADICAL（堅牢で正確、直接的なICAアルゴリズム（RADICAL））のC++実装[1]

• コモン、ピエール (1994):「独立成分分析: 新しい概念?」、信号処理、36(3):287–314 (ICA の概念を説明した元の論文)
• ヒバリネン、A.カルーネン、J. Oja, E. (2001):独立成分分析、ニューヨーク: Wiley、ISBN 978-0-471-40540-5 (序章) 
• Hyvärinen, A.; Oja, E. (2000):「独立成分分析: アルゴリズムとアプリケーション」、Neural Networks、13(4-5):411-430。(技術的かつ教育的な入門書)。
• Comon, P.; Jutten C.、 ( 2010): ブラインド ソース分離、独立成分分析およびアプリケーション ハンドブック。Academic Press、オックスフォード、英国。ISBN 978-0-12-374726-6 
• Lee, T.-W. (1998):独立成分分析: 理論と応用、マサチューセッツ州ボストン: Kluwer Academic Publishers、ISBN 0-7923-8261-7 
• Acharyya, Ranjan (2008):畳み込みソースのブラインド ソース分離に対する新しいアプローチ - 収縮関数を使用したウェーブレット ベースの分離 ISBN 3-639-07797-0 ISBN 978-3639077971 (この本はブラインド ソース分離による教師なし学習に焦点を当てています)   

• 独立成分分析とは何か？Aapo Hyvärinen著
• 独立成分分析: Aapo Hyvärinen によるチュートリアル
• 独立成分分析のチュートリアル
• Matlab、R言語、C++用のパッケージとしてのFastICA
• RIKENで開発されたMATLAB用のICALABツールボックス
• 高性能信号解析ツールキットは、FastICAとInfomaxのC++実装を提供します。
• ICA ツールボックス Bell-Sejnowski、Molgedey-Schuster、および平均場 ICA を使用した ICA 用の Matlab ツール。DTU で開発されました。
• カクテルパーティー問題のデモンストレーション 2010-03-13 にWayback Machineでアーカイブ
• UCSD で開発された、Matlab 用のEEGの EEGLAB ツールボックス ICA 。
• UCSD で開発された Matlab 用のfMRIの FMRLAB ツールボックス ICA
• MELODIC は、FMRIB ソフトウェア ライブラリの一部です。
• 生物医学的形状表現のコンテキストで使用されるICAの議論
• Python 用の FastICA、CuBICA、JADE、TDSEP アルゴリズムなど...
• グループ ICA ツールボックスと Fusion ICA ツールボックス
• チュートリアル: ICA を使用して EEG 信号をクリーンアップする