正準相関

統計学において、正準相関分析（CCA）、または正準変数分析と呼ばれるものは、相互共分散行列から情報を推測する方法です。2 つの確率変数のベクトルX  =  ( X ₁ ,  ..., X _n ) とY = ( Y ₁ , ..., Y _m ) があり、変数間に相関がある場合、正準相関分析は、互いに最大の相関を持つXとYの線形結合を見つけます。 ^{[ 1 ]} TR Knapp は、「一般的に遭遇するパラメトリック有意性検定のほぼすべては、2 つの変数セット間の関係を調査する一般的な手順である正準相関分析の特殊なケースとして扱うことができる」と述べています。^{[ 2 ]}この方法は、 1936 年にHarold Hotellingによって初めて導入されましたが、^{[ 3 ]}平面間の角度の文脈では、この数学的概念は1875 年にCamille Jordanによって発表されました。^{[ 4 ]}     

^{CCA は現在、多変量統計とマルチビュー学習の基盤となっており、確率的 CCA、スパース CCA、マルチビュー CCA、ディープ CCA [ 5 ] 、DeepGeoCCA [ 6 ]}など、数多くの解釈と拡張が提案されています。残念ながら、おそらくその人気ゆえに、文献の表記法に一貫性がない場合があります。本稿では、読者が既存の文献や利用可能な技術を最大限に活用できるよう、こうした不一致点を強調することを試みます。

姉妹手法であるPCAと同様に、CCA は母集団形式 (ランダムベクトルとその共分散行列に対応) またはサンプル形式 (データセットとそのサンプル共分散行列に対応)で見ることができます。これら 2 つの形式は互いにほぼ完全に類似しているため、その違いはしばしば見落とされますが、高次元設定では非常に異なる動作をする可能性があります。^{[ 7 ]}次に、母集団問題の明示的な数学的定義を示し、いわゆる正準分解の異なるオブジェクトを強調します。これらのオブジェクト間の違いを理解することは、この手法の解釈にとって重要です。

2つの列ベクトルが与えられた場合${\displaystyle X=(x_{1},\dots ,x_{n})^{T}}$そして${\displaystyle Y=(y_{1},\dots ,y_{m})^{T}}$有限の2次モーメントを持つ確率変数の場合、相互共分散を定義することができる。${\displaystyle \Sigma _{XY}=\operatorname {cov} (X,Y)}$になる${\displaystyle n\times m}$行列の${\displaystyle (i,j)}$エントリは共分散です${\displaystyle \operatorname {cov} (x_{i},y_{j})}$実際には、サンプリングされたデータに基づいて共分散行列を推定します。${\displaystyle X}$そして${\displaystyle Y}$（つまり、一対のデータ行列から）。

正準相関分析はベクトルのシーケンスを求める${\displaystyle a_{k}}$ （$\displaystyle a_{k}\in \mathbb {R} ^{n}}$） そして${\displaystyle b_{k}}$（$\displaystyle b_{k}\in \mathbb {R} ^{m}}$）確率変数${\displaystyle a_{k}^{T}X}$そして${\displaystyle b_{k}^{T}Y}$相関を最大化する${\displaystyle \rho =\operatorname {corr} (a_{k}^{T}X,b_{k}^{T}Y)}$（スカラー）確率変数${\displaystyle U=a_{1}^{T}X}$そして${\displaystyle V=b_{1}^{T}Y}$は最初の正準変数のペアです。次に、最初の正準変数のペアと無相関であるという制約の下で、同じ相関を最大化するベクトルを探します。これにより、2番目の正準変数のペアが得られます。この手順は まで続けることができます。${\displaystyle \min\{m,n\}}$回。

$${\displaystyle (a_{k},b_{k})={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)\quad {\text{ 制約条件 }}\operatorname {cov} (a^{T}X,a_{j}^{T}X)=\operatorname {cov} (b^{T}Y,b_{j}^{T}Y)=0{\text{ for }}j=1,\dots ,k-1}$$

ベクトルの集合${\displaystyle a_{k},b_{k}}$これらは正準方向、重みベクトル、または単に重みと呼ばれます。ベクトルの「双対」セット$\displaystyle \Sigma _{XX}a_{k},\Sigma _{YY}b_{k}}$これらは正準負荷ベクトルまたは単に負荷と呼ばれ、重みよりも解釈が容易な場合が多い。^{[ 8 ]}

各行は、次の方法で有意性を検定できます。相関関係はソートされているため、行は${\displaystyle i}$がゼロであるということは、それ以降のすべての相関もゼロであることを意味します。${\displaystyle p}$サンプル内の独立した観測と${\displaystyle {\widehat {\rho }}_{i}}$は、推定相関値です。${\displaystyle i=1,\dots ,\min\{m,n\}}$.のために${\displaystyle i}$行目における検定統計量は次のとおりです。

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

これは漸近的にカイ二乗分布に従う。${\displaystyle (m-i+1)(n-i+1)}$大きな自由度${\displaystyle p}$[ ^{13 ]すべての} 相関関係から${\displaystyle \min\{m,n\}}$に${\displaystyle p}$論理的にゼロ（そしてそのように推定される）であるため、この後の項の積は関係ありません。

小さなサンプルサイズの限界では、${\displaystyle p<n+m}$そうすればトップが保証される${\displaystyle m+n-p}$相関係数はすべて1になるため、この検定は無意味である。^{[ 14 ]}

実験的文脈における正準相関の典型的な使用法は、2 つの変数セットを取り、それらのセットに共通するものを調べることです。^{[ 15 ]}例えば、心理検査では、ミネソタ多面人格目録(MMPI-2) やNEOのような、定評のある 2 つの多次元人格検査を実施することができます。MMPI-2 の因子が NEO の因子とどのように関連しているかを調べることで、検査間で共通する次元と、共有される分散の量についての洞察を得ることができます。例えば、外向性や神経症傾向の次元が、2 つの検査間で共有される分散のかなりの部分を占めていることがわかるかもしれません。

正準相関分析を用いて、例えばパフォーマンス指標のセットと説明変数のセット、あるいは出力のセットと入力のセットなど、2つの変数セットの関係を表すモデル方程式を作成することもできます。このようなモデルには、理論的な要件や直感的に明らかな条件を反映するように制約条件を課すことができます。このタイプのモデルは、最大相関モデルとして知られています。^{[ 16 ]}

正準相関の結果の視覚化は、通常、有意な相関を示す正準変数ペアの2つの変数セットの係数の棒グラフによって行われます。一部の著者は、それらをヘリオグラフとしてプロットするのが最適であると提案しています。ヘリオグラフは、光線のような棒を持つ円形の形式で、各半分が2つの変数セットを表します。^{[ 17 ]}

させて${\displaystyle X=x_{1}}$期待値がゼロの場合、つまり、${\displaystyle \operatorname {E} (X)=0}$。

1. もし${\displaystyle Y=X}$つまり、${\displaystyle X}$そして${\displaystyle Y}$完全に相関関係にある場合、例えば、${\displaystyle a=1}$そして${\displaystyle b=1}$なので、最初の（そしてこの例では唯一の）正準変数のペアは${\displaystyle U=X}$そして${\displaystyle V=Y=X}$。
2. もし${\displaystyle Y=-X}$つまり、${\displaystyle X}$そして${\displaystyle Y}$完全に逆相関している場合、例えば、${\displaystyle a=1}$そして${\displaystyle b=-1}$なので、最初の（そしてこの例では唯一の）正準変数のペアは${\displaystyle U=X}$そして${\displaystyle V=-Y=X}$。

どちらの場合も${\displaystyle U=V}$これは、正準相関分析が相関のある変数と負の相関のある変数を同様に扱うことを示している。

と仮定すると${\displaystyle X=(x_{1},\dots ,x_{n})^{T}}$そして${\displaystyle Y=(y_{1},\dots ,y_{m})^{T}}$期待値がゼロである、つまり、${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=0}$それらの共分散 行列${\displaystyle \Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX^{T}]}$そして${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY^{T}]}$は、のエントリの 内積のグラム行列として見ることができる。${\displaystyle X}$そして${\displaystyle Y}$同様に。この解釈では、確率変数、エントリ${\displaystyle x_{i}}$の ${\displaystyle X}$そして${\displaystyle y_{j}}$の${\displaystyle Y}$共分散によって与えられる内積を持つベクトル空間の要素として扱われる。${\displaystyle \operatorname {cov} (x_{i},y_{j})}$共分散#内積との関係を参照してください。

正準変数の定義${\displaystyle U}$そして${\displaystyle V}$これは、のエントリによって張られる部分空間のペアの 主ベクトルの定義と同等である。${\displaystyle X}$そして${\displaystyle Y}$この内積に関して 。正準相関${\displaystyle \operatorname {corr} (U,V)}$主角のコサインに等しい。

CCAは、ランダムベクトルが${\displaystyle X}$そして${\displaystyle Y}$白色化されたベクトル間の相互相関が${\displaystyle X^{CCA}}$そして${\displaystyle Y^{CCA}}$は対角線である。^{[ 18 ]} 正準相関は、回帰係数として解釈され、${\displaystyle X^{CCA}}$そして${\displaystyle Y^{CCA}}$また、負の値になる場合もあります。CCAの回帰的視点では、共有および非共有の変動性を表す無相関の隠れ変数を持つ、CCAの潜在変数確率生成モデルを構築する方法も提供されます。^{[ 19 ]}

• 一般化正準相関
• RV係数
• 平面間の角度
• 主成分分析
• 線形判別分析
• 正則化正準相関分析
• 特異値分解
• 偏最小二乗回帰

• 判別相関分析（DCA）^{[ 20 ]}（MATLAB）
• Hardoon, DR; Szedmak, S.; Shawe-Taylor, J. (2004). "正準相関分析：学習手法への応用を含む概要". Neural Computation . 16 (12): 2639–2664 . CiteSeerX 10.1.1.14.6452 . doi : 10.1162/0899766042321814 . PMID 15516276. S2CID 202473 .   
• 2つのランキングスコアセットの順序正準相関分析に関する注記（ FORTRANプログラムも提供）- Journal of Quantitative Economics 7(2), 2009, pp.  173–199
• 表現制約付き正準相関分析：正準相関分析と主成分分析のハイブリッド化（ FORTRANプログラムも提供）―応用経済科学ジャーナル4(1)、2009年、 115～124ページ