共分散行列

確率論と統計学において、共分散行列（自己共分散行列、分散行列、分散行列、または分散共分散行列とも呼ばれる）は、与えられたランダムベクトルの各要素のペア間の共分散を与える正方行列です。

直感的に言えば、共分散行列は分散の概念を複数の次元に一般化します。たとえば、2 次元空間内のランダムな点の集合における変動は、単一の数値で完全に特徴付けることはできません。また、方向と方向の変動には必要な情報がすべて含まれているわけでもありません。2次元の変動を完全に特徴付けるには、行列が必要になります。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle 2\times 2}$

共分散行列は対称かつ半正定値であり、その主対角線には分散（つまり、各要素とそれ自身の共分散）が含まれます。

ランダムベクトルの共分散行列は通常、 、またはで表されます。 ${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle \Sigma }$${\displaystyle S}$

この記事全体を通して、太字の下付き文字なしのと はランダム ベクトルを参照するために使用され、ローマ字の下付き文字付きの と はスカラー ランダム変数を参照するために使用されます。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle X_{i}}$${\displaystyle Y_{i}}$

列ベクトル のエントリ がランダム変数で、それぞれが有限分散と期待値を持つ場合、共分散行列はエントリが共分散である行列です^{[1] : 177} ここで、演算子は引数の期待値（平均）を表します。 $${\displaystyle \mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathsf {T}}}$$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle (i,j)}$ $${\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]}$$${\displaystyle \operatorname {E} }$

命名法は異なります。統計学者の中には、確率論者ウィリアム・フェラーの2巻本『確率論とその応用入門』^[2]に倣って、 行列をランダムベクトルの分散と呼ぶ人もいます。これは、1次元の分散を高次元に自然に一般化したものであるためです。また、ベクトルのスカラー成分間の共分散の行列であるため、共分散行列と呼ぶ人もいます。 ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$$${\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right].}$$

どちらの形式も非常に標準的で、両者の間に曖昧さはありません。対角項が実際には分散であるため、 この行列は分散共分散行列とも呼ばれます。${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$

比較すると、 2つのベクトル 間の相互共分散行列 の表記は次のようになる。$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathsf {T}}\right].}$$

自己共分散行列は、自己相関行列と次のように関連しています。 ここで、 自己相関行列は次のように定義されます。${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathsf {T}}}$$${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathsf {T}}]}$

共分散行列に密接に関連する実体は、ランダムベクトル 内の各ランダム変数間のピアソン積率相関係数の行列であり、 と表記できます。 ここで、 は の対角要素の行列です（つまり、 に対するの分散の対角行列です）。 ${\displaystyle \mathbf {X} }$$${\displaystyle \operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},}$$${\displaystyle \operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })}$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle X_{i}}$${\displaystyle i=1,\dots ,n}$

同様に、相関行列は、 標準化されたランダム変数 の共分散行列として見ることができます。${\displaystyle X_{i}/\sigma (X_{i})}$${\displaystyle i=1,\dots ,n}$$${\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}$$

相関行列の主対角線上の各要素は、ランダム変数とそれ自身との相関であり、常に 1 になります。各非対角要素は-1 から +1 までの範囲になります。

この行列の逆行列が存在する場合、それは逆共分散行列（または逆濃度行列^{[疑わしい-議論] ）であり、}精度行列（または濃度行列）としても知られています。^[3]${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}}$

共分散行列は、相関行列を周辺分散で再スケーリングしたものとして表すことができます。 $${\displaystyle \operatorname {cov} (\mathbf {X} )={\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}{\begin{bmatrix}1&\rho _{x_{1},x_{2}}&\cdots &\rho _{x_{1},x_{n}}\\\rho _{x_{2},x_{1}}&1&\cdots &\rho _{x_{2},x_{n}}\\\vdots &\vdots &\ddots &\vdots \\\rho _{x_{n},x_{1}}&\rho _{x_{n},x_{2}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}}$$

したがって、部分相関と部分分散 の考え方を使用すると、逆共分散行列は次のように表現できます。 この二重性により、ガウス確率変数の周辺化と条件付けの間には、他の多くの二重性が生まれます。 $${\displaystyle \operatorname {cov} (\mathbf {X} )^{-1}={\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}{\begin{bmatrix}1&-\rho _{x_{1},x_{2}\mid x_{3}...}&\cdots &-\rho _{x_{1},x_{n}\mid x_{2}...x_{n-1}}\\-\rho _{x_{2},x_{1}\mid x_{3}...}&1&\cdots &-\rho _{x_{2},x_{n}\mid x_{1},x_{3}...x_{n-1}}\\\vdots &\vdots &\ddots &\vdots \\-\rho _{x_{n},x_{1}\mid x_{2}...x_{n-1}}&-\rho _{x_{n},x_{2}\mid x_{1},x_{3}...x_{n-1}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}}$$

および（ は-次元のランダム変数）に対して、以下の基本的な性質が適用される：^[4]${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\mathsf {T}}\right]}$${\displaystyle {\boldsymbol {\mu }}_{\mathbf {X} }=\operatorname {E} [{\textbf {X}}]}$${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathsf {T}}}$${\displaystyle n}$

1. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\mathsf {T}}} )-{\boldsymbol {\mu }}_{\mathbf {X} }{\boldsymbol {\mu }}_{\mathbf {X} }^{\mathsf {T}}}$
2. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$は半正定値であり、すなわち${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$
3. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$対称的である、すなわち${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{\mathsf {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$
4. 任意の定数（つまり非ランダム）行列と定数ベクトルに対して、${\displaystyle m\times n}$${\displaystyle \mathbf {A} }$${\displaystyle m\times 1}$${\displaystyle \mathbf {a} }$${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\mathsf {T}}}$
5. が と同じ次元を持つ別のランダムベクトルである場合、 はおよびの相互共分散行列です。${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

と の結合平均と結合共 分散行列は 、、のブロック形式で表すことができます 。${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$$${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}}$$${\displaystyle \operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )}$${\displaystyle \operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )}$${\displaystyle \operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\mathsf {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$

${\displaystyle \operatorname {K} _{\mathbf {XX} }}$および はそれぞれ、およびの周辺分布の分散行列として識別できます。 ${\displaystyle \operatorname {K} _{\mathbf {YY} }}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

とが正規分布する場合、 与えられたに対する条件付き分布は [ ^5]で与えられ、条件付き平均 と条件付き分散 によって定義されます。${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$$${\displaystyle \mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\operatorname {\boldsymbol {\Sigma }} ),}$$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$ $${\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}({\boldsymbol {\mu }}_{\mathbf {Y|X} },\operatorname {K} _{\mathbf {Y|X} }),}$$ $${\displaystyle {\boldsymbol {\mu }}_{\mathbf {Y} |\mathbf {X} }={\boldsymbol {\mu }}_{\mathbf {Y} }+\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -{\boldsymbol {\mu }}_{\mathbf {X} }\right)}$$ $${\displaystyle \operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.}$$

行列は回帰係数行列として知られており、線形代数でははのシューア補行列です。 ${\displaystyle \operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}}$${\displaystyle \operatorname {K} _{\mathbf {Y|X} }}$${\displaystyle \operatorname {K} _{\mathbf {XX} }}$${\displaystyle {\boldsymbol {\Sigma }}}$

回帰係数の行列は転置形式 で与えられることが多く、列ベクトル を事前に乗算するのではなく、説明変数の行ベクトルを後で乗算するのに適しています。この形式では、それらは最小二乗法(OLS) の正規方程式の行列を反転することによって得られる係数に対応します。${\displaystyle \operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }}$${\displaystyle \mathbf {X} ^{\mathsf {T}}}$${\displaystyle \mathbf {X} }$

すべての要素がゼロでない共分散行列は、すべての個々のランダム変数が相互に関連していることを示しています。つまり、変数は直接相関しているだけでなく、他の変数を介して間接的に相関しているということです。多くの場合、このような間接的な共通モードの相関は些細で興味深いものではありません。部分共分散行列を計算することで、これらの相関を抑制できます。部分共分散行列とは、相関の興味深い部分のみを示す共分散行列の一部です。

2つのランダム変数のベクトルとが別のベクトルを介して相関している場合、後者の相関は行列^[6]で抑制されます。 部分共分散行列は、興味のないランダム変数が一定に保たれているかのように、実質的に単純な共分散行列です。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {I} }$ $${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).}$$${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }}$${\displaystyle \operatorname {K} _{\mathbf {XY} }}$${\displaystyle \mathbf {I} }$

相関関係にある可能性のあるランダム変数の列ベクトルが正規分布に従う場合、またはより一般的には楕円分布に従う場合、その確率密度関数は共分散行列を用いて次のように表すことができます^[6] 。 ここで、およびはの行列式です。 ${\displaystyle \mathbf {X} }$${\displaystyle n}$ ${\displaystyle \operatorname {f} (\mathbf {X} )}$${\displaystyle {\boldsymbol {\Sigma }}}$ $${\displaystyle \operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|{\boldsymbol {\Sigma }}|^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\mathsf {T}}\Sigma ^{-1}(X-\mu )} \right),}$$${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]}$${\displaystyle |{\boldsymbol {\Sigma }}|}$${\displaystyle {\boldsymbol {\Sigma }}}$

共分散行列を 1 つのベクトルに適用すると、ランダム変数Xの線形結合c がそれらの変数との共分散のベクトルにマッピングされます。双線形形式として扱うと、2 つの線形結合間の共分散が得られます。線形結合の分散は で、これはそれ自体との共分散です。 ${\displaystyle \mathbf {c} ^{\mathsf {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\mathsf {T}}\mathbf {X} ,\mathbf {X} )}$${\displaystyle \mathbf {d} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\mathsf {T}}\mathbf {X} ,\mathbf {c} ^{\mathsf {T}}\mathbf {X} )}$${\displaystyle \mathbf {c} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} }$

同様に、（擬似）逆共分散行列は内積を提供し、これはcの「可能性の低さ」の尺度であるマハラノビス距離を誘導する。^{[引用が必要]}${\displaystyle \langle c-\mu |\Sigma ^{+}|c-\mu \rangle }$

上記の基本特性 4 から、を実数値ベクトル とすると、これは実数値ランダム変数の分散 であるため、常に非負でなければなりません。したがって、共分散行列は常に半正定値行列です。 ${\displaystyle \mathbf {b} }$${\displaystyle (p\times 1)}$$${\displaystyle \operatorname {var} (\mathbf {b} ^{\mathsf {T}}\mathbf {X} )=\mathbf {b} ^{\mathsf {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,}$$

上記の議論は次のように拡張できます。最後の不等式は、 がスカラーである という観測から導かれます。$${\displaystyle {\begin{aligned}&w^{\mathsf {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right]w=\operatorname {E} \left[w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}}$$${\displaystyle w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])}$

逆に、対称な半正定値行列はすべて共分散行列です。これを確認するには、対称な半正定値行列を仮定します。スペクトル定理の有限次元の場合から、非負対称平方根を持ち、これはM ^1/2で表すことができます。を、共分散行列が単位行列である任意の列ベクトル値のランダム変数とします。 ${\displaystyle M}$${\displaystyle p\times p}$${\displaystyle M}$${\displaystyle \mathbf {X} }$${\displaystyle p\times 1}$${\displaystyle p\times p}$$${\displaystyle \operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .}$$

期待値を持つ複素スカラー値ランダム変数の分散は、通常、複素共役を使用して定義されます。 ここで、複素数の複素共役はと表されます。したがって、複素ランダム変数の分散は実数です。 ${\displaystyle \mu }$$${\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],}$$${\displaystyle z}$${\displaystyle {\overline {z}}}$

が複素数値ランダム変数の列ベクトルである場合、共役転置は転置と共役の両方によって形成されます。次の式では、ベクトルとその共役転置の積は、共分散行列と呼ばれる正方行列になり、その期待値は次のように なります。 ^{[7] : 293}このようにして得られた行列は、エルミート正半定値行列となり、^[8]主対角に実数、非対角に複素数を持ちます。 ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathsf {T}}}$ ${\displaystyle \mathbf {Z} ^{\mathsf {H}}}$ $${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {H}}\right],}$$

プロパティ

• 共分散行列はエルミート行列である。つまり^{[1] ：179}${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathsf {H}}=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }}$
• 共分散行列の対角要素は実数である。^{[1] : 179}

複素ランダムベクトルの場合、別の種類の第 2 中心モーメントである擬似共分散行列(関係行列とも呼ばれる) は次のように定義されます。 $${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {T}}\right]}$$

上記で定義した共分散行列とは対照的に、エルミート転置は定義内で転置に置き換えられます。その対角要素は複素数値になる可能性があり、複素対称行列です。

およびがそれぞれ次元およびの中心データ行列である場合、すなわち、p行およびq行の変数の観測値のn列から行平均が差し引かれている場合、行平均がデータから推定された場合、標本共分散行列およびは次のように定義できます 。または、行平均が事前にわかっている場合は、 ${\displaystyle \mathbf {M} _{\mathbf {X} }}$${\displaystyle \mathbf {M} _{\mathbf {Y} }}$${\displaystyle p\times n}$${\displaystyle q\times n}$${\displaystyle \mathbf {Q} _{\mathbf {XX} }}$${\displaystyle \mathbf {Q} _{\mathbf {XY} }}$$${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}}$$$${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}.}$$

これらの経験的サンプル共分散行列は、共分散行列の推定値として最も単純かつ最も頻繁に使用されますが、正規化推定値や収縮推定値など、より優れた特性を持つ可能性のある他の推定値も存在します。

共分散行列は、さまざまな分野で役立つツールです。これから、ホワイトニング変換と呼ばれる変換行列を導き出すことができます。これにより、データを完全に非相関化することができます^[9]。または、別の観点から言えば、データをコンパクトな方法で表現するための最適な基底を見つけることができます^[要出典] (共分散行列の正式な証明と追加の特性については、レイリー商を参照してください)。これは、主成分分析(PCA) およびカルーネン・レーヴ変換(KL 変換) と呼ばれます。

共分散行列は金融経済学、特にポートフォリオ理論とその投資信託分離定理、および資本資産価格モデルにおいて重要な役割を果たします。さまざまな資産の収益間の共分散行列は、特定の仮定の下で、投資家が分散投資の観点から保有すべき (規範的分析) または保有すると予測される (実証的分析) さまざまな資産の相対的な量を決定するために使用されます。

ランダム化探索ヒューリスティックスの特定のファミリーである進化戦略は、そのメカニズムにおいて基本的に共分散行列に依存しています。特性突然変異演算子は、進化する共分散行列を使用して、多変量正規分布から更新ステップを描画します。進化戦略の共分散行列は、スカラー係数と小さなランダム変動まで、探索ランドスケープのヘッセ行列の逆行列に適応するという正式な証明があります（単一親戦略と静的モデルについて、人口サイズが増加するにつれて、二次近似に依存して証明されています）。^[10] 直感的には、この結果は、最適な共分散分布が、ランドスケープのレベルセットと一致する等密度確率等高線を持つ突然変異ステップを提供できるという理論的根拠によってサポートされており、それによって進行率が最大化されます。

共分散マッピングでは、または行列の値が2 次元マップとしてプロットされます。ベクトルとが離散ランダム関数である場合、マップはランダム関数の異なる領域間の統計的関係を示します。関数の統計的に独立した領域は、マップ上でゼロレベルの平坦地として表示され、正または負の相関はそれぞれ丘または谷として表示されます。 ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

実際には、列ベクトル、およびは、サンプル の行として実験的に取得されます。たとえば、 はランダム関数のサンプルjのi番目の離散値です。共分散式に必要な期待値は、サンプル平均を使用して推定されます。たとえば 、共分散行列はサンプル共分散行列 によって推定されます。ここで、山括弧は、バイアスを回避するためにベッセル補正を行う必要がある ことを除いて、前と同じようにサンプル平均化を示します。この推定を使用して、部分共分散行列を次のように計算できます。 ここで、バックスラッシュは左行列除算演算子を示します。これは、行列を反転する必要性を回避し、Matlabなどの一部の計算パッケージで使用できます。^[11]${\displaystyle \mathbf {X} ,\mathbf {Y} }$${\displaystyle \mathbf {I} }$${\displaystyle n}$$${\displaystyle \left[\mathbf {X} _{1},\mathbf {X} _{2},\dots ,\mathbf {X} _{n}\right]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},}$$${\displaystyle X_{j}(t_{i})}$${\displaystyle X(t)}$$${\displaystyle \langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}}$$$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\mathsf {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle ,}$$$${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),}$$

図 1 は、ハンブルクのFLASH 自由電子レーザーで行われた実験の例に基づいて、部分共分散マップがどのように作成されるかを示しています。^[12]ランダム関数は、レーザーパルスによって多重イオン化された窒素分子のクーロン爆発からのイオンの飛行時間スペクトルです。各レーザーパルスでイオン化される分子は数百個だけなので、シングルショットのスペクトルは大きく変動します。ただし、このようなスペクトルを一般に収集し、それらを平均すると、図 1 の下部に赤で示されている滑らかなスペクトルが生成されます。平均スペクトルでは、運動エネルギーによって広がったピークの形でいくつかの窒素イオンが明らかになりますが、イオン化段階とイオン運動量の相関関係を見つけるには、共分散マップを計算する必要があります。 ${\displaystyle X(t)}$${\displaystyle m=10^{4}}$${\displaystyle \mathbf {X} _{j}(t)}$${\displaystyle j}$${\displaystyle \langle \mathbf {X} (t)\rangle }$${\displaystyle \langle \mathbf {X} \rangle }$

図 1 の例では、スペクトルとは同じですが、飛行時間の範囲が異なります。パネルaは、パネルbは、パネルc はそれらの差、つまり を示します(カラー スケールの変化に注意)。残念ながら、このマップは、ショットごとに変動するレーザー強度によって引き起こされる、興味深くない共通モードの相関で埋もれています。このような相関を抑制するために、レーザー強度はショットごとに記録され、 に入れられ、パネルdおよびeに示すように計算されます。ただし、レーザー強度以外にも共通モードの変動の原因があるため、興味深くない相関の抑制は不完全であり、原則としてこれらすべての原因をベクトル で監視する必要があります。しかし、実際には、パネルfに示すように、部分共分散補正を過剰補正するだけで十分な場合が多く、ここではイオン運動量の興味深い相関が、原子窒素のイオン化段階を中心とした直線としてはっきりと見えるようになっています。 ${\displaystyle \mathbf {X} _{j}(t)}$${\displaystyle \mathbf {Y} _{j}(t)}$${\displaystyle t}$${\displaystyle \langle \mathbf {XY^{\mathsf {T}}} \rangle }$${\displaystyle \langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle }$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle I_{j}}$${\displaystyle \mathbf {I} }$${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$${\displaystyle \mathbf {I} }$

2次元赤外分光法では相関分析を用いて凝縮相の2次元スペクトルを得る。この分析には同期と非同期の2つのバージョンがある。数学的には前者はサンプル共分散行列で表現され、その手法は共分散マッピングと同等である。^[13]

• 共分散関数
• 固有値分解
• グラミアン行列
• レヴァンドフスキ、クロヴィカ、ジョーの分布
• 多変量統計
• 主成分
• 二次形式（統計）

• 「共分散行列」、数学百科事典、EMS Press、2001 [1994]
• 「共分散行列を画像で説明」は、共分散行列を視覚化する簡単な方法です。
• Weisstein、Eric W.「共分散行列」。MathWorld。
• ファン・カンペン、NG（1981）。物理学と化学における確率過程。ニューヨーク：ノースホランド。ISBN 0-444-86200-5。