相互共分散行列

確率論と統計学において、相互共分散行列は、 i、j の位置にある要素が、ランダム ベクトルのi番目の要素と別のランダム ベクトルのj番目の要素との間の共分散である行列です。ランダム ベクトルは、複数の次元を持つランダム変数です。ベクトルの各要素は、スカラーランダム変数です。各要素には、有限数の観測された経験値、または有限または無限数の潜在的な値があります。潜在的な値は、理論的な結合確率分布によって指定されます。直感的には、相互共分散行列は、共分散の概念を複数の次元に一般化します。

2 つのランダム ベクトルの相互共分散行列は、通常、またはで表されます。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$${\displaystyle \Sigma _{\mathbf {X} \mathbf {Y} }}$

ランダムベクトル とに対して、それぞれが期待値と分散が存在するランダム要素を含む場合、と相互共分散行列は次のように定義されます^{[1] ：336}${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

ここで、およびは、およびの期待値を含むベクトルです。ベクトルと は同じ次元である必要はなく、どちらもスカラー値である可能性があります。 ${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [\mathbf {X} ]}$${\displaystyle \mathbf {\mu _{Y}} =\operatorname {E} [\mathbf {Y} ]}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

相互共分散行列は、共分散をエントリとする行列である。${\displaystyle (i,j)}$

${\displaystyle \operatorname {K} _{X_{i}Y_{j}}=\operatorname {cov} [X_{i},Y_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(Y_{j}-\operatorname {E} [Y_{j}])]}$

のi番目の要素と のj番目の要素の間。これにより、相互共分散行列の次の成分ごとの定義が得られます。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }={\begin{bmatrix}\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(Y_{1}-\operatorname {E} [Y_{1}])]&\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(Y_{2}-\operatorname {E} [Y_{2}])]&\cdots &\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(Y_{n}-\operatorname {E} [Y_{n}])]\\\\\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(Y_{1}-\operatorname {E} [Y_{1}])]&\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(Y_{2}-\operatorname {E} [Y_{2}])]&\cdots &\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(Y_{n}-\operatorname {E} [Y_{n}])]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{m}-\operatorname {E} [X_{m}])(Y_{1}-\operatorname {E} [Y_{1}])]&\mathrm {E} [(X_{m}-\operatorname {E} [X_{m}])(Y_{2}-\operatorname {E} [Y_{2}])]&\cdots &\mathrm {E} [(X_{m}-\operatorname {E} [X_{m}])(Y_{n}-\operatorname {E} [Y_{n}])]\end{bmatrix}}}$

たとえば、と がランダムベクトルである場合、 は 番目の要素が である行列になります。 ${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$${\displaystyle \mathbf {Y} =\left(Y_{1},Y_{2}\right)^{\rm {T}}}$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle 3\times 2}$${\displaystyle (i,j)}$${\displaystyle \operatorname {cov} (X_{i},Y_{j})}$

相互共分散行列には、以下の基本的な性質が当てはまる。^[2]

1. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{\rm {T}}]-\mathbf {\mu _{X}} \mathbf {\mu _{Y}} ^{\rm {T}}}$
2. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{\rm {T}}}$
3. ${\displaystyle \operatorname {cov} (\mathbf {X_{1}} +\mathbf {X_{2}} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2}} ,\mathbf {Y} )}$
4. ${\displaystyle \operatorname {cov} (A\mathbf {X} +\mathbf {a} ,B^{\rm {T}}\mathbf {Y} +\mathbf {b} )=A\,\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\,B}$
5. とが独立している場合（または、やや緩く、 のすべてのランダム変数がのすべてのランダム変数と相関していない場合）、${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0_{p\times q}}$

ここで、、およびはランダムベクトル、はランダムベクトル、はベクトル、はベクトル、およびは定数の行列、およびはゼロの行列 です。${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X_{1}} }$${\displaystyle \mathbf {X_{2}} }$${\displaystyle p\times 1}$${\displaystyle \mathbf {Y} }$${\displaystyle q\times 1}$${\displaystyle \mathbf {a} }$${\displaystyle q\times 1}$${\displaystyle \mathbf {b} }$${\displaystyle p\times 1}$${\displaystyle A}$${\displaystyle B}$${\displaystyle q\times p}$${\displaystyle 0_{p\times q}}$${\displaystyle p\times q}$

およびが複素ランダムベクトルである場合、相互共分散行列の定義はわずかに変更されます。転置はエルミート転置に置き換えられます。 ${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {W} }$

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {cov} (\mathbf {Z} ,\mathbf {W} ){\stackrel {\mathrm {def} }{=}}\ \operatorname {E} [(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {W} -\mathbf {\mu _{W}} )^{\rm {H}}]}$

複素ランダムベクトルの場合、疑似クロス共分散行列と呼ばれる別の行列が次のように定義されます。

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {W} }=\operatorname {cov} (\mathbf {Z} ,{\overline {\mathbf {W} }}){\stackrel {\mathrm {def} }{=}}\ \operatorname {E} [(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {W} -\mathbf {\mu _{W}} )^{\rm {T}}]}$

2つのランダムベクトルの相互共分散行列がゼロ行列である場合、それらは無相関であると言われる。 ^{[1] : 337}${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$

複素ランダムベクトルとそれらの共分散行列と疑似共分散行列がゼロの場合、つまり の場合、それらは無相関であるといわれます。 ${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {W} }$${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {J} _{\mathbf {Z} \mathbf {W} }=0}$