多変量正規分布

k次元ランダムベクトルの多変量正規分布$\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$次のように表記できます。

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

または、${\displaystyle \mathbf {X} }$k次元であり、

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

k次元平均ベクトル

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },}$

そして${\displaystyle k\times k}$共分散行列

${\displaystyle \Sigma _{i,j}=\オペレーター名 {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\オペレーター名 {Cov} [X_{i},X_{j}]}$

そのため${\displaystyle 1\leq i\leq k}$そして${\displaystyle 1\leq j\leq k}$共分散行列の逆行列は精度行列と呼ばれ、 で表される。${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$。

実際のランダムベクトル$\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$すべての成分が${\displaystyle X_{i}}$は独立しており、それぞれが平均ゼロ、分散1の正規分布に従う確率変数である。つまり、${\displaystyle X_{i}\sim \ {\mathcal {N}}(0,1)}$すべての人々のために${\displaystyle i=1\ldots k}$[ ^{1 ] ： 454ページ}

実際のランダムベクトル$\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$が存在する場合、中心化された正規ランダムベクトルと呼ばれます。${\displaystyle k\times \ell }$マトリックス${\displaystyle {\boldsymbol {A}}}$そのため${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$同じ分布を持つ${\displaystyle \mathbf {X} }$どこ${\displaystyle \mathbf {Z} }$は標準正規乱数ベクトルで、${\displaystyle \ell }$構成要素。^{[ 1 ]： p.454}

実際のランダムベクトル$\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$は、ランダムが存在する場合に正規ランダムベクトルと呼ばれます。${\displaystyle \ell }$-ベクター${\displaystyle \mathbf {Z} }$これは標準正規乱数ベクトルであり、${\displaystyle k}$-ベクター${\displaystyle {\boldsymbol {\mu }}}$、そして${\displaystyle k\times \ell }$マトリックス${\displaystyle {\boldsymbol {A}}}$、したがって${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +{\boldsymbol {\mu }}}$[ ^{2 ]： p.454 [ 1 ]： p.455​}

正式には：

ここでの共分散行列は${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$。

共分散行列が特異である退化ケースでは、対応する分布は密度を持ちません。詳細は以下のセクションを参照してください。このケースは統計学で頻繁に発生します。例えば、通常の最小二乗回帰における残差ベクトルの分布などです。${\displaystyle X_{i}}$これらは一般的に独立ではなく、行列を適用した結果と見なすことができます。${\displaystyle {\boldsymbol {A}}}$独立したガウス変数の集合へ${\displaystyle \mathbf {Z} }$。

以下の定義は、上記の定義と同等である。ランダムベクトル${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$以下のいずれかの条件を満たす場合、多変量正規分布に従う。

• すべての線形結合${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$その構成要素の は正規分布に従う。つまり、任意の定数ベクトルに対して${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$確率変数${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$は単変量正規分布を持ち、分散がゼロの単変量正規分布は、その平均値上に点質量を持つ。
• kベクトルが存在する${\displaystyle \mathbf {\mu } }$対称で正半定値${\displaystyle k\times k}$マトリックス${\displaystyle {\boldsymbol {\Sigma }}}$特性関数は${\displaystyle \mathbf {X} }$は$${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$$

球面正規分布は、任意の直交座標系において成分が独立である唯一の分布として特徴づけられる。^{[ 3 ] [ 4 ]}

1次元における累積分布関数（cdf）の概念は、長方形領域と楕円体領域に基づいて、2つの方法で多次元の場合に拡張することができる。

最初の方法は累積分布関数を定義することです${\displaystyle F(\mathbf {x} )}$ランダムベクトルの${\displaystyle \mathbf {X} }$すべてのコンポーネントが${\displaystyle \mathbf {X} }$ベクトル内の対応する値以下である${\displaystyle \mathbf {x} }$: ^{[ 11 ]}

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

閉じた形式はありませんが${\displaystyle F(\mathbf {x} )}$数値的に推定するアルゴリズムがいくつか存在する。^{[ 11 ] [ 12 ]}

別の方法としては、累積分布関数を定義することです。${\displaystyle F(r)}$サンプルがマハラノビス距離によって決定される楕円体内に存在する確率${\displaystyle r}$ガウス分布から、標準偏差の直接的な一般化である。^{[ 13 ]} この関数の値を計算するために、次のような閉じた解析式が存在する。^{[ 13 ]}

相補 累積分布関数（ccdf）または裾分布 は次のように定義されます。${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)}$。 いつ${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$すると、ccdf は従属ガウス変数の最大値の確率として記述できます。^{[ 15 ]}

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).}$

ccdfを計算するための単純な閉じた公式は存在しないが、モンテカルロ法によって従属ガウス変数の最大値を正確に推定することができる。^{[ 15 ] [ 16 ]}

xのk次モーメントは次のように与えられる。

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

ここで、r ₁ + r ₂ + ⋯ + r _N = k です。

k次中心モーメントは以下のとおりです。

ここで、合計はセットのすべての割り当てにわたって取られる。${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$λ個の（順序付けされていない）ペアに分割します。つまり、k番目（= 2λ = 6）の中心モーメントについては、 λ = 3個の共分散の積を合計します（簡潔さのために期待値μは0とします）。

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

これにより、${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$和に含まれる項（上記の場合15）は、それぞれλ（この場合は3）個の共分散の積です。4次モーメント（4変数）の場合は3項、6次モーメントの場合は3×5＝15項、8次モーメントの場合は3×5×7＝105項となります。

共分散は、リストの項を置き換えることによって決定されます。${\displaystyle [1,\ldots ,2\lambda ]}$対応する項は、 r ₁個の 1、次にr ₂個の 2、といったように、リストの対応する項によって表されます。これを説明するために、次の 4 次中心モーメントのケースを調べます。

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

どこ${\displaystyle \sigma _{ij}}$はX _iとX _jの共分散です。上記の方法では、まずk 個の異なるX変数を持つk番目のモーメントの一般ケースを見つけます。${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$そして、それに応じてこれを簡略化します。たとえば、${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$X _i = X _jとおき、次の事実を利用する。${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$。

法線ベクトルの二次形式${\displaystyle {\boldsymbol {x}}}$、${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$（どこ${\displaystyle \mathbf {Q_{2}} }$は行列です。${\displaystyle {\boldsymbol {q_{1}}}}$はベクトルであり、${\displaystyle q_{0}}$はスカラーであり、一般化カイ二乗変数である。正規ベクトルの方向は射影正規分布に従う。^{[ 17 ]}

もし${\displaystyle f({\boldsymbol {x}})}$は法線ベクトルの一般的なスカラー値関数であり、その確率密度関数、累積分布関数、および逆累積分布関数は、レイ・トレーシングの数値的方法を使用して計算できます（MatlabコードはWayback Machineに2025年2月20日にアーカイブされています）。

多変量正規分布の微分エントロピーは^{[ 19 ]}

$${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\[1ex]&={\frac {1}{2}}\ln \left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}\left(1+\ln 2\pi \right)+{\frac {1}{2}}\ln \left|{\boldsymbol {\Sigma }}\right|,\end{aligned}}}$$

ここで、バーは行列式を表し、kはベクトル空間の次元であり、結果の単位はnatsです。

カルバック・ライブラーダイバージェンス${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$に${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$、非特異行列 Σ ₁および Σ ₀の場合、次のようになります: ^{[ 20 ]}

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

どこ${\displaystyle |\cdot |}$は行列式を表します。${\displaystyle tr(\cdot )}$痕跡は、${\displaystyle \ln(\cdot )}$は自然対数であり、${\displaystyle k}$はベクトル空間の次元です。

対数は底をeにする必要があります。なぜなら、対数に続く 2 つの項は、密度関数の因数であるか、または自然に生じる式の底eの対数だからです。したがって、この式はnats 単位で測定された結果を与えます。上記の式全体を log _e 2 で割ると、ビット単位 の発散が得られます。

いつ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$、

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

2 つの多変量正規分布の相互情報量は、 Kullback–Leibler ダイバージェンスの特殊なケースであり、${\displaystyle P}$完全な${\displaystyle k}$次元多変量分布と${\displaystyle Q}$は${\displaystyle k_{1}}$そして${\displaystyle k_{2}}$次元周辺分布${\displaystyle X}$そして${\displaystyle Y}$、したがって${\displaystyle k_{1}+k_{2}=k}$相互情報量${\displaystyle X}$そして${\displaystyle Y}$は次のように与えられる：^{[ 21 ]}

${\displaystyle I({\boldsymbol {X}},{\boldsymbol {Y}})={\frac {1}{2}}\ln \left({\frac {\det(\Sigma _{X})\det(\Sigma _{Y})}{\det(\Sigma )}}\right),}$

どこ

${\displaystyle \Sigma ={\begin{bmatrix}\Sigma _{X}&\Sigma _{XY}\\\Sigma _{XY}&\Sigma _{Y}\end{bmatrix}}.}$

もし${\displaystyle Q}$は${\displaystyle k}$1次元正規分布の場合、この記事のカルバック・ライブラー情報量の項の表記法では、${\displaystyle {\boldsymbol {\Sigma }}_{1}}$は、対角成分が である対角行列です。${\displaystyle {\boldsymbol {\Sigma }}_{0}}$、 そして${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$相互情報量の式は次のようになります。

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

どこ${\displaystyle {\boldsymbol {\rho }}_{0}}$相関行列は以下から構築されます${\displaystyle {\boldsymbol {\Sigma }}_{0}}$[ ^{22 ]​}

二変量の場合、相互情報量の式は次のようになります。

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

N次元のxが以下のように分割される場合

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

したがって、μとΣは以下のように分割される。

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

すると、 x ₂ = aを条件としたx ₁の分布は多変量正規分布^{[ 23 ]} ( x ₁ | x ₂ = a ) ~ N ( μ , Σ )となる。  

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

共分散行列

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^{[ 24 ]}

ここ${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$は、の一般化逆数です。${\displaystyle {\boldsymbol {\Sigma }}_{22}}$行列${\displaystyle {\overline {\boldsymbol {\Sigma }}}}$はΣにおけるΣ ₂₂のシュール補行列です。つまり、上記の式は、全体の共分散行列を反転し、条件付けされる変数に対応する行と列を削除し、再び反転して条件付き共分散行列を取得することと同等です。

x ₂ = aであることを知ると分散が変わることに注意してください。ただし、新しい分散はaの特定の値には依存しません。さらに驚くべきことに、平均はシフトします。${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$; これを、 aの値がわからない状況と比較すると、その場合、x _{1 は}分布を持つことになる。 ${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$。

この結果を証明するために導き出された興味深い事実は、ランダムベクトルが${\displaystyle \mathbf {x} _{2}}$そして${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$独立している。

行列Σ ₁₂ Σ ₂₂ ^−1は回帰係数行列として知られています。

多変量正規確率変数のサブセットの周辺分布を得るには、平均ベクトルと共分散行列から無関係な変数（周辺化したい変数）を削除するだけでよい。この証明は、多変量正規分布と線形代数の定義から導かれる。^{[ 27 ]}

例

X = [ X ₁ , X ₂ , X ₃ ]を、平均ベクトルμ = [ μ ₁ , μ ₂ , μ ₃ ]および共分散行列Σを持つ多変量正規確率変数とする（多変量正規分布の標準的なパラメータ化）。このとき、X ′ = [ X ₁ , X ₃ ]の同時分布は、平均ベクトルμ ′ = [ μ ₁ , μ ₃ ]および共分散行列 Σ を持つ多変量正規分布となる。${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$。

Y = c + BXがアフィン変換である場合${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$ここでcは${\displaystyle M\times 1}$定数のベクトルであり、Bは定数である。${\displaystyle M\times N}$行列の場合、Yは期待値c + Bμおよび分散BΣB ^Tの多変量正規分布に従います。${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$特に、X _iの任意の部分集合の周辺分布は多変量正規分布になります。これを確認するには、次の例を考えてみましょう。部分集合 ( X ₁ , X ₂ , X ₄ ) ^Tを抽出するには、以下を使用します。

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

目的の要素を直接抽出します。

もう一つの帰結として、 Z = b · Xの分布は、B がXと同じ数の要素を持つ定数ベクトルであり、ドットが内積を表す場合、単変量ガウス分布であり、${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$この結果は、

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Σが正定値であることから、内積の分散が正でなければならないことがわかる。

2 XのようなXのアフィン変換は、Xの2 つの独立した実現の和とは異なります。

非特異多変量正規分布の等密度等高線は、平均値を中心とする楕円体（すなわち、超球面のアフィン変換）である。 ^{[ 28 ]}したがって、多変量正規分布は楕円分布のクラスの一例である。楕円体の主軸の方向は、共分散行列の固有ベクトルによって与えられる。${\displaystyle {\boldsymbol {\Sigma }}}$主軸の相対的な長さの二乗は、対応する固有値によって与えられる。

Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^Tが固有値分解であり、 Uの列が単位固有ベクトルであり、Λが固有値の対角行列である場合、次のようになります。

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

さらに、U は回転行列として選択できます。軸を反転してもN (0, Λ ) には影響はありませんが、列を反転するとU の行列式の符号が変わります。分布N ( μ , Σ ) は、実質的にはN (0, I ) をΛ ^1/2倍にスケーリングし、Uで回転させ、 μで平行移動したものです。

逆に、 μ、フルランク行列U、および正の対角要素 Λ _iの任意の選択により、非特異な多変量正規分布が得られます。 Λ _iのいずれかがゼロでU が正方行列の場合、結果として得られる共分散行列UΛU ^Tは特異になります。 幾何学的には、これは、すべての輪郭楕円体が無限に薄く、n次元空間で体積がゼロであることを意味します。これは、主軸の少なくとも 1 つの長さがゼロであるためです。これは退化したケースです。

「二変量正規確率変数の真の平均の周りの半径を極座標（半径と角度）で書き直すと、ホイト分布に従う。」^{[ 29 ]}

1次元では、正規分布のサンプルが区間内に見つかる確率は${\displaystyle \mu \pm \sigma }$約68.27%ですが、高次元では標準偏差楕円の領域でサンプルを見つける確率は低くなります。^{[ 30 ]}

多変量正規分布の共分散行列の最尤推定量の導出は簡単である。

要するに、多変量正規分布の確率密度関数（pdf）は

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

また、 n個の観測値のサンプルからの共分散行列の最尤推定値は^{[ 31 ]である。}

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\mathrm {T} }}$

これは単に標本共分散行列です。これは偏りのある推定量であり、その期待値は

${\displaystyle E\left[{\widehat {\boldsymbol {\Sigma }}}\right]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

不偏標本共分散は

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={\frac {1}{n-1}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}={\frac {1}{n-1}}\left[X'\left(I-{\frac {1}{n}}\cdot J\right)X\right]}$ （行列形式）${\displaystyle I}$は${\displaystyle K\times K}$単位行列、J は${\displaystyle K\times K}$1の行列。括弧内の項は、${\displaystyle K\times K}$中心化行列）

多変量正規分布のパラメータを推定するためのフィッシャー情報行列は、閉形式で表現できます。これは、例えば、この設定におけるパラメータ推定のクラメール・ラオ下限を計算するために使用できます。詳細については、フィッシャー情報を参照してください。

ベイズ統計学では、平均ベクトルの共役事前分布は別の多変量正規分布であり、共分散行列の共役事前分布は逆ウィシャート分布である。${\displaystyle {\mathcal {W}}^{-1}}$では、 n回の観測が行われたと仮定しましょう。

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

また、共役事前分布が割り当てられており、

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

どこ

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

そして

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

そして^{[ 31 ]}

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

どこ

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

多変量正規性検定は、与えられたデータセットが多変量正規分布に類似しているかどうかをチェックします。帰無仮説は、データセットが正規分布に類似しているというものであり、したがって、十分に小さいp値は非正規データであることを示します。多変量正規性検定には、Cox–Small検定^{[ 32 ]} と、Larry RafskyとJerome Friedmanによって作成されたFriedman–Rafsky検定のSmithとJainによる適応^{[ 33 ]}が含まれます。^{[ 34 ]}