ウィシャート分布

ウィシャート

表記	X ~ W p ( V、n )
パラメータ	n 自由度(実数) V > 0 スケール行列( p × p 正定義)
サポート	X ( p × p ) 正定値行列
PDF	${\displaystyle f_{\mathbf {X} }(\mathbf {X} )={\frac {|\mathbf {X} |^{(np-1)/2}e^{-\operatorname {tr} ( \mathbf {V} ^{-1}\mathbf {X} )/2}}{2^{\frac {np}{2}}|{\mathbf {V} }|^{n/2}\Gamma _{p}({\frac {n}{2}})}}}$ Γ pは多変量ガンマ関数である trはトレース関数です
平均	${\displaystyle \operatorname {E} [\mathbf {\mathbf {X} } ]=n{\mathbf {V} }}$
モード	( n − p − 1) V （n ≥ p + 1の場合）
分散	${\displaystyle \operatorname {Var} (\mathbf {X} _{ij})=n\left(v_{ij}^{2}+v_{ii}v_{jj}\right)}$
エントロピ	以下を参照してください
CF	${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2 }}}}$

統計学において、ウィシャート分布はガンマ分布を多次元に一般化したものである。この分布は、1928 年にこの分布を初めて定式化したジョン・ウィシャートにちなんで名付けられた^。[1]他の名前には、ウィシャート アンサンブル (ランダム行列理論では、行列上の確率分布は通常「アンサンブル」と呼ばれる)、ウィシャート–ラゲール アンサンブル (固有値分布にラゲール多項式が含まれるため)、LOE、LUE、LSE ( GOE、GUE、GSEに類似) などがある。^[2]

これは対称正定値ランダム行列（つまり行列値ランダム変数）上で定義される確率分布の族である。これらの分布は多変量統計における共分散行列の推定において非常に重要である。ベイズ統計では、ウィシャート分布は多変量正規ランダムベクトル の逆共分散行列の共役事前分布である。^[3]

Gがp × n行列で、各列が平均 0 の p変量正規分布から独立して抽出されているとします。

${\displaystyle G=(g_{i}^{1},\dots ,g_{i}^{n})\sim {\mathcal {N}}_{p}(0,V).}$

ウィシャート分布はp × pランダム行列の確率分布である^[4]

${\displaystyle S=GG^{T}=\sum _{i=1}^{n}g_{i}g_{i}^{T}}$

散布行列として知られる。Sがその確率分布を持つことは、次のように書くことで 示される。

${\displaystyle S\sim W_{p}(V,n).}$

正の整数n は自由度の数です。これはW ( V , p , n )と表記されることもあります。n ≥ pの場合、行列Vが逆行列である場合、行列Sは確率1で逆行列になります。

p = V = 1の場合、この分布は自由度nのカイ 2 乗分布になります。

ウィシャート分布は、多変量正規分布からの標本の標本共分散行列の分布として生じる。これは、多変量統計解析の尤度比検定で頻繁に出現する。また、ランダム行列のスペクトル理論^[要出典]や多次元ベイズ解析でも出現する。^{[5]また、無線通信では、}レイリーフェーディング MIMO無線チャネルのパフォーマンスを解析する際にも遭遇する。^[6]

ウィシャート分布は、確率密度関数によって次のように特徴付けられます。

X を半正定値のp × p対称ランダム変数行列とします。Vをサイズp × pの (固定) 対称正定値行列とします。

そして、n ≥ pならば、確率密度関数が

${\displaystyle f_{\mathbf {X} }(\mathbf {X} )={\frac {1}{2^{np/2}\left|{\mathbf {V} }\right|^{n/2}\Gamma _{p}\left({\frac {n}{2}}\right)}}{\left|\mathbf {X} \right|}^{(np-1)/2}e^{-{\frac {1}{2}}\operatorname {tr} ({\mathbf {V} }^{-1}\mathbf {X} )}}$

ここで はの行列式であり、Γ _{p は}次のように定義される 多変量ガンマ関数である。${\displaystyle \left|{\mathbf {X} }\right|}$${\displaystyle \mathbf {X} }$

${\displaystyle \Gamma _{p}\left({\frac {n}{2}}\right)=\pi ^{p(p-1)/4}\prod _{j=1}^{p}\Gamma \left({\frac {n}{2}}-{\frac {j-1}{2}}\right).}$

上記の密度は、ランダム行列Xのすべての要素の結合密度ではありません（対称性制約のため、そのような-次元密度は存在しません）。むしろ、（、^[1] 38ページ）の要素の結合密度です。また、上記の密度式は正定値行列にのみ適用され、他の行列では密度は0になります。 ${\displaystyle p^{2}}$${\displaystyle p^{2}}$${\displaystyle X_{ij}=X_{ji}}$${\displaystyle p(p+1)/2}$${\displaystyle X_{ij}}$${\displaystyle i\leq j}$${\displaystyle \mathbf {x};}$

ランダム行列の固有値の結合固有値密度は、^{[8] [9]}${\displaystyle \lambda _{1},\dots ,\lambda _{p}\geq 0}$${\displaystyle \mathbf {X} \sim W_{p}(\mathbf {I} ,n)}$

${\displaystyle c_{n,p}e^{-{\frac {1}{2}}\sum _{i}\lambda _{i}}\prod \lambda _{i}^{(np-1)/2}\prod _{i<j}|\lambda _{i}-\lambda _{j}|}$

ここで は定数です。 ${\displaystyle c_{n,p}}$

実際、上記の定義は任意の実数n > p − 1に拡張できます。n ≤ p − 1の場合、ウィシャート分布は密度を持たなくなり、代わりにp × p行列の空間の低次元部分空間に値を取る特異分布を表します。^[10]

ベイズ統計学では、多変量正規分布の文脈において、ウィシャート分布は共役事前分布であり、精度行列Ω = Σ ⁻¹である。ここで、Σは共分散行列である。^{[11] : 135  [12]}

最も情報量の少ない適切なウィシャート事前分布は、n = pと設定することで得られる。^{[引用が必要]}

Vの一般的な選択は、 X ~ W _p ( V , n )の平均がn Vであるという事実を活用します。次に、 n V がXの初期推定値と等しくなるようにV が選択されます。たとえば、精度行列Σ ⁻¹ ~ W _p ( V , n ) を推定する場合、 Vの適切な選択はn ⁻¹ Σ ₀ ⁻¹です。ここで、Σ _{0は共分散行列}Σの事前推定値です。

次の式はウィシャート分布を含むベイズネットワークの変分ベイズ導出において役割を果たす。式(2.63)から、 ^[13]

${\displaystyle \operatorname {E} [\,\ln \left|\mathbf {X} \right|\,]=\psi _{p}\left({\frac {n}{2}}\right) +p\,\ln(2)+\ln |\mathbf {V} |}$

ここで、 は多変量ディガンマ関数（多変量ガンマ関数の対数の導関数）です。 ${\displaystyle \psi_{p}}$

次の分散計算はベイズ統計に役立つ可能性があります。

${\displaystyle \operatorname {Var} \left[\,\ln \left|\mathbf {X} \right|\,\right]=\sum _{i=1}^{p}\psi _{1}\left({\frac {n+1-i}{2}}\right)}$

ここで、は三ガンマ関数です。これは、ウィシャートランダム変数のフィッシャー情報を計算するときに使用されます。 ${\displaystyle \psi _{1}}$

分布の情報エントロピーは次の式で表される: [ 11 ^{] : 693}

${\displaystyle \operatorname {H} \left[\,\mathbf {X} \,\right]=-\ln \left(B(\mathbf {V} ,n)\right)-{\frac {n-p-1}{2}}\operatorname {E} \left[\,\ln \left|\mathbf {X} \right|\,\right]+{\frac {np}{2}}}$

ここで、B ( V , n )は分布の 正規化定数です。

${\displaystyle B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{n/2}2^{np/2}\Gamma _{p}\left({\frac {n}{2}}\right)}}.}$

これは次のように拡張できます。

${\displaystyle {\begin{aligned}\operatorname {H} \left[\,\mathbf {X} \,\right]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\operatorname {E} \left[\,\ln \left|\mathbf {X} \right|\,\right]+{\frac {np}{2}}\\[8pt]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(\psi _{p}\left({\frac {n}{2}}\right)+p\ln 2+\ln \left|\mathbf {V} \right|\right)+{\frac {np}{2}}\\[8pt]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\psi _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(p\ln 2+\ln \left|\mathbf {V} \right|\right)+{\frac {np}{2}}\\[8pt]&={\frac {p+1}{2}}\ln \left|\mathbf {V} \right|+{\frac {1}{2}}p(p+1)\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\psi _{p}\left({\frac {n}{2}}\right)+{\frac {np}{2}}\end{aligned}}}$

パラメータ付きとパラメータ付き2つのウィシャート分布のクロスエントロピーは ${\displaystyle p_{0}}$${\displaystyle n_{0},V_{0}}$${\displaystyle p_{1}}$${\displaystyle n_{1},V_{1}}$

${\displaystyle {\begin{aligned}H(p_{0},p_{1})&=\operatorname {E} _{p_{0}}[\,-\log p_{1}\,]\\[8pt]&=\operatorname {E} _{p_{0}}\left[\,-\log {\frac {\left|\mathbf {X} \right|^{(n_{1}-p_{1}-1)/2}e^{-\operatorname {tr} (\mathbf {V} _{1}^{-1}\mathbf {X} )/2}}{2^{n_{1}p_{1}/2}\left|\mathbf {V} _{1}\right|^{n_{1}/2}\Gamma _{p_{1}}\left({\tfrac {n_{1}}{2}}\right)}}\right]\\[8pt]&={\tfrac {n_{1}p_{1}}{2}}\log 2+{\tfrac {n_{1}}{2}}\log \left|\mathbf {V} _{1}\right|+\log \Gamma _{p_{1}}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p_{1}-1}{2}}\operatorname {E} _{p_{0}}\left[\,\log \left|\mathbf {X} \right|\,\right]+{\tfrac {1}{2}}\operatorname {E} _{p_{0}}\left[\,\operatorname {tr} \left(\,\mathbf {V} _{1}^{-1}\mathbf {X} \,\right)\,\right]\\[8pt]&={\tfrac {n_{1}p_{1}}{2}}\log 2+{\tfrac {n_{1}}{2}}\log \left|\mathbf {V} _{1}\right|+\log \Gamma _{p_{1}}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p_{1}-1}{2}}\left(\psi _{p_{0}}({\tfrac {n_{0}}{2}})+p_{0}\log 2+\log \left|\mathbf {V} _{0}\right|\right)+{\tfrac {1}{2}}\operatorname {tr} \left(\,\mathbf {V} _{1}^{-1}n_{0}\mathbf {V} _{0}\,\right)\\[8pt]&=-{\tfrac {n_{1}}{2}}\log \left|\,\mathbf {V} _{1}^{-1}\mathbf {V} _{0}\,\right|+{\tfrac {p_{1}+1}{2}}\log \left|\mathbf {V} _{0}\right|+{\tfrac {n_{0}}{2}}\operatorname {tr} \left(\,\mathbf {V} _{1}^{-1}\mathbf {V} _{0}\right)+\log \Gamma _{p_{1}}\left({\tfrac {n_{1}}{2}}\right)-{\tfrac {n_{1}-p_{1}-1}{2}}\psi _{p_{0}}({\tfrac {n_{0}}{2}})+{\tfrac {n_{1}(p_{1}-p_{0})+p_{0}(p_{1}+1)}{2}}\log 2\end{aligned}}}$

と のとき、エントロピーが回復する ことに注意してください。${\displaystyle p_{0}=p_{1}}$${\displaystyle n_{0}=n_{1}}$

からのカルバック・ライブラー距離は ${\displaystyle p_{1}}$${\displaystyle p_{0}}$

${\displaystyle {\begin{aligned}D_{KL}(p_{0}\|p_{1})&=H(p_{0},p_{1})-H(p_{0})\\[6pt]&=-{\frac {n_{1}}{2}}\log |\mathbf {V} _{1}^{-1}\mathbf {V} _{0}|+{\frac {n_{0}}{2}}(\operatorname {tr} (\mathbf {V} _{1}^{-1}\mathbf {V} _{0})-p)+\log {\frac {\Gamma _{p}\left({\frac {n_{1}}{2}}\right)}{\Gamma _{p}\left({\frac {n_{0}}{2}}\right)}}+{\tfrac {n_{0}-n_{1}}{2}}\psi _{p}\left({\frac {n_{0}}{2}}\right)\end{aligned}}}$

ウィシャート分布の 特性関数は

${\displaystyle \Theta \mapsto \operatorname {E} \left[\,\exp \left(\,i\operatorname {tr} \left(\,\mathbf {X} {\mathbf {\Theta } }\,\right)\,\right)\,\right]=\left|\,1-2i\,{\mathbf {\Theta } }\,{\mathbf {V} }\,\right|^{-n/2}}$

ここで、E[⋅]は期待値を表す。（ここで、ΘはVと同じ次元の任意の行列、1は単位行列、iは−1の平方根を 表す）。^[9] この式を正しく解釈するには、少し注意が必要である。なぜなら、非整数の複素数べき乗は多値であるためである。nが非整数の場合、正しい分岐は解析接続によって決定されなければならない。^[14]

p × pのランダム行列Xが自由度mのウィシャート分布と分散行列V（書きます）を持ち、Cがランクqのq × p行列である場合、^[15]${\displaystyle \mathbf {X} \sim {\mathcal {W}}_{p}({\mathbf {V} },m)}$

${\displaystyle \mathbf {C} \mathbf {X} {\mathbf {C} }^{T}\sim {\mathcal {W}}_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} }^{T},m\right).}$

zが非ゼロのp ×1定数ベクトルの場合、次の式が成り立つ: ^[15]

${\displaystyle \sigma _{z}^{-2}\,{\mathbf {z} }^{T}\mathbf {X} {\mathbf {z} }\sim \chi _{m}^{2}.}$

この場合、はカイ二乗分布であり、は定数であることに注意してください。Vは正定値なので、 は正です。 ${\displaystyle \chi _{m}^{2}}$${\displaystyle \sigma _{z}^{2}={\mathbf {z} }^{T}{\mathbf {V} }{\mathbf {z} }}$${\displaystyle \sigma _{z}^{2}}$

z ^T = (0, ..., 0, 1, 0, ..., 0)（つまり、j番目の要素が1で、他の要素がすべて0）の場合を考えてみましょう。すると、上記の系1は次のことを示しています。

${\displaystyle \sigma _{jj}^{-1}\,w_{jj}\sim \chi _{m}^{2}}$

行列の対角線上の各要素の周辺分布を示します。

ジョージ・シーバーは、ウィシャート分布は非対角要素の周辺分布がカイ二乗分布ではないため、「多変量カイ二乗分布」とは呼ばれないと指摘している。シーバーは、すべての単変量周辺分布が同じファミリーに属する場合にのみ、多変量という用語を使用することを好んでいる。 ^[16]

ウィシャート分布は、多変量正規分布の共分散行列の最大尤度推定量（MLE）の標本分布である。^[17] MLEの導出にはスペクトル定理が用いられる。

スケール行列Vとnの自由度を持つp変量ウィシャート分布からの行列Xのバートレット分解は次の因数分解になります。

${\displaystyle \mathbf {X} ={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T},}$

ここで、L はVのコレスキー因子であり、

${\displaystyle \mathbf {A} ={\begin{pmatrix}c_{1}&0&0&\cdots &0\\n_{21}&c_{2}&0&\cdots &0\\n_{31}&n_{32}&c_{3}&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\n_{p1}&n_{p2}&n_{p3}&\cdots &c_{p}\end{pmatrix}}}$

ここで、n _ij ~ N (0, 1)は独立である。^[18]これはウィシャート分布からランダムサンプルを得るのに便利な方法である。^[19]${\displaystyle c_{i}^{2}\sim \chi _{n-i+1}^{2}}$

Vを相関係数−1 < ρ < 1で特徴付けられる2×2の分散行列とし、Lをその下コレスキー因子とする。

${\displaystyle \mathbf {V} ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}},\qquad \mathbf {L} ={\begin{pmatrix}\sigma _{1}&0\\\rho \sigma _{2}&{\sqrt {1-\rho ^{2}}}\sigma _{2}\end{pmatrix}}}$

上記のバートレット分解を掛け合わせると、2×2ウィシャート分布からのランダムサンプルは

${\displaystyle \mathbf {X} ={\begin{pmatrix}\sigma _{1}^{2}c_{1}^{2}&\sigma _{1}\sigma _{2}\left(\rho c_{1}^{2}+{\sqrt {1-\rho ^{2}}}c_{1}n_{21}\right)\\\sigma _{1}\sigma _{2}\left(\rho c_{1}^{2}+{\sqrt {1-\rho ^{2}}}c_{1}n_{21}\right)&\sigma _{2}^{2}\left(\left(1-\rho ^{2}\right)c_{2}^{2}+\left({\sqrt {1-\rho ^{2}}}n_{21}+\rho c_{1}\right)^{2}\right)\end{pmatrix}}}$

対角要素は、最初の要素で最も顕著ですが、予想どおり、自由度n （ σ ^{2でスケール）の}χ ²分布に従います。非対角要素はあまり知られていませんが、混合密度がχ ²分布である正規分散平均混合として識別できます。したがって、非対角要素に対応する周辺確率密度は、分散ガンマ分布です。

${\displaystyle f(x_{12})={\frac {\left|x_{12}\right|^{\frac {n-1}{2}}}{\Gamma \left({\frac {n}{2}}\right){\sqrt {2^{n-1}\pi \left(1-\rho ^{2}\right)\left(\sigma _{1}\sigma _{2}\right)^{n+1}}}}}\cdot K_{\frac {n-1}{2}}\left({\frac {\left|x_{12}\right|}{\sigma _{1}\sigma _{2}\left(1-\rho ^{2}\right)}}\right)\exp {\left({\frac {\rho x_{12}}{\sigma _{1}\sigma _{2}(1-\rho ^{2})}}\right)}}$

ここで、K _ν ( z )は第二種修正ベッセル関数である。^[20]同様の結果は高次元でも得られる。一般に、がパラメータ のウィシャート分布に従う場合、 に対して、非対角要素 ${\displaystyle X}$${\displaystyle \Sigma ,n}$${\displaystyle i\neq j}$

${\displaystyle X_{ij}\sim {\text{VG}}(n,\Sigma _{ij},(\Sigma _{ii}\Sigma _{jj}-\Sigma _{ij}^{2})^{1/2},0)}$^[21 ]

非中心の場合でも、確率密度はベッセル関数の無限和になるものの、 モーメント生成関数を書き下すことも可能です（本質的にはクレイグ（1936）^[22]式10のn乗）。

^[23]によれば、ウィシャート分布は、形状パラメータnが集合に属する 場合にのみ定義できることが示されている。

${\displaystyle \Lambda _{p}:=\{0,\ldots ,p-1\}\cup \left(p-1,\infty \right).}$

この集合は、 1970年代に均質円錐上のガンマ分布の文脈で 導入したギンディキンにちなんで名付けられました^{[24] 。しかし、ギンディキン集合の離散スペクトルにおける新しいパラメータ、すなわち、}

${\displaystyle \Lambda _{p}^{*}:=\{0,\ldots ,p-1\},}$

対応するウィシャート分布にはルベーグ密度がありません。

• ウィシャート分布は、 で表される逆ウィシャート分布と次のように関係している。X ~ W p ( V , n )で変数変換_C = X −1を行うと、となる^。この関係は、この変数変換のヤコビ行列式の絶対値が| C | ^{p +1}であることに注目することで導かれる。たとえば、の式(15.15)を参照。^[25]${\displaystyle W_{p}^{-1}}$${\displaystyle \mathbf {C} \sim W_{p}^{-1}(\mathbf {V} ^{-1},n)}$
• ベイズ統計学では、ウィシャート分布は、平均パラメータが既知の場合の多変量正規分布の精度パラメータの共役事前分布である。 ^[11]
• 一般化は多変量ガンマ分布です。
• 別の種類の一般化は正規ウィシャート分布であり、基本的には多変量正規分布とウィシャート分布の積です。

• ランダム行列ジェネレーターの C++ ライブラリ