正規ガンマ分布

標準ガンマ

パラメータ	${\displaystyle \mu \,}$ 場所(実在) ( 実在 ) ( 実在 ) ( 実在 ) ${\displaystyle \lambda >0\,}$ ${\displaystyle \alpha >0\,}$ ${\displaystyle \beta >0\,}$
サポート	${\displaystyle x\in (-\infty ,\infty )\,\!,\;\tau \in (0,\infty )}$
PDF	${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\,e^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}}$
平均	[1] ${\displaystyle \operatorname {E} (X)=\mu \,\!,\quad \operatorname {E} (\mathrm {T} )=\alpha \beta ^{-1}}$
モード	${\displaystyle \left(\mu ,{\frac {\alpha -{\frac {1}{2}}}{\beta }}\right)}$
分散	[1] ${\displaystyle \operatorname {var} (X)={\Big (}{\frac {\beta }{\lambda (\alpha -1)}}{\Big )},\quad \operatorname {var} (\mathrm {T} )=\alpha \beta ^{-2}}$

確率論と統計学において、正規ガンマ分布（またはガウスガンマ分布）は、2変量4パラメータの連続確率分布族である。これは、平均と精度が不明な正規分布の共役事前分布である。^[2]

確率変数のペア（X、T ）について、 Tを与えられたときのXの条件付き分布が次のように与えられる と仮定する。

${\displaystyle X\mid T\sim N(\mu ,1/(\lambda T))\,\!,}$

つまり、条件付き分布は平均と精度を持つ正規分布であり、分散も ${\displaystyle \mu }$ ${\displaystyle \lambda T}$ ${\displaystyle 1/(\lambda T).}$

Tの周辺分布が次のように与えられる と仮定する。

${\displaystyle T\mid \alpha ,\beta \sim \operatorname {Gamma} (\alpha ,\beta ),}$

ここで、 T はガンマ分布に従うことを意味します。ここで、λ、α、β は結合分布のパラメータです。

このとき、( X , T )は正規ガンマ分布に従う。これは次のように表される。

${\displaystyle (X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ).}$

( X , T ) の結合確率密度関数は

$${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\exp \left(-{\frac {\lambda \tau (x-\mu )^{2}}{2}}\right),}$$

ここで、の条件付き確率 が使用されました。 $${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )=f(x\mid \tau ,\mu ,\lambda ,\alpha ,\beta )f(\tau \mid \mu ,\lambda ,\alpha ,\beta )}$$

構築により、の周辺分布はガンマ分布となり、の条件付き分布はガウス分布となります。の周辺分布は、パラメータ を持つ3 パラメータの非標準化スチューデント t 分布です。^[要出典]${\displaystyle \tau }$${\displaystyle x}$${\displaystyle \tau }$${\displaystyle x}$${\displaystyle (\nu ,\mu ,\sigma ^{2})=(2\alpha ,\mu ,\beta /(\lambda \alpha ))}$

正規ガンマ分布は、自然なパラメータと自然な統計を持つ4 つのパラメータの指数族です。^[要出典] ${\displaystyle \alpha -1/2,-\beta -\lambda \mu ^{2}/2,\lambda \mu ,-\lambda /2}$ ${\displaystyle \ln \tau ,\tau ,\tau x,\tau x^{2}}$

以下のモーメントは、十分統計量のモーメント生成関数を使って簡単に計算できる：^[3]

${\displaystyle \operatorname {E} (\ln T)=\psi \left(\alpha \right)-\ln \beta ,}$

ここで、ディガンマ関数は、 ${\displaystyle \psi \left(\alpha \right)}$

${\displaystyle {\begin{aligned}\operatorname {E} (T)&={\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX)&=\mu {\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX^{2})&={\frac {1}{\lambda }}+\mu ^{2}{\frac {\alpha }{\beta }}.\end{aligned}}}$

ならば、任意のに対しては次のように分布する^[要出典]${\displaystyle (X,T)\sim \mathrm {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ),}$${\displaystyle b>0,(bX,bT)}$ ${\displaystyle {\rm {NormalGamma}}(b\mu ,\lambda /b^{3},\alpha ,\beta /b).}$

x が平均と精度が不明な正規分布に従って分布していると仮定します。 ${\displaystyle \mu }$${\displaystyle \tau }$

${\displaystyle x\sim {\mathcal {N}}(\mu ,\tau ^{-1})}$

そして、および、 上の事前分布は正規ガンマ分布に従う ${\displaystyle \mu }$${\displaystyle \tau }$${\displaystyle (\mu ,\tau )}$

${\displaystyle (\mu ,\tau )\sim {\text{NormalGamma}}(\mu _{0},\lambda _{0},\alpha _{0},\beta _{0}),}$

密度 πは

${\displaystyle \pi (\mu ,\tau )\propto \tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[-\beta _{0}\tau ]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right].}$

仮定する

${\displaystyle x_{1},\ldots ,x_{n}\mid \mu ,\tau \sim \operatorname {{i.}{i.}{d.}} \operatorname {N} \left(\mu ,\tau ^{-1}\right),}$

すなわち、の成分は与えられた条件付き独立であり、それぞれの条件付き分布は期待値と分散を持つ正規分布である。このデータセットが与えられた場合のおよびの事後分布は、ベイズの定理^[4]によって明示的に解析的に決定することができる。 ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}$${\displaystyle \mu ,\tau }$${\displaystyle \mu ,\tau }$${\displaystyle \mu }$${\displaystyle 1/\tau .}$${\displaystyle \mu }$${\displaystyle \tau }$${\displaystyle \mathbb {X} }$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu ),}$

ここで、データは与えられたパラメータの尤度です。 ${\displaystyle \mathbf {L} }$

データは iid なので、データセット全体の尤度は個々のデータ サンプルの尤度の積に等しくなります。

${\displaystyle \mathbf {L} (\mathbf {X} \mid \tau ,\mu )=\prod _{i=1}^{n}\mathbf {L} (x_{i}\mid \tau ,\mu ).}$

この式は次のように簡略化できます。

${\displaystyle {\begin{aligned}\mathbf {L} (\mathbf {X} \mid \tau ,\mu )&\propto \prod _{i=1}^{n}\tau ^{1/2}\exp \left[{\frac {-\tau }{2}}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}}+{\bar {x}}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}+({\bar {x}}-\mu )^{2}\right)\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right],\end{aligned}}}$

ここで、 はデータサンプルの平均、 はサンプル分散です。 ${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$${\displaystyle s={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}$

パラメータの事後分布は、事前確率と尤度を掛け合わせた値に比例します。

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu )\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right]\tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[{-\beta _{0}\tau }]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\end{aligned}}}$

最後の指数項は平方完成によって簡略化されます。

${\displaystyle {\begin{aligned}\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}&=\lambda _{0}\mu ^{2}-2\lambda _{0}\mu \mu _{0}+\lambda _{0}\mu _{0}^{2}+n\mu ^{2}-2n{\bar {x}}\mu +n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\mu ^{2}-2(\lambda _{0}\mu _{0}+n{\bar {x}})\mu +\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)(\mu ^{2}-2{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\mu )+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}-{\frac {\left(\lambda _{0}\mu _{0}+n{\bar {x}}\right)^{2}}{\lambda _{0}+n}}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\end{aligned}}}$

これを上の式に戻すと、

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{2(\lambda _{0}+n)}}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}\right]\end{aligned}}}$

この最終的な表現は、正規ガンマ分布とまったく同じ形式です。つまり、

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},\lambda _{0}+n,\alpha _{0}+{\frac {n}{2}},\beta _{0}+{\frac {1}{2}}\left(ns+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right)}$

疑似観測によるパラメータの解釈は次のとおりです。

• 新しい平均は、古い疑似平均と観測平均の加重平均で、関連する（疑似）観測の数で重み付けされます。
• 精度は、サンプル平均とサンプル分散（つまり、偏差の二乗和）を使用して疑似観測値（つまり、平均と精度の分散を個別に制御できるように、疑似観測値の数は異なる可能性があります）から推定されました。${\displaystyle 2\alpha }$${\displaystyle \mu }$${\displaystyle {\frac {\beta }{\alpha }}}$ ${\displaystyle 2\beta }$
• 事後確率は、対応する数の新しい観測値（ ）を追加するだけで、疑似観測値（ ）の数を更新します。${\displaystyle \lambda _{0}}$${\displaystyle n}$
• 新しい二乗偏差の合計は、以前のそれぞれの二乗偏差の合計を加算することによって計算されます。ただし、2 つの二乗偏差セットは異なる平均に関して計算されているため、3 番目の「相互作用項」が必要になります。そのため、2 つの合計は実際の合計二乗偏差を過小評価します。

結果として、サンプルから事前平均が、サンプルから事前精度がそれぞれある場合、およびの事前分布は ${\displaystyle \mu _{0}}$${\displaystyle n_{\mu }}$${\displaystyle \tau _{0}}$${\displaystyle n_{\tau }}$${\displaystyle \mu }$${\displaystyle \tau }$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )=\operatorname {NormalGamma} \left(\mu _{0},n_{\mu },{\frac {n_{\tau }}{2}},{\frac {n_{\tau }}{2\tau _{0}}}\right)}$

そして、平均と分散を持つサンプルを観測した後、事後確率は ${\displaystyle n}$${\displaystyle \mu }$${\displaystyle s}$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {n_{\mu }\mu _{0}+n\mu }{n_{\mu }+n}},n_{\mu }+n,{\frac {1}{2}}(n_{\tau }+n),{\frac {1}{2}}\left({\frac {n_{\tau }}{\tau _{0}}}+ns+{\frac {n_{\mu }n(\mu -\mu _{0})^{2}}{n_{\mu }+n}}\right)\right)}$

Matlabなどの一部のプログラミング言語では、ガンマ分布は の逆定義を使用して実装されるため、正規ガンマ分布の 4 番目の引数は になることに注意してください。 ${\displaystyle \beta }$${\displaystyle 2\tau _{0}/n_{\tau }}$

ランダム変数の生成は簡単です:

1. パラメータとガンマ分布からのサンプル${\displaystyle \tau }$${\displaystyle \alpha }$${\displaystyle \beta }$
2. 平均と分散を持つ正規分布からのサンプル${\displaystyle x}$${\displaystyle \mu }$${\displaystyle 1/(\lambda \tau )}$

• 正規逆ガンマ分布は、精度ではなく分散によってパラメータ化された同じ分布である。
• 正規指数ガンマ分布

• ベルナルド、JM; スミス、AFM (1993)ベイズ理論、Wiley。ISBN 0-471-49464 -X 
• Dearden 他「ベイジアン Q 学習」、第 15 回全国人工知能会議 (AAAI-98) 議事録、1998 年 7 月 26 ～ 30 日、米国ウィスコンシン州マディソン。