ベイズ階層モデリング

固定数nに対して、集合${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ 結合確率が交換可能であれば${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})}$はインデックスの順列に対して不変です。つまり、すべての順列に対して${\displaystyle \pi }$または${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ (1, 2, …, n )の${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}})。}$^{[ 11 ]}

以下は交換可能だが独立同分布（iid）ではない例です。赤いボールと青いボールが入った壺を考えます。確率は${\displaystyle {\frac {1}{2}}}$どちらかのボールを引く。ボールは元に戻さずに引かれる。つまり、1 つのボールが引かれた後、${\displaystyle n}$ボール、${\displaystyle n-1}$次の抽選に残っているボールの数。

${\displaystyle {\text{Y_{i}={\begin{cases}1,&{\text{i番目のボールが赤の場合}},\\0,&{\text{それ以外の場合}}.\end{cases}}}$

最初の抽選で赤いボールを選び、2回目の抽選で青いボールを選ぶ確率は、最初の抽選で青いボールを選び、2回目の抽選で赤いボールを選ぶ確率と同じであり、どちらも1/2である。

${\displaystyle P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}}$。

これにより$\displaystyle y_1}}$そして$\displaystyle y_2}}$交換可能。

しかし、1回目の抽選で赤いボールが選ばれた場合、2回目の抽選で赤いボールが選ばれる確率は0です。これは、2回目の抽選で赤いボールが選ばれる確率（1/2）とは異なります。

${\displaystyle P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}}$。

したがって、$\displaystyle y_1}}$そして$\displaystyle y_2}}$それらは独立していない。

もし${\displaystyle x_{1},\ldots ,x_{n}}$独立かつ同一の分布に従うならば、それらは交換可能であるが、その逆は必ずしも真ではない。^{[ 12 ]}

無限交換可能性とは、無限列のすべての有限部分集合が$\displaystyle y_1}}$、$\displaystyle y_{2},\ldots }$は交換可能である。任意のnに対して、数列は${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$交換可能です。^{[ 12 ]}

ベイズ階層モデリングは、事後分布を導出する際に、次の2つの重要な概念を利用します^{[ 1 ]}。

1. ハイパーパラメータ：事前分布のパラメータ
2. ハイパープライアー：ハイパーパラメータの分布

確率変数Y がパラメータを持つ正規分布に従うと仮定します。${\displaystyle \theta }$平均として、分散として 1 とすると、${\displaystyle Y\mid \theta \sim N(\theta ,1)}$チルダの関係${\displaystyle \sim }$「～の分布を持つ」または「～として分布する」と読むことができる。また、パラメータが${\displaystyle \theta }$平均が正規分布で与えられる分布を持つ${\displaystyle \mu }$分散1、つまり${\displaystyle \theta \mid \mu \sim N(\mu ,1)}$。 さらに、${\displaystyle \mu }$例えば標準正規分布によって与えられる別の分布に従う。${\displaystyle {\text{N}}(0,1)}$パラメータ${\displaystyle \mu }$はハイパーパラメータと呼ばれ、その分布は次のように与えられる。${\displaystyle {\text{N}}(0,1)}$はハイパー事前分布の一例です。Y の分布の表記は、別のパラメータが追加されるにつれて変化します。${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$もし別の段階があるとすれば、${\displaystyle \mu }$平均が別の正規分布に従う${\displaystyle \beta }$そして、${\displaystyle \epsilon }$、 それから${\displaystyle \mu \sim N(\beta ,\epsilon )}$、${\displaystyle {\mbox{ }}}$${\displaystyle \beta }$そして${\displaystyle \epsilon }$ハイパーパラメータとハイパー事前分布とも呼ばれる。^{[ 6 ]}

させて$\displaystyle y_j}}$観察であり、$\displaystyle \theta _{j}}$データ生成プロセスを制御するパラメータ$\displaystyle y_j}}$さらに、パラメータが$\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$共通の母集団から交換可能に生成され、分布はハイパーパラメータによって制御される。${\displaystyle \phi }$ベイズ階層モデルは、以下の段階から構成されます。

${\displaystyle {\text{ステージ I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

${\displaystyle {\text{ステージ II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

${\displaystyle {\text{ステージ III: }}\phi \sim P(\phi )}$

ステージIで見られる可能性は${\displaystyle P(y_{j}\mid \theta _{j},\phi )}$、 と${\displaystyle P(\theta _{j},\phi )}$事前分布として。尤度は以下に依存することに注意してください。${\displaystyle \phi }$のみ$\displaystyle \theta _{j}}$。

ステージIの事前分布は以下のように分解できます。

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$[条件付き確率の定義より]

と${\displaystyle \phi }$ハイパーパラメータとして、ハイパー事前分布を持つ。${\displaystyle P(\phi )}$。

したがって、事後分布は以下に比例する。

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$[ベイズの定理を使用]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$^{[ 13 ]}

例えば、教師が生徒のSATの成績を推定したいとします。教師は推定に生徒の現在のGPA（成績平均点）を使用します。生徒の現在のGPAは、${\displaystyle Y}$は、パラメータを持つある確率関数によって与えられる尤度を持つ。${\displaystyle \theta }$つまり${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$このパラメータ${\displaystyle \theta }$は学生のSATスコアです。SA​​Tスコアは、別のパラメータによって指標化された共通の母集団分布から得られたサンプルとみなされます。${\displaystyle \phi }$、これは生徒の高校の学年（1年生、2年生、3年生、または4年生）です。^{[ 14 ]}つまり、${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$さらに、ハイパーパラメータ${\displaystyle \phi }$独自の分布に従う${\displaystyle P(\phi )}$ハイパープライアー。

これらの関係性を用いることで、特定のGPAに対して特定のSATスコアが得られる可能性を計算することができます。

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

問題に含まれるすべての情報は、事後分布を求めるために使用されます。事前分布と尤度関数のみを使用して解く代わりに、ハイパー事前分布を使用することで、与えられた変数間の関係をより微妙に区別することができます。^{[ 15 ]}

一般的に、2段階階層モデルにおける関心のある同時事後分布は次のようになります。

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$^{[ 15 ]}

3段階階層モデルの場合、事後分布は次のように表されます。

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$^{[ 15 ]}

${\displaystyle {y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.}$

${\displaystyle \theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.}$

${\displaystyle \sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.}$

ここ、${\displaystyle y_{ij}}$連続応答を表す${\displaystyle i}$時点における 番目の被験者${\displaystyle t_{ij}}$、 そして${\displaystyle x_{ib}}$は${\displaystyle b}$の 番目の共変量${\displaystyle i}$第 1 番目の対象。モデルに含まれるパラメータはギリシャ文字で表記されます。変数${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$は、${\displaystyle K}$次元ベクトル${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$。

通常、${\displaystyle f}$これは「非線形」関数であり、個人の時間的軌跡を表します。モデルでは、${\displaystyle \epsilon _{ij}}$そして ${\displaystyle \eta _{li}}$それぞれ、個体内変動と個体間変動を記述する。事前分布を考慮しない場合、この関係は頻度論的非線形混合効果モデルに帰着する。

ベイズ非線形混合効果モデルの適用における中心的な課題は、事後密度を評価することである。

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle =\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{\text{Stage 1: Individual-Level Model}}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 2: Population Model}}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 3: Prior}}}$

右側のパネルには、ベイズ非線形混合効果モデルを使用したベイズ研究サイクルが表示されます。^{[ 16 ]}ベイズ非線形混合効果モデルを使用した研究サイクルは、(a)標準的な研究サイクルと(b)ベイズ固有のワークフローの2つのステップで構成されます。

標準的な研究サイクルは、1)文献レビュー、2) 問題の定義、3)研究課題と仮説の特定、という3つのステップから構成されます。ベイズ法特有のワークフローでは、このアプローチを3つのサブステップに細分化します。(b)–(i) 背景知識と事前分布の抽出に基づいて事前分布を形式化する、(b)–(ii) 非線形関数に基づいて尤度関数を決定する。${\displaystyle f}$（b）～（iii）事後推論を行う。得られた事後推論は、新たな研究サイクルを開始するために使用できる。