擬似周辺メトロポリス・ヘイスティングスアルゴリズム

現在の状態が与えられた場合$\displaystyle \theta _{n}}$メトロポリス・ヘイスティングスアルゴリズムは、ある密度に基づいて新しい状態を提案する。${\displaystyle \theta '\sim Q(\cdot \mid \theta _{n})}$アルゴリズムは次に設定します${\displaystyle \theta _{n+1}=\theta '}$確率で

${\displaystyle a(\theta _{n},\theta ')=\min \left(1,{\frac {\pi (\theta ')}{\pi (\theta _{n})}}{\frac {Q(\theta _{n}\mid \theta ')}{Q(\theta '\mid \theta _{n})}}\right)}$

そうでなければ、古い状態が維持されます。つまり、$\displaystyle \theta _{n+1}=\theta _{n}}$。

密度が${\displaystyle \pi }$解析的に利用できない場合、上記のアルゴリズムは適用できません。一方、擬似周辺メトロポリス・ヘイスティングスアルゴリズムは、不偏推定量の存在のみを仮定します。 ${\displaystyle {\hat {\pi }}_{\theta }}$つまり、推定器は次の式を満たさなければならない。${\displaystyle \mathbb {E} [{\hat {\pi }}_{\theta }]=\pi (\theta ).}$さて、$\displaystyle \theta _{n}}$ それぞれの推定値 ${\displaystyle {\hat {\pi }}_{\theta _{n}}}$アルゴリズムは、ある密度に基づいて新しい状態を提案する${\displaystyle \theta '\sim Q(\cdot \mid \theta _{n})}$次に、見積もりを計算します。 ${\displaystyle {\hat {\pi }}_{\theta '}}$そして設定する${\displaystyle \theta _{n+1}=\theta '}$確率で

${\displaystyle a(\theta _{n},\theta ')=\min \left(1,{\frac {{\hat {\pi }}_{\theta '}}{{\hat {\pi }}_{\theta _{n}}}}{\frac {Q(\theta _{n}\mid \theta ')}{Q(\theta '\mid \theta _{n})}}\right)}$

そうでなければ、古い状態が維持されます。つまり、$\displaystyle \theta _{n+1}=\theta _{n}}$。

出典：^{[ 1 ]}

独立同分布の潜在実数値確率変数からなるモデルを考える${\displaystyle Z_{1},\ldots ,Z_{n}}$と${\displaystyle Z_{i}\sim f_{\theta }(\cdot )}$そして、これらの変数を何らかの追加ノイズを通してしか観測できないと仮定する。 ${\displaystyle Y_{i}\mid Z_{i}=z\sim g_{\theta }(\cdot \mid z)}$ある条件付き密度に対して${\displaystyle g}$（これは例えば測定誤差によるものかもしれない。）我々は、観測データに基づいたこのモデルのベイズ分析に関心がある。$\displaystyle y_{1},\ldots ,y_{n}}$したがって、我々は事前分布を導入する。${\displaystyle p(\theta )}$パラメータについて。事後分布を計算するために

${\displaystyle p(\theta \mid y_{1},\ldots ,y_{n})\propto p_{\theta }(y_{1},\ldots ,y_{n})p(\theta )}$

尤度関数を見つける必要がある${\displaystyle p_{\theta }(y_{1},\ldots ,y_{n})}$観測されたデータポイントの尤度への寄与${\displaystyle y}$すると

${\displaystyle p_{\theta }(y)=\int g_{\theta }(y\mid z)f_{\theta }(z)\,dz}$

観測データの同時尤度$\displaystyle y_{1},\ldots ,y_{n}}$は

${\displaystyle p_{\theta }(y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}p_{\theta }(y_{i})=\prod _{i=1}^{n}\int g_{\theta }(y_{i}\mid z_{i})f_{\theta }(z_{i})\,dz_{i}.}$

右辺の積分が解析的に得られない場合、重点サンプリングを用いて尤度を推定することができる。補助分布を導入する。${\displaystyle q}$そのため${\displaystyle g_{\theta }(y\mid z)f_{\theta }(z)>0\Rightarrow q(z)>0}$すべての人々のために${\displaystyle z}$それから

${\displaystyle {\hat {p}}_{\theta }(y_{i})={\frac {1}{N}}\sum _{k=1}^{N}{\frac {g_{\theta }(y_{i}\mid Z_{k})f_{\theta }(Z_{k})}{q(Z_{k})}},\qquad Z_{k}{\overset {iid}{\sim }}q(\cdot )}$

は不偏推定量である${\displaystyle p_{\theta }(y_{i})}$そして、結合尤度は次のように不偏に推定できる。

${\displaystyle {\hat {p}}_{\theta }(y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}{\hat {p}}_{\theta }(y_{i})=\prod _{i=1}^{n}{\frac {1}{N}}\sum _{k=1}^{N}{\frac {g_{\theta }(y_{i}\mid Z_{i,k})f_{\theta }(Z_{i,k})}{q(Z_{i,k})}},\qquad Z_{i,k}{\overset {i.i.d.}{\sim }}q(\cdot ).}$