マルコフ連鎖モンテカルロ法

離散的な設定では、マルコフ連鎖は、任意の状態から他の任意の状態へ有限ステップで正の確率で到達できる場合に既約であると言われます。しかし、連続的な設定では、点から点への遷移の確率はゼロです。この場合、 φ既約性は、可測空間上の参照測度φを用いることで既約性を一般化したものです。${\displaystyle ({\mathcal {X}},{\mathcal {B}}({\mathcal {X}}))}$。

定義（φ既約性）

尺度が与えられた場合${\displaystyle \varphi }$定義済み${\displaystyle ({\mathcal {X}},{\mathcal {B}}({\mathcal {X}}))}$マルコフ連鎖${\displaystyle (X_{n})}$遷移カーネル付き${\displaystyle K(x,y)}$は、すべての に対して、がφ-既約である。${\displaystyle A\in {\mathcal {B}}({\mathcal {X}})}$と${\displaystyle \varphi (A)>0}$存在する${\displaystyle n}$そのため${\displaystyle K^{n}(x,A)>0}$すべての人々のために${\displaystyle x\in {\mathcal {X}}}$（同様に、${\displaystyle P_{x}(\tau _{A}<\infty )>0}$、 ここ${\displaystyle \tau _{A}=\inf\{n\geq 1;X_{n}\in A\}}$1番目${\displaystyle n}$チェーンがセットに入る場合${\displaystyle A}$)

これは、非離散状態空間におけるマルコフ連鎖の既約性に関するより一般的な定義です。離散の場合、既約マルコフ連鎖は周期が1であれば非周期的であると言われます。形式的には、状態の周期は$\displaystyle \omega \in {\mathcal {X}}$は次のように定義されます。

${\displaystyle d(\omega ):=\mathrm {gcd} \{m\geq 1\,;\,K^{m}(\omega ,\omega )>0\}}$

一般的な（非離散的な）ケースでは、小さな集合を用いて非周期性を定義します。

定義（サイクル長と小集合）

φ既約マルコフ連鎖${\displaystyle (X_{n})}$小さな集合が存在する場合、長さ d のサイクルを持つ。${\displaystyle C}$関連する整数${\displaystyle M}$確率分布$\displaystyle \nu _{M}}$dが以下の最大公約数であるようなもの:

${\displaystyle \{m\geq 1\,;\,\exists \,\delta _{m}>0{\text{ such that }}C{\text{ is small for }}\nu _{m}\geq \delta _{m}\nu _{M}\}.}$

セット${\displaystyle C}$が存在する場合、小さいと呼ばれます。${\displaystyle m\in \mathbb {N} ^{*}}$そしてゼロではない尺度$\displaystyle \nu _{m}}$すなわち、

$\displaystyle K^{m}(x,A)\geq \nu _{m}(A),\quad \forall x\in C,\,\forall A\in {\mathcal {B}}({\mathcal {X}}).}$

定義（ハリス再帰）

セット${\displaystyle A}$ハリスが再帰的である場合${\displaystyle P_{x}(\eta _{A}=\infty )=1}$すべての人々のために${\displaystyle x\in A}$、 どこ${\displaystyle \eta _{A}=\sum _{n=1}^{\infty }\mathbb {I} _{A}(X_{n})}$チェーンの訪問回数${\displaystyle (X_{n})}$セットへ${\displaystyle A}$。

チェーン${\displaystyle (X_{n})}$測度が存在する場合、はハリス再帰的であると言われる。${\displaystyle \psi }$チェーンが${\displaystyle \psi }$既約かつすべての可測集合${\displaystyle A}$と${\displaystyle \psi (A)>0}$ハリスは再帰的か。

ハリス再帰を検証するための有用な基準は以下のとおりです。

命題

すべての${\displaystyle A\in {\mathcal {B}}({\mathcal {X}})}$、 我々は持っています${\displaystyle P_{x}(\tau _{A}<\infty )=1}$すべての${\displaystyle x\in A}$、 それから${\displaystyle P_{x}(\eta _{A}=\infty )=1}$すべての人々のために${\displaystyle x\in {\mathcal {X}}}$チェーン${\displaystyle (X_{n})}$ハリスは再帰的か。

この定義は、状態空間が$\displaystyle {\mathcal {X}}}$は不可算です。可算の場合、再帰は${\displaystyle \mathbb {E} _{x}[\eta _{x}]=\infty }$これは、${\displaystyle P_{x}(\tau _{x}<\infty )=1}$すべての人々のために${\displaystyle x\in {\mathcal {X}}}$。

定義（不変測度）

A${\displaystyle \sigma }$有限測度${\displaystyle \pi }$遷移カーネルに対して不変であると言われている${\displaystyle K(\cdot ,\cdot )}$（および関連するチェーン）以下の場合：

${\displaystyle \pi (B)=\int _{\mathcal {X}}K(x,B)\,\pi (dx),\qquad \forall B\in {\mathcal {B}}({\mathcal {X}})。}$

ψ既約（したがって再帰的）連鎖に対して不変確率測度が存在する場合、その連鎖は正再帰的であると言われる。有限の不変測度を許容しない再帰的連鎖は、零再帰的と呼ばれる。

マルコフ連鎖モンテカルロ法（MCMC）の応用において、ハリス再帰の非常に有用な基準の一つとして、有界調和関数の使用が挙げられる。

定義（調和関数）

測定可能な関数${\displaystyle h}$チェーンにとって調和的であると言われている${\displaystyle (X_{n})}$もし：

${\displaystyle \mathbb {E} [h(X_{n+1})\mid x_{n}]=h(x_{n})}$

これらの関数は、関数的な意味で遷移カーネルの下で不変であり、ハリス再帰を特徴づけるのに役立つ。

命題

正のマルコフ連鎖において、有界な調和関数が定数関数のみである場合、その連鎖はハリス再帰的である。

定理（MCMCにおけるエルゴード定理）

もし${\displaystyle (X_{n})}$持っている${\displaystyle \sigma }$-有限不変測度${\displaystyle \pi }$ならば、次の2つの記述は同等である。

1. マルコフ連鎖${\displaystyle (X_{n})}$ハリスは再帰的ですか。
2. もし${\displaystyle f,g\in L^{1}(\pi )}$と${\displaystyle \int g(x)\,d\pi (x)\neq 0}$、 それから${\displaystyle \lim _{n\to \infty }{\frac {S_{n}(f)}{S_{n}(g)}}={\frac {\int f(x)\,d\pi (x)}{\int g(x)\,d\pi (x)}}.}$

この定理は、マルコフ連鎖モンテカルロ（MCMC）法の使用に対する根本的な正当化を与えるものであり、古典的なモンテカルロ法における大数の法則（LLN）に対応するものである。

この結果の重要な側面は、${\displaystyle \pi }$確率測度である必要はありません。したがって、マルコフ連鎖がヌル再帰的であっても、何らかの強い安定性が存在する可能性があります。さらに、マルコフ連鎖は任意の状態から開始できます。

もし${\displaystyle \pi }$は確率測度なので、${\displaystyle g\equiv 1}$そして手に入れる

${\displaystyle \lim _{n\to \infty }S_{n}(f)=\int f(x)\,d\pi (x).}$

これは、私たちがよりよく知っているエルゴード定理です。

マルコフ連鎖モンテカルロ（MCMC）法において中心極限定理（CLT）が成り立つ条件はいくつかある。最も一般的に用いられる条件の一つは可逆性の条件である。

定義（可逆性）

定常マルコフ連鎖${\displaystyle (X_{n})}$分布が可逆的であると言われるのは、${\displaystyle X_{n+1}}$与えられた${\displaystyle X_{n+2}=x}$の分布と同じです${\displaystyle X_{n+1}}$与えられた${\displaystyle X_{n}=x}$。

これは、以下のように定義される詳細均衡条件と同等である。

定義（詳細バランス）

遷移カーネルを持つマルコフ連鎖${\displaystyle K}$関数が存在する場合、詳細平衡条件を満たす。${\displaystyle f}$すなわち、

${\displaystyle K(y,x)f(y)=K(x,y)f(x)}$

すべてのペアについて${\displaystyle (x,y)}$状態空間において。

定理（可逆性に関する中心極限定理）

もし${\displaystyle (X_{n})}$非周期性、既約性、可逆性を持ち、不変分布を持つ。${\displaystyle \pi }$、 それから：

${\displaystyle {\frac {1}{\sqrt {N}}}\left(\sum _{n=1}^{N}\left(h(X_{n})-\mathbb {E} ^{\pi }[h]\right)\right){\overset {\mathcal {L}}{\longrightarrow }}{\mathcal {N}}(0,\gamma _{h}^{2})}$

どこ

$\displaystyle 0<\gamma _{h}^{2}=\mathbb {E} _{\pi }\left[{\bar {h}}^{2}(X_{0})\right]+2\sum _{k=1}^{\infty }\mathbb {E} _{\pi }\left[{\bar {h}}(X_{0}){\bar {h}}(X_{k})\right]<+\infty }$

そして

${\displaystyle {\bar {h}}(\cdot )=h(\cdot )-E[h(\cdot )]}$。

可逆性は理論的には制約的な仮定ではあるものの、補助変数を導入したり、対称的な提案メカニズムを使用したりすることで、実際のMCMCアルゴリズムでは容易に満たされることが多い。MCMCのCLTを確立するために使用できる条件は他にも多数あり、例えば幾何学的エルゴード性や離散状態空間などが挙げられる。

相関が推定に与える影響は、マルコフ連鎖中心極限定理によって定量化できます。分散を持つ分布を対象とする連鎖の場合、$\displaystyle \sigma ^{2}}$標本平均の分散は${\displaystyle N}$ステップは約${\displaystyle {\sigma ^{2}}{\big /}N_{\text{eff}}}$、 どこ${\displaystyle N_{\text{eff}}}$有効サンプルサイズは以下より小さい${\displaystyle N}$言い換えれば、これは次のように表現できる。

$${\displaystyle \mathrm {Var} ({\bar {X}}_{N})\approx {\frac {\sigma ^{2}}{N}}\left(1+2\sum _{k=1}^{\infty }\rho _{k}\right)}$$

どこ$\displaystyle {\bar {X}}_{N}}$は標本平均であり、$\displaystyle \rho _{k}}$は、ラグにおける連鎖の自己相関である。${\displaystyle k}$定義される${\displaystyle \rho _{k}={\frac {\mathrm {Cov} (X_{0},X_{k})}{\sqrt {\mathrm {Var} (X_{0})\mathrm {Var} (X_{k})}}}}$括弧内の用語は、${\displaystyle 1+2\sum _{k=1}^{\infty }\rho _{k}}$は、しばしば統合自己相関と呼ばれます。チェーンに自己相関がない場合（${\displaystyle \rho _{k}=0}$すべての人々のために${\displaystyle k\geq 1}$) この係数は 1 に等しくなり、通常の${\displaystyle \sigma ^{2}/N}$独立サンプルの分散。チェーンのサンプルが高度に相関している場合、自己相関の合計は大きくなり、分散が大幅に大きくなります。${\displaystyle {\bar {X}}_{N}}$独立したケースよりも。

有効サンプルサイズ${\displaystyle N_{\text{eff}}}$これは、連鎖における自己相関を同数の独立サンプルに変換する有用な診断法です。その定義式は次のとおりです。

${\displaystyle N_{\text{eff}}={\frac {N}{1+2\sum _{k=1}^{\infty }\rho _{k}}}}$

となることによって${\displaystyle N_{\text{eff}}}$は、 と同じ推定精度が得られる独立抽出の数です。${\displaystyle N}$依存する抽出はマルコフ連鎖から行われます。たとえば、${\displaystyle 1+2\sum _{k=1}^{\infty }\rho _{k}=5}$、 それから${\displaystyle N_{\text{eff}}=N/5}$つまり、長さの連鎖${\displaystyle N}$同等の情報を伝える${\displaystyle N/5}$独立したサンプル。相関のない理想的なシナリオでは、${\displaystyle \rho _{k}=0}$そしてこうして${\displaystyle N_{\text{eff}}\approx N}$しかし、自己相関が強い混合不良連鎖では、${\displaystyle N_{\text{eff}}}$よりずっと小さくなる可能性がある${\displaystyle N}$実際には、各パラメータのESSを監視することで、どの程度の相関関係が存在するかを把握できます。ESSが低い場合は、独立した抽出の望ましい有効サンプルを得るために、より多くの反復が必要になる可能性があることを示しています。

MCMC法は、一般的なモンテカルロアルゴリズムよりも多次元問題をより適切に処理するために開発されましたが、次元数が増加すると、MCMC法も次元の呪いに陥りがちです。つまり、確率の高い領域が広がり、積分にほとんど寄与しない空間の体積が増大するにつれて、その領域が失われてしまうのです。この問題を解決する一つの方法は、ウォーカーのステップを短くして、確率の高い領域から抜け出そうとする動作を繰り返さないようにすることですが、この方法ではプロセスが高度に自己相関し、コストが高くなります（つまり、正確な結果を得るには多くのステップが必要になります）。ハミルトニアンモンテカルロ法やWang-Landauアルゴリズムなどのより高度な手法では、この自己相関を低減するための様々な方法を用いながら、積分への寄与が大きい領域にプロセスを維持するようにしています。これらのアルゴリズムは通常、より複雑な理論に基づいており、実装は困難ですが、収束は一般的に速くなります。

本稿では、標準的なMCMCフレームワーク内で相関を低減し、サンプリング効率を向上させるのに役立つ、再パラメータ化、適応型提案チューニング、パラメータブロッキング、過剰緩和などのいくつかの一般的な戦略について概説する。

• メトロポリス・ヘイスティングスアルゴリズム：この手法は、新しいステップの提案密度と、提案されたステップの一部を拒否する方法を用いてマルコフ連鎖を生成します。実際には、最も初期かつ単純なMCMC（メトロポリスアルゴリズム）や、以下に挙げる多くの新しいバリアントを特殊なケースとして含む、汎用的なフレームワークです。
  • ギブスサンプリング: ターゲット分布が多次元の場合、ギブスサンプリングアルゴリズム^{[ 10 ]}は、他の座標が与えられたときの完全な条件付き分布から各座標を更新します。ギブスサンプリングは、受理率が一様に1に等しいメトロポリス-ヘイスティングスアルゴリズムの特殊なケースと見なすことができます。完全な条件付き分布から抽出することが簡単でない場合は、ギブス内の他のサンプラーが使用されます（たとえば、^{[ 11 ] [ 12 ]}を参照）。ギブスサンプリングが人気なのは、部分的には「チューニング」が不要であるためです。ギブスサンプリングのアルゴリズム構造は、両方のアルゴリズムが更新手順で完全な条件付き分布を使用するという点で、座標上昇変分推論の構造と非常によく似ています。^{[ 13 ]}
  • メトロポリス調整ランジュバンアルゴリズムや、対数ターゲット密度の勾配（および場合によっては2階微分）を利用して、より高い確率密度の方向に向かう可能性が高いステップを提案するその他の方法。^{[ 14 ]}
  • ハミルトニアン（またはハイブリッド）モンテカルロ法（HMC）：補助的な運動量ベクトルを導入し、ハミルトニアンダイナミクスを実装することで、ランダムウォーク挙動を回避しようとします。そのため、ポテンシャルエネルギー関数が目標密度となります。運動量サンプルはサンプリング後に破棄されます。ハイブリッドモンテカルロ法の結果として、提案はサンプル空間をより大きなステップで移動するため、相関が低くなり、目標分布への収束が速くなります。
  • 擬似周辺メトロポリス・ヘイスティングス法：この方法は、目標分布の密度の評価を不偏推定値に置き換え、潜在変数モデルなど、目標密度が解析的に利用できない場合に有用です。
• スライスサンプリング：この方法は、分布の密度関数のグラフの下の領域から均一にサンプリングすることで、分布からサンプルを抽出できるという原理に基づいています。垂直方向の均一サンプリングと、現在の垂直位置によって定義される水平方向の「スライス」からの均一サンプリングを交互に行います。
• 複数回試行メトロポリス法：この方法は、メトロポリス・ヘイスティングスアルゴリズムの変種であり、各時点で複数回の試行を可能にします。各反復でより大きなステップを取ることができるため、次元の呪いに対処するのに役立ちます。
• 可逆ジャンプ: この方法は、空間の次元を変更する提案を可能にするメトロポリス-ヘイスティングスアルゴリズムの変種です。^{[ 15 ]}次元を変更するマルコフ連鎖モンテカルロ法は、統計物理学の応用において長年使用されており、いくつかの問題では、グランドカノニカルアンサンブルである分布が使用されます(たとえば、箱の中の分子の数が可変の場合)。しかし、可逆ジャンプ変種は、ディリクレ過程や中華料理店過程などの非パラメトリックベイズモデルに対してマルコフ連鎖モンテカルロまたはギブスサンプリングを実行する場合に有用です。これらのモデルでは、混合成分/クラスターなどの数がデータから自動的に推測されます。

相互作用型 MCMC 手法は、サンプリングの複雑さのレベルが増加する確率分布のシーケンスからランダムサンプルを取得するための平均場粒子法の一種です。 ^{[ 16 ]}これらの確率モデルには、時間範囲が増加するパス空間状態モデル、部分観測のシーケンスに関する事後分布、条件付き分布に対する制約レベルセットの増加、ボルツマン・ギブス分布に関連する温度スケジュールの減少、その他多数が含まれます。原則として、任意のマルコフ連鎖モンテカルロサンプラーを相互作用型マルコフ連鎖モンテカルロサンプラーに変換できます。これらの相互作用型マルコフ連鎖モンテカルロサンプラーは、マルコフ連鎖モンテカルロサンプラーのシーケンスを並列に実行する方法として解釈できます。たとえば、相互作用型シミュレーテッドアニーリングアルゴリズムは、選択再サンプリングタイプのメカニズムと順次相互作用する独立したメトロポリス・ヘイスティングス移動に基づいています。従来のマルコフ連鎖モンテカルロ法とは対照的に、このクラスの相互作用型マルコフ連鎖モンテカルロサンプラーの精度パラメータは、相互作用型マルコフ連鎖モンテカルロサンプラーの数のみに関係します。これらの高度な粒子手法は、ベイズ推論および信号処理コミュニティでは逐次モンテカルロ法または粒子フィルタ法とも呼ばれる、Feynman–Kac粒子モデル^{[ 17 ] [ 18 ]のクラスに属します[ 19 ]}。相互作用型マルコフ連鎖モンテカルロ法は、マルコフ連鎖モンテカルロ突然変異を伴う突然変異選択遺伝的粒子アルゴリズムとして解釈することもできます。

準モンテカルロ法は、乱数の代わりに低不一致数列を使用する通常のモンテカルロ法の類似法です。 ^{[ 20 ] [ 21 ]}コクスマ・フラウカ不等式で定量化されるように、真のランダムサンプリングよりも速く減衰する積分誤差が得られます。経験的に、推定誤差と収束時間の両方を1桁削減できます。^{[ 20 ]}アレイRQMC法などのマルコフ連鎖準モンテカルロ法^{[ 22 ] [ 23 ]}は、ランダム化準モンテカルロ法とマルコフ連鎖シミュレーションを組み合わせて、${\displaystyle n}$通常の MCMC よりもチェーンの真の分布をよりよく近似する方法でチェーンを同時に処理します。^{[ 24 ]}経験的実験では、状態の関数の平均の分散が一定の速度で収束することがあります。${\displaystyle O(n^{-2})}$あるいはさらに速く、${\displaystyle O(n^{-1})}$モンテカルロ法によるレート。^{[ 25 ]}

ベイズ統計学では、マルコフ連鎖モンテカルロ法が通常、事後確率分布のモーメントと信頼区間を計算するために使用されます。MCMC法を使用すると、数百から数千の未知のパラメータにわたる積分を必要とする大規模な階層モデルを計算することが可能になります。^{[ 30 ]}

統計物理学における現代の多くの研究課題は、モンテカルロシミュレーションを用いた近似解によって解決でき、複雑なシステムの特性に関する貴重な洞察が得られます。モンテカルロ法は、計算物理学、天体物理学、物理化学、および関連分野の基礎であり、放射線量測定計算のための放射線輸送のモデル化に使用される医療物理学を含む幅広い応用があります。^{[ 31 ] [ 32 ]}モンテカルロ法は、考えられるすべてのシステム状態を網羅的に分析する代わりに、それらのサブセットをランダムに調べて代表的なサンプルを形成し、システムの特性の正確な近似値を生成します。サンプリングされた状態の数が増えるにつれて、誤差はさらに低いレベルに減らすことができます。

ランジュバンダイナミクスは、通常、MCMC手順を介して複雑な分布サンプリングおよび生成モデリングに使用されます^{[ 33 ] [ 34 ]}。具体的には、確率密度関数が与えられます。 ${\displaystyle p(x)}$我々はその対数勾配を使用する${\displaystyle \nabla _{x}\log p(x)}$スコア関数として、事前分布から開始します${\displaystyle x_{0}\sim p_{0}}$。次に、チェーンが構築されます。

${\displaystyle x_{i+1}=x_{i}+\epsilon \nabla _{x}\log p(x)+{\sqrt {2\epsilon }}z_{i},z_{i}\sim {\mathcal {N}}(0,I)}$

のために${\displaystyle i=0,\dots ,K}$。 いつ${\displaystyle \epsilon \rightarrow 0}$そして${\displaystyle K\rightarrow \infty }$、${\displaystyle x_{K}}$目標分布からのサンプルに収束する${\displaystyle p(x)}$。

複雑な分布の場合、その確率密度関数はわかっているものの、そこから直接サンプリングするのが難しい場合は、ランジュバン動力学を代替手段として適用できます。しかし、ほとんどの場合、特に生成モデルでは、サンプリングしたい対象分布の正確な確率密度関数もスコア関数も通常はわかりません。${\displaystyle \nabla _{x}\log p(x)}$この場合、スコアマッチング法^{[ 35 ] [ 36 ] [ 37 ]は}、パラメータ化されたスコアベースモデル間のフィッシャー情報量を最小化する実行可能なソリューションを提供する。${\displaystyle s_{\theta }(x)}$また、正解データのスコアを知らなくてもスコア関数を推定できます。スコア関数は、確率的勾配降下法によってトレーニングデータセット上で推定できます。

しかし、実際のケースでは、トレーニング データはターゲット分布のごく一部しか占めておらず、推定されたスコア関数は、利用可能なデータ 例が少ない他の低密度領域では不正確になります。この課題を克服するために、ノイズ除去スコア マッチング^{[ 34 ] [ 36 ] [ 38 ]}手法では、利用可能なデータ 例にさまざまなスケールのノイズを加えて摂動させ、低密度領域のカバー率を向上させ、それをスコア ベース モデルのトレーニング データセットとして使用します。ノイズ スケールの選択は難しいことに注意してください。ノイズが大きすぎると元のデータが破損し、ノイズが小さすぎると低密度領域に元のデータが配置されません。そのため、より高品質の生成のために、慎重に設計されたノイズ スケジュール^{[ 34 ] [ 37 ] [ 38 ]}が適用されます。

正式には、${\displaystyle \pi }$は定常分布を表し、${\displaystyle P^{t}(x,\cdot )}$マルコフ連鎖の分布${\displaystyle t}$状態から始まるステップ${\displaystyle x}$理論的には、収束は 総変動距離を測定することによって定量化できる。

${\displaystyle d_{\text{TV}}(P^{t}(x,\cdot ),\pi )=\sup _{A}|P^{t}(x,A)-\pi (A)|}$

鎖が急速に混ざり合うのは、${\displaystyle d_{\text{TV}}(P^{t}(x,\cdot ),\pi )\leq \epsilon }$すべての人々のために${\displaystyle x\in {\mathcal {X}}}$わずかなステップで${\displaystyle t}$事前に定義された許容範囲内${\displaystyle \epsilon >0}$言い換えれば、任意の位置から始めてすぐに定常分布に到達し、そのような最小値${\displaystyle t}$これは混合時間として知られています。しかし実際には、特に高次元の問題や、定常分布が正規化定数を除いてしかわかっていない場合（ほとんどのベイズアプリケーションの場合など）には、全変動距離を計算することは一般的に困難です。

ゲルマン・ルービン統計量（潜在的スケール縮小係数（PSRF）とも呼ばれる）は、複数の独立したマルコフ連鎖をサンプリングし、連鎖内および連鎖間の分散を比較することによってMCMC収束を評価する。^{[ 41 ]}すべての連鎖が同じ定常分布に収束した場合、連鎖間および連鎖内の分散は類似しているはずであり、したがってPSRFは1に近づく必要がある。実際には、${\displaystyle <1.1}$これは収束の証拠としてよく用いられる。値が高いほど、チェーンがまだ目標分布の異なる部分を探索していることを示唆する。

Geweke診断は、マルコフ連鎖の初期部分におけるサンプルの分布が、後期部分における分布と統計的に区別できないかどうかを検証する。^{[ 42 ]}相関のあるMCMCサンプルのシーケンスが与えられた場合${\displaystyle \{X_{1},X_{2},\dots ,X_{n}\}}$診断では、鎖を最初の部分からなる初期セグメントに分割します。${\displaystyle n_{A}}$サンプルは、通常次のように選ばれます。${\displaystyle n_{A}=0.1n}$（つまり、チェーンの最初の 10%）、そして最後の部分からなる後期セグメント${\displaystyle n_{B}}$サンプルは、通常次のように選ばれます。${\displaystyle n_{B}=0.5n}$（つまり、チェーンの最後の50%）

これらのセグメントの標本平均を次のように表します。

${\displaystyle {\bar {X}}_{A}={\dfrac {1}{n_{A}}}\sum _{i=1}^{n_{A}}X_{i},\;\;\;{\bar {X}}_{B}={\dfrac {1}{n_{B}}}\sum _{i=n-n_{B}+1}^{n}X_{i}}$

MCMCサンプルは自己相関を持つため、単純なサンプル平均の比較では不十分です。そこで、平均値の差をゼロ周波数におけるスペクトル密度の推定値を用いて標準化します。この推定値は、連鎖における長距離依存性を考慮に入れています。検定統計量は次のように計算されます。

${\displaystyle Z={\dfrac {{\bar {X}}_{A}-{\bar {X}}_{B}}{\sqrt {{\hat {S}}(0)/n_{A}+{\hat {S}}(0)/n_{B}}}}}$

どこ${\displaystyle {\hat {S}}(0)}$は長期分散（すなわち、周波数ゼロにおけるスペクトル密度）の推定値であり、一般的にはニューウェイ・ウェスト推定量またはバッチ平均を使用して推定されます。収束の帰無仮説の下では、統計量${\displaystyle Z}$ほぼ標準正規分布に従う${\displaystyle Z\sim {\mathcal {N}}(0,1)}$。

もし${\displaystyle |Z|>1.96}$帰無仮説は5%の有意水準で棄却され、連鎖がまだ定常状態に達していないことを示唆している。

ハイデルベルガー・ウェルチ診断はスペクトル解析とブラウン運動理論に基づいており、特にシミュレーションの初期段階で適切なバーンインと停止時間を決定するのに役立ちます。^{[ 43 ] [ 44 ]}この診断は、マルコフ連鎖が定常状態に達したかどうかを評価する定常性テストと、推定期待値がユーザー指定の精度内にあるかどうかを判断する半幅テストの2つのコンポーネントで構成されています。

Raftery-Lewis診断は、目標分布の分位数または裾確率を所望の精度と信頼度で推定するために必要な反復回数を評価するように特別に設計されています。^{[ 45 ]}分布全体への収束を評価することに基づくGelman-Rubin診断やGeweke診断とは異なり、Raftery-Lewis診断は目標指向型であり、所望の誤差範囲内で関心のある特定の分位数を推定するために必要なサンプル数の推定値を提供します。

させて${\displaystyle q}$実数値関数の目的の分位数（例：0.025）を表す。${\displaystyle g(X)}$言い換えれば、目標は${\displaystyle u}$そのため${\displaystyle P(g(X)\leq u)=q}$この分位点を推定して、推定値が許容範囲内に収まるようにしたいとします。${\displaystyle \varepsilon }$確率で真の値${\displaystyle 1-\alpha }$つまり、私たちは

${\displaystyle P(|{\hat {q}}-q|<\varepsilon )\geq 1-\alpha }$

診断は、MCMCチェーンの出力をバイナリシーケンスに変換することによって行われます。

${\displaystyle W_{n}=\mathbb {I} (g(X_{n})\leq u),\;\;\;n=1,2,\dots }$

どこ${\displaystyle I(\cdot )}$は指示関数です。${\displaystyle \{W_{n}\}}$これは、2状態マルコフ連鎖の実現値として扱われます。厳密には正しくないかもしれませんが、実際には良い近似となることが多いです。

二進数列における経験的な遷移から、ラフタリー・ルイス法は以下を推定する。

• 最小反復回数${\displaystyle n_{\text{min}}}$分位点を推定するために必要な精度と信頼性は、ベルヌーイ過程の漸近理論に基づいて得られる。

${\displaystyle n_{\text{min}}={\bigg \{}\Phi ^{-1}{\bigg (}1-{\dfrac {\alpha }{2}}{\bigg )}{\bigg \}}^{2}{\dfrac {q(1-q)}{\varepsilon ^{2}}}}$

どこ${\displaystyle \Phi ^{-1}(\cdot )}$これは標準正規分位関数です。

• バーンイン期間${\displaystyle n_{\text{burn}}}$は、遷移行列の固有値解析を用いて計算され、マルコフ連鎖が初期状態を忘れるために必要な初期反復回数を推定する。