ギブスサンプリング

統計学において、ギブス サンプリングまたはギブス サンプラーは、結合分布からの直接サンプリングが難しいが条件付き分布からのサンプリングの方が実用的な場合に、指定された多変量確率分布からサンプリングを行うマルコフ連鎖モンテカルロ(MCMC) アルゴリズムです。このシーケンスは、結合分布を近似する (たとえば、分布のヒストグラムを生成する) 、変数の 1 つまたは変数のサブセット (たとえば、未知のパラメーターまたは潜在変数) の周辺分布を近似する、または積分を計算する(変数の 1 つの期待値など) ために使用できます。通常、変数の一部は値がわかっている観測値に対応しているため、サンプリングする必要はありません。

ギブスサンプリングは、統計的推論、特にベイズ推論の手段としてよく使用されます。これはランダム化アルゴリズム（つまり、乱数を使用するアルゴリズム）であり、期待値最大化アルゴリズム（EM）などの統計的推論の決定論的アルゴリズムの代替手段です。

他の MCMC アルゴリズムと同様に、ギブス サンプリングでは、各サンプルが近くのサンプルと相関するマルコフ チェーンのサンプルが生成されます。そのため、独立したサンプルが必要な場合は注意が必要です。一般に、チェーンの先頭 (バーンイン期間) からのサンプルは、目的の分布を正確に表していない可能性があるため、通常は破棄されます。

ギブスサンプリングは、サンプリングアルゴリズムと統計物理学の類似性から、物理学者ジョサイア・ウィラード・ギブスにちなんで名付けられました。このアルゴリズムは、ギブスの死後約80年経った1984年にスチュアート・ジェマンとドナルド・ジェマンの兄弟によって発表され、 ^[1]統計コミュニティでは周辺確率分布、特に事後分布を計算するために普及しました。^[2]

ギブス サンプリングは、基本バージョンでは、メトロポリス-ヘイスティングス アルゴリズムの特殊なケースです。ただし、拡張バージョン (以下を参照) では、各変数 (または場合によっては各変数グループ) を順番にサンプリングすることにより、多数の変数からサンプリングするための一般的なフレームワークと見なすことができ、メトロポリス-ヘイスティングス アルゴリズム(またはスライス サンプリングなどの方法) を組み込んで、1 つ以上のサンプリング ステップを実装できます。

ギブスサンプリングは、結合分布が明示的に知られていないか、直接サンプリングするのが難しいが、各変数の条件付き分布がわかっていて、サンプリングが容易（または少なくともより容易）な場合に適用できます。ギブスサンプリングアルゴリズムは、他の変数の現在の値を条件として、各変数の分布からインスタンスを順番に生成します。サンプルのシーケンスはマルコフ連鎖を構成し、そのマルコフ連鎖の定常分布がまさに求められている結合分布であることが示されます。^[3]

ベイジアンネットワークは通常、条件付き分布の集合として指定されるため、 ギブスサンプリングはベイジアンネットワークの事後分布をサンプリングするのに特に適しています。

ギブスサンプリングは、その基本的な形態では、メトロポリス-ヘイスティングスアルゴリズムの特殊なケースです。ギブスサンプリングのポイントは、多変量分布が与えられた場合、結合分布を積分して周辺化するよりも、条件付き分布からサンプリングする方が簡単であるということです。次元ランダムベクトルのサンプルを取得したいとします。繰り返して進めます。 ${\displaystyle k}$${\displaystyle n}$${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})}$

• 何らかの初期値から始めます。${\displaystyle \mathbf {X} ^{(0)}}$
• サンプル が与えられた場合、次のサンプル を取得するには、の分布から各成分を、これまでにサンプリングされたすべての成分を条件としてサンプリングすることができます。つまり、すべての に対してを、 に対してを条件とします。つまり、分布 に従ってサンプリングします。${\displaystyle \mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)}$${\displaystyle \mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)}$${\displaystyle x_{j}^{(i+1)}}$${\displaystyle X_{j}}$${\displaystyle X_{\ell}^{(i+1)}}$${\displaystyle \ell \leq j-1}$${\displaystyle X_{\ell}^{(i)}}$${\displaystyle j+1\leq \ell \leq n}$${\displaystyle x_{j}^{(i+1)}}$${\displaystyle P\left(X_{j}=\cdot |X_{1}=x_{1}^{(i+1)},\dots ,X_{j-1}=x_{j-1}^{(i+1)},X_{j+1}=x_{j+1}^{(i)},\dots ,X_{n}=x_{n}^{(i)}\right)}$

このようなサンプリングが実行されると、次の重要な事実が成立します。

• サンプルはすべての変数の結合分布を近似します。
• 変数の任意のサブセットの周辺分布は、その変数のサブセットのサンプルのみを考慮し、残りを無視するだけで近似できます。
• 任意の変数の期待値は、すべてのサンプルを平均することで近似できます。

サンプリングを実行する場合:

• 変数の初期値はランダムに決定することも、期待値最大化などの他のアルゴリズムによって決定することもできます。
• 実際には、最初にサンプリングされる変数の初期値を決定する必要はありません。
• 一般的には、最初にいくつかのサンプルを無視し (いわゆるバーンイン期間)、その後は期待値を計算するために値を平均するときに、 番目のサンプルごとにのみ考慮します。たとえば、最初の 1,000 個のサンプルを無視し、その後 100 番目のサンプルごとに平均し、残りはすべて破棄します。この理由は、(1)マルコフ連鎖の定常分布は変数に対する望ましい結合分布ですが、その定常分布に到達するまでにしばらく時間がかかる可能性がある、(2) 連続するサンプルは互いに独立しているのではなく、ある程度の相関関係を持つマルコフ連鎖を形成するためです。場合によっては、アルゴリズムを使用してサンプル間の自己相関の量と、そこから計算される (実際に使用されるサンプル間の期間) の値を決定することができますが、実際にはかなりの量の「黒魔術」が関係しています。${\displaystyle n}$${\displaystyle n}$
• シミュレーテッド アニーリングのプロセスは、サンプリング プロセスの初期段階での「ランダム ウォーク」動作 (つまり、サンプル空間内を、望んでいるように素早く動き回るのではなく、サンプル間の自己相関が高い状態でゆっくりと移動する傾向) を減らすためによく使用されます。自己相関を減らす可能性のあるその他の手法には、コラプス ギブス サンプリング、ブロック ギブス サンプリング、および順序付き過剰緩和があります。以下を参照してください。

さらに、他のすべての変数を前提とした 1 つの変数の条件付き分布は、結合分布、つまりのすべての可能な値に対して比例します。 ${\displaystyle (x_{i})_{1\leq i\leq n}}$${\displaystyle \mathbf {X} }$

${\displaystyle P(X_{j}=x_{j}\mid (X_{i}=x_{i})_{i\neq j})={\frac {P((X_{i}=x_{i})_{i})}{P((X_{i}=x_{i})_{i\neq j})}}\propto P((X_{i}=x_{i})_{i})}$

この場合の「比例する」とは、分母が の関数ではなく、したがって のすべての値に対して同じであることを意味します。これは、上の分布の正規化定数の一部を形成します。実際には、因子 の条件付き分布の性質を決定するには、変数上のグラフィカル モデルによって定義された個々の条件付き分布に従って結合分布を因数分解し、 の関数ではないすべての因子を無視し(これらすべてが上記の分母とともに正規化定数を構成します)、必要に応じて最後に正規化定数を復元するのが最も簡単です。実際には、これは次の 3 つのいずれかを実行することを意味します。 ${\displaystyle x_{j}}$${\displaystyle x_{j}}$${\displaystyle x_{j}}$${\displaystyle x_{j}}$${\displaystyle x_{j}}$

1. 分布が離散的である場合、 のすべての可能な値の個々の確率が計算され、合計されて正規化定数が求められます。${\displaystyle x_{j}}$
2. 分布が連続的で、形式が既知の場合は、正規化定数も既知になります。
3. その他の場合、ほとんどのサンプリング方法では正規化定数は必要ないため、通常は無視できます。

ギブス サンプリングは、統計的推論(たとえば、特定の日に特定の店舗で買い物をする可能性のある人の数、投票者が投票する可能性が最も高い候補者などを決定するなど、パラメータの最適な値を決定する) によく使用されます。その考え方は、観測データの各部分に個別の変数を作成し、それらの変数からサンプリングするのではなく、問題の変数を観測値に固定することで、観測データをサンプリング プロセスに組み込むというものです。残りの変数の分布は、観測データに基づいて条件付けされた事後分布になります。

最も頻繁に発生するサンプル値を選択することで、目的のパラメータの最も可能性の高い値 (モード) を簡単に選択できます。これは、パラメータの最大事後推定と本質的に同等です。(パラメータは通常連続しているため、モードの有意な推定値を得るためには、サンプル値を有限数の範囲または「ビン」の 1 つに「ビン」分けする必要がある場合がよくあります。) ただし、より一般的には、サンプル値の期待値(平均または平均値) が選択されます。これは、ベイズ サンプリングから得られる分布全体に関する追加データを利用するベイズ推定量ですが、期待値最大化(EM) などの最大化アルゴリズムでは、分布から 1 つのポイントしか返すことができません。たとえば、単峰性分布の場合、平均 (期待値) は通常、モード (最も一般的な値) に似ていますが、分布が一方向に偏っている場合、平均はその方向に移動され、その方向の余分な確率質量が効果的に説明されます。 (分布が多峰性である場合、期待値は意味のあるポイントを返さない可能性があり、通常はいずれかのモードを選択する方がよいでしょう。)

変数の一部は、通常、関心のあるパラメータに対応しますが、その他の変数は、変数間の関係を適切に表現するためにモデルに導入された、関心のない (「不要」な) 変数です。サンプリングされた値はすべての変数の結合分布を表しますが、不要変数は、期待値またはモードを計算するときに単に無視できます。これは、不要変数を周辺化することと同じです。複数の変数の値が必要な場合は、期待値は各変数ごとに個別に計算されます。(ただし、モードを計算する場合は、すべての変数をまとめて考慮する必要があります。)

教師あり学習、教師なし学習、半教師あり学習（欠損値のある学習とも呼ばれます）はすべて、値がわかっているすべての変数の値を固定し、残りからサンプリングするだけで処理できます。

観測データの場合、観測ごとに 1 つの変数が存在します。たとえば、観測セットの標本平均または標本分散に対応する 1 つの変数が存在するわけではありません。実際、一般的には、「標本平均」や「標本分散」などの概念に対応する変数はまったく存在しません。代わりに、このような場合には、未知の真の平均と真の分散を表す変数が存在し、これらの変数の標本値はギブス サンプラーの操作によって自動的に決定されます。

一般化線型モデル（線型回帰のバリエーション）も、ギブスサンプリングで処理できる場合があります。たとえば、正規分布の事前分布を回帰係数に配置して、特定のバイナリ（はい/いいえ）選択の確率を決定するプロビット回帰は、追加の変数を追加して共役性を利用できるため、ギブスサンプリングで実装できます。ただし、ロジスティック回帰はこのように処理できません。1つの可能性は、ロジスティック関数を正規分布の混合（通常は7〜9）で近似することです。ただし、より一般的には、ギブスサンプリングではなく メトロポリス-ヘイスティングスが使用されます。

長さ のパラメータ ベクトルに依存し、事前分布 の分布からサンプルが取得されるとします。 は非常に大きい可能性があり、 の周辺密度を見つけるための数値積分は計算コストが高くなる場合があります。その場合、周辺密度を計算する別の方法は、次の 2 つの手順を繰り返して、空間上にマルコフ連鎖を作成することです。 ${\displaystyle \left.X\right.}$${\displaystyle \theta \in \Theta \,\!}$${\displaystyle \left.d\right.}$${\displaystyle g(\theta _{1},\ldots ,\theta _{d})}$${\displaystyle \left.d\right.}$${\displaystyle \left.\theta _{i}\right.}$${\displaystyle \left.\Theta \right.}$

1. ランダムなインデックスを選択する${\displaystyle 1\leq j\leq d}$
2. に従って新しい値を選択します${\displaystyle \left.\theta _{j}\right.}$${\displaystyle g(\theta _{1},\ldots ,\theta _{j-1},\,\cdot \,,\theta _{j+1},\ldots ,\theta _{d})}$

これらのステップは、望ましい不変分布 を持つ可逆マルコフ連鎖を定義します。これは次のように証明できます。すべて に対してを定義し、が からへのジャンプの確率を表すものとします。すると、遷移確率は次のようになります。 ${\displaystyle \left.g\right.}$${\displaystyle x\sim _{j}y}$${\displaystyle \left.x_{i}=y_{i}\right.}$${\displaystyle i\neq j}$${\displaystyle \left.p_{xy}\right.}$${\displaystyle x\in \Theta }$${\displaystyle y\in \Theta }$

${\displaystyle p_{xy}={\begin{cases}{\frac {1}{d}}{\frac {g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}&x\sim _{j}y\\0&{\text{otherwise}}\end{cases}}}$

それで

${\displaystyle g(x)p_{xy}={\frac {1}{d}}{\frac {g(x)g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}={\frac {1}{d}}{\frac {g(y)g(x)}{\sum _{z\in \Theta :z\sim _{j}y}g(z)}}=g(y)p_{yx}}$

は同値関係であるため、詳細なバランス方程式は満たされ、連鎖は可逆であり、不変分布を持つことが示唆されます。 ${\displaystyle x\sim _{j}y}$${\displaystyle \left.g\right.}$

実際には、インデックスはランダムに選択されるわけではなく、チェーンはインデックスを順番に循環します。一般的に、これは非定常マルコフ過程をもたらしますが、個々のステップは依然として可逆的であり、全体的なプロセスは依然として望ましい定常分布を持ちます (チェーンが固定された順序ですべての状態にアクセスできる限り)。 ${\displaystyle \left.j\right.}$

を標本分布から生成された観測値とし、をパラメータ空間でサポートされた事前分布とする。ベイズ統計学の中心的な目標の1つは、事後密度を近似することである。 ${\displaystyle y}$${\displaystyle f(y|\theta )}$${\displaystyle \pi (\theta )}$${\displaystyle \Theta }$

${\displaystyle \pi (\theta |y)={\frac {f(y|\theta )\cdot \pi (\theta )}{m(y)}}}$

ここで、周辺尤度はすべての に対して有限であると仮定されます。 ${\displaystyle m(y)=\int _{\Theta }f(y|\theta )\cdot \pi (\theta )d\theta }$${\displaystyle y}$

ギブスサンプラーを説明するために、パラメータ空間が次のように分解される と仮定する。${\displaystyle \Theta }$

${\displaystyle \Theta =\prod _{i=1}^{K}\Theta _{i}=\Theta _{1}\times \cdots \Theta _{i}\times \cdots \times \Theta _{K},\quad \quad (K>1)}$、

ここで、 は直積を表します。各成分パラメータ空間は、スカラー成分、サブベクトル、または行列のセットになります。 ${\displaystyle \times }$${\displaystyle \Theta _{i}}$

を補完する集合を定義する。ギブスサンプラーの本質的な要素は、各${\displaystyle \Theta _{-i}}$${\displaystyle \Theta _{i}}$${\displaystyle i}$${\displaystyle i=1,\cdots ,K}$

${\displaystyle \pi (\theta _{i}|\theta _{-i},y)=\pi (\theta _{i}|\theta _{1},\cdots ,\theta _{i-1},\theta _{i+1},\cdots ,\theta _{K},y)}$。

次のアルゴリズムは、一般的なギブス サンプラーの詳細を示します。

${\displaystyle {\text{Initialize: pick arbitrary starting value}}\,\,\theta ^{(1)}=(\theta _{1}^{(1)},\theta _{2}^{(1)},\cdots ,\theta _{i}^{(1)},\theta _{i+1}^{(1)},\cdots ,\theta _{K}^{(1)})}$

${\displaystyle {\text{Iterate a Cycle:}}\,}$

${\displaystyle \quad \quad {\text{Step 1. draw}}\,\,\theta _{1}^{(s+1)}\sim \pi (\theta _{1}|\theta _{2}^{(s)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad {\text{Step 2. draw}}\,\,\theta _{2}^{(s+1)}\sim \pi (\theta _{2}|\theta _{1}^{(s+1)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad \quad \vdots }$

${\displaystyle \quad \quad {\text{Step i. draw}}\,\,\theta _{i}^{(s+1)}\sim \pi (\theta _{i}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i-1}^{(s+1)},\theta _{i+1}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad {\text{Step i+1. draw}}\,\,\theta _{i+1}^{(s+1)}\sim \pi (\theta _{i+1}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i}^{(s+1)},\theta _{i+2}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad \quad \vdots }$

${\displaystyle \quad \quad {\text{Step K. draw}}\,\,\theta _{K}^{(s+1)}\sim \pi (\theta _{K}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{K-1}^{(s+1)},y)}$

${\displaystyle {\text{end Iterate}}}$

ギブスサンプラーは、サイクル内で反復モンテカルロ方式によって実行されることに注意してください。上記のアルゴリズムによって抽出されたサンプルの数は、不変分布を持つマルコフ連鎖をターゲット密度になるように定式化します。 ${\displaystyle S}$${\displaystyle \{\theta ^{(s)}\}_{s=1}^{S}}$${\displaystyle \pi (\theta |y)}$

ここで、各 に対して、次の情報理論的量を定義します。 ${\displaystyle i=1,\cdots ,K}$

${\displaystyle I(\theta _{i};\theta _{-i})={\text{KL}}(\pi (\theta |y)||\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y))=\int _{\Theta }\pi (\theta |y)\log {\bigg (}{\frac {\pi (\theta |y)}{\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y)}}{\bigg )}d\theta ,}$

${\displaystyle H(\theta _{-i})=-\int _{\Theta _{-i}}\pi (\theta _{-i}|y)\log \pi (\theta _{-i}|y)d\theta _{-i},}$

${\displaystyle H(\theta _{-i}|\theta _{i})=-\int _{\Theta }\pi (\theta |y)\log \pi (\theta _{-i}|\theta _{i},y)d\theta ,}$

すなわち、事後相互情報量、事後微分エントロピー、事後条件付き微分エントロピーである。同様に、定義された量の と を入れ替えることで、情報理論的な量、、を定義することができる。すると、次の式が成り立つ。^[4]${\displaystyle I(\theta _{-i};\theta _{i})}$${\displaystyle H(\theta _{i})}$${\displaystyle H(\theta _{i}|\theta _{-i})}$${\displaystyle i}$${\displaystyle -i}$${\displaystyle K}$

${\displaystyle I(\theta _{i};\theta _{-i})=H(\theta _{-i})-H(\theta _{-i}|\theta _{i})=H(\theta _{i})-H(\theta _{i}|\theta _{-i})=I(\theta _{-i};\theta _{i}),\quad (i=1,\cdots ,K)}$。

相互情報量は、事後的に がわかれば、ランダム量の不確実性の減少を定量化します。相互情報量がゼロになるのは、 と が限界的に独立している場合のみです(事後)。相互情報量は、ギブス サンプラーの 1 サイクル内で、ステップから ステップ に伝達される量として解釈できます。 ${\displaystyle I(\theta _{i};\theta _{-i})}$${\displaystyle \theta _{i}}$${\displaystyle \theta _{-i}}$${\displaystyle \theta _{i}}$${\displaystyle \theta _{-i}}$${\displaystyle I(\theta _{i};\theta _{-i})}$${\displaystyle i}$${\displaystyle i+1}$

基本的なギブス サンプラーにはさまざまなバリエーションがあります。これらのバリエーションの目的は、サンプル間の自己相関を十分に低減して、追加の計算コストを克服することです。

• ブロックギブス サンプラーは、 2 つ以上の変数をグループ化し、各変数から個別にサンプリングするのではなく、他のすべての変数を条件とする結合分布からサンプリングします。たとえば、隠れマルコフ モデルでは、ブロック ギブス サンプラーは、前方後方アルゴリズムを使用して、マルコフ連鎖を構成するすべての潜在変数から一度にサンプリングする場合があります。

• 折りたたまれたギブス サンプラーは、他の変数をサンプリングするときに 1 つ以上の変数を積分（周辺化）します。たとえば、モデルが 3 つの変数A、B、Cで構成されているとします。単純なギブス サンプラーは、 p ( A  |  B、C )、次にp ( B  |  A、C )、次にp ( C  |  A、B )からサンプリングします。折りたたまれたギブス サンプラーは、 Aのサンプリング ステップを周辺分布p ( A  |  C )から取得したサンプルに置き換え、この場合は変数Bを積分します。または、変数B を完全に折りたたんで、p ( A  |  C ) とp ( C  |  A ) から交互にサンプリングし、 B をまったくサンプリングしないこともできます。親変数Bを折りたたんだときに生じる変数A上の分布は複合分布と呼ばれます。この分布からのサンプリングは、 B がAの共役事前分布である場合、特にAとB が指数族のメンバーである場合に、一般的に扱いやすくなります。詳細については、複合分布に関する記事またはLiu（1994）を参照してください。^[5]

潜在ディリクレ配分や自然言語処理で使用されるその他のさまざまなモデルなど、カテゴリ変数を含む階層的ベイズモデルでは、カテゴリ変数の事前分布として通常使用されるディリクレ分布を折りたたむことが非常に一般的です。この折りたたむと、特定のディリクレ事前分布に依存するすべてのカテゴリ変数間に依存関係が導入され、折りたたんだ後のこれらの変数の結合分布はディリクレ多項分布になります。この分布内の特定のカテゴリ変数の条件付き分布は、他の分布を条件として、非常に単純な形式を想定しているため、折りたたまなかった場合よりもギブスサンプリングがさらに簡単になります。ルールは次のとおりです。

1. ディリクレ事前分布ノードを折りたたむと、事前分布の親ノードと子ノードにのみ影響します。親ノードは定数であることが多いため、通常は子ノードのみに注意する必要があります。
2. ディリクレ事前分布を折りたたむと、その事前分布に依存するすべてのカテゴリの子の間に依存関係が生じますが、他のカテゴリの子の間には追加の依存関係は生じません。(これは、たとえば、同じ超事前分布によって関連付けられた複数のディリクレ事前分布がある場合に覚えておくことが重要です。各ディリクレ事前分布は独立して折りたたむことができ、その直接の子にのみ影響します。)
3. 集約後、ある従属子が他の従属子に対して持つ条件付き分布は、非常に単純な形をとります。つまり、特定の値が発生する確率は、この値に対応する超事前分布と、同じ値を想定する他のすべての従属ノードの数の合計に比例します。同じ事前分布に依存しないノードはカウントしてはいけません。変分ベイズや期待値最大化などの他の反復推論法でも同じルールが適用されます。ただし、変分ベイズ法や期待値最大化法などの他の反復推論法でも、部分カウントを保持する方法が採用されている場合は、問題の値の部分カウントを他のすべての従属ノードにわたって合計する必要があります。この合計された部分カウントは、期待カウントなどと呼ばれることもあります。確率は結果の値に比例します。実際の確率は、カテゴリ変数が取り得るすべての可能な値にわたって正規化することによって決定する必要があります (つまり、カテゴリ変数の可能な値ごとに計算結果を合計し、計算結果すべてをこの合計で割ります)。
4. 特定のカテゴリ ノードに従属する子ノードがある場合 (たとえば、混合モデルの潜在変数である場合)、前の手順で計算された値 (期待カウントと事前値、または計算された値) に、親ノードが与えられた場合のすべての子ノードの実際の条件付き確率 (確率に比例する計算値ではありません) を乗算する必要があります。詳細な説明については、ディリクレ多項分布に関する記事を参照してください。
5. 特定のディリクレ事前分布に依存するノードのグループ メンバーシップが他の変数 (たとえば、トピック モデル内の別の潜在カテゴリ変数によってインデックス付けされたカテゴリ変数) に応じて動的に変化する可能性がある場合でも、同じ期待カウントが計算されますが、正しい変数セットが含まれるように慎重に行う必要があります。トピック モデルのコンテキストを含む詳細については、ディリクレ多項分布に関する記事を参照してください。

一般に、共役事前分布は、その子のみが共役な分布を持つ場合、折りたたむことができます。関連する数学については、複合分布に関する記事で説明されています。子ノードが 1 つしかない場合、結果は既知の分布を前提とすることがよくあります。たとえば、ガウスの子が 1 つあるネットワークから逆ガンマ分布の 分散を折りたたむと、スチューデントの t 分布が生成されます。(さらに言えば、ガウスの子が 1 つある場合の平均と分散の両方を折りたたむと、両方が共役、つまりガウス平均、逆ガンマ分散であれば、スチューデントの t 分布が生成されます。)

複数の子ノードがある場合、ディリクレ-カテゴリカルの場合と同様に、それらはすべて依存するようになります。結果として得られる結合分布は、いくつかの点で複合分布に似た閉じた形式になりますが、その中には子ノードごとに 1 つずつ、多数の因子の積が含まれます。

さらに、最も重要なのは、他のノード（折りたたまれたノードの親も与えられているが、子ノードの子は与えられていない）を与えられた子ノードの 1 つの結果の条件付き分布は、残りのすべての子ノードの事後予測分布と同じ密度を持つということです。さらに、事後予測分布は、パラメータは異なりますが、単一ノードの基本的な複合分布と同じ密度を持ちます。一般的な式は、複合分布に関する記事に記載されています。

たとえば、共役事前分布が平均と分散に配置された条件付き独立同一分布の ガウス分布ノードのセットを持つベイズネットワークを考えると、平均と分散の両方を合成した後の 1 つのノードの条件付き分布は、他のノードを与えられた場合、スチューデントの t 分布になります。同様に、多数のポアソン分布ノードのガンマ事前分布を合成した結果、他のノードを与えられた 1 つのノードの条件付き分布は、負の二項分布を想定することになります。

複合によって既知の分布が生成されるこのようなケースでは、効率的なサンプリング手順が存在することが多く、それらを使用すると、（必ずしもそうとは限りませんが）折りたたまずに前のノードと子ノードの両方を個別にサンプリングするよりも効率的になることがよくあります。ただし、複合分布が既知でない場合は、一般的に指数族に属さず、通常は対数凹ではないため（閉じた形式が常に存在するため、適応拒否サンプリングを使用してサンプリングするのは簡単になります）、サンプリングが容易ではない可能性があります。

折りたたまれたノードの子ノード自体に子がある場合、グラフ内の他のすべてのノードを与えられたこれらの子ノードの 1 つの条件付き分布では、これらの第 2 レベルの子の分布を考慮する必要があります。特に、結果の条件付き分布は、上で定義した複合分布と、親を与えられた (ただし、子は与えられていない) すべての子ノードの条件付き分布の積に比例します。これは、完全な条件付き分布が結合分布に比例するという事実から導かれます。折りたたまれたノードの子ノードが連続している場合、この分布は一般に既知の形式ではなく、よく知られていない複合分布について上で説明したのと同じ理由で、閉じた形式を記述できるにもかかわらず、サンプリングが困難になる可能性があります。ただし、子ノードが離散である場合は、これらの子ノードの子が連続しているか離散的であるかに関係なく、サンプリングは実行可能です。実際、ここで関係する原理は、ディリクレ多項式分布に関する記事でかなり詳細に説明されています。

• 順序付き過剰緩和ギブスサンプラーは、任意のステップでの候補値を奇数個サンプリングし、 の単一の値とともに、明確に定義された順序に従ってソートします。がソートされたリストでs^番目に小さい場合、 はソートされたリストでs^番目に大きい値として選択されます。詳細については、Neal (1995) を参照してください。^[6]${\displaystyle x_{j}^{(i)}}$${\displaystyle x_{j}^{(i-1)}}$${\displaystyle x_{j}^{(i-1)}}$${\displaystyle x_{j}^{(i)}}$

ギブス サンプリングをさまざまな方法で拡張することもできます。たとえば、条件付き分布から簡単にサンプリングできない変数の場合、スライス サンプリングの 1 回の反復またはメトロポリス-ヘイスティングス アルゴリズムを使用して、問題の変数からサンプリングできます。ランダム変数ではないが、その値が他の変数から決定論的に計算される変数を組み込むこともできます。 一般化線形モデル、たとえばロジスティック回帰(別名「最大エントロピーモデル」) をこの方法で組み込むことができます。(たとえば、BUGS では、このようなモデルの混合が可能です。)

ギブスサンプリングが失敗するケースは2つあります。1つ目は、高確率状態の島があり、それらの間にパスがない場合です。たとえば、2ビットベクトルの確率分布を考えてみましょう。ベクトル (0,0) と (1,1) のそれぞれの確率は⁠1/2⁠ですが、他の 2 つのベクトル (0,1) と (1,0) の確率は 0 です。ギブス サンプリングは、2 つの高確率ベクトルの 1 つに閉じ込められ、もう 1 つに到達することはありません。より一般的には、高次元の実数値ベクトル上の分布では、ベクトルの特定の 2 つの要素が完全に相関している場合 (または完全に反相関している場合)、それらの 2 つの要素は固定され、ギブス サンプリングではそれらを変更できなくなります。

2番目の問題は、すべての状態が非ゼロの確率を持ち、高確率状態の島が1つしかない場合でも発生する可能性があります。たとえば、100ビットベクトル上の確率分布を考えてみましょう。ここで、すべてゼロのベクトルは確率で発生します。1/2⁠、そして他のすべてのベクトルは等確率であるため、それぞれに確率があります。ゼロベクトルの確率を推定したい場合は、真の分布から 100 または 1000 のサンプルを取得すれば十分です。これにより、 ⁠に非常に近い答えが得られる可能性が非常に高くなります。${\displaystyle {\frac {1}{2(2^{100}-1)}}}$1/2⁠ 。しかし、同じ結果を得るには、 おそらくギブスサンプリングからより多くのサンプルを採取する必要があるでしょう。これは、一生かかっても実行できるコンピューターではありません。${\displaystyle 2^{100}}$

この問題は、バーンイン期間がどれだけ長くても発生します。これは、真の分布では、ゼロ ベクトルが半分の時間で発生し、それらの発生が非ゼロ ベクトルとランダムに混ざり合うためです。小さなサンプルでも、ゼロ ベクトルと非ゼロ ベクトルの両方が見られます。しかし、ギブス サンプリングでは、長期間 (約 連続して) ゼロ ベクトルのみを返し、次に長期間 (約 連続して) 非ゼロ ベクトルのみを返します。したがって、真の分布への収束は非常に遅く、ステップよりもはるかに多くのステップが必要になります。これほど多くのステップを実行することは、妥当な期間内に計算上実行可能ではありません。ここでの収束が遅いのは、次元の呪いの結果と見ることができます。このような問題は、100 ビット ベクトル全体を一度にブロック サンプリングすることで解決できます (これは、100 ビット ベクトルがより大きな変数セットの一部であることを前提としています。このベクトルがサンプリングされる唯一のものである場合、ブロック サンプリングはギブス サンプリングをまったく行わないことと同等であり、これは仮定により困難です)。 ${\displaystyle 2^{99}}$${\displaystyle 2^{99}}$${\displaystyle 2^{99}}$

• OpenBUGSソフトウェア(ギブス サンプリングを使用したベイズ推論)は、マルコフ連鎖モンテカルロを使用して複雑な統計モデルのベイズ分析を実行します。

• JAGS ( Just another Gibbs sampler ) は、マルコフ連鎖モンテカルロ法を使用してベイズ階層モデルを分析するための GPL プログラムです。

• Church は、確率プログラムとして指定された任意の分布に対してギブス推論を実行するためのフリー ソフトウェアです。

• PyMC は、一般的な確率的グラフィカル モデルのベイズ学習のためのオープン ソースPythonライブラリです。
• Turing は、確率的プログラミングを使用したベイズ推論のためのオープンソースのJuliaライブラリです。

• ビショップ、クリストファー M. (2006)、パターン認識と機械学習、Springer、ISBN 978-0-387-31073-2
• ボルスタッド、ウィリアム M. (2010)、計算ベイズ統計の理解、ジョン ワイリーISBN 978-0-470-04609-8 
• Casella, G.; George, EI (1992). 「ギブスサンプラーの説明」.アメリカ統計学者. 46 (3): 167. CiteSeerX  10.1.1.554.3993 . doi :10.2307/2685208. JSTOR  2685208.(基本的な概要と多くの参考文献が含まれています。)
• ゲルファンド、アラン E.; スミス、エイドリアン FM (1990)、「サンプリングに基づく限界密度の計算方法」、アメリカ統計学会誌、85 (410): 398–409、doi :10.2307/2289776、JSTOR  2289776、MR  1141740
• Gelman, A.、 Carlin JB、 Stern HS、 Dunson D.、 Vehtari A.、 Rubin DB (2013)、「ベイジアンデータ分析」、第 3 版。ロンドン: Chapman & Hall。
• Levin, David A.; Peres, Yuval ; Wilmer, Elizabeth L. (2008)、「マルコフ連鎖と混合時間」、アメリカ数学会。
• Robert, CP; Casella, G. (2004)、「モンテカルロ統計手法（第2版）」、Springer-Verlag。