ディリクレ多項分布

確率論および統計学において、ディリクレ多項分布は、非負整数の有限台上の離散多変量確率分布の族です。これは、ディリクレ複合多項分布（DCM）または多変量ポリア分布（ジョージ・ポリアにちなんで）とも呼ばれます。これは複合確率分布であり、確率ベクトルpは、パラメータベクトルを持つディリクレ分布から抽出されます。 ${\boldsymbol {\alpha }}$ 、そして確率ベクトルpと試行回数nを持つ多項分布から抽出された観測値。ディリクレパラメータベクトルは状況に関する事前の信念を捉え、擬似カウントと見なすことができます。これは、実際のデータが収集される前に発生する各結果の観測値です。この合成は、ポリアの壺スキームに対応します。これは、ベイズ統計、機械学習、経験ベイズ法、および古典統計において、過分散多項分布として頻繁に登場します。

n = 1の場合には、カテゴリカル分布に帰着します。また、α が大きい場合には、多項分布を任意に良好に近似します。ディリクレ多項分布は、ベータ二項分布の多変量拡張です。多項分布とディリクレ分布は、それぞれ二項分布とベータ分布の多変量バージョンだからです。

仕様

複合分布としてのディリクレ多項分布

ディリクレ分布は多項分布の共役分布です。この事実から、解析的に扱いやすい複合分布が得られます。カテゴリカウントのランダムベクトルの場合、 $\mathbf {x} =(x_{1},\dots ,x_{K})$ 多項分布に従って分布する場合、周辺分布は、ディリクレ分布に従うランダムベクトルと考えることができるpの分布を積分することによって得られます。

\Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})=\int _{\mathbf {p} }\mathrm {Mult} (\mathbf {x} \mid n,\mathbf {p} )\mathrm {Dir} (\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p}

その結果、以下の明示的な式が得られる。

\Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}

どこ $\displaystyle \alpha _{0}}$ は合計として定義される $\displaystyle \alpha _{0}=\sum \alpha _{k}}$ この同じ複合分布をベータ関数Bを用いてより簡潔に表した別の形式は次のとおりです。

$\Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {nB\left(\alpha _{0},n\right)}{\prod _{k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.$

後者の形式は、計算においてカウントがゼロのカテゴリを無視できることを強調しています。これは、カテゴリの数が非常に多く、かつ疎である場合（例えば、文書内の単語数など）に役立ちます。

pdfがベータ二項分布であることに注目してください。 $K=2$ また、多項分布に近づくことも示せる。 $\displaystyle \alpha _{0}}$ 無限大に近づく。パラメータ $\displaystyle \alpha _{0}}$ 多項分布に対する過分散またはバースト性の度合いを制御する。 $\displaystyle \alpha _{0}}$ 文献にはSとAが見られる。

ディリクレ多項分布を壺モデルとして用いる

ディリクレ多項分布は、ベクトルの正の整数値に対する壺モデルによっても説明できる。 ${\boldsymbol {\alpha }}$ ポリアの壺モデルとして知られています。具体的には、ボールが入った壺を想像してください。 $K$ 色の番号付け $\displaystyle \alpha _{i}}$ i 番目の色については、ランダムにボールが引かれます。ボールがランダムに引かれて観察されると、同じ色のボールが 2 つ壺に戻されます。これが実行されると、 $n$ 回数、そしてランダムベクトルを観測する確率 $x$ 色のカウントは、パラメータを持つディリクレ多項分布です。 $n$ そして ${\boldsymbol {\alpha }}$ ランダム抽出が単純復元抽出（観察されたボール以外にボールを壺に追加しない）で行われる場合、分布は多項分布に従い、ランダム抽出が非復元抽出で行われる場合、分布は多変量超幾何分布に従います。

物件

瞬間

もう一度、 $\displaystyle \alpha _{0}=\sum \alpha _{k}}$ そして $p_{i}={\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}$ すると、n回の試行で結果iが観測される期待回数は

\operatorname {E} (X_{i})=np_{i}=n{\frac {\alpha _{i}}{\alpha _{0}}}.\,

共分散行列は次のようになります。各対角要素はベータ二項分布に従う確率変数の分散であり、したがって

\operatorname {var} (X_{i})=np_{i}(1-p_{i})\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,

対角以外の要素は共分散です。

\operatorname {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right)\,

iとj は異なる。

すべての共分散は負の値になります。なぜなら、 nが固定されている場合、ディリクレ多項式ベクトルの1つの成分が増加すると、他の成分が減少する必要があるからです。

これは、ランクK − 1のK × K正定値半行列です。

対応する相関行列の要素は次のとおりです。

\rho (X_{i},X_{i})=1.

\rho (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sqrt {\operatorname {var} (X_{i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{j}(1-p_{j})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}}}=-{\sqrt {\frac {\alpha _{i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.

この式ではサンプルサイズは省略されます。

k個の各成分はそれぞれベータ二項分布に従う。

ディリクレ多項分布のサポートは集合である。

\{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}|n_{1}+\cdots +n_{k}=n\}.\,

その要素数は

{n+k-1 \choose k-1}.

行列表記

行列表記では、

\operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,

そして

\operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right),\,

$p T$ = 列ベクトル $p$ の行ベクトル転置とする。

\alpha _{0}={\frac {1-\rho ^{2}}{\rho ^{2}}}\,

代わりに次のように書くことができます

\operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,

パラメータ $\rho \!$ これは「クラス内相関」または「クラスター内相関」として知られています。この正の相関が、多項分布に対する過分散を引き起こす原因となります。

集約

もし

X=(X_{1},\ldots ,X_{K})\sim \operatorname {DM} (\alpha _{1},\cdots ,\alpha _{K})

次に、添え字iとjを持つ確率変数をベクトルから削除し、それらの合計に置き換えると、

X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {DM} \left(\alpha _{1},\cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).

この集計特性は、周辺分布を導出するために使用できます。 $X_{i}$ 。

尤度関数

概念的には、 K個のカテゴリを持つカテゴリ分布からN個の独立した抽出を行っています。これらの独立した抽出をランダムなカテゴリ変数として表現しましょう。 $z_{n}$ のために $n=1\dots N$ 特定のカテゴリが出現した回数を、 $k$ 見られた（ $k=1\dots K$ すべてのカテゴリ変数の中で $n_{k}$ 、そして $\sum _{k}n_{k}=N$ すると、この問題については2つの異なる見解がある。

セット $N$ カテゴリ変数 $z_{1},\dots ,z_{N}$ 。
単一のベクトル値変数 $\mathbf {x} =(n_{1},\dots ,n_{K})$ 多項分布に従って分布する。

前者は個々の結果を指定する確率変数の集合であり、後者はK個のカテゴリそれぞれの結果の数を指定する変数である。両者の確率分布はそれぞれ異なるため、この区別は重要である。

カテゴリ分布のパラメータは $\mathbf {p} =(p_{1},p_{2},\dots ,p_{K}),$ どこ $p_{k}$ 値を引く確率は $k$ ; $\mathbf {p}$ 同様に、多項分布のパラメータでもある。 $P(\mathbf {x} |\mathbf {p} )$ 指定する代わりに $\mathbf {p}$ 直接的に、共役事前分布を与えると、パラメータベクトルを持つディリクレ分布から抽出されます。 ${\boldsymbol {\alpha }}=(\alpha _{1},\alpha _{2},\ldots ,\alpha _{K})$ 。

統合することで $\mathbf {p}$ すると、複合分布が得られます。ただし、分布の形状は、どの視点を取るかによって異なります。

個々の結果のセットについて

共同分配

カテゴリ変数については $\mathbb {Z} =z_{1},\dots ,z_{N}$ 周辺同時分布は、積分によって得られる。 $\mathbf {p}$ :

\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p}

その結果、以下の明示的な式が得られる。

\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)}{\Gamma \left(N+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}

どこ $\Gamma$ はガンマ関数であり、

\alpha _{0}=\sum _{k}\alpha _{k}{\text{ and }}N=\sum _{k}n_{k}{\text{, and where }}n_{k}={\text{number of }}z_{n}{\text{'s with the value }}k.

この式は各カテゴリ内の出現回数に対する確率ではなく、カテゴリ変数の系列の確率に関するものであるため、多項係数は含まれていないことに注意してください。

変数は $z_{1},\dots ,z_{N}$ 上記の式には明示的には現れませんが、 $n_{k}$ 価値観。

条件付き分布

特にギブスサンプリングの文脈で役立つもう1つの公式は、特定の変数の条件付き密度は何かという問いである。 $z_{n}$ これは、他のすべての変数（これを次のように表す）を条件としている。 $\mathbb {Z} ^{(-n)}$ ）非常にシンプルな形式であることが判明しました。

\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\propto n_{k}^{(-n)}+\alpha _{k}

どこ $n_{k}^{(-n)}$ カテゴリのカウント数を指定します $k$ 以外のすべての変数で見られる $z_{n}$ 。

この公式の導出方法を示すと役立つかもしれません。一般に、条件付き分布は対応する同時分布に比例するので、すべての同時分布の上記の公式から始めます。 $z_{1},\dots ,z_{N}$ 値を設定し、特定の値に依存しない要因を排除します。 $z_{n}$ 問題となっている。これを行うために、次の表記法を使用する。 $n_{k}^{(-n)}$ 上記で定義したとおり、

n_{j}={\begin{cases}n_{j}^{(-n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{cases}}

また、

\Gamma (n+1)=n\Gamma (n)

それから：

{\begin{aligned}&\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\\\propto \ &\Pr(z_{n}=k,\mathbb {Z} ^{(-n)}\mid {\boldsymbol {\alpha }})\\=\ &\ {\frac {\Gamma \left(\alpha _{0}\right)}{\Gamma \left(N+\alpha _{0}\right)}}\prod _{j=1}^{K}{\frac {\Gamma (n_{j}+\alpha _{j})}{\Gamma (\alpha _{j})}}\\\propto \ &\prod _{j=1}^{K}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}^{(-n)}+1+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\Gamma (n_{k}^{(-n)}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\prod _{j}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\\propto \ &n_{k}^{(-n)}+\alpha _{k}\\\end{aligned}}

一般的に、条件付き分布の式を導出する際には、正規化定数について心配する必要はありません。正規化定数は、分布からのサンプリングアルゴリズムの一部として決定されます（カテゴリカル分布#サンプリングを参照）。ただし、条件付き分布を上記の単純な形式で記述すると、正規化定数も単純な形式になることがわかります。

\sum _{k}\left(n_{k}^{(-n)}+\alpha _{k}\right)=\alpha _{0}+\sum _{k}n_{k}^{(-n)}=\alpha _{0}+N-1

したがって

\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})={\frac {n_{k}^{(-n)}+\alpha _{k}}{\alpha _{0}+N-1}}

この式は、極限を取ることによって得られる中国料理店のプロセスと密接に関連しています。 $K\to \infty$ 。

ベイジアンネットワークでは

より大きなベイジアンネットワークにおいて、カテゴリカル分布（またはいわゆる「多項分布」）がディリクレ分布の事前分布とともにネットワークの一部として存在する場合、ディリクレ事前分布に依存するノードがカテゴリカル分布のみである限り、すべてのディリクレ事前分布を統合することができます。統合は、各ディリクレ分布ノードごとに他のノードとは独立して行われ、カテゴリカル分布に依存する可能性のある他のノードの有無に関わらず行われます。また、カテゴリカル分布がディリクレ事前分布以外のノードに依存しているかどうかにも関わらず行われます（ただし、その場合、他のノードは追加の条件付け因子として残しておく必要があります）。基本的に、特定のディリクレ分布ノードに依存するすべてのカテゴリカル分布は、上記の式で定義される単一のディリクレ多項分布に統合されます。このように定義された統合分布は、統合されたディリクレ事前分布ノードの親ノード、およびディリクレ事前分布ノード以外のカテゴリカルノードの親ノードに依存します。

以下のセクションでは、ベイジアンネットワークでよく見られるさまざまな構成について説明します。上記の確率密度を繰り返し、記号を用いて定義します。 $\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})$ :

\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}

同じ超事前分布を持つ複数のディリクレ事前分布

次のような階層モデルを想像してみてください。

{\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\end{array}}

このような場合、複数のディリクレ事前分布が存在し、それぞれが一定数のカテゴリカル観測値を生成します（事前分布ごとに異なる数になる場合もあります）。それらがすべて同じ超事前分布に依存しているという事実は、たとえそれが上記のように確率変数であっても、何ら違いを生みません。ディリクレ事前分布を積分消去すると、その事前分布に付随するカテゴリカル変数がリンクされ、それらの同時分布はディリクレ事前分布の条件付け要因をそのまま継承します。複数の事前分布が超事前分布を共有しているという事実は、何ら違いを生みません。

\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})

どこ $\mathbb {Z} _{d}$ これは、事前のdに依存するカテゴリ変数の集合です。

したがって、条件付き確率分布は次のように表すことができます。

\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},{\boldsymbol {\alpha }})\ \propto \ n_{k,d}^{(-n)}+\alpha _{k}

どこ $n_{k,d}^{(-n)}$ 具体的には、セット内の変数の数を意味します $\mathbb {Z} _{d}$ （除く） $z_{dn}$ それ自体が価値を持つ $k$ 。

対象となる変数と同じ事前分布を持つことで関連付けられている、値kを持つ変数のみを数える必要があります。値kを持つ他の変数は数える必要はありません。

同じ超事前分布を持つ複数のディリクレ事前分布と、それに依存する子

では、もう少し複雑な階層モデルを以下のように想像してみましょう。

{\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{some other distribution}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})\end{array}}

このモデルは上記と同じですが、さらに各カテゴリ変数にはそれに依存する子変数があります。これは混合モデルの典型的な特徴です。

繰り返しになりますが、同時分布では、同じ事前分布に依存するカテゴリ変数のみが単一のディリクレ多項分布にリンクされます。

\Pr(\mathbb {Z} ,\mathbb {W} \mid {\boldsymbol {\alpha }},{\boldsymbol {\phi }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})

親と祖先のみに依存するカテゴリ変数の条件付き分布は、より単純なケースでは上記と同じ形式になります。しかし、ギブスサンプリングでは、特定のノードの条件付き分布を決定する必要があります。 $z_{dn}$ 依存しているのは $\mathbb {Z} ^{(-dn)}$ そして、次のような祖先 $\alpha$ しかし、他のすべてのパラメータについては。

条件付き分布の簡略化された式は、上記で示した同時確率の式を書き換えて定数項を取り除くことで簡単に導出できます。したがって、このモデルのように、ディリクレ多項分布の密度関数と、カテゴリ変数の値に依存する他の多くの確率変数の係数から構成される、より大規模な同時確率の式にも、同様の簡略化を適用できます。

これにより、以下の結果が得られます。

\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha }},{\boldsymbol {\phi }})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})

ここで確率密度は $\operatorname {F}$ 直接表示されます。 $z_{dn}$ 我々は、すべてのK の可能性について正規化されていない確率を計算する。 $z_{dn}$ 上記の式を用いて正規化し、カテゴリ分布に関する記事で説明されているアルゴリズムに従って通常どおり処理を進めてください。

厳密に言えば、条件付き分布に現れる追加要素は、モデル仕様からではなく、結合分布から直接導出されます。この区別は、ディリクレ事前分布を持つ親ノードが複数の子ノードに依存するモデル、特にそれらの子ノードが互いに依存している場合（例えば、親ノードが共通で、その親ノードが縮約されている場合）に重要となります。これについては後述します。

複数のディリクレ事前分布と、事前分布メンバーシップの変動

ここで、以下のような階層モデルを想像してみましょう。

{\begin{array}{lcl}{\boldsymbol {\theta }}&\sim &{\text{some distribution}}\\z_{n=1\dots N}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }})\\{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\alpha }})\\w_{n=1\dots N}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{n}})\\\end{array}}

ここでは、以前と同様に複数のディリクレ事前分布と従属カテゴリ変数のセットが存在するものの、事前分布と従属変数の関係が以前とは異なり固定されていないという、やや厄介な状況が生じます。代わりに、どの事前分布を使用するかの選択は、別のランダムなカテゴリ変数に依存します。これは、例えばトピックモデルで発生し、実際、上記の変数名は潜在ディリクレ配分における変数名に対応するように意図されています。この場合、セットは $\mathbb {W}$ は単語のセットであり、それぞれの単語は $K$ 可能なトピック、各トピックは語彙に対するディリクレ事前分布である $V$ トピック内の様々な単語の出現頻度を示す可能性のある単語。ただし、特定の単語のトピックへの所属は固定されておらず、むしろ一連の潜在変数から決定される。 $\mathbb {Z}$ 単語ごとに潜在変数が1つあります。 $K$ 単語が属するトピックを指定する、n次元のカテゴリ変数。

この場合、与えられた事前分布に依存するすべての変数は、以前と同様にグループ内で結び付けられ（つまり相関し）、具体的には、特定のトピックに属するすべての単語がリンクされます。ただし、この場合、グループのメンバーシップは変化し、単語は特定のトピックに固定されるのではなく、トピックは単語に関連付けられた潜在変数の値に依存します。しかし、ディリクレ多項分布の密度の定義は、実際にはグループ内のカテゴリ変数の数（つまり、特定のトピックから生成された文書内の単語の数）には依存せず、グループ内の変数のうち特定の値を持つ変数の数（つまり、特定のトピックから生成されたすべての単語トークンのうち、特定の単語がいくつあるか）にのみ依存します。したがって、結合分布の明示的な式を記述することができます。

\Pr(\mathbb {W} \mid {\boldsymbol {\alpha }},\mathbb {Z} )=\prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha }})=\prod _{k=1}^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^{k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v})}{\Gamma (\alpha _{v})}}\right]

ここでは、表記法を使用します。 $n_{v}^{k}$ 単語記号vの値が与えられ、トピックkに属する単語トークンの数を表す。

条件付き分布は依然として同じ形式です。

\Pr(w_{n}=v\mid \mathbb {W} ^{(-n)},\mathbb {Z} ,{\boldsymbol {\alpha }})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}

ここでも、特定のトピックに属する単語のカテゴリ変数のみがリンクされています（ただし、このリンクは潜在変数の割り当てに依存します）。したがって、単語数は特定のトピックによって生成された単語のみを対象としればよいのです。したがって、この記号は $n_{v}^{k,(-n)}$ これは、単語記号vを持つ単語トークンの数ですが、トピックkによって生成されたもののみを対象とし、分布が記述されている単語自体は除外されます。

（単語自体を除外する必要がある理由、そしてそもそも除外することが意味を持つ理由は、ギブスサンプリングの文脈では、すべての以前の変数をサンプリングした後、各確率変数の値を繰り返し再サンプリングするからです。したがって、変数は既に値を持っているため、使用するさまざまなカウントからこの既存の値を除外する必要があります。）

組み合わせた例：LDAトピックモデル

ここでは、上記のシナリオのいくつかを組み合わせて、現実世界のモデル、具体的には平滑化された潜在的ディリクレ配分（LDA）トピックモデルをギブスサンプリングする方法を示します。

モデルは以下のとおりです。

{\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{dn}})\\\end{array}}

基本的に、これまでの３つのシナリオを組み合わせます。すなわち、ハイパー事前分布を共有する複数の事前分布に依存するカテゴリ変数、依存する子変数（潜在変数トピックの識別子）を持つカテゴリ変数、そしてハイパー事前分布を共有する複数の事前分布への所属が変化するカテゴリ変数です。標準的なLDAモデルでは、単語は完全に観測されるため、再サンプリングする必要はありません。（ただし、単語の一部または全部が観測されない場合でも、ギブスサンプリングは同様に可能です。そのような場合、結果として得られる事後潜在変数分布が意味をなすように、例えば機械翻訳モデルのような文を生成するプロセスの出力から、単語の分布を何らかの妥当な方法で初期化する必要があります。）

上記の公式を用いると、条件付き確率を直接書き出すことができます。

{\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &(\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\\\end{array}}

ここでは、単語数とトピック数を明確に区別するために、カウントをより具体的に定義しました。

{\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among topic }}k{\text{ excluding }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{number of topics having value }}k{\text{ among document }}d{\text{ excluding }}z_{dn}\\\end{array}}

上記のように、従属子を持つカテゴリ変数の場合と同様に、これらの従属子の条件付き確率は、親の条件付き確率の定義に現れます。この場合、各潜在変数には従属子となる単語が1つしかないため、そのような項は1つだけ現れます。（従属子が複数ある場合は、異なる親と同一の子の間に重複があるかどうか、つまり、ある親の従属子が他の親も持っているかどうかに関わらず、すべての従属子が親の条件付き確率に現れる必要があります。子が複数の親を持つ場合、その子の条件付き確率は、それぞれの親の条件付き確率の定義に現れます。）

上記の定義では、単語の正規化されていない条件付き確率のみが指定されていますが、トピックの条件付き確率には実際の（つまり正規化された）確率が必要です。したがって、すべての単語記号について合計することで正規化する必要があります。

{\begin{array}{rcl}\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v'})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}}\end{array}}

どこ

{\begin{array}{lcl}\#\mathbb {W} ^{k}&=&{\text{number of words generated by topic }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}

また、条件付き確率の上記の2番目の要素に関するもう1つの点を詳しく述べておく価値があります。条件付き分布は一般に同時分布から導出され、条件付き分布の定義域（縦棒の左側の部分）に依存しない項を削除することによって単純化されることを覚えておいてください。ノードが $z$ 扶養家族がいる場合、1つ以上の要因が存在します $\operatorname {F} (\dots \mid z)$ 結合分布において依存するもの $z$ 通常、各依存ノードには 1 つの因子があり、その因子は数学的定義に現れる分布と同じ密度関数を持ちます。ただし、依存ノードに別の親 (共親) も存在し、その共親が縮約されると、そのノードはその共親を共有する他のすべてのノードに依存するようになり、そのようなノードごとに複数の項の代わりに、結合分布には 1 つの結合項のみが含まれます。ここではまさにその状況です。 $z_{dn}$ 子供は一人だけ $w_{dn}$ その子には、私たちが縮約したディリクレ共同親子関係があり、それがノードの集合全体にわたってディリクレ多項式を誘導します。 $\mathbb {W} ^{k}$ 。

この場合、この問題が大きな問題を引き起こさないのは、まさに次の1対1の関係によるものです。 $z_{dn}$ そして $w_{dn}$ 結合分布は次のように書き換えることができます。

{\begin{array}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\end{array}}

セット内の $\mathbb {W} ^{k,(-dn)}$ （つまりノードの集合） $\mathbb {W} ^{k}$ 除外 $w_{dn}$ ）、どのノードも $z_{dn}$ 親として。したがって、条件付け要因として排除することができ（2行目）、つまり、条件付き分布から要因全体を排除することができます（3行目）。

2つ目の例：ナイーブベイズ文書クラスタリング

ここに、異なる課題を抱えた別のモデルを示します。これは、文書クラスタリングのための教師なしナイーブベイズモデルの実装です。つまり、テキストの内容に基づいて、文書を複数のカテゴリ（例えば、「スパム」または「非スパム」、「学術論文」、「金融に関する新聞記事」、「政治に関する新聞記事」、「ラブレター」など）に分類したいと考えています。ただし、どの文書についても正しいカテゴリは事前に分かっていません。代わりに、相互の類似性に基づいてクラスタリングを行います。（例えば、一連の学術論文は単語の使い方が互いに似ている傾向がありますが、一連のラブレターとは大きく異なります。）これは教師なし学習の一種です。（同じ手法は、半教師あり学習にも使用できます。つまり、文書の一部について正しいカテゴリが分かっており、その知識を利用して残りの文書をクラスタリングする場合です。）

モデルは以下のとおりです。

{\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{d}})\\\end{array}}

多くの点で、このモデルは上述のLDA トピックモデルと非常によく似ていますが、単語ごとに1つのトピックではなく、文書ごとに1つのトピックを想定しており、文書は複数のトピックの混合から構成されています。これは上記のモデルを見れば明らかで、潜在変数が単語ごとではなく文書ごとに1つだけである点を除けば、LDAモデルと同一です。ここでも、すべてのディリクレ事前分布を統合することを前提としています。

特定の単語の条件付き確率は、LDA の場合とほぼ同じです。ここでも、同じディリクレ事前分布によって生成されたすべての単語は相互に依存しています。この場合、これは特定のラベルを持つすべての文書の単語を意味します。これもラベルの割り当てによって異なる場合がありますが、ここでは合計カウントのみに関心があります。したがって、次のようになります。

{\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\end{array}}

どこ

{\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among documents with label }}k{\text{ excluding }}w_{dn}\\\end{array}}

しかし、ラベル割り当ての潜在変数の条件付き分布には重要な違いがあります。それは、特定のラベル変数が1つではなく複数の子ノードを持つということです。具体的には、ラベルの文書内のすべての単語に対応するノードです。これは、上記の因子に関する議論と密接に関連しています。 $\operatorname {F} (\dots \mid z_{d})$ これは結合分布から生じる。この場合、結合分布は、値と等しいラベル割り当てを含むすべての文書のすべての単語について取得する必要がある。 $z_{d}$ 、そしてディリクレ多項分布の値をとります。さらに、この同時分布を単一の単語に対する条件付き分布に縮小することはできません。むしろ、問題のラベルの文書内の単語に対するより小さな同時条件付き分布に縮小することしかできず、したがって、期待カウントと事前確率の単純な和が得られる上記のトリックを使用してこれを単純化することはできません。実際には、このような個々の和の積として書き直すことは可能ですが、因子の数が非常に多く、ディリクレ多項分布の確率を直接計算するよりも明らかに効率的ではありません。

用途

ディリクレ多項分布は、自動文書分類およびクラスタリング、遺伝学、経済学、戦闘モデリング、定量的マーケティングなどの分野で利用されている。

参考文献

引用文献

1 2 3 4 Glüsenkamp, T. (2018). "重み付きモンテカルロデータの有限サイズによる不確実性の確率的処理". EPJ Plus . 133 (6): 218. arXiv : 1712.01293 . Bibcode : 2018EPJP..133..218G . doi : 10.1140/epjp/i2018-12042-x . S2CID 125665629 .
↑ Zhou, M. (2018). "Nonparametric Bayesian Negative Binomial Factor Analysis" . Bayesian Analysis . 13 (4): 1065– 1093. arXiv : 1604.07464 . doi : 10.1214/17-BA1070の定理 1。

情報源

Elkan, C. (2006)ディリクレ複合多項分布の指数族近似による文書のクラスタリング. ICML, 289–296.
Johnson, NL、Kotz, S.、Balakrishnan, N. (1997) 離散多変量分布 (第 165 巻)。ニューヨーク: Wiley。
Kvam, P. および Day, D. (2001) 戦闘モデリングにおける多変量ポリア分布。Naval Research Logistics、48、1–17。
Madsen, RE、Kauchak, D.、Elkan, C. (2005)ディリクレ分布を用いた単語のバースト性のモデリング. ICML、545–552。
Minka, T. (2003)ディリクレ分布の推定。マイクロソフトリサーチの技術報告書。データに分布を適合させるためのMatlabコードが含まれています。
Mosimann, JE (1962)複合多項分布、多変量β分布、および比率間の相関について. Biometrika, 49(1–2), 65–82.
Wagner, U. および Taudes, A. (1986) ブランド選択と購入発生に関する多変量ポリアモデル。マーケティングサイエンス、5(3)、219–244。

[Gluesenkamp2018-1] 1 2 3 4 Glüsenkamp, T. (2018). "重み付きモンテカルロデータの有限サイズによる不確実性の確率的処理". EPJ Plus . 133 (6): 218. arXiv : 1712.01293 . Bibcode : 2018EPJP..133..218G . doi : 10.1140/epjp/i2018-12042-x . S2CID 125665629 .

[Zhou2018-2] Zhou, M. (2018). "Nonparametric Bayesian Negative Binomial Factor Analysis" . Bayesian Analysis . 13 (4): 1065– 1093. arXiv : 1604.07464 . doi : 10.1214/17-BA1070の定理 1。

[ 2 ]