潜在的ディリクレ配分

集団遺伝学において、このモデルは個体群における構造化された遺伝的変異の存在を検出するために用いられる。このモデルは、研究対象個体が持つ対立遺伝子が、現存する、あるいは過去の様々な集団に由来すると仮定する。このモデルと様々な推論アルゴリズムを用いることで、科学者はこれらの起源集団における対立遺伝子頻度と、研究対象個体が持つ対立遺伝子の起源を推定することができる。起源集団は、事後的に様々な進化シナリオの観点から解釈することができる。関連研究において、遺伝的構造の存在を検出することは、交絡因子を回避するために必要な予備的ステップであると考えられている。

臨床心理学の研究では、LDAは若者が社会的な状況で経験する自己イメージの共通テーマを特定するために使用されてきました。^{[ 4 ]}他の社会科学者は、ソーシャルメディア上の議論（処方薬に関するツイートなど）からのトピックデータの大規模なセットを分析するためにLDAを使用しています。^{[ 5 ]}

さらに、共変量を用いた教師あり潜在ディリクレ配分（SLDAX）は、テキストで特定された潜在トピックを他の顕在変数と組み合わせるために特別に開発されました。このアプローチにより、テキストデータを統計的回帰分析の予測因子として統合することができ、メンタルヘルスの予測精度が向上します。従来の2段階アプローチに対するSLDAXの主な利点の1つは、バイアスのかかった推定値や不正確な標準誤差を回避できるため、心理学テキストのより正確な分析が可能になることです。^{[ 6 ] [ 7 ]}

社会科学の分野では、LDAはソーシャルメディアの議論などの大規模データセットの分析に有用であることが証明されています。たとえば、研究者はLDAを使用して、処方薬の使用や中国の文化の違いなど、社会的に関連するトピックについて議論するツイートを調査しています。^{[ 8 ]}これらの大規模なテキストコーパスを分析することで、見過ごされがちなパターンやテーマを明らかにすることができ、リアルタイムの公共の議論や認識に関する貴重な洞察が得られます。^{[ 9 ] [ 10 ]}

計算音楽学の分野では、LDAはさまざまなコーパスにおける音調構造の発見に用いられてきた。^{[ 11 ]}

機械学習におけるLDAの応用例の一つ、特に自然言語処理におけるサブ問題であるトピック発見は、文書コレクションからトピックを発見し、コレクション内の個々の文書を、発見された各トピックとの「関連性」に基づいて自動的に分類することです。トピックとは、共通のテーマを示唆する用語（つまり、個々の単語やフレーズ）の集合とみなされます。

例えば、ペット動物に関する文書コレクションでは、「犬」「スパニエル」「ビーグル」「ゴールデンレトリバー」「子犬」 「吠える」 「ワンワン」といった用語は「犬」関連のテーマを示唆し、「猫」「シャム猫」「メインクーン」「トラ猫」「マンクス」「ニャー」「ゴロゴロ」「子猫」といった用語は「猫」関連のテーマを示唆します。コレクションには、食事、グルーミング、健康管理、行動など、他にも多くのトピックが含まれている可能性がありますが、ここでは簡潔にするために触れません。（言語でよく使われる、いわゆるストップワード（例：「the」「an」「that」「are」「is」など）はトピックを区別しないため、LDAを実行する前に前処理で除外されるのが一般的です。また、前処理では用語を「語根」に変換します（例：「barks」「barking」「barked」は「bark」に変換されます）。）

文書コレクションが十分に大きい場合、LDAは個々の用語の共起に基づいてそのような用語セット（つまりトピック）を発見しますが、個々のトピックに意味のあるラベル（つまり、すべての用語がDOG_relatedである）を割り当てる作業はユーザー次第であり、多くの場合、専門知識が必要となります（たとえば、技術文書のコレクションの場合）。LDAアプローチは、次のことを前提としています。

1. 文書の意味内容は、1つまたは複数のトピックから1つまたは複数の用語を組み合わせることによって構成される。
2. 特定の用語は曖昧で、複数のトピックに属し、その可能性はそれぞれ異なります。（例えば、「訓練」という用語は犬と猫の両方に適用できますが、作業動物として使われたり、服従訓練や技能競技に参加したりする犬を指す場合が多いです。）しかし、文書内で、特定のトピックにのみ属する隣接用語が併記されている場合、それらの用語の使用法は明確になります。
3. ほとんどの文書には、比較的少数のトピックしか含まれません。例えば、文書群の中では、個々のトピックは異なる頻度で出現します。つまり、トピックには確率分布があり、特定の文書には他のトピックよりも特定のトピックが含まれる可能性が高いということです。
4. あるトピック内では、特定の用語が他の用語よりもはるかに頻繁に使用される。言い換えれば、トピック内の用語にはそれぞれ固有の出現確率分布が存在する。

LDA機械学習を用いる場合、両方の確率セットは、ベイズ法と期待値最大化アルゴリズムを用いて、トレーニング段階で計算されます。

LDAは、確率的潜在意味解析（pLSA）という古いアプローチの一般化です。pLSAモデルは、一様ディリクレ事前分布の下ではLDAと同等です。^{[ 12 ]} pLSAは上記の最初の2つの仮定のみに依存し、残りは考慮しません。両方の方法は原理的には似ており、トレーニング開始前にユーザーが発見するトピックの数を指定する必要があります（k -meansクラスタリングと同様）。LDAはpLSAに比べて次のような利点があります。

• LDAは、単語の曖昧性解消を向上させ、文書をトピックにより正確に割り当てることを可能にする。
• 確率を計算することで、「生成」プロセスが可能になり、元の文書群の統計的特性を忠実に反映した新しい「合成文書」の集合を生成することができる。
• LDAとは異なり、pLSAは特にコーパスのサイズが大きくなると過学習を起こしやすい。
• LDAアルゴリズムは、コンピューティングクラスタ上でMapReduceアプローチを用いることで、大規模データセットへのスケールアップが容易である。

コーパス内のトピックを実際に推論するために、文書が生成される生成プロセスを想定することで、それを推論、つまりリバースエンジニアリングすることができます。生成プロセスは次のように想定されます。文書は潜在トピックのランダムな混合として表現され、各トピックはすべての単語の分布によって特徴付けられます。LDAは、コーパスに対して次の生成プロセスを想定${\displaystyle D}$から構成される${\displaystyle M}$それぞれ長さの文書${\displaystyle N_{i}}$:

1. 選択する${\displaystyle \theta _{i}\sim \operatorname {Dir} (\alpha )}$、 どこ${\displaystyle i\in \{1,\dots ,M\}}$そして ${\displaystyle \mathrm {Dir} (\alpha )}$は対称パラメータを持つディリクレ分布である${\displaystyle \alpha }$これは通常まばらである（${\displaystyle \alpha <1}$）

2. 選択する${\displaystyle \varphi _{k}\sim \operatorname {Dir} (\beta )}$、 どこ${\displaystyle k\in \{1,\dots ,K\}}$そして${\displaystyle \beta }$通常はまばらである

3. 各単語の位置について${\displaystyle i,j}$、 どこ${\displaystyle i\in \{1,\dots ,M\}}$、 そして${\displaystyle j\in \{1,\dots ,N_{i}\}}$

（a）トピックを選択する${\displaystyle z_{i,j}\sim \operatorname {Multinomial} (\theta _{i}).}$

（b）単語を選びなさい${\displaystyle w_{i,j}\sim \operatorname {Multinomial} (\varphi _{z_{i,j}}).}$

（ここでいう多項分布とは、試行回数が1回のみの多項分布を指し、カテゴリカル分布とも呼ばれます。）

長さ${\displaystyle N_{i}}$他のすべてのデータ生成変数とは独立しているものとして扱われます（${\displaystyle w}$そして${\displaystyle z}$) 下付き文字は、ここに示した図のように省略されることが多い。

LDAの正式な説明は以下のとおりです。

すると、確率変数は数学的に次のように記述できる。

${\displaystyle {\begin{aligned}{\boldsymbol {\varphi }}_{k=1\dots K}&\sim \operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim \operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{V}({\boldsymbol {\varphi }}_{z_{dw}})\end{aligned}}}$

Pritchard らによる元の論文^{[ 1 ]}では、モンテカルロ シミュレーションによる事後分布の近似が用いられた。推論手法の代替案としては、ギブス サンプリングがある。^{[ 13 ]}

元のML論文では、事後分布の変分ベイズ近似が使用されました。^{[ 2 ]}

ブロック緩和アルゴリズムによる尤度の直接最適化は、MCMC の高速な代替手段であることが証明されている。^{[ 14 ]}

実際には、最適な集団数やトピック数は事前にわかっていません。可逆ジャンプマルコフ連鎖モンテカルロ法による事後分布の近似によって推定できます。^{[ 15 ]}

代替アプローチとしては 期待値伝播法がある。^{[ 16 ]}

近年の研究は、膨大な数の文書から大量のトピックを捉えることを支援するために、潜在的ディリクレ配分の推論を高速化することに焦点を当てています。前述の縮約ギブスサンプラーの更新式には、利用できる自然なスパース性があります。直感的に、各文書にはトピックのサブセットしか含まれていないため、${\displaystyle K_{d}}$また、単語はトピックのサブセットにのみ出現する。${\displaystyle K_{w}}$上記の更新式は、この疎性を利用するように書き換えることができる。^{[ 17 ]}

${\displaystyle p(Z_{d,n}=k)\propto {\frac {\alpha \beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{d}\beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{w}(\alpha +C_{k}^{d})}{C_{k}^{\neg n}+V\beta }}}$

この方程式には3つの項があり、そのうち2つは疎で、残りの1つは小さい。これらの項を${\displaystyle a,b}$そして${\displaystyle c}$それぞれ。ここで、各項をすべてのトピックにわたって合計することで正規化すると、次のようになります。

${\displaystyle A=\sum _{k=1}^{K}{\frac {\alpha \beta }{C_{k}^{\neg n}+V\beta }}}$

${\displaystyle B=\sum _{k=1}^{K}{\frac {C_{k}^{d}\beta }{C_{k}^{\neg n}+V\beta }}}$

${\displaystyle C=\sum _{k=1}^{K}{\frac {C_{k}^{w}(\alpha +C_{k}^{d})}{C_{k}^{\neg n}+V\beta }}}$

ここでは、${\displaystyle B}$これは文書に登場するトピックの要約です${\displaystyle d}$、 そして${\displaystyle C}$また、単語が扱うトピックの簡潔な要約でもある。${\displaystyle w}$コーパス全体にわたって割り当てられます。${\displaystyle A}$一方、は密ですが、の値が小さいため${\displaystyle \alpha }$＆${\displaystyle \beta }$その値は、他の2つの項に比べて非常に小さい。

さて、トピックをサンプリングする際に、ランダム変数を一様にサンプリングすると、${\displaystyle s\sim U(s|\mid A+B+C)}$サンプルがどのバケットに入るかを確認できます。${\displaystyle A}$小さいので、このバケツに陥る可能性は非常に低いですが、このバケツに陥った場合は、トピックのサンプリングには${\displaystyle O(K)}$時間 (元の Collapsed Gibbs Sampler と同じ)。ただし、他の 2 つのバケットに該当する場合は、疎なトピックの記録を保持すれば、トピックのサブセットのみをチェックすれば済みます。トピックは、${\displaystyle B}$バケット${\displaystyle O(K_{d})}$時間、そしてトピックは${\displaystyle C}$バケット${\displaystyle O(K_{w})}$時間${\displaystyle K_{d}}$そして${\displaystyle K_{w}}$それぞれ、現在の文書および現在の単語タイプに割り当てられているトピックの数を示します。

各トピックをサンプリングした後、これらのバケットを更新するのはすべて基本的なことです。${\displaystyle O(1)}$算術演算。

以下は、縮退ギブスサンプリングの式を導出したものである。${\displaystyle \varphi }$sと${\displaystyle \theta }$sは積分消去されます。簡略化のため、この導出では文書はすべて同じ長さであると仮定します。${\displaystyle N_{}}$文書の長さが異なる場合でも、この導出は同様に有効である。

このモデルによると、モデル全体の確率は次のとおりです。

${\displaystyle P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )=\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})P(W_{j,t}\mid \varphi _{Z_{j,t}}),}$

ここで、太字の変数は変数のベクトルバージョンを表します。まず、${\displaystyle {\boldsymbol {\varphi }}}$そして${\displaystyle {\boldsymbol {\theta }}}$統合から除外する必要がある。

${\displaystyle {\begin{aligned}&P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )=\int _{\boldsymbol {\theta }}\int _{\boldsymbol {\varphi }}P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )\,d{\boldsymbol {\varphi }}\,d{\boldsymbol {\theta }}\\={}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}.\end{aligned}}}$

すべての${\displaystyle \theta }$は互いに独立しており、すべて同じです。${\displaystyle \varphi }$s。だから私たちはそれぞれを扱うことができます${\displaystyle \theta }$そしてそれぞれ${\displaystyle \varphi }$別々に。私たちは今、${\displaystyle \theta }$一部。

${\displaystyle \int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}=\prod _{j=1}^{M}\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.}$

さらに、1つだけに焦点を当てることができます${\displaystyle \theta }$以下のように：

${\displaystyle \int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.}$

実際には、それはモデルの隠された部分です。${\displaystyle j^{th}}$文書。ここで、上記の式の確率を真の分布式に置き換えて、明示的な式を書き出します。

${\displaystyle \int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1}\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.}$

させて${\displaystyle n_{j,r}^{i}}$単語トークンの数${\displaystyle j^{th}}$同じ単語記号を持つ文書（${\displaystyle r^{th}}$語彙の中の単語）に割り当てられた${\displaystyle i^{th}}$トピック。それで、${\displaystyle n_{j,r}^{i}}$は3次元です。3次元のいずれかが特定の値に制限されていない場合は、括弧付きの点を使用します。${\displaystyle (\cdot )}$示す。例えば、${\displaystyle n_{j,(\cdot )}^{i}}$は、単語トークンの数を表します。${\displaystyle j^{th}}$割り当てられた文書${\displaystyle i^{th}}$トピック。したがって、上記の式の右端の部分は次のように書き換えることができます。

${\displaystyle \prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})=\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}.}$

だから${\displaystyle \theta _{j}}$積分式は次のように変更できます。

${\displaystyle \int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}.}$

積分内の式はディリクレ分布と同じ形式です。ディリクレ分布によれば、

${\displaystyle \int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}=1.}$

したがって、

${\displaystyle {\begin{aligned}&\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}.\end{aligned}}}$

次に、${\displaystyle {\boldsymbol {\varphi }}}$部分。実際には、${\displaystyle {\boldsymbol {\varphi }}}$その部分は${\displaystyle {\boldsymbol {\theta }}}$パート。ここでは導出の手順のみを列挙します。

${\displaystyle {\begin{aligned}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{\beta _{r}-1}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}+\beta _{r}-1}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}$

分かりやすくするために、ここでは両方の式を含む最終的な方程式を書き出します。${\displaystyle {\boldsymbol {\phi }}}$そして${\displaystyle {\boldsymbol {\theta }}}$統合アウト:

${\displaystyle P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )=\prod _{j=1}^{M}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\times \prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.}$

ここでのギブスサンプリングの目的は、分布を近似することです。${\displaystyle P({\boldsymbol {Z}}\mid {\boldsymbol {W}};\alpha ,\beta )}$。 以来${\displaystyle P({\boldsymbol {W}};\alpha ,\beta )}$Z のいずれに対しても不変であり、ギブスサンプリング方程式は以下から導出できる。${\displaystyle P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )}$直接的に。重要な点は、以下の条件付き確率を導出することです。

${\displaystyle P(Z_{(m,n)}\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )={\frac {P(Z_{(m,n)},{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}{P({\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}},}$

どこ${\displaystyle Z_{(m,n)}}$は${\displaystyle Z}$隠された変数${\displaystyle n^{th}}$単語トークン${\displaystyle m^{th}}$文書。さらに、その単語のシンボルは${\displaystyle v^{th}}$語彙の中の単語、つまり${\displaystyle W_{(m,n)}=v}$。${\displaystyle {\boldsymbol {Z_{-(m,n)}}}}$すべてを表す${\displaystyle Z}$s しかし${\displaystyle Z_{(m,n)}}$ギブスサンプリングでは、値をサンプリングする必要があるのは${\displaystyle Z_{(m,n)}}$上記の確率によれば、正確な値は必要ない。

${\displaystyle P\left(Z_{m,n}\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta \right)}$

しかし、確率の比率は${\displaystyle Z_{(m,n)}}$値をとることができます。したがって、上記の式は次のように簡略化できます。

${\displaystyle {\begin{aligned}P(&Z_{(m,n)}=k\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&\propto P(Z_{(m,n)}=k,{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&=\left({\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\right)^{M}\prod _{j\neq m}{\frac {\prod _{i=1}^{K}\Gamma \left(n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\left({\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\right)^{K}\prod _{i=1}^{K}\prod _{r\neq v}\Gamma \left(n_{(\cdot ),r}^{i}+\beta _{r}\right){\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto {\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto \prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}$

最後に${\displaystyle n_{j,r}^{i,-(m,n)}}$同じ意味である${\displaystyle n_{j,r}^{i}}$しかし、${\displaystyle Z_{(m,n)}}$除外。上記の式は、ガンマ関数の性質を利用してさらに簡略化できます。まず総和を分割し、次にそれを再び結合して、次の式を得ます。${\displaystyle k}$-独立した合計（省略可能）：

${\displaystyle {\begin{aligned}&\propto \prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}+1\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}+1\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}+1\right)}}\\[8pt]&=\prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&=\prod _{i}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&\propto \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\end{aligned}}}$

なお、同じ式はディリクレ多項分布に関する記事でも導出されており、ベイジアンネットワークからディリクレ分布の事前分布を統合するというより一般的な議論の一部として用いられています。

トピックモデリングは、リンクトデータとセマンティックウェブ技術を使用した情報検索の問題に対する古典的な解決策です。 ^{[ 18 ]}関連するモデルと技術には、潜在意味インデックス、独立成分分析、確率的潜在意味インデックス、非負行列因子分解、ガンマ・ポアソン分布などがあります。

LDA モデルは高度にモジュール化されているため、簡単に拡張できます。主な関心分野は、トピック間の関係をモデル化することです。これは、ディリクレ分布の代わりに単体上の別の分布を使用することで実現されます。相関トピック モデル^{[ 19 ]}はこのアプローチに従い、ディリクレ分布の代わりにロジスティック正規分布を使用することで、トピック間の相関構造を誘導します。もう 1 つの拡張は階層的 LDA (hLDA) ^{[ 20 ]}で、ネストされた中国料理店プロセスを使用してトピックを階層的に結合し、その構造はデータから学習されます。LDA は、LDA デュアル モデル^{[ 21 ]}のように、文書に 2 種類の情報 (単語と名前など) が含まれるコーパスにも拡張できます。LDA のノンパラメトリック拡張には、トピックの数を無制限にしてデータから学習できる階層的ディリクレ プロセス混合モデルが含まれます。

前述のように、pLSAはLDAと類似しています。LDAモデルは基本的にpLSAモデルのベイズ版です。ベイズ法はデータへの過学習を回避できるため、ベイズ定式化は小規模データセットでより優れた性能を発揮する傾向があります。非常に大規模なデータセットでは、2つのモデルの結果は収束する傾向があります。1つの違いは、pLSAが変数を使用することです。${\displaystyle d}$トレーニングセット内の文書を表現するため。したがって、pLSA では、モデルが以前に見たことのない文書が提示された場合、固定します。${\displaystyle \Pr(w\mid z)}$トピックの下にある単語の確率は、トレーニングセットから学習されたものであり、同じEMアルゴリズムを使用して推論します。${\displaystyle \Pr(z\mid d)}$—トピック分布${\displaystyle d}$ブレイ氏は、この手順は実質的に新しいデータに合わせてモデルを再適合させることになるため、不正行為だと主張している。

進化生物学では、観察された個体の地理的位置がその祖先に関する情報をもたらすと考えるのが自然であることが多い。これは、地理参照遺伝子データのさまざまなモデルの根拠となっている。^{[ 15 ] [ 22 ]}

LDAのバリエーションは、画像を文書として扱い、画像の小さな部分を単語として扱うことで、「寝室」や「森」などのカテゴリに自然画像を自動的に分類するために使用されてきました。^{[ 23 ]}そのバリエーションの1つは、空間潜在ディリクレ配分と呼ばれています。^{[ 24 ]}