ディリクレ過程

確率論において、ディリクレ過程（ピーター・グスタフ・ルジューヌ・ディリクレに関連付けられた分布に由来）は、その実現が確率分布である確率過程のファミリーです。言い換えると、ディリクレ過程は、その範囲自体が確率分布の集合である確率分布です。ベイズ推論では、ランダム変数の分布に関する事前知識、つまりランダム変数が特定の分布に従って分布する可能性がどの程度あるかを 説明するためによく使用されます。

たとえば、現実世界のサイコロ 100 個が入った袋はランダムな確率質量関数(ランダム PMF)です。このランダム PMF をサンプリングするには、袋の中に手を入れてサイコロを 1 つ引きます。つまり、PMF を引きます。100 年前の粗雑なプロセスで製造されたサイコロの袋は、均一な PMF から大きく逸脱する確率を持つ可能性がありますが、ラスベガスのカジノで使用されている最先端のサイコロの袋には、ほとんど目立たない欠陥がある可能性があります。PMF のランダム性は、ディリクレ分布でモデル化できます。^[1]

ディリクレ過程は、基本分布と、集中パラメータ（スケーリングパラメータとも呼ばれる）と呼ばれる正の実数によって指定されます。基本分布は過程の期待値です。つまり、ディリクレ過程は、正規分布が平均の周りに実数を描くのと同じように、基本分布の「周囲に」分布を描きます。ただし、基本分布が連続 であっても、ディリクレ過程から描かれた分布はほぼ確実に離散 です。スケーリングパラメータは、この離散化の強さを指定します。 の極限では、実現値はすべて単一の値に集中しますが、 の極限では実現値は連続になります。2 つの極限の間では、実現値は離散分布となり、が増加するにつれて集中度が低くなります。 ${\displaystyle H}$ ${\displaystyle \alpha}$ ${\displaystyle \alpha \rightarrow 0}$${\displaystyle \alpha \rightarrow \infty }$${\displaystyle \alpha}$

ディリクレ過程は、ディリクレ分布の無限次元一般化とも見ることができます。ディリクレ分布がカテゴリ分布の共役事前分布であるのと同様に、ディリクレ過程は無限のノンパラメトリック離散分布の共役事前分布です。ディリクレ過程の特に重要な応用は、無限混合モデルにおける事前確率分布としての応用です。

ディリクレ過程は1973年にトーマス・S・ファーガソンによって正式に導入されました。 ^{[2]それ以来、}データマイニングや機械学習、自然言語処理、コンピュータービジョン、バイオインフォマティクスなど に応用されてきました。

ディリクレ過程は、いわゆる「金持ちはさらに金持ちになる」方式で以前の値を繰り返す傾向があるデータをモデル化するときに通常使用されます。具体的には、値の生成が次のアルゴリズムによってシミュレートできると仮定します。 ${\displaystyle X_{1},X_{2},\dots }$

入力: (基本分布と呼ばれる確率分布)、 (スケーリングパラメータと呼ばれる正の実数)${\displaystyle H}$${\displaystyle \alpha}$

のために：${\displaystyle n\geq 1}$

同時に、データのもう 1 つの一般的なモデルは、観測値が何らかの (ランダムな) 分布に従って独立かつ同一に分布(iid) していると想定されるものです。ディリクレ過程を導入する目的は、この iid モデルで上記で概説した手順を記述できるようにすることです。 ${\displaystyle X_{1},X_{2},\dots }$${\displaystyle P}$

アルゴリズム内の観測値は独立ではありません。次の値を生成するときに前の結果を考慮する必要があるためです。ただし、観測値は交換可能です。この事実は、観測値の結合確率分布を計算し、結果の式が観測値間でどの値が発生するか、およびそれぞれが何回繰り返されるかによってのみ決まることに気付くことで示されます。この交換可能性のため、de Finetti の表現定理が適用され、 (潜在的な) 分布 が与えられた場合、観測値は条件付きで独立していることになります。これはランダム変数自体であり、分布を持ちます。この分布 (分布全体) はディリクレ過程 ( ) と呼ばれます。要約すると、これは上記のアルゴリズムと同等の手順が得られることを意味します。 ${\displaystyle X_{1},X_{2},\dots }$${\displaystyle x}$${\displaystyle X_{1},X_{2},\dots }$${\displaystyle P}$${\displaystyle P}$${\displaystyle \operatorname {DP} }$

1. 分布を描く${\displaystyle P}$${\displaystyle \operatorname {DP} \left(H,\alpha \right)}$
2. から独立して観察結果を描画します。${\displaystyle X_{1},X_{2},\dots }$${\displaystyle P}$

しかし、実際には、具体的な分布を描くことは不可能です。なぜなら、その指定には無限の情報量が必要だからです。これは、ベイズ非パラメトリック統計のコンテキストでは一般的な現象です。ベイズ非パラメトリック統計の典型的なタスクは、実質的に無限の数のパラメータを含む関数空間上の分布を学習することです。重要な洞察は、多くのアプリケーションでは、無限次元分布は中間の計算デバイスとしてのみ現れ、事前の信念の初期指定にも最終的な推論の記述にも必要ではないということです。 ${\displaystyle P}$

測定可能な集合 S、基本確率分布H、および正の実数が 与えられた場合、ディリクレ過程は、サンプルパス（または実現、つまり過程から抽出されたランダム変数の無限列）がS上の確率分布である確率過程であり、 次が成り立ちます。Sの測定可能な任意の有限分割に対して、${\displaystyle \alpha}$${\displaystyle \operatorname {DP} (H,\alpha )}$${\displaystyle \{B_{i}\}_{i=1}^{n}}$

${\displaystyle {\text{if }}X\sim \operatorname {DP} (H,\alpha )}$

${\displaystyle {\text{then }}(X(B_{1}),\dots ,X(B_{n}))\sim \operatorname {Dir} (\alpha H(B_{1}),\dots ,\alpha H(B_{n})),}$

ここで はディリクレ分布を表し、 という表記は確率変数が分布 に従うことを意味します。 ${\displaystyle \operatorname {Dir} }$${\displaystyle X\sim D}$${\displaystyle X}$${\displaystyle D}$

ディリクレ過程には、同等の見方がいくつかあります。上記の正式な定義の他に、ディリクレ過程は、最初のセクションで説明したように、ド・フィネッティの定理を通じて暗黙的に定義できます。これは、しばしば中華料理店過程と呼ばれます。3 つ目の代替は、棒折れ過程です。これは、過程からサンプリングされた分布を と記述することによって、ディリクレ過程を建設的に定義します。ここで、 は基本分布 からのサンプル、は( 以外のすべての場所でゼロ)を中心とする指示関数、 はベータ分布から繰り返しサンプリングする再帰スキームによって定義されます。 ${\displaystyle f(x)=\sum _{k=1}^{\infty }\beta _{k}\delta _{x_{k}}(x)}$${\displaystyle \{x_{k}\}_{k=1}^{\infty }}$${\displaystyle H}$${\displaystyle \delta_{x_{k}}}$${\displaystyle x_{k}}$${\displaystyle \delta_{x_{k}}(x_{k})=1}$${\displaystyle \beta _{k}}$ ${\displaystyle \operatorname {ベータ} (1,\alpha )}$

ディリクレ過程を表すために広く使われている比喩は、いわゆる中華料理店の過程に基づいています。その比喩は次のとおりです。

顧客が入店する中華料理店を想像してください。新しい顧客がテーブルに着席する確率は、すでに座っている顧客の数に比例します。さらに、顧客が新しいテーブルを開く確率は、スケーリングパラメータ に比例します。無限の数の顧客が入店すると、選択される無限の数のテーブルにわたる確率分布が得られます。テーブルにわたるこの確率分布は、スケーリングパラメータ を持つディリクレ過程から抽出された観測値の確率のランダムサンプルです。 ${\displaystyle \alpha}$${\displaystyle \alpha}$

基本測度からの抽出を各テーブルに関連付けると、サンプル空間上の分布はディリクレ過程のランダム サンプルになります。中華料理店のプロセスは、有限ディリクレ分布からサンプルを生成するポリアの壷サンプリング スキームに関連しています。 ${\displaystyle H}$${\displaystyle S}$

顧客がテーブルに着席する確率は、すでにテーブルに座っている顧客の数に比例するため、DP の 2 つの特性を推測できます。

1. ディリクレ過程は自己強化特性を示します。つまり、特定の値が過去にサンプリングされた頻度が高いほど、再度サンプリングされる可能性が高くなります。
2. が非可算集合上の分布である場合でも、確率質量が少数の表に集中するため、2 つのサンプルがまったく同じ値を持つ確率はゼロではありません。${\displaystyle H}$

ディリクレ過程への 3 番目のアプローチは、いわゆるスティック ブレイキング過程の視点です。概念的には、これは、最初長さ 1 の「スティック」のランダムな部分 (ベータ分布からサンプリング) を繰り返し切断して破棄することを伴います。ディリクレ過程からの抽出は、集合 上の分布であることを覚えておいてください。前述のように、抽出された分布は確率 1 の離散分布です。スティック ブレイキング過程の視点では、離散性を明示的に使用し、この (ランダムな) 離散分布の確率質量関数を次のように指定します。 ${\displaystyle S}$

${\displaystyle f(\theta )=\sum _{k=1}^{\infty }\beta _{k}\cdot \delta _{\theta _{k}}(\theta )}$

ここで、 は、 を除くすべての場所でゼロに評価される指示関数です。この分布自体がランダムであるため、その質量関数は、場所とそれに対応する確率という2 つのランダム変数セットによってパラメータ化されます。以下では、これらのランダム変数が何であるかを証明なしで示します。 ${\displaystyle \delta _{\theta _{k}}}$${\displaystyle \delta _{\theta _{k}}(\theta _{k})=1}$${\displaystyle \left\{\theta _{k}\right\}_{k=1}^{\infty}}$${\displaystyle \left\{\beta _{k}\right\}_{k=1}^{\infty}}$

位置は独立しており、ディリクレ過程の基本分布に従って同一に分布しています。確率は、単位長さの棒を折るのと似た手順で与えられます（これが名前の由来です）。 ${\displaystyle \theta_{k}}$${\displaystyle H}$${\displaystyle \beta _{k}}$

${\displaystyle \beta _{k}=\beta '_{k}\cdot \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$

ここで、 はベータ分布に従う独立したランダム変数です。を棒切れの長さとして考えると、「棒折り」との類似性がわかります。単位長さの棒から始めて、各ステップで残りの棒の一部を に従って折り、この折り取った部分を に割り当てます。最初のk  − 1 個の値に部分が割り当てられた後、棒の残りの部分の長さは であり、この部分は に従って折り、 に割り当てられることに注目すると、式を理解できます。 ${\displaystyle \beta '_{k}}$ ${\displaystyle \operatorname {ベータ} (1,\alpha )}$${\displaystyle \beta _{k}}$${\displaystyle \beta '_{k}}$${\displaystyle \beta _{k}}$${\displaystyle \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$${\displaystyle \beta '_{k}}$${\displaystyle \beta _{k}}$

値が小さいほど、後続の値に残される棒の面積が少なくなり（平均）、分布がより集中的になります。 ${\displaystyle \alpha}$

スティックブレイクプロセスは、ディリクレ分布からサンプルを生成するために、周辺ベータ分布から順番にサンプルを採取する構造に似ている。^[4]

ディリクレ過程と中華レストラン過程を視覚化するもう 1 つの方法は、ブラックウェル - マックィーンサンプリング スキームと呼ばれることもある、修正されたポリア壷スキームとして表すことです。黒いボールが入った壷から始めると想像してください。次に、次のように進めます。 ${\displaystyle \alpha}$

1. 観察が必要になるたびに、壷からボールを​​取り出します。
2. ボールが黒の場合、新しい（黒以外の）色を均一に生成し、新しいボールにこの色のラベルを付け、新しいボールを描いたボールと一緒に壷に落とし、生成した色を返します。
3. それ以外の場合は、新しいボールに描いたボールの色をラベルし、描いたボールと一緒に新しいボールを壷に落とし、観察した色を返します。

結果として得られる色の分布は、中華料理店のプロセスにおけるテーブルの分布と同じです。さらに、黒いボールを引くときに、新しい色を生成するのではなく、基本分布からランダムな値を選択し、その値を使用して新しいボールにラベルを付けると、結果として得られるラベルの分布は、ディリクレ プロセスの値の分布と同じになります。 ${\displaystyle H}$

ディリクレ過程は、データを生成する確率分布を推定するための事前分布として使用できます。このセクションでは、モデルを検討します。

${\displaystyle {\begin{aligned}P&\sim {\textrm {DP}}(H,\alpha )\\X_{1},\ldots ,X_{n}\mid P&\,{\overset {\textrm {iid}}{\sim }}\,P.\end{aligned}}}$

ディリクレ過程分布は事前共役性、事後一貫性、およびベルンシュタイン・フォン・ミーゼスの定理を満たします。^[5]

このモデルでは、事後分布は再びディリクレ過程です。これは、ディリクレ過程がこのモデルに対する共役事前分布であることを意味します。事後分布は次のように与えられます。

${\displaystyle {\begin{aligned}P\mid X_{1},\ldots ,X_{n}&\sim {\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {1}{\alpha +n}}\sum _{i=1}^{n}\delta _{X_{i}},\;\alpha +n\right)\\&={\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {n}{\alpha +n}}\mathbb {P} _{n},\;\alpha +n\right)\end{aligned}}}$

は以下のように定義されます。 ${\displaystyle \mathbb {P} _{n}}$

確率の頻度主義的見解をとると、データを生成する真の確率分布が存在すると信じます。すると、ディリクレ過程は弱位相と整合していることがわかります。つまり、のすべての弱近傍について、 の事後確率はに収束します。 ${\displaystyle P_{0}}$${\displaystyle U}$${\displaystyle P_{0}}$${\displaystyle U}$${\displaystyle 1}$

信用集合を確信集合として解釈するためには、ベルンシュタイン・フォン・ミーゼスの定理が必要である。ディリクレ過程の場合、事後分布を経験的過程 と比較する。が-ドンスカークラスであると仮定する。すなわち、 ${\displaystyle \mathbb {P} _{n}={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle P_{0}}$

${\displaystyle {\sqrt {n}}\left(\mathbb {P} _{n}-P_{0}\right)\rightsquigarrow G_{P_{0}}}$

何らかのブラウン橋に対して、となる関数が存在すると仮定する。この場合、ほぼ確実に${\displaystyle G_{P_{0}}}$${\displaystyle F}$${\displaystyle F(x)\geq \sup _{f\in {\mathcal {F}}}f(x)}$${\displaystyle \int F^{2}\,\mathrm {d} H<\infty }$${\displaystyle P_{0}}$

${\displaystyle {\sqrt {n}}\left(P-\mathbb {P} _{n}\right)\mid X_{1},\cdots ,X_{n}\rightsquigarrow G_{P_{0}}.}$

これは、構築する信頼できる集合が漸近的な信頼集合であり、ディリクレ過程に基づくベイズ推論が漸近的に有効な頻度主義推論でもあることを意味します。

ディリクレ過程とは何か、そしてそれが解決する問題を理解するために、データ クラスタリングの例を考えてみましょう。データ ポイントは階層的に分散されており、各データ ポイントは (ランダムに選択された) クラスターに属し、クラスターのメンバーはそのクラスター内でさらにランダムに分散されていると想定されるのが一般的な状況です。

たとえば、今後の選挙で人々がいくつかの質問に対してどのように投票するかに興味があるかもしれません。この状況に対する妥当なモデルは、各投票者をリベラル、保守、中道に分類し、特定の質問に対して投票者が「はい」と答えるイベントを、どの政治クラスターに属するかによって確率が決まるベルヌーイ確率変数としてモデル化することです。同様の法案に対して過去数年にどのように投票されたかを調べることで、k平均法などの単純なクラスタリング アルゴリズムを使用して予測モデルを適合させることができます。ただし、このアルゴリズムでは、データを生成したクラスターの数を事前に知っておく必要があります。多くの場合、これを事前に決定することは不可能であり、クラスターの数を合理的に想定できる場合でも、この想定を確認できるようにする必要があります。たとえば、上記の投票の例では、リベラル、保守、中道への分割は十分に細かく調整されていない可能性があります。宗教、階級、人種などの属性も投票者の行動をモデル化する上で重要になる可能性があり、その結果、モデル内のクラスターの数が増えます。

別の例として、速度が密集していると仮定した単純なモデルを使用して銀河の速度をモデル化することに関心があるかもしれません。たとえば、各速度が正規分布 に従って分布していると仮定することによって、番目の観測は共通の期待速度を持つ番目の銀河団に属します。この場合、共通速度のクラスターがいくつあるべきかを事前に決定する方法はまったく明らかではなく、これに関するモデルは非常に疑わしいため、データに対してチェックする必要があります。クラスター平均の分布にディリクレ過程の事前分布を使用することで、クラスターがいくつあるかを事前に明示的に指定する必要がなくなりますが、集中パラメータによって依然として暗黙的に制御されます。 ${\displaystyle v_{i}\sim N(\mu _{k},\sigma ^{2})}$${\displaystyle i}$${\displaystyle k}$

この例を詳しく検討します。最初の単純なモデルは、共通の既知の固定分散を持つ正規分布の速度のクラスターが存在することを前提としています。 番目の観測が番目のクラスターにあるというイベントを と表すと、このモデルは次のように記述できます。 ${\displaystyle K}$ ${\displaystyle \sigma ^{2}}$${\displaystyle i}$${\displaystyle k}$${\displaystyle z_{i}=k}$

${\displaystyle {\begin{aligned}(v_{i}\mid z_{i}=k,\mu _{k})&\sim N(\mu _{k},\sigma ^{2})\\\operatorname {P} (z_{i}=k)&=\pi _{k}\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

つまり、データは平均を持つ個別のクラスターに属し、 はデータ ポイントが番目のクラスターに属する (未知の) 事前確率であると仮定します。クラスターを区別する初期情報はないと仮定します。これは、対称事前確率 によって捕捉されます。ここで はディリクレ分布を表し、 は各要素が 1 である長さのベクトルを表します。さらに、クラスター平均のそれぞれに独立かつ同一の事前分布を割り当てます。ここで は、パラメーターが で示される任意のパラメトリック分布です。ハイパーパラメーターおよび は、システムに関する事前の確信を反映するように選択された既知の固定定数とみなされます。ディリクレ過程事前確率との関連を理解するために、このモデルを同等ですがより示唆に富む形式で書き直します。 ${\displaystyle K}$${\displaystyle \mu _{k}}$${\displaystyle \pi _{k}}$${\displaystyle k}$${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$${\displaystyle \operatorname {Dir} }$${\displaystyle \mathbf {1} _{K}}$${\displaystyle K}$${\displaystyle H(\lambda )}$${\displaystyle H}$${\displaystyle \lambda }$${\displaystyle \alpha }$${\displaystyle \lambda }$

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G=\sum _{k=1}^{K}\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

各データ ポイントに最初にクラスターが割り当てられ、次にそのクラスターに関連付けられた分布から抽出されると考える代わりに、各観測値が、平均値をサポートする離散分布から抽出されたパラメータに関連付けられていると考えます。つまり、 はランダム分布から抽出されたものとみなされ、事前情報は分布 上の分布によってモデルに組み込まれます。 ${\displaystyle {\tilde {\mu }}_{i}}$${\displaystyle G}$${\displaystyle K}$${\displaystyle {\tilde {\mu }}_{i}}$${\displaystyle G}$${\displaystyle G}$

ここで、このモデルを拡張して、クラスターの固定数を事前に指定しなくても機能するようにします。数学的には、クラスターの平均値がに従って再び独立に分布し、 上の分布がクラスターの無限セットにわたって対称となるランダムな事前分布を選択することを意味します。これはまさに、モデルによって実現されるものです。 ${\displaystyle K}$${\displaystyle G({\tilde {\mu }}_{i})=\sum _{k=1}^{\infty }\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})}$${\displaystyle \mu _{k}}$${\displaystyle H\left(\lambda \right)}$${\displaystyle \pi _{k}}$

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G\\G&\sim \operatorname {DP} (H(\lambda ),\alpha )\end{aligned}}}$

これを把握することで、ディリクレ過程の計算上のメリットをよりよく理解することができます。ちょうど 個のクラスターを持つナイーブモデルから観測値を抽出したいとします。これを行うための簡単なアルゴリズムは、からの値を抽出し、から分布を抽出し、次に各観測値について の確率でクラスターを、 に従って観測値を独立にサンプリングすることです。このアルゴリズムは、無限のクラスターを許可する場合には機能しないことは容易にわかります。これは、無限次元パラメータ をサンプリングする必要があるためです。ただし、観測値をサンプリングすることは可能です。たとえば、以下で説明する中華料理店の表現を使用して、使用されたクラスターと作成される新しいクラスターの確率を計算することができます。これにより、 を明示的に指定する必要がなくなります。その他のソリューションは、クラスターの切り捨てに基づいています。つまり、クラスターの実際の数に (高い) 上限が導入され、下限よりも大きいクラスター番号は 1 つのクラスターとして扱われます。 ${\displaystyle n}$${\displaystyle K}$${\displaystyle K}$${\displaystyle \mu _{k}}$${\displaystyle H(\lambda )}$${\displaystyle \pi }$${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$${\displaystyle k}$${\displaystyle \pi _{k}}$${\displaystyle N\left(\mu _{k},\sigma ^{2}\right)}$${\displaystyle {\boldsymbol {\pi }}}$${\displaystyle v_{i}}$${\displaystyle {\boldsymbol {\pi }}}$

観測データに基づいて上記のモデルを当てはめるということは、クラスター確率とその関連平均の事後分布を見つけることを意味します。無限次元の場合、事後分布を明示的に記述することは明らかに不可能です。ただし、修正ギブスサンプラーを使用してこの事後分布からサンプルを抽出することは可能です。^[6]これが、ディリクレ過程の事前分布を推論に役立つものにする重要な事実です。 ${\displaystyle D}$ ${\displaystyle p\left({\boldsymbol {\pi }},{\boldsymbol {\mu }}\mid D\right)}$

ディリクレ過程は、ベイジアンノンパラメトリック統計で頻繁に使用されます。ここでの「ノンパラメトリック」とは、パラメータのないモデルではなく、より多くのデータが観測されるにつれて表現が増加するモデルを意味します。ベイジアン ノンパラメトリック モデルは、前述の柔軟性により、特に教師なし学習において機械学習の分野でかなりの人気を得ています。ベイジアン ノンパラメトリック モデルでは、事前分布と事後分布はパラメトリック分布ではなく、確率過程です。^{[7]ディリクレ分布は、合計が 1 になる非負数の集合の}単体上の確率分布であるため、分布上の分布または関数上の分布をモデル化するための優れた候補となります。さらに、このモデルのノンパラメトリックな性質により、クラスターの数が事前に不明なクラスタリングの問題の理想的な候補となります。さらに、ディリクレ過程は、教師あり学習アルゴリズム (回帰または分類設定) のコンテキストで、エキスパート モデルの混合を開発するためにも使用されています。例えば、ガウス過程の専門家の混合では、必要な専門家の数はデータから推測されなければならない。^{[8] [9]}

ディリクレ過程からの抽出は離散的であるため、無限混合モデルにおける事前確率としての使用が重要である。この場合、は成分分布のパラメトリック集合である。したがって、生成プロセスは、ディリクレ過程からサンプルが抽出され、各データポイントに対して、このサンプル分布から値が抽出され、そのデータポイントの成分分布として使用される。生成できる個別の成分の数に制限がないため、この種のモデルは、混合成分の数が事前に明確に定義されていない場合に適している。たとえば、ガウス分布の無限混合モデル^[10]や、関連する混合回帰モデル^{[11]などである。}${\displaystyle S}$

これらのモデルの無限の性質は、語彙を無限の離散セットとして扱うことが望ましいことが多い 自然言語処理アプリケーションにも役立ちます。

ディリクレ過程は、ノンパラメトリック仮説検定にも使用できます。つまり、符号検定、ウィルコクソン順位和検定、ウィルコクソン符号順位検定などの古典的なノンパラメトリック仮説検定のベイジアンノンパラメトリック版を開発するために使用できます。たとえば、ウィルコクソン順位和検定とウィルコクソン符号順位検定のベイジアンノンパラメトリック版は、不正確なディリクレ過程、つまり事前無知ディリクレ過程を使用して開発されています。^[要出典]

• ピットマン・ヨール過程は、べき乗則の裾に対応するためにディリクレ過程を一般化したものである。
• 階層的ディリクレ過程は、グループ化されたデータをモデル化するために通常のディリクレ過程を拡張します。

• Frigyik、Kapila、Gupta によるディリクレ分布と関連過程の紹介
• Yee Whye Teh によるディリクレ過程の概要
• ノンパラメトリック ベイズ法に関する NIPS 2003 ワークショップの Web ページ
• マイケル・ジョーダンの NIPS 2005 チュートリアル: ノンパラメトリック ベイズ法: ディリクレ過程、中華料理店の過程など
• ピーター・グリーンによるディリクレ過程の構築の要約
• ピーター・グリーンのディリクレ過程の確率モデルと統計モデリングおよび分析への影響に関する論文
• Zoubin Ghahramani の UAI 2005 チュートリアル: ノンパラメトリック ベイズ法
• 無限混合モデルを使用してクラスター分析を実行するための GIMM ソフトウェア
• ディリクレ過程を用いたクラスタリングの簡単な例。著者: Zhiyuan Weng