ディリクレ分布

次数ディリクレ分布${\displaystyle K\geq 2}$パラメータ付き${\displaystyle \alpha _{1},\ldots ,\alpha _{K}>0}$確率密度関数は次のように与えられる。

$$${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$$$ どこ$$すべての }}i\in \{1,\dots ,K\}{\mbox{ および }}\sum _{i=1}^{K}x_{i}=1\,.} に対して、$\displaystyle x_{i}\in \left[0,1\right]{\mbox{ \}$ が成り立つ。$$ つまり、確率密度関数は標準で定義される${\displaystyle K-1}$単体が埋め込まれている${\displaystyle K}$次元ユークリッド空間、$\displaystyle \mathbb {R} ^{K}}$。

正規化定数は多変量ベータ関数であり、ガンマ関数を用いて次のように表すことができる。

$${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}$$

ディリクレ分布のサポートは、K次元ベクトルxの集合であり、その要素は区間 [0,1] 内の実数である。${\displaystyle \|{\boldsymbol {x}}\|_{1}=1}$つまり、座標の合計は 1 に等しくなります。これらはK方向のカテゴリカルイベントの確率と見なすことができます。これを別の方法で表現すると、ディリクレ分布の定義域自体が確率分布の集合、具体的にはK次元離散分布の集合です。K次元ディリクレ分布のサポート内の点の集合を表す専門用語は、オープン標準( K − 1) -単体^{[ 3 ]}であり、これは次の高次元に埋め込まれた三角形の一般化です。たとえば、K = 3の場合、サポートは、頂点が (1,0,0)、(0,1,0)、(0,0,1) にある、3 次元空間に下向きの角度で埋め込まれた正三角形であり、つまり、各座標軸に原点から 1 単位離れた点で接しています。

一般的な特殊ケースとして、パラメータベクトルαを構成するすべての要素が同じ値を持つ対称ディリクレ分布があります。対称ケースは、例えば、成分に対するディリクレ事前分布が必要な場合で、ある成分が別の成分よりも優先されるという事前知識がない場合に役立ちます。パラメータベクトルのすべての要素が同じ値を持つため、対称ディリクレ分布は、集中パラメータと呼ばれる単一のスカラー値αでパラメータ化できます。αに関して、密度関数は次の形式になります。

$${\displaystyle f(x_{1},\dots ,x_{K};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$$

α = 1 の場合、対称ディリクレ分布は、開標準( K -1)単体上の均一分布と等価であり、つまり、そのサポート内のすべての点で均一です。この特定の分布は、フラットディリクレ分布として知られています。集中パラメータの値が 1 より大きい場合、密で均等に分布した変量が好まれます。つまり、単一のサンプル内のすべての値が互いに類似しています。集中パラメータの値が 1 より小さい場合、疎な分布が好まれます。つまり、単一のサンプル内のほとんどの値は 0 に近く、質量の大部分は少数の値に集中します。

α = 1/2の場合、分布は、 ( K − 1)次元単位超球面（K次元単位超球の表面）から一様にランダムに点を選択し、各座標を二乗することによって得られる分布と同じになります。α = 1/2 の分布は、ディリクレ分布のジェフリーズ事前分布です。

濃度パラメータのベクトルを指定する代わりに${\displaystyle {\boldsymbol {\alpha }}}$期待される確率分布を指定したい場合もある $${\displaystyle \operatorname {E} _{i}={\frac {\alpha _{i}}{\alpha _{0}}}\;\;{\mbox{ where }}\;\;\alpha _{0}=\sum _{j=1}^{K}\alpha _{j}}$$濃度パラメータは積として表される${\displaystyle \,{\boldsymbol {\alpha }}=W\,{\boldsymbol {\operatorname {E} }}\,}$（スカラー）濃度重みの${\displaystyle W}$⁠そして期待される確率分布${\displaystyle {\boldsymbol {\operatorname {E} }}}$その構成要素は非負であり、合計は1となる。この場合の集中重みは、上述の対称ディリクレ分布の集中パラメータよりもK倍大きい。この構成は、ディリクレ過程を議論する際の基本測度の概念と関連しており、モデリングに関する文献でよく用いられる。

ディリクレ分布の次元が大きい場合、ジェフリーズ事前分布はそれに応じて高い事前集中重みを生成します。たとえば、${\displaystyle K=100}$⁠、事前の濃度重みは⁠${\displaystyle W=K/2=50}$⁠、これは比較的硬い事前確率分布を生み出す。${\displaystyle {\boldsymbol {\operatorname {E} }}^{\ast }}$最初は事後確率分布${\displaystyle {\boldsymbol {\operatorname {E} }}}$観測データが存在する場合でもほとんど変化はなく、例えば10個の観測データがあり、すべての観測データが同じカテゴリーを示している場合でも同様である。${\displaystyle X_{i}}$これは当然かつ直感的に期待される確率を生み出すはずである${\displaystyle \operatorname {E} _{i}}$1に近い値。硬い事前分布の不適切な挙動を回避する方法として、無情報事前分布の重みを使用する方法がある。${\displaystyle W}$主観的論理から、濃度パラメータは${\displaystyle \alpha _{i}}$観測値の関数として表現される${\displaystyle r_{i}}$によると${\displaystyle \alpha _{i}=r_{i}+W\operatorname {E} _{i}^{\ast }}$[ ^{4 ]非情報}的な事前集中重み${\displaystyle W}$は観測数に依存する関数である。${\displaystyle r_{0}=\sum r_{i}}$次のように表現されます $${\displaystyle W={\frac {K(1+C_{W}r_{0})}{1+Kr_{0}}}}$$ どこで${\displaystyle C_{W}}$は収束定数であり、通常は2に等しくなるように選択されます。${\displaystyle C_{W}=2}$任意の次元のディリクレ分布が、事前集中パラメータを持つベータ分布と同じ感度を新しい観測値に対して持つことを保証する。${\displaystyle \alpha +\beta =2}$（または制服）${\displaystyle \alpha =\beta =1}$) 事前確率分布が一様である場合${\displaystyle {\boldsymbol {\operatorname {E} }}^{\ast }}$非情報的な事前重み${\displaystyle W}$また、任意の次元に対して均一な事前ディリクレ分布を保証します。${\displaystyle K}$3Dプロット${\displaystyle W}$図に示されている。

させて${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$。

させて

$${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$$

それから^{[ 5 ] [ 6 ]}

$${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$$$${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$$

さらに、もし${\displaystyle i\neq j}$

$${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$$

共分散行列は特異行列である。

より一般的には、ディリクレ分布に従う確率変数のモーメントは次のように表すことができます。${\displaystyle {\boldsymbol {t}}=(t_{1},\dotsc ,t_{K})\in \mathbb {R} ^{K}}$、と表記する${\displaystyle {\boldsymbol {t}}^{\circ i}=(t_{1}^{i},\dotsc ,t_{K}^{i})}$そのi番目のアダマール乗。次に、^{[ 7 ]}

${\displaystyle \operatorname {E} \left[({\boldsymbol {t}}\cdot {\boldsymbol {X}})^{n}\right]={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}\sum {\frac {{t_{1}}^{k_{1}}\cdots {t_{K}}^{k_{K}}}{k_{1}!\cdots k_{K}!}}\prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+k_{i})}{\Gamma (\alpha _{i})}}={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}Z_{n}({\boldsymbol {t}}^{\circ 1}\cdot {\boldsymbol {\alpha }},\cdots ,{\boldsymbol {t}}^{\circ n}\cdot {\boldsymbol {\alpha }}),}$

ここで、和は非負整数に関するものである。${\displaystyle k_{1},\ldots ,k_{K}}$と${\displaystyle n=k_{1}+\cdots +k_{K}}$、 そして${\displaystyle Z_{n}}$は次数nの対称群のサイクル指数多項式です。

特別なケースがあります${\displaystyle \operatorname {E} \left[{\boldsymbol {t}}\cdot {\boldsymbol {X}}\right]={\frac {{\boldsymbol {t}}\cdot {\boldsymbol {\alpha }}}{\alpha _{0}}}.}$

多変数類似${\textstyle \operatorname {E} \left[({\boldsymbol {t}}_{1}\cdot {\boldsymbol {X}})^{n_{1}}\cdots ({\boldsymbol {t}}_{q}\cdot {\boldsymbol {X}})^{n_{q}}\right]}$ベクトルの場合${\displaystyle {\boldsymbol {t}}_{1},\dotsc ,{\boldsymbol {t}}_{q}\in \mathbb {R} ^{K}}$指数の色パターンで表現できる^{[ 8 ]}${\displaystyle n_{1},\dotsc ,n_{q}}$ポリアの列挙定理の意味において。

具体的な例としては、単純な計算^{[ 9 ]が挙げられる。}

$${\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{i})}}.}$$

分布の最頻値は[ ^{10 ]ベクトル}( x1 , ..., xK ₎で_、

$${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}$$

周辺分布はベータ分布である：^{[ 11 ]}

$${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$$

下記の「 関連分布」も参照してください。

ディリクレ分布は、カテゴリ分布（可能な結果の数が与えられた一般的な離散確率分布）と多項分布（カテゴリ分布に従う観測値の集合における各カテゴリの観測値の出現回数の分布）の共役事前分布です。つまり、データ点がカテゴリ分布または多項分布のいずれかを持ち、その分布のパラメータ（データ点を生成する確率ベクトル）の事前分布がディリクレ分布である場合、パラメータの事後分布もディリクレ分布になります。直感的に言えば、このような場合、データ点を観測する前にパラメータについて知っていることから始めて、データ点に基づいて知識を更新し、最終的に古い分布と同じ形式の新しい分布を得ることができます。つまり、数学的な困難に陥ることなく、新しい観測値を一つずつ取り入れることで、パラメータに関する知識を逐次的に更新できるということです。

形式的には、これは次のように表現できます。モデルが与えられた場合

$${\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$$

すると、以下のことが成り立つ。

$${\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}$$

この関係は、ベイズ統計学において、 N個のサンプルが与えられた場合にカテゴリカル分布の基礎となるパラメータpを推定するために使用されます。直感的には、超事前ベクトルαを擬似カウント、つまり既に観測された各カテゴリの観測数を表すものと見なすことができます。そして、すべての新しい観測値（ベクトルc ）のカウントを単純に加算することで、事後分布を導出します。

ベイズ混合モデルや、混合成分を含むその他の階層型ベイズモデルでは、モデルに現れるカテゴリ変数の事前分布として、ディリクレ分布が一般的に用いられます。詳細については、下記の応用例のセクションを参照してください。

カテゴリカルな観測値の集合にディリクレ事前分布を適用するモデルでは、観測値の周辺同時分布（すなわち、事前分布パラメータを周辺化した観測値の同時分布）はディリクレ多項分布になります。この分布は階層ベイズモデルにおいて重要な役割を果たします。なぜなら、ギブスサンプリングや変分ベイズなどの手法を用いてこのようなモデルで推論を行う場合、ディリクレ事前分布はしばしば周辺化されるからです。この分布の詳細については、関連論文を参照してください。

Xが​${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$確率変数Xの微分エントロピー（nat単位）は^{[ 12 ]である。}

$${\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$$

どこ${\displaystyle \psi }$はディガンマ関数です。

次の式は${\displaystyle \operatorname {E} [\ln(X_{i})]}$上記の微分エントロピーを導出するために使用できます。${\displaystyle \ln(X_{i})}$ディリクレ分布の十分統計量である指数族微分恒等式を用いて、期待値の解析的表現を得ることができる。${\displaystyle \ln(X_{i})}$^{（ [ 13 ]}の式（2.62）を参照）およびそれに関連する共分散行列：

$${\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$$

そして

$${\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$$

どこ${\displaystyle \psi }$はディガンマ関数です。${\displaystyle \psi '}$はトリガンマ関数であり、${\displaystyle \delta _{ij}}$はクロネッカーデルタです。

以外の値に対するレニー情報のスペクトル${\displaystyle \lambda =1}$^{[ 14 ]}で与えられる

$${\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} ({\boldsymbol {\alpha }})+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-K)+K)\right)}$$

そして情報エントロピーは極限であり、${\displaystyle \lambda }$1になります。

関連するもう 1 つの興味深い尺度は、確率質量分布Xを持つ離散カテゴリカル (K 個のうちの 1 つ) ベクトルZのエントロピーです。 ${\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}$Xが与えられたときのZの条件付き情報エントロピーは

$${\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}$$

Xのこの関数はスカラー確率変数です。Xがすべての 1 値を持つ対称ディリクレ分布に従う場合${\displaystyle \alpha _{i}=\alpha }$エントロピーの期待値（nat単位）は^{[ 15 ]です。}

$${\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}$$

2 つのディリクレ分布間のカルバック・ライブラー (KL) ダイバージェンス、${\displaystyle {\text{Dir}}({\boldsymbol {\alpha }})}$そして${\displaystyle {\text{Dir}}({\boldsymbol {\beta }})}$同じ単体上では、次のようになります。^{[ 16 ]}

${\displaystyle {\begin{aligned}D_{\mathrm {KL} }{\big (}\mathrm {Dir} ({\boldsymbol {\alpha }})\,\|\,\mathrm {Dir} ({\boldsymbol {\beta }}){\big )}&=\log {\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}\beta _{i}\right)}}+\sum _{i=1}^{K}\left[\log {\frac {\Gamma (\beta _{i})}{\Gamma (\alpha _{i})}}+(\alpha _{i}-\beta _{i})\left(\psi (\alpha _{i})-\psi \left(\sum _{j=1}^{K}\alpha _{j}\right)\right)\right]\end{aligned}}}$

もし

$${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$$

次に、添え字iとjを持つ確率変数をベクトルから削除し、それらの合計に置き換えると、

$${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$$

この集計特性は、周辺分布を導出するために使用できます。${\displaystyle X_{i}}$上記で述べたとおり。

もし${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$すると、ベクトルXは中立であると言われる^{[ 17 ]。}つまり、X _{K は} ${\displaystyle X^{(-K)}}$^{[ 3 ]}​

$${\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}$$

同様に、${\displaystyle X_{2},\ldots ,X_{K-1}}$Xの任意の順列も中立であることに注目してください(これは一般化ディリクレ分布から抽出されたサンプルにはない性質です)。^{[ 18 ]}

これを集約の性質と組み合わせると、X _j + ... + X _Kは以下に依存しないことがわかる。${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$実際、ディリクレ分布の場合、${\displaystyle 3\leq j\leq K-1}$ペア${\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)}$、そして2つのベクトル${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$そして${\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}$正規化されたランダムベクトルの3つ組として見た場合、 は互いに独立である。同様の結果は、インデックス{1, 2, ..., K }を他の任意の非単一要素部分集合のペアに分割する場合にも成り立つ。

ディリクレ分布の特性関数は、ラウリセラ超幾何級数の合流形式である。フィリップスによって次のように与えられている^{[ 19 ]。}

$${\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha _{0};is_{1},\ldots ,is_{K-1})}$$

どこ

$${\displaystyle \Psi ^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}$$

和は非負整数に関するものです。${\displaystyle k_{1},\ldots ,k_{m}}$そして${\displaystyle k=k_{1}+\cdots +k_{m}}$フィリップスはさらに、この形式は「数値計算には不便」であると述べ、複素経路積分による代替案を提示している。

$${\displaystyle \Psi ^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}$$

ここで、Lは複素平面上の任意の経路を表し、${\displaystyle -\infty }$被積分関数のすべての特異点を正の方向に囲み、${\displaystyle -\infty }$。

確率密度関数${\displaystyle f\left(x_{1},\ldots ,x_{K-1};\alpha _{1},\ldots ,\alpha _{K}\right)}$ディリクレ分布のさまざまな境界を意味する多機能不等式において重要な役割を果たします。^{[ 20 ]}

別の不等式は、ディリクレ分布のモーメント生成関数を、スケーリングされた逆カルバック・ライブラー情報量の凸共役と関連付けています。^{[ 21 ]}

$${\displaystyle \log \operatorname {E} \left(\exp {\sum _{i=1}^{K}s_{i}X_{i}}\right)\leq \sup _{p}\sum _{i=1}^{K}\left(p_{i}s_{i}-\alpha _{i}\log \left({\frac {\alpha _{i}}{\alpha _{0}p_{i}}}\right)\right),}$$ ここで上限は、( K -1)単体を張るpについて取られる。

ディリクレ分布は指数族分布であるため、共役事前分布を持ちます。共役事前分布は次の形式です。^{[ 23 ]}

$${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}$$

ここ${\displaystyle {\boldsymbol {v}}}$はK次元の実ベクトルであり、${\displaystyle \eta }$はスカラーパラメータです。 の定義域は${\displaystyle ({\boldsymbol {v}},\eta )}$上記の非正規化密度関数を正規化できるパラメータのセットに限定されます。必要かつ十分な条件は次のとおりです。^{[ 24 ]}

$${\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ and }}\;\;\;\;\eta >-1\;\;\;\;{\text{ and }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ or }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }}<1)}$$

共役特性は次のように表すことができます。

[事前:${\displaystyle {\boldsymbol {\alpha }}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )}$] および [観察:${\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {Dirichlet} (\cdot \mid {\boldsymbol {\alpha }})}$] それから [後方:${\displaystyle {\boldsymbol {\alpha }}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)}$]。

公開されている文献には、サンプルを効率的に生成するための実用的なアルゴリズムはありません。${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}$。

前述のように、ディリクレ変量は独立なガンマ変量を正規化することによって生成できます。代わりに一般化ガンマ変量を正規化すると、単体一般化ベータ分布（SGB）の変量が得られます。^{[ 25 ]}一方、SGB変量は、ディリクレ変量のスケーリングおよび平行移動された対数にソフトマックス関数を適用することによっても得られます。具体的には、${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$そして${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{K})}$ここで、対数を要素ごとに適用します。 $${\displaystyle \mathbf {y} =\operatorname {softmax} (a^{-1}\log \mathbf {x} +\log \mathbf {b} )\;\iff \;\mathbf {x} =\operatorname {softmax} (a\log \mathbf {y} -a\log \mathbf {b} )}$$ または $${\displaystyle y_{k}={\frac {b_{k}x_{k}^{1/a}}{\sum _{i=1}^{K}b_{i}x_{i}^{1/a}}}\;\iff \;x_{k}={\frac {(y_{k}/b_{k})^{a}}{\sum _{i=1}^{K}(y_{i}/b_{i})^{a}}}}$$ どこ${\displaystyle a>0}$そして${\displaystyle \mathbf {b} =(b_{1},\ldots ,b_{K})}$すべて${\displaystyle b_{k}>0}$、 それから${\displaystyle \mathbf {y} \sim \operatorname {SGB} (a,\mathbf {b} ,{\boldsymbol {\alpha }})}$SGB密度関数は、変換に注目することで導出できます。${\displaystyle \mathbf {x} \mapsto \mathbf {y} }$これは単体から単体自身への全単射であり、以下の微分体積変化係数^{[ 26 ]}を誘導する。 $${\displaystyle R(\mathbf {y} ,a,\mathbf {b} )=a^{1-K}\prod _{k=1}^{K}{\frac {y_{k}}{x_{k}}}}$$ そこでは、${\displaystyle \mathbf {x} }$関数として回復される${\displaystyle \mathbf {y} }$上記のように、これによりSGB密度をディリクレ密度で表すことが容易になります。 $${\displaystyle f_{\text{SGB}}(\mathbf {y} \mid a,\mathbf {b} ,{\boldsymbol {\alpha }})={\frac {f_{\text{Dir}}(\mathbf {x} \mid {\boldsymbol {\alpha }})}{R(\mathbf {y} ,a,\mathbf {b} )}}}$$変数変換 によるディリクレ密度のこの一般化は正規化フローと密接に関連しているが、微分体積変化はヤコビ行列式では与えられない。${\displaystyle \mathbf {x} \mapsto \mathbf {y}$ :\mathbb {R} ^{K}\to \mathbb {R} ^{K}} これはゼロですが、ヤコビ行列式により${\displaystyle (x_{1},\ldots ,x_{K-1})\mapsto \mathbf {(} y_{1},\ldots ,y_{K-1})}$詳細は「フローの正規化 § 単体フロー」で説明されています。

ディリクレ形状パラメータ間の相互作用についてさらに詳しく知りたい場合は、${\displaystyle {\boldsymbol {\alpha }}}$変換パラメータ${\displaystyle a,\mathbf {b} }$対数周辺分布を考慮すると役立つかもしれません。${\displaystyle \log {\frac {x_{k}}{1-x_{k}}}}$これはロジスティックベータ分布に従う。${\displaystyle B_{\sigma }(\alpha _{k},\sum _{i\neq k}\alpha _{i})}$特に、テール挙動と位置およびスケールパラメータによる一般化に関するセクションを参照してください。

ディリクレ分布は、ベイズ混合モデルやその他の階層ベイズモデルにおいて、カテゴリ変数または多項変数の事前分布として最も一般的に使用されます。（自然言語処理など多くの分野では、カテゴリ変数がしばしば不正確に「多項変数」と呼ばれます。ベルヌーイ分布と二項分布が混同されるのと同様に、このような用法が混乱を招く可能性は低いでしょう。）

階層ベイズモデルにおける推論は、ギブスサンプリングを用いて行われることが多く、その場合、ディリクレ分布のインスタンスは、ディリクレ確率変数を積分消去することでモデルから除外されるのが一般的です。これにより、同じディリクレ確率変数から抽出された様々なカテゴリ変数が相関し、それらの同時分布は、ディリクレ分布のハイパーパラメータ（集中パラメータ）を条件とするディリクレ多項分布となります。この方法を用いる理由の一つは、ディリクレ多項分布のギブスサンプリングが非常に容易であることです。詳細については、その記事を参照してください。

ガンマ分布に従う乱数源があれば、簡単にランダムベクトルをサンプリングできる。${\displaystyle x=(x_{1},\ldots ,x_{K})}$パラメータを持つK次元ディリクレ分布から${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$まず、K個の独立したランダムサンプルを抽出します。${\displaystyle y_{1},\ldots ,y_{K}}$ガンマ分布からそれぞれ密度が

$${\displaystyle \operatorname {Gamma} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$$

そして設定する

$${\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}$$

以下は、サンプルを描画するためのPythonコードの例です。

params = [ a1 , a2 , ... , ak ] sample = [ random . gammavariate ( a , 1 ) for a in params ] sample = [ v / sum ( sample ) for v in sample ]

この定式化は、ガンマ分布がどのようにパラメータ化されているか（形状/尺度か形状/レートか）に関わらず正しい。なぜなら、尺度とレートが1.0の場合、両者は等価だからである。

効率の低いアルゴリズム^{[ 29 ]}は、単変量周辺分布と条件付き分布がベータ分布であることを前提としており、以下のように進行する。シミュレーション${\displaystyle x_{1}}$から

$${\displaystyle {\textrm {Beta}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}$$

次にシミュレーションを行う${\displaystyle x_{2},\ldots ,x_{K-1}}$順番に、以下のとおりです。${\displaystyle j=2,\ldots ,K-1}$シミュレーション${\displaystyle \phi _{j}}$から

$${\displaystyle {\textrm {Beta}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}$$

そして

$${\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}$$

最後に、

$${\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}$$

この反復手順は、上述の「弦を切る」という直感と非常によく一致する。

以下は、サンプルを描画するためのPythonコードの例です。

params = [ a1 , a2 , ... , ak ] xs = [ random . betavariate ( params [ 0 ], sum ( params [ 1 :]))] for j in range ( 1 , len ( params ) - 1 ): phi = random . betavariate ( params [ j ], sum ( params [ j + 1 :])) xs . append (( 1 - sum ( xs )) * phi ) xs . append ( 1 - sum ( xs ))

α ₁ = ... = α _K = 1の場合、分布からのサンプルは、区間[0, 1]からK − 1 個の値を独立かつ一様にランダムに抽出し、そのセットに値0と1を追加してK + 1 個の値を持つようにし、そのセットをソートし、順序が隣接する値の各ペア間の差を計算してx ₁、 ...、x _Kを得ることによって見つけることができます。

α ₁ = ... = α _K = 1/2の場合、標準正規分布からK個の値を独立にランダムに抽出し、これらの値を二乗し、それらの合計で割ることによって正規化することで、分布から_のサンプルを見つけることが_できます。

点( x ₁ , ..., x _K )は、同様の手順で( K −1 ) 次元単位超球 (これはK次元超球の表面です) から一様にランダムに抽出できます。標準正規分布からK個の値を独立にランダムに抽出し、それぞれの座標値を、それらの二乗の合計の平方根である定数で割ることによって正規化します。