混合モデル

統計学において、混合モデルは、観測されたデータ セットが個々の観測が属する部分集団を識別する必要なしに、全体の集団内の部分集団の存在を表す確率モデルです。正式には、混合モデルは、全体の集団における観測の確率分布を表す混合分布に対応します。ただし、「混合分布」に関連する問題は、部分集団の特性から全体の集団の特性を導き出すことに関連しているのに対し、「混合モデル」は、部分集団の識別情報なしで、プールされた集団の観測値のみに基づいて、部分集団の特性について統計的推論を行うために使用されます。混合モデルは、モデル ベース クラスタリングという名前でクラスタリングに使用され、密度推定にも使用されます。

混合モデルは、構成データ、つまり、コンポーネントの合計が一定値 (1、100% など) に制限されているデータのモデルと混同しないでください。ただし、構成モデルは、母集団のメンバーがランダムにサンプリングされる混合モデルと考えることができます。逆に、混合モデルは、合計サイズの読み取り母集団が 1 に正規化されている構成モデルと考えることができます。

典型的な有限次元混合モデルは、次のコンポーネントで構成される 階層モデルです。

• 観測されるN個のランダム変数。それぞれK個の成分の混合分布に従って分布し、成分は同じパラメトリック分布族（例えば、すべて正規分布、すべてジップフィアン分布など）に属するが、パラメータは異なる。
• 各観測値の混合成分の同一性を指定するN個のランダム潜在変数。各変数はK次元カテゴリ分布に従って分布する。
• K 個の混合重みのセット。合計が 1 になる確率です。
• K 個のパラメータのセット。各パラメータは対応する混合成分のパラメータを指定します。多くの場合、各「パラメータ」は実際にはパラメータのセットです。たとえば、混合成分がガウス分布である場合、各成分の平均と分散が存在します。混合成分がカテゴリ分布である場合 (たとえば、各観測値がサイズVの有限アルファベットのトークンである場合)、合計が 1 になるV個の確率のベクトルが存在します。

さらに、ベイズ設定では、混合重みとパラメータ自体がランダム変数となり、事前分布が変数上に配置されます。このような場合、重みは通常、ディリクレ分布（カテゴリ分布の共役事前分布）から抽出されたK次元ランダムベクトルと見なされ、パラメータはそれぞれの共役事前分布に従って分布されます。

数学的には、基本的なパラメトリック混合モデルは次のように記述できます。

${\displaystyle {\begin{array}{lcl}K&=&{\text{混合成分の数}}\\N&=&{\text{観測値の数}}\\\theta _{i=1\dots K}&=&{\text{成分 i に関連付けられた観測値の分布パラメータ}}i\\\phi _{i=1\dots K}&=&{\text{混合重み、つまり特定の成分の事前確率}}i\\{\boldsymbol {\phi }}&=&K{\text{すべての個々の }}\phi _{1\dots K から構成される次元ベクトル}{\text{;合計は 1 になる必要があります}}\\z_{i=1\dots N}&=&{\text{観測のコンポーネント }}i\\x_{i=1\dots N}&=&{\text{観測 }}i\\F(x|\theta )&=&{\text{観測の確率分布、}}\theta \\z_{i=1\dots N}&\sim &\operatorname {カテゴリ} ({\boldsymbol {\phi }})\\x_{i=1\dots N}|z_{i=1\dots N}&\sim &F(\theta _{z_{i}})\end{配列}}}$

ベイズ設定では、すべてのパラメータは次のようにランダム変数に関連付けられます。

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{上記と同じ}}\\\theta _{i=1\dots K},\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{上記と同じ}}\\z_{i=1\dots N},x_{i=1\dots N},F(x|\theta )&=&{\text{上記と同じ}}\\\alpha &=&{\text{コンポーネントパラメータの共有ハイパーパラメータ}}\\\beta &=&{\text{混合重みの共有ハイパーパラメータ}}\\H(\theta |\alpha )&=&{\text{コンポーネントパラメータの事前確率分布、}}\alpha \\\theta _{i=1\dots K}&\sim &H(\theta |\alpha )\\{\boldsymbol {\phi }}&\sim &\operatorname {対称ディリクレ} _{K}(\beta )\\z_{i=1\dots N}|{\boldsymbol {\phi }}&\sim &\operatorname {カテゴリ} ({\boldsymbol {\phi }})\\x_{i=1\dots N}|z_{i=1\dots N},\theta _{i=1\dots K}&\sim &F(\theta _{z_{i}})\end{array}}}$

この特性評価では、それぞれFとH を使用して、観測値とパラメータの任意の分布を記述します。通常、H はFの共役事前分布になります。 Fの最も一般的な 2 つの選択肢は、ガウス分布、つまり「正規分布」（実数値の観測値の場合）とカテゴリ分布（離散観測値の場合）です。混合成分の分布のその他の一般的な可能性は次のとおりです。

• 二項分布、総発生回数が一定である場合の「肯定的な発生」（成功、賛成票など）の数
• 多項分布は二項分布に似ていますが、多元的な発生回数（たとえば、アンケートでの「はい/いいえ/多分」）を対象としています。
• 負の二項分布、二項分布型の観測値の場合、関心のある量は、与えられた数の成功が発生する前に失敗した数です。
• ポアソン分布、一定期間における事象の発生回数、発生率が一定である事象の場合
• 指数分布、つまり、一定の発生率を特徴とするイベントに対して、次のイベントが発生するまでの時間
• 対数正規分布、所得や価格など指数関数的に増加すると想定される正の実数の場合
• 多変量正規分布（多変量ガウス分布とも呼ばれる）、個々にガウス分布する相関結果のベクトル
• 多変量スチューデントのt分布、重尾相関結果のベクトルの場合^[1]
• ベルヌーイ分布値のベクトル。例えば白黒画像に対応し、各値はピクセルを表します。以下の手書き認識の例を参照してください。

典型的な非ベイズガウス混合モデルは次のようになります。

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{as above}}\\\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{as above}}\\z_{i=1\dots N},x_{i=1\dots N}&=&{\text{as above}}\\\theta _{i=1\dots K}&=&\{\mu _{i=1\dots K},\sigma _{i=1\dots K}^{2}\}\\\mu _{i=1\dots K}&=&{\text{mean of component }}i\\\sigma _{i=1\dots K}^{2}&=&{\text{variance of component }}i\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\mathcal {N}}(\mu _{z_{i}},\sigma _{z_{i}}^{2})\end{array}}}$

ガウス混合モデルのベイズバージョンは次のとおりです。

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{as above}}\\\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{as above}}\\z_{i=1\dots N},x_{i=1\dots N}&=&{\text{as above}}\\\theta _{i=1\dots K}&=&\{\mu _{i=1\dots K},\sigma _{i=1\dots K}^{2}\}\\\mu _{i=1\dots K}&=&{\text{mean of component }}i\\\sigma _{i=1\dots K}^{2}&=&{\text{variance of component }}i\\\mu _{0},\lambda ,\nu ,\sigma _{0}^{2}&=&{\text{shared hyperparameters}}\\\mu _{i=1\dots K}&\sim &{\mathcal {N}}(\mu _{0},\lambda \sigma _{i}^{2})\\\sigma _{i=1\dots K}^{2}&\sim &\operatorname {Inverse-Gamma} (\nu ,\sigma _{0}^{2})\\{\boldsymbol {\phi }}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\mathcal {N}}(\mu _{z_{i}},\sigma _{z_{i}}^{2})\end{array}}}$${\displaystyle }$

ベイジアンガウス混合モデルは、一般に、未知のパラメータのベクトル（太字で表示）または多変量正規分布に適合するように拡張されます。多変量分布（つまり、N個のランダム変数を持つベクトルをモデル化する分布）では、パラメータのベクトル（信号の複数の観測値や画像内のパッチなど）を、推定値のベクトルに対するガウス混合モデルの事前分布を使用してモデル化できます。 ${\displaystyle {\boldsymbol {x}}}$

${\displaystyle p({\boldsymbol {\theta }})=\sum _{i=1}^{K}\phi _{i}{\mathcal {N}}({\boldsymbol {\mu _{i},\Sigma _{i}}})}$

ここで、i^番目のベクトル成分は、重み、平均、共分散行列を持つ正規分布によって特徴付けられます。この事前分布をベイズ推定に組み込むには、事前分布に、推定するパラメータを条件とするデータの既知の分布を乗じます。この定式化により、事後分布も次の形式のガウス混合モデルに なります。${\displaystyle \phi _{i}}$${\displaystyle {\boldsymbol {\mu _{i}}}}$${\displaystyle {\boldsymbol {\Sigma _{i}}}}$${\displaystyle p({\boldsymbol {x|\theta }})}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle p({\boldsymbol {\theta |x}})}$

${\displaystyle p({\boldsymbol {\theta |x}})=\sum _{i=1}^{K}{\tilde {\phi _{i}}}{\mathcal {N}}({\boldsymbol {{\tilde {\mu _{i}}},{\tilde {\Sigma _{i}}}}})}$

新しいパラメータが追加され、EMアルゴリズムを使用して更新されます。 ^[2] EMベースのパラメータ更新は十分に確立されていますが、これらのパラメータの初期推定値を提供することは現在活発に研究されている分野です。この定式化により、完全な事後分布の閉じた形式の解が得られることに注意してください。ランダム変数の推定値は、事後分布の平均または最大値など、いくつかの推定量のいずれかを介して取得できます。 ${\displaystyle {\tilde {\phi _{i}}},{\boldsymbol {\tilde {\mu _{i}}}}}$${\displaystyle {\boldsymbol {\tilde {\Sigma _{i}}}}}$${\displaystyle {\boldsymbol {\theta }}}$

このような分布は、たとえば画像やクラスターのパッチ単位の形状を想定する場合に役立ちます。画像表現の場合、各ガウス分布は共分散行列に従って傾斜、拡大、および歪められます。セットの 1 つのガウス分布は、画像内の各パッチ (通常は 8x8 ピクセルのサイズ) に適合されます。特に、クラスター周辺の点の分布 ( k平均法を参照) は、十分なガウス成分があれば正確に与えられますが、特定の画像分布またはデータのクラスターを正確にモデル化するには、 K =20 を超える成分はほとんど必要ありません。 ${\displaystyle {\boldsymbol {\Sigma _{i}}}}$

カテゴリ観測を含む典型的な非ベイズ混合モデルは次のようになります。

• ${\displaystyle K,N:}$上記の通り
• ${\displaystyle \phi _{i=1\dots K},{\boldsymbol {\phi }}:}$上記の通り
• ${\displaystyle z_{i=1\dots N},x_{i=1\dots N}:}$上記の通り
• ${\displaystyle V:}$カテゴリカル観察の次元、例えば語彙の大きさ
• ${\displaystyle \theta _{i=1\dots K,j=1\dots V}:}$観察項目の成分の確率${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle {\boldsymbol {\theta }}_{i=1\dots K}:}$次元のベクトルの合計は1でなければならない${\displaystyle V,}$${\displaystyle \theta _{i,1\dots V};}$

ランダム変数:

${\displaystyle {\begin{array}{lcl}z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\text{Categorical}}({\boldsymbol {\theta }}_{z_{i}})\end{array}}}$

カテゴリ観測を含む典型的なベイズ混合モデルは次のようになります。

• ${\displaystyle K,N:}$上記の通り
• ${\displaystyle \phi _{i=1\dots K},{\boldsymbol {\phi }}:}$上記の通り
• ${\displaystyle z_{i=1\dots N},x_{i=1\dots N}:}$上記の通り
• ${\displaystyle V:}$カテゴリカル観察の次元、例えば語彙の大きさ
• ${\displaystyle \theta _{i=1\dots K,j=1\dots V}:}$観察項目の成分の確率${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle {\boldsymbol {\theta }}_{i=1\dots K}:}$次元のベクトルの合計は1でなければならない${\displaystyle V,}$${\displaystyle \theta _{i,1\dots V};}$
• ${\displaystyle \alpha :}$各成分の共有濃度ハイパーパラメータ${\displaystyle {\boldsymbol {\theta }}}$
• ${\displaystyle \beta :}$濃度ハイパーパラメータ${\displaystyle {\boldsymbol {\phi }}}$

ランダム変数:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\phi }}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\{\boldsymbol {\theta }}_{i=1\dots K}&\sim &{\text{Symmetric-Dirichlet}}_{V}(\alpha )\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\text{Categorical}}({\boldsymbol {\theta }}_{z_{i}})\end{array}}}$

金融収益は、平常時と危機時では異なる動きをすることが多い。収益データの混合モデル^[3]は妥当と思われる。使用されるモデルは、ジャンプ拡散モデル、または2つの正規分布の混合である場合もある。詳細については、 金融経済学§課題と批判および金融リスク管理§銀行業務を参照。

N軒の異なる住宅の価格を観測すると仮定します。異なる地域の異なるタイプの住宅は価格が大きく異なりますが、特定の地域の特定のタイプの住宅 (たとえば、中程度に高級な地域の 3 ベッドルームの家) の価格は、平均値の周りにかなり密集する傾向があります。このような価格の 1 つのモデルとして考えられるのは、価格がK 個の異なるコンポーネントを持つ混合モデルによって正確に記述され、各コンポーネントが未知の平均値と分散を持つ正規分布として分布し、各コンポーネントが特定の住宅タイプ/地域の組み合わせを指定すると仮定することです。このモデルを観測された価格に当てはめると (たとえば期待最大化アルゴリズムを使用)、住宅タイプ/地域ごとに価格が密集し、各タイプ/地域の価格の広がりが明らかになる傾向があります。(価格や収入などの値が正であることが保証され、指数関数的に増加する傾向がある場合、対数正規分布は実際には正規分布よりも優れたモデルになる可能性があることに注意してください。)

文書が、サイズVの全語彙からのN 個の異なる単語で構成され、各単語がK 個の可能なトピックの 1 つに対応していると仮定します。このような単語の分布は、K 個の異なるV次元カテゴリ分布の混合としてモデル化できます。この種のモデルは、一般にトピック モデルと呼ばれます。このようなモデルに期待値最大化を適用しても、通常は現実的な結果が得られないことに注意してください。これは、(とりわけ)パラメータの数が多すぎることが原因です。通常、良い結果を得るには、何らかの追加の仮定が必要です。通常、モデルには 2 種類の追加コンポーネントが追加されます。

1. トピック分布を記述するパラメータ上に事前分布が配置されます。事前分布は、1 より大幅に低く設定された集中パラメータを持つディリクレ分布を使用して、スパース分布(少数の単語のみが有意にゼロ以外の確率を持つ) を促進します。
2. 自然なクラスタリングを活用するために、単語のトピック ID に対して何らかの追加の制約が課されます。

• たとえば、マルコフ連鎖はトピックのアイデンティティ（つまり、各観測の混合コンポーネントを指定する潜在変数）に配置され、近くの単語が類似のトピックに属しているという事実に対応します。（これにより、隠れマルコフモデル、具体的には、同じ状態にとどまる遷移を優先する事前分布が状態遷移に配置されるモデルが生成されます。）
• もう 1 つの可能性は、潜在的なディリクレ配分モデルです。これは、単語をD 個の異なるドキュメントに分割し、各ドキュメントでは少数のトピックのみが任意の頻度で発生すると想定します。

以下の例はChristopher M. Bishop著「パターン認識と機械学習」の例に基づいています。^[4]

0 から 9 までの手書き数字のスキャンであることがわかっているN × Nの白黒画像が与えられているが、どの数字が書かれているかはわからないとします。異なるコンポーネントを持つ混合モデルを作成できます。各コンポーネントは、ベルヌーイ分布のサイズのベクトルです(ピクセルごとに 1 つ)。このようなモデルは、ラベルなしの手書き数字セットで期待値最大化アルゴリズムを使用してトレーニングでき、書かれている数字に従って画像を効果的にクラスタ化します。同じモデルを使用して、パラメーターを一定に保ち、可能性のある数字ごとに新しい画像の確率を計算し (簡単な計算)、最も高い確率を生成した数字を返すだけで、別の画像の数字を認識できます。 ${\displaystyle K=10}$${\displaystyle N^{2}}$

混合モデルは、複数の発射体をターゲットに向ける問題（航空、陸上、または海の防衛アプリケーションなど）に適用されます。この場合、発射体の物理的特性および/または統計的特性は、複数の発射体内で異なります。例としては、複数の弾薬タイプからの発砲や、1つのターゲットに向けられた複数の場所からの発砲が挙げられます。発射体タイプの組み合わせは、ガウス混合モデルとして特徴付けられる場合があります。^[5]さらに、発射体のグループの精度のよく知られた尺度は、円周誤差確率（CEP）です。これは、平均して発射体のグループの半分がターゲットポイントの周りの半径Rの円内に収まる数Rです。混合モデルを使用して、値Rを決定（または推定）できます。混合モデルは、異なるタイプの発射体を適切に捉えます。

上記の金融の例は、混合モデルの直接的な応用例の 1 つであり、各観測がいくつかの異なるソースまたはカテゴリのいずれかに属するように、基礎となるメカニズムを想定する状況です。ただし、この基礎となるメカニズムは、観測可能である場合とそうでない場合があります。この混合形式では、各ソースはコンポーネントの確率密度関数によって記述され、その混合重みは、観測がこのコンポーネントから発生する確率です。

混合モデルの間接的な適用では、このようなメカニズムは想定されません。混合モデルは、単にその数学的な柔軟性のために使用されます。たとえば、異なる平均を持つ 2 つの正規分布を混合すると、2 つのモードを持つ密度が生じる可能性がありますが、これは標準的なパラメトリック分布ではモデル化されません。別の例として、混合分布は基本的なガウス分布よりも太い裾をモデル化できるため、より極端なイベントをモデル化するための候補となる可能性があります。

混合モデルに基づくクラスタリングは、予知保全における機械の状態の特定にも主に使用されています。密度プロットは、高次元の特徴の密度を分析するために使用されます。マルチモデル密度が観察された場合、有限の密度セットは有限の正規混合セットによって形成されると想定されます。多変量ガウス混合モデルを使用して、特徴データを k 個のグループにクラスタリングします。k は、機械の各状態を表します。機械の状態は、通常状態、電源オフ状態、または障害状態のいずれかです。^[6]形成された各クラスターは、スペクトル解析などの手法を使用して診断できます。近年、これは早期障害検出などの他の分野でも広く使用されています。^[7]

画像処理とコンピュータビジョンでは、従来の画像セグメンテーションモデルでは、1 つのピクセルに 1 つの排他的なパターンのみを割り当てることがよくあります。ファジーセグメンテーションまたはソフトセグメンテーションでは、任意のパターンが任意の 1 つのピクセルに対して特定の「所有権」を持つことができます。パターンがガウス分布の場合、ファジーセグメンテーションは自然にガウス混合分布になります。他の分析ツールまたは幾何学的ツール (拡散境界上の相転移など) と組み合わせると、このような空間的に正規化された混合モデルは、より現実的で計算効率の高いセグメンテーション方法につながる可能性があります。^[8]

ガウス混合モデル(GMM)などの確率的混合モデルは、画像処理やコンピューター ビジョンの分野で点セットの登録問題を解決するために使用されます。ペアワイズ点セット登録では、1 つの点セットが混合モデルの重心と見なされ、他の点セットがデータ ポイント (観測値) と見なされます。最先端の方法には、コヒーレント ポイント ドリフト(CPD) ^[9] やスチューデントの t 分布混合モデル (TMM) ^[10]などがあります。 最近の研究の結果は、CPD や TMM と比較して、ハイブリッド混合モデル^[11] (たとえば、スチューデントの t 分布とワトソン分布/ビンガム分布を組み合わせて空間位置と軸の向きを個別にモデル化する) が、固有の堅牢性、精度、識別能力の点で優れていることを示しています。

識別可能性とは、検討対象のクラス (ファミリー) 内のいずれかのモデルに固有の特性が存在することを意味します。モデルが識別できない場合、推定手順が明確に定義されず、漸近理論が成立しない可能性があります。

Jをn = 2であるすべての二項分布のクラスとすると、 Jの2つの要素 の混合は

${\displaystyle p_{0}=\pi (1-\theta _{1})^{2}+(1-\pi )(1-\theta _{2})^{2}}$

${\displaystyle p_{1}=2\pi \theta _{1}(1-\theta _{1})+2(1-\pi )\theta _{2}(1-\theta _{2})}$

そしてp ₂ = 1 − p ₀ − p ₁です。明らかに、p ₀とp ₁が与えられている場合、決定すべき 3つのパラメータ（ π、θ ₁、θ ₂ ）があるため、上記の混合モデルを一意に決定することはできません。

同じクラスのパラメトリック分布の混合を考えてみましょう。

${\displaystyle J=\{f(\cdot ;\theta ):\theta \in \Omega \}}$

をすべての成分分布のクラスとする。すると、Jの凸包 K はJのすべての分布の有限混合のクラスを定義する。

${\displaystyle K=\left\{p(\cdot ):p(\cdot )=\sum _{i=1}^{n}a_{i}f_{i}(\cdot ;\theta _{i}),a_{i}>0,\sum _{i=1}^{n}a_{i}=1,f_{i}(\cdot ;\theta _{i})\in J\ \forall i,n\right\}}$

K は、そのすべてのメンバーが一意である場合に識別可能であると言われます。つまり、Kの2つのメンバーpとp′ がそれぞれJのk分布とk′分布の混合である場合、まずk = k′であり、次にすべてのiについてa _i = a _i ′かつƒ _i = ƒ _i ′となるように合計を並べ替えることができる場合のみ、 p = p′ が成り立ちます。

パラメトリック混合モデルは、分布Yがわかっていて、 Xからサンプルを採取できるが、 a _{i 値}とθ _i値を決定したい場合によく使用されます。このような状況は、複数の異なるサブ母集団から構成される母集団からサンプルを採取する研究で発生する可能性があります。

確率混合モデリングは、欠損データの問題として考えるのが一般的です。これを理解する 1 つの方法は、検討中のデータ ポイントが、データをモデル化するために使用している分布の 1 つに「所属」していると仮定することです。開始時には、この所属は不明、つまり欠損しています。推定の仕事は、選択したモデル関数に適切なパラメータを考案することであり、データ ポイントへの接続は、個々のモデル分布の所属として表されます。

混合物の分解の問題に対するさまざまなアプローチが提案されており、その多くは期待最大化(EM) や最大事後推定 (MAP) などの最大尤度法に焦点を当てています。一般に、これらの方法は、システム識別とパラメータ推定の問題を別々に検討します。つまり、混合物内のコンポーネントの数と機能形式を決定する方法は、対応するパラメータ値を推定する方法とは区別されます。注目すべき逸脱としては、Tarter と Lock ^[12]で概説されているグラフィカル メソッドや、最近ではFigueiredo と Jain ^[13]などの最小メッセージ長(MML) テクニック、およびある程度は McWilliam と Loh (2009) によって提案されたモーメント マッチング パターン分析ルーチンがあります。^[14]

期待最大化（EM）は、事前に与えられた数の成分を持つ混合物のパラメータを決定するために使用される最も一般的な手法のようです。これは、この問題に対する最大尤度推定を実装する特定の方法です。EMは、デンプスターら（1977）による次の反復アルゴリズムのように、閉じた形式の表現が可能な有限正規混合物に特に魅力的です。^[15]

${\displaystyle w_{s}^{(j+1)}={\frac {1}{N}}\sum _{t=1}^{N}h_{s}^{(j)}(t)}$

${\displaystyle \mu _{s}^{(j+1)}={\frac {\sum _{t=1}^{N}h_{s}^{(j)}(t)x^{(t)}}{\sum _{t=1}^{N}h_{s}^{(j)}(t)}}}$

${\displaystyle \Sigma _{s}^{(j+1)}={\frac {\sum _{t=1}^{N}h_{s}^{(j)}(t)[x^{(t)}-\mu _{s}^{(j+1)}][x^{(t)}-\mu _{s}^{(j+1)}]^{\top }}{\sum _{t=1}^{N}h_{s}^{(j)}(t)}}}$

事後確率で

${\displaystyle h_{s}^{(j)}(t)={\frac {w_{s}^{(j)}p_{s}(x^{(t)};\mu _{s}^{(j)},\Sigma _{s}^{(j)})}{\sum _{i=1}^{n}w_{i}^{(j)}p_{i}(x^{(t)};\mu _{i}^{(j)},\Sigma _{i}^{(j)})}}.}$

したがって、パラメータの現在の推定値に基づいて、状態sから生成される特定の観測x ^{( t )の}条件付き確率が、各t = 1、…、Nに対して決定されます 。Nはサンプル サイズです。次に、新しいコンポーネントの重みが平均条件付き確率に対応し、各コンポーネントの平均と共分散がサンプル全体の平均と共分散のコンポーネント固有の加重平均になるように、パラメータが更新されます。

Dempster ^[15]はまた、EM の反復処理を繰り返すごとに尤度が下がらないことを示した。これは他の勾配ベースの最大化手法には見られない特性である。さらに、EM は確率ベクトルに対する制約を自然に組み込んでおり、十分に大きなサンプル サイズでは共分散の正定値が反復される。明示的に制約された手法では適切な値をチェックして維持するために余分な計算コストがかかるため、これは重要な利点である。理論的には、EM は 1 次アルゴリズムであり、固定点解にゆっくりと収束する。Redner と Walker (1984) ^{[全文引用が必要]}はこの点を指摘し、超線形および 2 次ニュートン法と準ニュートン法を支持し、経験的テストに基づいて EM の収束が遅いことを報告している。彼らは、パラメータ値自体の収束は速くなかったとしても、尤度の収束は速かったことを認めている。EM と他のアルゴリズムの収束に対する相対的なメリットは、他の文献で議論されている。^[16]

EMの使用に対するその他の一般的な反対意見としては、EMが誤って局所的最大値を特定する傾向があることや、初期値に対して敏感であるということが挙げられる。^{[17] [18]}これらの問題に対処するには、パラメータ空間内の複数の初期点でEMを評価する必要があるが、これは計算コストが高く、UdeaとNakano（1998）のアニーリングEM法（初期成分が基本的に重複するように強制され、初期推測の不均一性の少ない基礎を提供する）などの他のアプローチの方が望ましいかもしれない。

Figueiredo と Jain ^{[13] は}、モデルコンポーネントの数が最適/真の数を超えると、境界で取得された「無意味な」パラメータ値 (規則性条件が破綻する、たとえば Ghosh と Sen (1985)) への収束が頻繁に観察されると指摘しています。これに基づいて、彼らは推定と識別への統一されたアプローチを提案しており、初期のnは予想される最適値を大幅に超えるように選択されます。彼らの最適化ルーチンは、最小メッセージ長 (MML) 基準によって構築されており、この基準は、サポートする情報が不十分な場合に候補コンポーネントを効果的に排除します。このようにして、nの削減を体系化し、推定と識別を共同で検討することができます。

混合モデルのパラメータの初期推定値を使用して、各データ ポイントの「部分的なメンバーシップ」は、各データ ポイントのメンバーシップ変数の期待値を計算することによって、各構成分布で計算されます。つまり、各データ ポイントx _jと分布Y _iについて、メンバーシップ値y _{i , j は}次のようになります。

${\displaystyle y_{i,j}={\frac {a_{i}f_{Y}(x_{j};\theta _{i})}{f_{X}(x_{j})}}.}$

グループ メンバーシップの期待値がわかれば、分布パラメーターのプラグイン推定値が再計算されます。

混合係数a _{i は、} N 個のデータ ポイントにわたるメンバーシップ値の平均です。

${\displaystyle a_{i}={\frac {1}{N}}\sum _{j=1}^{N}y_{i,j}}$

コンポーネントモデルパラメータθ _iも、メンバーシップ値を使用して重み付けされたデータポイントx _{j を}使用した期待最大化によって計算されます。たとえば、θが平均μの場合、

${\displaystyle \mu _{i}={\frac {\sum _{j}y_{i,j}x_{j}}{\sum _{j}y_{i,j}}}.}$

a _iとθ _iの新しい推定値を使用して、期待値ステップを繰り返し、新しいメンバーシップ値を再計算します。モデル パラメータが収束するまで、この手順全体が繰り返されます。

EM アルゴリズムの代替として、ベイズの定理で示されるように事後サンプリングを使用して混合モデルのパラメータを推定することができます。これは、データ ポイントのメンバーシップが欠損データである不完全なデータ問題と見なされます。ギブス サンプリングと呼ばれる 2 段階の反復手順を使用できます。

2 つのガウス分布の混合の前述の例は、この方法がどのように機能するかを示しています。前と同様に、混合モデルのパラメータの初期推定が行われます。各要素分布の部分的なメンバーシップを計算する代わりに、各データ ポイントのメンバーシップ値がベルヌーイ分布から抽出されます(つまり、最初のガウス分布または 2 番目のガウス分布に割り当てられます)。ベルヌーイ パラメータθは、構成分布の 1 つに基づいて各データ ポイントに対して決定されます。^{[あいまい]} 分布からの抽出により、各データ ポイントのメンバーシップの関連付けが生成されます。次に、EM の M ステップと同様にプラグイン推定量を使用して、新しい混合モデル パラメータ セットを生成し、二項抽出ステップを繰り返します。

モーメントマッチング法は、混合パラメータを決定する最も古い手法の 1 つであり、カール ピアソンの 1894 年の独創的な研究にまで遡ります。このアプローチでは、混合パラメータは、複合分布が特定の値に一致するモーメントを持つように決定されます。多くの場合、モーメント方程式の解の抽出には、自明ではない代数的または計算上の問題が伴います。さらに、Day ^[19]による数値解析では、このような方法は EM に比べて非効率的である可能性があることが示されています。それでも、この方法には新たな関心が寄せられています。たとえば、Craigmile と Titterington (1998) や Wang ^{[20]などです。}

McWilliam と Loh (2009) は、EM が計算上不可能な大規模システムにおける超直方体正規混合コピュラの特性を検討しています。ここでは、パターン分析ルーチンを使用して、一変量および (ある意味では) 二変量モーメントのセットと一致する多変量テール依存性を生成します。次に、この方法のパフォーマンスを、コルモゴロフ-スミルノフ検定統計量を使用して公平な対数リターン データを使用して評価し、記述的適合性が良好であることを示唆しています。

混合モデル推定におけるいくつかの問題は、スペクトル法を使用して解決できます。特に、データ ポイントx _iが高次元の実空間内の点であり、隠れた分布が対数凹(ガウス分布や指数分布など) であることがわかっている場合に有用になります。

混合モデルを学習するスペクトル法は、データ ポイントを含む行列の特異値分解の使用に基づいています。考え方としては、上位k 個の特異ベクトルを考慮することです。ここで、k は学習する分布の数です。各データ ポイントをそれらのベクトルが張る線形サブスペースに投影すると、同じ分布から発生するポイントは非常に近くにグループ化されますが、異なる分布からのポイントは離れたままになります。

スペクトル法の特徴的な特徴の 1 つは、分布が特定の分離条件 (たとえば、あまり近すぎない) を満たす場合、推定された混合が真の混合に非常に近くなる確率が高いことを証明できることです。

TarterとLock ^[12]は、経験的頻度プロットにカーネル関数を適用して成分内分散を減らす、混合物の識別に対するグラフィカルなアプローチを説明しています。この方法では、異なる平均を持つ成分をより簡単に識別できます。このλ法では、成分の数や関数形式に関する事前の知識は必要ありませんが、その成功は、ある程度暗黙的に成分構造に関する仮定を埋め込むカーネルパラメータの選択に依存します。

それらのいくつかは、おそらく、無限分散のものを含む、裾の重い分布の混合を学習することさえできます (以下の論文へのリンクを参照)。この設定では、外れ値の存在により期待値ステップが発散するため、EM ベースの方法は機能しません 。

分布F _i、i =1 からn、確率p _i (合計 =  p _i  = 1) の混合からサイズNのサンプルをシミュレートするには、次のようにします。

1. サイズがnで確率がp _i ( i = 1= から nまで) のカテゴリ分布からN個の乱数を生成します。これにより、 N個の各値がどのF _iから来るかがわかります。m i_はi^番目のカテゴリに割り当てられた乱数の個数を表します。
2. 各iについて、F _i分布からm _i個の乱数を生成します。

ベイジアン設定では、混合モデルを定義するグラフィカル モデルに追加のレベルを追加できます。たとえば、共通潜在ディリクレ割り当て トピック モデルでは、観測値はD 個の異なるドキュメントから抽出された単語のセットであり、K個の混合コンポーネントはドキュメント間で共有されるトピックを表します。各ドキュメントには、そのドキュメントでよく使用されるトピックを指定する、異なる混合重みのセットがあります。すべての混合重みのセットは、共通のハイパーパラメータを共有します。

非常に一般的な拡張は、混合成分のアイデンティティを定義する潜在変数を、独立した同一分布のランダム変数であると仮定するのではなく、マルコフ連鎖に接続することです。結果として得られるモデルは隠れマルコフモデルと呼ばれ、最も一般的な順次階層モデルの 1 つです。隠れマルコフモデルの拡張は数多く開発されています。詳細については、結果の記事を参照してください。

混合分布と混合分解の問題、すなわちその構成要素とそのパラメータの識別は、1846年（McLachlan、^[17] 2000のQuetelet）というかなり古い文献で引用されているが、雌のカニの個体群における額と体長の比の非正規な属性を特徴付ける際に分解問題に明示的に取り組んだ最初の著者として、Karl Pearson（1894）^[21]の研究が一般的に参照されている。この研究の動機は、1893年に（TarterとLock ^{[12]で）これらの比率のヒストグラムの非対称性が進化の分岐を示す可能性があると推測した動物学者}Walter Frank Raphael Weldonによって提供された。Pearsonのアプローチは、経験的モーメントがモデルのものと一致するように混合の5つのパラメータを選択することによって、2つの正規分布の単変量混合をデータに当てはめるというものであった。

彼の研究は、潜在的に異なる 2 つのサブ集団を特定し、モーメント マッチング ツールとしての混合物の柔軟性を実証することに成功しましたが、その定式化には 9 次 (非次) 多項式の解が必要であり、当時は計算上の大きな課題となっていました。

その後の研究はこれらの問題に取り組むことに重点が置かれましたが、研究が本格的に始まったのは、現代のコンピュータの登場と最大尤度（MLE）パラメータ化技術の普及によってからでした。 ^[22]それ以来、このテーマに関する膨大な研究が行われており、その範囲は漁業研究、農業、植物学、経済学、医学、遺伝学、心理学、古生物学、電気泳動、金融、地質学、動物学などの分野に及びます。^[23]

• 混合物の密度
• 混合（確率）
• フレキシブル混合モデル (FMM)
• 部分空間ガウス混合モデル
• ジリーモナド

• グラフィカルモデル
• 階層ベイズモデル

• ランサック

• Everitt, BS; Hand, DJ (1981)。有限混合分布。Chapman & Hall。ISBN 978-0-412-22420-1。
• Lindsay, BG (1995)。混合モデル: 理論、幾何学、および応用。NSF-CBMS 確率統計地域会議シリーズ。第 5 巻。ヘイワード: 数理統計研究所。
• Marin, JM; Mengersen, K .; Robert, CP (2011)。「ベイズモデリングと分布の混合に関する推論」(PDF)。Dey, D.; Rao, CR (編)。ベイズモデルの基本。統計ハンドブック: ベイズ的思考 - モデリングと計算。第 25 巻。Elsevier。ISBN 9780444537324。
• McLachlan, GJ; Peel, D. (2000).有限混合モデル. Wiley. ISBN 978-0-471-00626-8。
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007)。「セクション 16.1. ガウス混合モデルと k-Means クラスタリング」。数値レシピ: 科学計算の芸術(第 3 版)。ニューヨーク: Cambridge University Press。ISBN 978-0-521-88068-8。
• Titterington, D.; Smith, A.; Makov, U. (1985).有限混合分布の統計分析. Wiley. ISBN 978-0-471-90763-3。
• Yao, W.; Xiang, S. (2024)。混合モデル: パラメトリック、セミパラメトリック、そして新しい方向性。Chapman & Hall/CRC Press。ISBN 978-0367481827。

1. Reynolds, DA; Rose, RC (1995 年 1 月)。「ガウス混合話者モデルを使用したテキストに依存しない堅牢な話者識別」。IEEE Transactions on Speech and Audio Processing。3 ( 1): 72–83。doi :10.1109/89.365379。S2CID  7319345。
2. Permuter, H.; Francos, J.; Jermyn, IH (2003)。画像データベース検索のためのテクスチャと色のガウス混合モデル。IEEE国際音響、音声、信号処理会議、2003 年。議事録 (ICASSP '03) 。doi :10.1109/ICASSP.2003.1199538。
   • Permuter, Haim; Francos, Joseph; Jermyn, Ian (2006). 「画像の分類とセグメンテーションのための色とテクスチャの特徴のガウス混合モデルの研究」(PDF) .パターン認識. 39 (4): 695–706. Bibcode :2006PatRe..39..695P. doi :10.1016/j.patcog.2005.10.028. S2CID  8530776.
3. Lemke, Wolfgang (2005)。状態空間フレームワークにおける用語構造のモデリングと推定。Springer Verlag。ISBN 978-3-540-28342-3。
4. Brigo, Damiano ; Mercurio, Fabio (2001)。解析的に扱いやすい Smile モデルのための変位拡散と混合拡散。数理ファイナンス - Bachelier Congress 2000。議事録。Springer Verlag。
5. Brigo, Damiano ; Mercurio, Fabio (2002 年 6 月)。「対数正規混合ダイナミクスと市場ボラティリティ スマイルへの調整」。International Journal of Theoretical and Applied Finance。5 ( 4): 427。CiteSeerX 10.1.1.210.4165。doi : 10.1142 / S0219024902001511。 
6. Spall, JC; Maryak, JL (1992). 「非IIDデータからの射影精度の分位数の実現可能なベイズ推定量」アメリカ統計学会誌。87 (419): 676–681. doi :10.1080/01621459.1992.10475269. JSTOR  2290205.
7. Alexander, Carol (2004 年 12 月)。「不確実なボラティリティを伴う正規混合拡散: 短期および長期のスマイル効果のモデル化」(PDF)。Journal of Banking & Finance。28 ( 12): 2957–80。doi : 10.1016 /j.jbankfin.2003.10.017。
8. スティリアノウ、ヤニス。パンタジス、ヤニス。カルデレロ、フェリペ。ラリー、ペドロ。セヴラン、フランソワ。シムケ、サシャ。ボナル、ロランド。マッタ、フェデリコ。ヴァルサマキス、アタナシオス (2005)。 GMM ベースのマルチモーダル生体認証検証(PDF)。
9. Chen, J.; Adebomi, 0.E.; Olusayo, OS; Kulesza, W. (2010).マルチターゲット追跡のためのガウス混合確率仮説密度アプローチの評価。IEEE 国際画像システム技術会議、2010 年。doi :10.1109/IST.2010.5548541。{{cite conference}}: CS1 maint: numeric names: authors list (link)

• Nielsen, Frank (2012 年 3 月 23 日)。「K-MLE: 統計的混合モデルを学習するための高速アルゴリズム」。2012 IEEE国際音響、音声、信号処理会議 (ICASSP)。pp. 869–872。arXiv : 1203.5181。Bibcode : 2012arXiv1203.5181N。doi : 10.1109/ ICASSP.2012.6288022。ISBN 978-1-4673-0046-9. S2CID  935615。
• EMと混合モデリングのSOCRデモンストレーション
• DL Dowe が管理する混合モデリング ページ (および有限混合モデルに適用される最小メッセージ長( MML )の Snob プログラム)。
• PyMix – Python 混合パッケージ、Python でのさまざまな混合モデルベースのデータマイニングアプリケーション用のアルゴリズムとデータ構造
• sklearn.mixture –ガウス混合モデルを学習し、そこからサンプリングするためのscikit-learn Python ライブラリのモジュール。以前はSciPyでパッケージ化されていましたが、現在は SciKit としてパッケージ化されています。
• GMM.m GMM実装用のMatlabコード
• GPGPU を使用して 100 倍の速度加速を実現した、EM と MCMC を使用したベイズ混合モデルの GPUmix C++ 実装。
• [2] EMアルゴリズムを用いたGMM実装のMatlabコード
• [3] jMEF: 指数族の混合を学習および処理するためのJavaオープンソースライブラリ（Bregmanダイバージェンスによる双対性を使用）。Matlabラッパーが含まれています。
• ガウス混合モデル (GMM) を推定するための期待値最大化 (EM) アルゴリズムの非常に高速でクリーンな C 実装。
• mclust は混合モデリング用の R パッケージです。
• dpgmm Pure Python ディリクレ過程ガウス混合モデルの実装 (変分)。
• ガウス混合モデル 期待値最大化によってトレーニングされたガウス混合モデルに関するブログ投稿。Python での実装も含まれています。