生成モデル

統計的分類では、生成的アプローチと識別的アプローチという 2 つの主なアプローチがあります。これらは、統計的モデリングの程度が異なる異なるアプローチによって分類子を計算します。用語は一貫していませんが、^[a] Jebara (2004) に従って、3 つの主要なタイプを区別できます。

1. 生成モデルは、与えられた観測変数Xと目標変数Yの結合確率分布の統計モデルである。^[1]生成モデルは、観測xのランダムなインスタンス（結果）を「生成」するために使用できる。^[2] ${\displaystyle P(X,Y)}$
2. 判別モデルは、観測値xが与えられた場合の目標値Yの条件付き確率 のモデルである。これは、観測値xが与えられた場合に目標変数Yの値を「判別」するために使用できる。^[3]${\displaystyle P(Y\mid X=x)}$
3. 確率モデルを使用せずに計算された分類子は、大まかに「識別的」とも呼ばれます。

これら最後の 2 つのクラスの区別は一貫していません。^[4] Jebara (2004) は、これら 3 つのクラスを生成学習、条件付き学習、識別学習と呼んでいますが、Ng & Jordan (2002) は 2 つのクラスのみを区別し、生成分類器(結合分布) と識別分類器(条件付き分布または非分布) と呼んでおり、後者の 2 つのクラスは区別していません。^[5]同様に、生成モデルに基づく分類器は生成分類器であり、識別モデルに基づく分類器は識別分類器ですが、この用語はモデルに基づかない分類器も指します。

それぞれの標準的な例（すべて線形分類器）は次のとおりです。

• 生成分類器:
  • ナイーブベイズ分類器と
  • 線形判別分析
• 識別モデル:
  • ロジスティック回帰

分類への応用では、観測値xからラベルy (またはラベルの確率分布) を取得したいとします。確率分布を使用せずにこれを直接計算できます (分布フリー分類器)。観測値が与えられた場合のラベルの確率を推定し(判別モデル)、それに基づいて分類できます。または、結合分布を推定し(生成モデル)、そこから条件付き確率を計算し、それに基づいて分類できます。これらは間接的になりますが、確率的になり、より多くのドメイン知識と確率論を適用できるようになります。実際には、特定の問題に応じてさまざまなアプローチが使用され、ハイブリッドでは複数のアプローチの長所を組み合わせることができます。 ${\displaystyle P(Y|X=x)}$${\displaystyle P(X,Y)}$${\displaystyle P(Y|X=x)}$

別の区分では、これらを対称的に次のように定義します。

• 生成モデルは、観測可能なXの条件付き確率を、目標値yを与えられたときに表すモデルであり、記号的に表現すると、^[2]${\displaystyle P(X\mid Y=y)}$
• 識別モデルは、観測値xが与えられたときの目標値Yの条件付き確率のモデルであり、記号的に表現すると、^[3]${\displaystyle P(Y\mid X=x)}$

正確な定義にかかわらず、生成モデルは、観測値とターゲット、またはターゲット値yが与えられた観測値 x のいずれかのランダムインスタンス (結果) を「生成」するために使用できるため、用語は憲法上適切です。^{[2]一方、識別モデルまたは識別分類器 (モデルなし) は、観測値}xが与えられた場合にターゲット変数Yの値を「識別」するために使用できます。^[3] 「識別する」(区別する) と「分類する」の違いは微妙で、一貫して区別されていません。(「識別分類器」という用語は、 「識別」が「分類」と同義である場合に冗長語になります。) ${\displaystyle (x,y)}$

「生成モデル」という用語は、入力変数の潜在的なサンプルの確率分布と明確な関係を持たない方法で出力変数のインスタンスを生成するモデルを説明するためにも使用されます。生成敵対ネットワークは、このクラスの生成モデルの例であり、主に特定の出力と潜在的な入力の類似性によって判断されます。このようなモデルは分類器ではありません。

分類への応用では、観測可能なXは連続変数であることが多いですが、ターゲットYは一般的に有限のラベルセットで構成される離散変数であり、条件付き確率は、Xを入力、Yを出力と見なして、 （非決定論的な）ターゲット関数として解釈することもできます。 ${\displaystyle P(Y\mid X)}$ ${\displaystyle f\colon X\to Y}$

ラベルの有限セットが与えられた場合、「生成モデル」の 2 つの定義は密接に関連しています。条件付き分布のモデルは各ラベルの分布のモデルであり、結合分布のモデルはラベル値の分布のモデルと、ラベルが与えられた観測値の分布を組み合わせたものと同等です。つまり、記号的に、結合確率分布のモデルはラベルの分布のモデルよりも情報量が多いですが (ただし、相対頻度はありません)、比較的小さなステップであるため、これらは常に区別されるわけではありません。 ${\displaystyle P(X\mid Y=y)}$${\displaystyle P(Y)}$${\displaystyle P(X\mid Y)}$${\displaystyle P(X,Y)=P(X\mid Y)P(Y).}$

結合分布のモデルが与えられた場合、個々の変数の分布は、周辺分布および（X を連続と見なし、したがってその上で積分し、Y を離散と見なし、したがってその上で合計する）として計算することができ、条件付き確率の定義から、いずれかの条件付き分布を計算できます。および。 ${\displaystyle P(X,Y)}$ ${\displaystyle P(X)=\sum _{y}P(X,Y=y)}$${\displaystyle P(Y)=\int _{x}P(Y,X=x)}$${\displaystyle P(X\mid Y)=P(X,Y)/P(Y)}$${\displaystyle P(Y\mid X)=P(X,Y)/P(X)}$

1 つの条件付き確率のモデルと、変数XおよびYの推定確率分布( およびと表記) が与えられた場合、ベイズの規則を使用して反対の条件付き確率を推定できます。 ${\displaystyle P(X)}$${\displaystyle P(Y)}$

${\displaystyle P(X\mid Y)P(Y)=P(Y\mid X)P(X).}$

たとえば、 の生成モデルが与えられた場合、次のように推定できます。 ${\displaystyle P(X\mid Y)}$

${\displaystyle P(Y\mid X)=P(X\mid Y)P(Y)/P(X),}$

の判別モデルが与えられた場合、次のように推定できます。 ${\displaystyle P(Y\mid X)}$

${\displaystyle P(X\mid Y)=P(Y\mid X)P(X)/P(Y).}$

ベイズの定理 (ある条件付き確率を他の条件付き確率に基づいて計算する) と条件付き確率の定義 (結合分布に基づいて条件付き確率を計算する) も頻繁に混同されることに注意してください。

生成アルゴリズムは、信号が分類されるためにデータがどのように生成されたかをモデル化します。生成アルゴリズムは、次のような質問をします。生成の仮定に基づくと、どのカテゴリがこの信号を生成する可能性が最も高いでしょうか? 識別アルゴリズムは、データがどのように生成されたかは気にせず、与えられた信号を分類するだけです。したがって、識別アルゴリズムはデータから直接学習し、データを分類しようとします。一方、生成アルゴリズムは、後でデータを分類するためにどのアルゴリズムに変換できるかを学習しようとします。生成アルゴリズムの利点の 1 つは、既存のデータに似た新しいデータを生成できることです。一方、分類タスクでは、識別アルゴリズムの中には生成アルゴリズムよりも優れたパフォーマンスを発揮するものがあることが証明されています。^[6]${\displaystyle p(y|x)}$${\displaystyle p(x,y)}$${\displaystyle p(y|x)}$${\displaystyle p(x,y)}$

識別モデルは観測変数の分布をモデル化する必要がないにもかかわらず、観測変数と目標変数の間の複雑な関係を一般的に表現することはできません。しかし、一般的に、識別モデルは分類や回帰のタスクにおいて必ずしも生成モデルよりも優れたパフォーマンスを発揮するわけではありません。この2つのクラスは、補完的、または同じ手順の異なる視点として見られています。^[7]

ディープラーニングの台頭により、生成モデルとディープニューラルネットワークを組み合わせたディープ生成モデル（DGM）^{[8] [9]}と呼ばれる新しい手法が生まれました。ニューラルネットワークの規模の拡大には通常、トレーニングデータの規模の拡大が伴いますが、これらは両方とも優れたパフォーマンスを得るために必要です。^[10]

人気のDGMには、変分オートエンコーダ（VAE）、生成的敵対的ネットワーク（GAN）、自己回帰モデルなどがあります。最近では、非常に大規模な深層生成モデルを構築する傾向があります。^[8]たとえば、GPT-3とその前身であるGPT-2 ^[11]は、数十億のパラメータを含む自己回帰ニューラル言語モデルです。BigGAN ^[12]とVQ-VAE ^[13]は、数億のパラメータを持つ画像生成に使用され、Jukeboxは数十億のパラメータを含む音楽オーディオ用の非常に大規模な生成モデルです。^[14]

生成モデルの種類は次のとおりです。

• ガウス混合モデル（およびその他のタイプの混合モデル）
• 隠れマルコフモデル
• 確率的文脈自由文法
• ベイジアンネットワーク（例：ナイーブベイズ、自己回帰モデル）
• 平均1依存推定量
• 潜在ディリクレ配分
• ボルツマンマシン（例：制限付きボルツマンマシン、ディープビリーフネットワーク）
• 変分オートエンコーダ
• 生成的敵対ネットワーク
• フローベースの生成モデル
• エネルギーベースのモデル
• 拡散モデル

観測データが生成モデルから実際にサンプリングされている場合、データ尤度を最大化するために生成モデルのパラメータを適合させるのが一般的な方法です。ただし、ほとんどの統計モデルは真の分布の近似値にすぎないため、モデルの適用が、他の既知の値に基づいて条件付きの変数のサブセットについて推論することである場合、近似値は、手元の問題を解決するのに必要な仮定よりも多くの仮定を行っていると主張できます。このような場合、判別モデルを使用して条件付き密度関数を直接モデル化する方が正確ですが (以下を参照)、最終的にはアプリケーション固有の詳細によって、特定のケースに最も適したアプローチが決まります。

• k近傍法アルゴリズム
• ロジスティック回帰
• サポートベクターマシン
• 決定木学習
• ランダムフォレスト
• 最大エントロピーマルコフモデル
• 条件付きランダムフィールド

入力データが、 のラベルのセットが、次の 4 つのデータ ポイントがあるとします。 ${\displaystyle x\in \{1,2\}}$${\displaystyle x}$${\displaystyle y\in \{0,1\}}$${\displaystyle (x,y)=\{(1,0),(1,1),(2,0),(2,1)\}}$

上記のデータの場合、経験的尺度から結合確率分布を推定すると次のようになります。 ${\displaystyle p(x,y)}$

以下はそのうちの1つです: ${\displaystyle p(y|x)}$

シャノン (1948) は、英語の単語ペアの頻度表を使用して、「representing and speedily is an good」で始まる文を生成する例を示しています。これは正しい英語ではありませんが、表が単語ペアから単語トリプレットなどに移動されるにつれて、より正しい英語に近づきます。

• 識別モデル
• グラフィカルモデル