生成モデル

生成モデルは、分類によく使用される計算モデルの一種です。機械学習では、通常、入力と出力の同時分布をモデル化します (P(X,Y) など)。または、クラス事前分布 P(Y) とともに、各クラス内で入力がどのように分布するかをモデル化します (P(X|Y) など)。生成モデルは、データ生成プロセス全体を記述するため、観測データに似た新しいサンプルを生成するために使用できます。このプロセスは、合成データ生成と呼ばれることがよくあります。^[¹^]^[²^]^[³^]^[⁴^]生成モデルは、密度推定、シミュレーション、欠損データまたは部分的にラベル付けされたデータを使用した学習に使用されます。分類では、P(X|Y) と P(Y) を組み合わせてベイズの定理を適用することにより、ラベルを予測できます。生成モデルは、入力から直接出力を予測することに焦点を当てた識別モデルと対比されることがよくあります。

代わりに結合確率分布を用いる生成モデルのアプローチには、ナイーブベイズ分類器、ガウス混合モデル、変分オートエンコーダー、敵対的生成ネットワークなどがある。

意味

統計的分類では、生成アプローチと識別アプローチという 2 つの主要なアプローチがあります。これらは、統計的モデリングの度合いが異なるさまざまなアプローチによって分類器を計算します。用語は一貫していませんが、^[^a^] 3 つの主要なタイプを区別できます。^[⁵^]

生成モデルは、同時確率分布の統計モデルである。 $P(X,Y)$ 与えられた観測変数Xと目標変数Yについて。^{[ 6 ]}生成モデルは、観測xのランダムなインスタンス (結果)を「生成」するために使用できます。^[⁷^]
判別モデルは条件付き確率のモデルである $P(Y\mid X=x)$ 観測値 x が与えられた場合、目標変数Yの値を「識別」するために使用できます。^{[ 8 ]}
確率モデルを使用せずに計算された分類器は、大まかに「識別型」とも呼ばれる。

これら最後の 2 つのクラスの区別は一貫して行われていません。^{[ 9 ]} Jebara (2004)はこれら 3 つのクラスを生成学習、条件付き学習、識別学習と呼んでいますが、Ng & Jordan (2002) は2 つのクラスのみを区別し、生成分類器 (結合分布) と識別分類器 (条件付き分布または分布なし) と呼んでおり、後者 2 つのクラスを区別していません。^{[ 10 ]}同様に、生成モデルに基づく分類器は生成分類器であり、識別モデルに基づく分類器は識別分類器ですが、この用語はモデルに基づかない分類器も指します。

分類への応用では、観測値xからラベルy (またはラベルの確率分布) を導きたい。確率分布を使用せずにこれを直接計算する (分布フリー分類器)。観測値が与えられた場合のラベルの確率を推定する。 $P(Y|X=x)$ （識別モデル）に基づいて分類を行うか、あるいは結合分布を推定することができる。 $P(X,Y)$ （生成モデル）から条件付き確率を計算する $P(Y|X=x)$ そして、それに基づいて分類を行います。これらの方法はますます間接的になりますが、確率論的要素も増え、より多くのドメイン知識と確率論を適用できるようになります。実際には、特定の問題に応じてさまざまなアプローチが用いられ、複数のアプローチの長所を組み合わせたハイブリッド方式も存在します。

別の区分では、これらを対称的に次のように定義します。

生成モデルは、目標yが与えられたときの観測可能Xの条件付き確率のモデルであり、記号的には、 $P(X\mid Y=y)$ ^{[ 7 ]}
識別モデルは、観測値xが与えられたときのターゲットYの条件付き確率のモデルであり、記号的には、 $P(Y\mid X=x)$ ^{[ 8 ]}

厳密な定義に関わらず、この用語は憲法に則っている。なぜなら、生成モデルは観測値と目標値のいずれかのランダムなインスタンス（結果）を「生成」するために使用できるからである。 $(x,y)$ 、または目標値yが与えられた観測値xの^[⁷^]に対して、識別モデルまたは識別分類器 (モデルなし) は、観測値xが与えられた場合に目標変数Yの値を「識別」するために使用できます。^[⁸^] 「識別する(区別する)」と「分類する」の違いは微妙であり、これらは一貫して区別されていません。 (「識別」が「分類」と同義の場合、「識別分類器」という用語は冗長になります。)

「生成モデル」という用語は、入力変数の潜在的なサンプルに対する確率分布とは明確な関係を持たない方法で出力変数のインスタンスを生成するモデルを指す場合にも使用されます。敵対的生成ネットワークはこの種の生成モデルの一例であり、特定の出力と潜在的な入力との類似性によって主に評価されます。このようなモデルは分類器ではありません。

モデル間の関係

分類への応用では、観測可能なXは連続変数であることが多く、ターゲットYは一般的に有限個のラベルからなる離散変数であり、条件付き確率は $P(Y\mid X)$ （非決定論的な）目標関数として解釈することもできる。 $f\colon X\to Y$ Xを入力、Yを出力とみなす。

有限個のラベルが与えられた場合、「生成モデル」の2つの定義は密接に関連している。条件付き分布のモデル $P(X\mid Y=y)$ は各ラベルの分布のモデルであり、結合分布のモデルはラベル値の分布のモデルと同等である。 $P(Y)$ ラベルが付けられた観測値の分布とともに、 $P(X\mid Y)$ 象徴的に、 $P(X,Y)=P(X\mid Y)P(Y).$ したがって、結合確率分布のモデルはラベルの分布のモデル（ただし相対頻度は含まない）よりも情報量が多いものの、その差は比較的小さいため、必ずしも区別されるとは限りません。

結合分布のモデルが与えられた場合、 $P(X,Y)$ 個々の変数の分布は周辺分布として計算できる。 $P(X)=\sum _{y}P(X,Y=y)$ そして $P(Y)=\int _{x}P(Y,X=x)$ （Xを連続変数とみなして積分し、Yを離散変数とみなして総和すると）いずれの条件付き分布も条件付き確率の定義から計算できる。 $P(X\mid Y)=P(X,Y)/P(Y)$ そして $P(Y\mid X)=P(X,Y)/P(X)$ 。

1 つの条件付き確率のモデルと、変数XとYの推定確率分布が与えられ、 $P(X)$ そして $P(Y)$ ベイズの定理を用いて、反対の条件付き確率を推定することができる。

P(X\mid Y)P(Y)=P(Y\mid X)P(X).

例えば、生成モデルが与えられた場合 $P(X\mid Y)$ 以下のように推定できる。

P(Y\mid X)=P(X\mid Y)P(Y)/P(X),

そして、識別モデルが与えられた場合 $P(Y\mid X)$ 以下のように推定できる。

P(X\mid Y)=P(Y\mid X)P(X)/P(Y).

ベイズの定理（一方の条件付き確率を他方の条件付き確率で計算する）と条件付き確率の定義（同時分布を用いて条件付き確率を計算する）は、しばしば混同されることに注意してください。

識別型分類器とは対照的である。

生成アルゴリズムは、信号が分類されるためにデータがどのように生成されたかをモデル化します。つまり、「私の生成仮定に基づくと、どのカテゴリがこの信号を生成する可能性が最も高いか」という問いを立てます。識別アルゴリズムは、データがどのように生成されたかには関心を持たず、与えられた信号を単に分類します。したがって、識別アルゴリズムは学習しようとします。 $p(y|x)$ データから直接学習し、データを分類しようとします。一方、生成アルゴリズムは、 $p(x,y)$ これは次のように変換できます $p(y|x)$ 後でデータを分類します。生成アルゴリズムの利点の 1 つは、 $p(x,y)$ 既存のデータに類似した新しいデータを生成する。一方、分類タスクでは、識別アルゴリズムの中には生成アルゴリズムよりも優れたパフォーマンスを発揮するものがあることが証明されている。^{[ 11 ]}

識別モデルは観測変数の分布をモデル化する必要がないにもかかわらず、一般的には観測変数と目標変数の間の複雑な関係を表現できません。しかし、一般的には、分類や回帰タスクにおいて生成モデルよりも必ずしも優れたパフォーマンスを発揮するわけではありません。この2つのクラスは、補完的であるか、同じ手順の異なる視点であると見なされています。^{[ 12 ]}

アプリケーション

サンプリング／シミュレーション
分類
密度推定と尤度
欠損データとその補完
異常検知
半教師あり学習

例

簡単な例

入力データが $x\in \{1,2\}$ ラベルのセット $x$ は $y\in \{0,1\}$ そして、以下の4つのデータポイントがあります。 $(x,y)=\{(1,0),(1,1),(2,0),(2,1)\}$

上記のデータに対して、同時確率分布を推定する $p(x,y)$ 経験的測定から得られる結果は以下のとおりです。

その間 $p(y|x)$ 以下に続きます：

テキスト生成

シャノン（1948）は、英語の単語ペアの頻度表を使用して「representing and speedily is an good」で始まる文を生成する例を挙げています。これは正しい英語ではありませんが、表を単語ペアから単語トリプレットなどに移動すると、ますます正しい英語に近づきます。

科と種類

生成モデル

生成モデルの種類は以下のとおりです。

観測データが生成モデルから実際にサンプリングされたものである場合、データ尤度を最大化するように生成モデルのパラメータを調整することは一般的な方法です。しかし、ほとんどの統計モデルは真の分布の近似に過ぎないため、モデルの適用が他の変数の既知の値に基づいて変数のサブセットについて推論することである場合、近似は目の前の問題を解決するために必要以上の仮定を置いていると主張できます。このような場合、判別モデルを使用して条件付き密度関数を直接モデル化する方がより正確になる可能性があります（下記参照）。ただし、どの方法が特定のケースで最も適しているかは、最終的にはアプリケーション固有の詳細によって決まります。

深層生成モデル

ディープラーニングの台頭に伴い、生成モデルとディープニューラルネットワークの組み合わせによって、ディープ生成モデル（DGM）と呼ばれる新しい手法群が形成されました。 ^{[ 13 ]}^{[ 14 ]}ニューラルネットワークの規模が大きくなると、通常はトレーニングデータの規模も大きくなり、どちらも良好なパフォーマンスに必要です。^{[ 15 ]}

一般的な DGM には、変分オートエンコーダー(VAE)、敵対的生成ネットワーク(GAN)、および自己回帰モデルがあります。最近では、非常に大規模な深層生成モデルを構築する傾向が見られます。^{[ 13 ]}例えば、GPT-3とその前身であるGPT-2 [ ^{16 ]は}、数十億のパラメータを含む自己回帰ニューラル言語モデルであり、BigGAN ^{[ 17 ]}と VQ-VAE ^{[ 18 ]}は、数億のパラメータを持つ画像生成に使用され、Jukebox は数十億のパラメータを含む音楽オーディオ用の非常に大規模な生成モデルです。^{[ 19 ]}

注記

↑主要な3つの情報源、 Ng & Jordan 2002、 Jebara 2004、およびMitchell 2015は、異なる区分と定義を示しています。

参考文献

↑グッドフェロー、イアン；ベンジオ、ヨシュア（2016）。ディープラーニング。適応型計算と機械学習。マサチューセッツ州ケンブリッジ：MIT Press。ISBN 978-0-262-03561-3。
↑ 「合成データ生成とは何か？」。K2View 。 2026年3月19日取得。
↑マーフィー、ケビン・P. (2012).機械学習：確率論的視点. MIT Press. ISBN 978-0262018029。
↑ビショップ、クリストファー M. (2006).パターン認識と機械学習. Springer. ISBN 978-0387310732。
↑ジェバラ、トニー (2004).機械学習：識別型と生成型. シュプリンガー国際工学・コンピュータ科学シリーズ. クルーワー・アカデミック (シュプリンガー). ISBN 978-1-4020-7647-3。
↑ Ng & Jordan (2002) : "生成分類器は結合確率のモデルを学習し、 $p(x,y)$ 入力xとラベルyの、ベイズ規則を使用して計算することで予測を行います。 $p(y\mid x)$ そして、最も可能性の高いラベルyを選択します。
1 2 3ミッチェル 2015：「ベイズの定理を学習アルゴリズム（関数近似器）の設計の基礎として次のように使用できます。ある目標関数を学習したいとします。 $f\colon X\to Y$ または同等に、 $P(Y\mid X)$ トレーニングデータを使用して推定値を学習します。 $P(X\mid Y)$ そして $P(Y)$ 新しいXのサンプルは、これらの推定確率分布とベイズの定理を用いて分類できます。このタイプの分類器は、分布を視覚的に確認できるため、生成型分類器と呼ばれます。 $P(X\mid Y)$ ターゲット属性Yを条件としてランダムなインスタンスXを生成する方法を説明する。
1 2 3ミッチェル 2015：「ロジスティック回帰は、訓練データを使用して直接推定を行う関数近似アルゴリズムです $P(Y\mid X)$ ナイーブベイズとは対照的に、ロジスティック回帰は、分布を観察できるため、識別分類器と呼ばれることが多い。 $P(Y\mid X)$ 任意のインスタンスXに対して、目標値Yの値を直接識別する
↑ Jebara 2004、2.4弁別学習：「条件付き学習と弁別学習の区別は、現在この分野では十分に確立された慣習ではない。」
↑ Ng & Jordan 2002：「識別分類器は事後分布をモデル化する」 $p(y|x)$ 直接的に、あるいは入力xからクラスラベルへの直接的なマッピングを学習する。」
↑ Ng & Jordan 2002
↑ Bishop, CM; Lasserre, J. (2007年9月24日)、「生成型か識別型か？両方の良いところを取り入れる」、Bernardo, JM (編)『ベイズ統計学8：第8回バレンシア国際会議議事録、2006年6月2日～6日』、オックスフォード大学出版局、3～ 23ページ、ISBN 978-0-19-921465-5
1 2 「スケールアップ ― 研究者たちが大規模な深層生成モデルを進歩させる」マイクロソフト2020年4月9日
↑ 「生成モデル」。OpenAI 。2016年6月16日。
↑ Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "ニューラル言語モデルのスケーリング法則". arXiv : 2001.08361 [ stat.ML ].
↑ 「より良い言語モデルとその影響」。OpenAI 。 2019年2月14日。
↑ Brock, Andrew; Donahue, Jeff; Simonyan, Karen (2018). "高忠実度自然画像合成のための大規模GANトレーニング". arXiv : 1809.11096 [ cs.LG ].
↑ラザヴィ、アリ。ファン・デン・オールド、アーロン。ビニャルズ、オリオール (2019)。「VQ-VAE-2による多様な高忠実度画像の生成」。arXiv : 1906.00446 [ cs.LG ]。
↑ 「ジュークボックス」。オープンAI。 2020年4月30日。

情報源

Shannon, CE (1948). "A Mathematical Theory of Communication" (PDF) . Bell System Technical Journal . 27 (7月、10月): 379–423 , 623–656 . Bibcode : 1948BSTJ...27..379S . doi : 10.1002/j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz/101429 . 2016年6月6日にオリジナル(PDF)からアーカイブ済み。 2016年1月9日に取得。
ミッチェル、トム M. (2015). "3. 生成分類器と識別分類器: ナイーブベイズとロジスティック回帰" (PDF) .機械学習.
Ng, Andrew Y. ; Jordan, Michael I. (2002). 「識別型分類器と生成型分類器について：ロジスティック回帰とナイーブベイズの比較」(PDF) . Advances in Neural Information Processing Systems .

外部リンク

ジェバラ、トニー（2002）。識別学習、生成学習、模倣学習（博士論文）。マサチューセッツ工科大学。hdl ：1721.1 /8323。（鏡、鏡）、書籍として出版（上記）

[5] 主要な3つの情報源、 Ng & Jordan 2002、 Jebara 2004、およびMitchell 2015は、異なる区分と定義を示しています。

[1] グッドフェロー、イアン；ベンジオ、ヨシュア（2016）。ディープラーニング。適応型計算と機械学習。マサチューセッツ州ケンブリッジ：MIT Press。ISBN 978-0-262-03561-3。

[2] 「合成データ生成とは何か？」。K2View 。 2026年3月19日取得。

[3] マーフィー、ケビン・P. (2012).機械学習：確率論的視点. MIT Press. ISBN 978-0262018029。

[4] ビショップ、クリストファー M. (2006).パターン認識と機械学習. Springer. ISBN 978-0387310732。

[jebara_2004-6] ジェバラ、トニー (2004).機械学習：識別型と生成型. シュプリンガー国際工学・コンピュータ科学シリーズ. クルーワー・アカデミック (シュプリンガー). ISBN 978-1-4020-7647-3。

[ngjordan2002generative-7] Ng & Jordan (2002) : "生成分類器は結合確率のモデルを学習し、 $p(x,y)$ 入力xとラベルyの、ベイズ規則を使用して計算することで予測を行います。 $p(y\mid x)$ そして、最も可能性の高いラベルyを選択します。

[mitchell2015generative-8] 1 2 3ミッチェル 2015：「ベイズの定理を学習アルゴリズム（関数近似器）の設計の基礎として次のように使用できます。ある目標関数を学習したいとします。 $f\colon X\to Y$ または同等に、 $P(Y\mid X)$ トレーニングデータを使用して推定値を学習します。 $P(X\mid Y)$ そして $P(Y)$ 新しいXのサンプルは、これらの推定確率分布とベイズの定理を用いて分類できます。このタイプの分類器は、分布を視覚的に確認できるため、生成型分類器と呼ばれます。 $P(X\mid Y)$ ターゲット属性Yを条件としてランダムなインスタンスXを生成する方法を説明する。

[mitchell2015discriminative-9] 1 2 3ミッチェル 2015：「ロジスティック回帰は、訓練データを使用して直接推定を行う関数近似アルゴリズムです $P(Y\mid X)$ ナイーブベイズとは対照的に、ロジスティック回帰は、分布を観察できるため、識別分類器と呼ばれることが多い。 $P(Y\mid X)$ 任意のインスタンスXに対して、目標値Yの値を直接識別する

[10] Jebara 2004、2.4弁別学習：「条件付き学習と弁別学習の区別は、現在この分野では十分に確立された慣習ではない。」

[11] Ng & Jordan 2002：「識別分類器は事後分布をモデル化する」 $p(y|x)$ 直接的に、あるいは入力xからクラスラベルへの直接的なマッピングを学習する。」

[12] Ng & Jordan 2002

[13] Bishop, CM; Lasserre, J. (2007年9月24日)、「生成型か識別型か？両方の良いところを取り入れる」、Bernardo, JM (編)『ベイズ統計学8：第8回バレンシア国際会議議事録、2006年6月2日～6日』、オックスフォード大学出版局、3～ 23ページ、ISBN 978-0-19-921465-5

[auto1-14] 1 2 「スケールアップ ― 研究者たちが大規模な深層生成モデルを進歩させる」マイクロソフト2020年4月9日

[auto-15] 「生成モデル」。OpenAI 。2016年6月16日。

[16] Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "ニューラル言語モデルのスケーリング法則". arXiv : 2001.08361 [ stat.ML ].

[17] 「より良い言語モデルとその影響」。OpenAI 。 2019年2月14日。

[18] Brock, Andrew; Donahue, Jeff; Simonyan, Karen (2018). "高忠実度自然画像合成のための大規模GANトレーニング". arXiv : 1809.11096 [ cs.LG ].

[19] ラザヴィ、アリ。ファン・デン・オールド、アーロン。ビニャルズ、オリオール (2019)。「VQ-VAE-2による多様な高忠実度画像の生成」。arXiv : 1906.00446 [ cs.LG ]。

[20] 「ジュークボックス」。オープンAI。 2020年4月30日。

[

[

[

[

[

[

[ 6 ]

[

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

16 ]は

[ 17 ]

[ 18 ]

[ 19 ]

生成モデル

意味

モデル間の関係

識別型分類器とは対照的である。

アプリケーション

例

簡単な例

テキスト生成

科と種類

生成モデル

深層生成モデル

関連項目

注記

参考文献

情報源

外部リンク

関連するトピック

分類

計算モデル

機械学習

サンプルを生成するために使用できます。このプロセスは、