変分オートエンコーダー

機械学習において、変分オートエンコーダー（VAE）は、2013年にDiederik P. KingmaとMax Wellingによって導入された人工ニューラルネットワークアーキテクチャです。 ^{[ 1 ]}これは、確率的グラフィカルモデルと変分ベイズ法のファミリーの一部です。^{[ 2 ]}

変分オートエンコーダーは、オートエンコーダーニューラルネットワークアーキテクチャとして捉えられるだけでなく、変分ベイズ法の数学的定式化の中で研究することもできます。これは、ニューラルエンコーダーネットワークを、変分分布のパラメータに対応する確率的潜在空間（例えば、多変量ガウス分布）を介してデコーダーに接続するものです。

このように、エンコーダーは、大規模で複雑なデータセットから各点（画像など）を、潜在空間内の単一の点ではなく、その空間内の分布にマッピングします。デコーダーはこれとは逆の機能を持ち、潜在空間から入力空間へ、やはり分布に従ってマッピングします（ただし、実際には、デコード段階でノイズが加えられることはほとんどありません）。点を単一の点ではなく分布にマッピングすることで、ネットワークはトレーニングデータへの過学習を回避できます。通常、両方のネットワークは再パラメータ化トリックを用いて一緒にトレーニングされますが、ノイズモデルの分散は個別に学習することも可能です。

このタイプのモデルは当初、教師なし学習用に設計されましたが、^{[ 3 ] [ 4 ]}半教師あり学習^{[ 5 ] [ 6 ]}および教師あり学習^{[ 7 ]}でもその有効性が証明されています。

変分オートエンコーダーは、それぞれ事前分布とノイズ分布を持つ生成モデルです。通常、このようなモデルは期待値最大化メタアルゴリズム（例えば、確率的PCA、（スパイク＆スラブ）スパースコーディング）を使用して学習されます。このような手法は、通常計算が困難なデータ尤度の下限を最適化し、そのためにはq分布、すなわち変分事後分布の発見が必要となります。これらのq分布は通常、個別の最適化プロセスで各データポイントごとにパラメータ化されます。しかし、変分オートエンコーダーは、償却アプローチとしてニューラルネットワークを使用し、データポイント全体にわたって共同で最適化を行います。このようにして、同じパラメータが複数のデータポイントで再利用されるため、メモリを大幅に節約できます。最初のニューラルネットワークは、データポイント自体を入力として受け取り、変分分布のパラメータを出力します。既知の入力空間から低次元の潜在空間にマッピングするため、エンコーダーと呼ばれます。

デコーダーは、このモデルの2番目のニューラルネットワークです。これは、潜在空間から入力空間（例えば、ノイズ分布の平均値など）へのマッピングを行う関数です。分散にマッピングする別のニューラルネットワークを使用することも可能ですが、簡略化のために省略できます。その場合、分散は勾配降下法で最適化できます。

このモデルを最適化するには、「再構成誤差」とカルバック・ライブラー情報量(KL-D) の 2 つの項を知る必要があります。これらの項はどちらも確率モデルの自由エネルギー式から導出されるため、ノイズ分布と、ここでは p 分布と呼ばれるデータの事前分布の仮定によって異なります。たとえば、IMAGENET のような標準的な VAE タスクでは、通常、ガウス分布ノイズが想定されますが、二値化 MNIST のようなタスクでは、ベルヌーイノイズが必要です。自由エネルギー式からの KL-D は、p 分布と重なる q 分布の確率質量を最大化しますが、残念ながら、モード探索動作につながる可能性があります。「再構成」項は自由エネルギー式の残りの部分であり、その期待値を計算するにはサンプリング近似が必要です。^{[ 8 ]}

より最近のアプローチでは、カルバック・ライブラー情報量（KL-D）をさまざまな統計的距離に置き換えています。下記の「統計的距離に基づくVAEの変種」を参照してください。

確率モデリングの観点からは、データの尤度を最大化したい。${\displaystyle x}$選択したパラメータ化された確率分布によって${\displaystyle p_{\theta }(x)=p(x|\theta )}$この分布は通常、ガウス分布として選択される。${\displaystyle N(x|\mu ,\sigma )}$これは、${\displaystyle \mu }$そして${\displaystyle \sigma }$それぞれ、指数族の一員として、ノイズ分布として扱いやすい。単純な分布は最大化するのは簡単だが、潜在変数に事前分布を仮定する分布は${\displaystyle z}$結果として、扱いの難しい積分が得られます。${\displaystyle p_{\theta }(x)}$周辺化を通じて${\displaystyle z}$。

${\displaystyle p_{\theta }(x)=\int _{z}p_{\theta }({x,z})\,dz,}$

どこ${\displaystyle p_{\theta }({x,z})}$共同分布を表す${\displaystyle p_{\theta }}$観測可能なデータの${\displaystyle x}$そしてその潜在表現または符号化${\displaystyle z}$連鎖律によれば、この方程式は次のように書き換えられる。

${\displaystyle p_{\theta }(x)=\int _{z}p_{\theta }({x|z})p_{\theta }(z)\,dz}$

バニラの変分オートエンコーダでは、${\displaystyle z}$は通常、実数の有限次元ベクトルとみなされ、${\displaystyle p_{\theta }({x|z})}$ガウス分布である。${\displaystyle p_{\theta }(x)}$これはガウス分布の混合です。

入力データとその潜在表現間の関係の集合を次のように定義することが可能になった。

• 前${\displaystyle p_{\theta }(z)}$
• 可能性${\displaystyle p_{\theta }(x|z)}$
• 後方${\displaystyle p_{\theta }(z|x)}$

残念ながら、${\displaystyle p_{\theta }(z|x)}$は高価であり、ほとんどの場合扱いが困難です。計算を高速化して実行可能にするためには、事後分布を近似する別の関数を導入する必要があります。

${\displaystyle q_{\phi }({z|x})\approx p_{\theta }({z|x})}$

と${\displaystyle \phi }$パラメータ化された実数値の集合として定義される${\displaystyle q}$これは、良い推論を見つけることに「投資」することで、償却推論と呼ばれることもあります。$q_{\phi }}$後で推測できる${\displaystyle z}$から${\displaystyle x}$積分計算を一切行わずに素早く解く。

このように、問題は条件付き尤度分布が${\displaystyle p_{\theta }(x|z)}$は確率デコーダによって計算され、近似事後分布は${\displaystyle q_{\phi }(z|x)}$確率エンコーダによって計算されます。

エンコーダをパラメータ化する${\displaystyle E_{\phi }}$デコーダーは${\displaystyle D_{\theta }}$。

勾配ベースの最適化を使用する多くの深層学習手法と同様に、VAEは逆伝播によってネットワークの重みを更新するために微分可能な損失関数を必要とします。

変分オートエンコーダーの場合、生成モデルのパラメータを共同で最適化するという考え方です。${\displaystyle \theta }$入力と出力間の再構成誤差を低減し、${\displaystyle \phi }$作る${\displaystyle q_{\phi }({z|x})}$できるだけ近い${\displaystyle p_{\theta }(z|x)}$再構成損失としては、平均二乗誤差や交差エントロピーがよく用いられる。

カルバック・ライブラー乖離${\displaystyle D_{KL}(q_{\phi }({z|x})\Parallel p_{\theta }({z|x}))}$損失関数として使用できる${\displaystyle q_{\phi }({z|x})}$下${\displaystyle p_{\theta }(z|x)}$[ ^{8 ] [ 9 ]}この発散損失は^、

${\displaystyle {\begin{aligned}D_{KL}(q_{\phi }({z|x})\parallel p_{\theta }({z|x}))&=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {q_{\phi }(z|x)}{p_{\theta }(z|x)}}\right]\\&=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {q_{\phi }({z|x})p_{\theta }(x)}{p_{\theta }(x,z)}}\right]\\&=\ln p_{\theta }(x)+\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {q_{\phi }({z|x})}{p_{\theta }(x,z)}}\right].\end{aligned}}}$

次に、証拠の下限値（ELBO）を定義します。$${\displaystyle L_{\theta ,\phi }(x):=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }({z|x})}}\right]=\ln p_{\theta }(x)-D_{KL}(q_{\phi }({\cdot |x})\parallel p_{\theta }({\cdot |x}))}$$ELBOを最大化する$${\displaystyle \theta ^{*},\phi ^{*}={\underset {\theta ,\phi }{\operatorname {argmax} }}\,L_{\theta ,\phi }(x)}$$同時に最大化することと同等${\displaystyle \ln p_{\theta }(x)}$そして最小限に抑える${\displaystyle D_{KL}(q_{\phi }({z|x})\parallel p_{\theta }({z|x}))}$つまり、観測データの対数尤度を最大化し、近似事後分布からの乖離を最小化する。${\displaystyle q_{\phi }(\cdot |x)}$正確な後方へ${\displaystyle p_{\theta }(\cdot |x)}$。

提示された形式は最大化にはあまり適していませんが、以下の同等の形式は次のようになります。$${\displaystyle L_{\theta ,\phi }(x)=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln p_{\theta }(x|z)\right]-D_{KL}(q_{\phi }({\cdot |x})\parallel p_{\theta }(\cdot ))}$$どこ${\displaystyle \ln p_{\theta }(x|z)}$実装方法${\displaystyle -{\frac {1}{2}}\|x-D_{\theta }(z)\|_{2}^{2}}$つまり、加法定数を除いて、${\displaystyle x|z\sim {\mathcal {N}}(D_{\theta }(z),I)}$収量。つまり、我々は、${\displaystyle x}$条件付き${\displaystyle z}$ガウス分布の中心は${\displaystyle D_{\theta }(z)}$の分布${\displaystyle q_{\phi }(z|x)}$そして${\displaystyle p_{\theta }(z)}$ガウス分布として選ばれることも多い。${\displaystyle z|x\sim {\mathcal {N}}(E_{\phi }(x),\sigma _{\phi }(x)^{2}I)}$そして${\displaystyle z\sim {\mathcal {N}}(0,I)}$これによって、ガウス分布のKLダイバージェンスの公式から次の式が得られます。$${\displaystyle L_{\theta ,\phi }(x)=-{\frac {1}{2}}\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\|x-D_{\theta }(z)\|_{2}^{2}\right]-{\frac {1}{2}}\left(N\sigma _{\phi }(x)^{2}+\|E_{\phi }(x)\|_{2}^{2}-2N\ln \sigma _{\phi }(x)\right)+Const}$$ここ${\displaystyle N}$は次元です${\displaystyle z}$ELBOとその最大化に関するより詳細な導出と解釈につ​​いては、メインページを参照してください。

効率的に検索するには$${\displaystyle \theta ^{*},\phi ^{*}={\underset {\theta ,\phi }{\operatorname {argmax} }}\,L_{\theta ,\phi }(x)}$$一般的な方法は勾配降下法です。

見つけるのは簡単です$${\displaystyle \nabla _{\theta }\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }({z|x})}}\right]=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\nabla _{\theta }\ln {\frac {p_{\theta }(x,z)}{q_{\phi }({z|x})}}\right]}$$しかし、$${\displaystyle \nabla _{\phi }\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }({z|x})}}\right]}$$は、${\displaystyle \nabla _{\phi }}$期待の中で、${\displaystyle \phi }$確率分布自体に現れる。再パラメータ化トリック（確率的バックプロパゲーション^{[ 10 ]}としても知られる）はこの困難を回避する。^{[ 8 ] [ 11 ] [ 12 ]}

最も重要な例は、${\displaystyle z\sim q_{\phi }(\cdot |x)}$正規分布に従うので、${\displaystyle {\mathcal {N}}(\mu _{\phi }(x),\Sigma _{\phi }(x))}$。

これは、${\displaystyle {\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(0,{\boldsymbol {I}})}$「標準乱数発生器」であり、構築する${\displaystyle z}$として${\displaystyle z=\mu _{\phi }(x)+L_{\phi }(x)\epsilon }$。 ここ、${\displaystyle L_{\phi }(x)}$これは、コレスキー分解によって得られる。$${\displaystyle \Sigma _{\phi }(x)=L_{\phi }(x)L_{\phi }(x)^{T}}$$次に$${\displaystyle \nabla _{\phi }\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }({z|x})}}\right]=\mathbb {E} _{\epsilon }\left[\nabla _{\phi }\ln {\frac {p_{\theta }(x,\mu _{\phi }(x)+L_{\phi }(x)\epsilon )}{q_{\phi }(\mu _{\phi }(x)+L_{\phi }(x)\epsilon |x)}}\right]}$$こうして勾配の不偏推定量が得られ、確率的勾配降下法が可能になった。

再パラメータ化してから${\displaystyle z}$見つける必要がある${\displaystyle q_{\phi }(z|x)}$。 させて${\displaystyle q_{0}}$確率密度関数は${\displaystyle \epsilon }$、 それから$${\displaystyle \ln q_{\phi }(z|x)=\ln q_{0}(\epsilon )-\ln |\det(\partial _{\epsilon }z)|}$$どこ${\displaystyle \partial _{\epsilon }z}$は、${\displaystyle z}$に関して${\displaystyle \epsilon }$。 以来${\displaystyle z=\mu _{\phi }(x)+L_{\phi }(x)\epsilon }$これは$${\displaystyle \ln q_{\phi }(z|x)=-{\frac {1}{2}}\|\epsilon \|^{2}-\ln |\det L_{\phi }(x)|-{\frac {n}{2}}\ln(2\pi )}$$

変分オートエンコーダーの多くの応用例や拡張機能が、そのアーキテクチャを他の分野に適応させ、性能を向上させるために利用されてきた。

${\displaystyle \beta }$-VAEは、重み付きKullback–Leiblerダイバージェンス項を使用して、因子化された潜在表現を自動的に発見および解釈する実装です。この実装では、多様体分離を強制的に実行できます。${\displaystyle \beta }$1より大きい値。このアーキテクチャは、教師なしで分離された潜在因子を発見できます。^{[ 13 ] [ 14 ]}

条件付きVAE（CVAE）は、潜在空間にラベル情報を挿入して、学習データの決定論的制約表現を強制します。^{[ 15 ]}

一部の構造は、生成されたサンプルの品質に直接対処するか^{[ 16 ] [ 17 ]}、表現学習をさらに改善するために複数の潜在空間を実装します。

一部のアーキテクチャでは、ハイブリッドモデルを得るために、VAEと敵対的生成ネットワークを組み合わせています。^{[ 18 ] [ 19 ] [ 20 ]}

エンコーダを更新するために勾配を使用する必要はありません。実際、生成モデルにはエンコーダは必要ありません。^{[ 21 ]}

Diederik P. KingmaとMax Wellingによる初期の研究^{[ 22 ]}以降、VAEの動作をより抽象的に定式化するためのいくつかの手法が提案された。これらのアプローチでは、損失関数は2つの部分から構成される 。

• エンコーダからデコーダへのマッピングを確実にするための通常の再構成エラー部分${\displaystyle x\mapsto D_{\theta }(E_{\psi }(x))}$可能な限り同一性マップに近づける。サンプリングは実行時に経験分布から行われる。 ${\displaystyle \mathbb {P} ^{real}}$利用可能なオブジェクトの数（例えば、MNISTやIMAGENETの場合、これはデータセット内のすべての画像の経験的確率法則になります）。これにより、次の用語が得られます。 ${\displaystyle \mathbb {E} _{x\sim \mathbb {P} ^{real}}\left[\|x-D_{\theta }(E_{\phi }(x))\|_{2}^{2}\right]}$。
• 経験分布が${\displaystyle \mathbb {P} ^{real}}$エンコーダーを通過する${\displaystyle E_{\phi }}$、ここで示される目標分布を復元します。${\displaystyle \mu (dz)}$これは通常、多変量正規分布とみなされます。${\displaystyle E_{\phi }\sharp \mathbb {P} ^{real}}$このプッシュフォワード尺度は、実際には、すべてのデータセットオブジェクトをエンコーダーに通すことによって得られる経験的分布に他なりません。${\displaystyle E_{\phi }}$確実にするために ${\displaystyle E_{\phi }\sharp \mathbb {P} ^{real}}$ 目標に近い${\displaystyle \mu (dz)}$統計的距離${\displaystyle d}$呼び出され、用語 ${\displaystyle d\left(\mu (dz),E_{\phi }\sharp \mathbb {P} ^{real}\right)^{2}}$損失に加算されます。

損失に関する最終的な公式は以下のとおりです。 $${\displaystyle L_{\theta ,\phi }=\mathbb {E} _{x\sim \mathbb {P} ^{real}}\left[\|x-D_{\theta }(E_{\phi }(x))\|_{2}^{2}\right]+d\left(\mu (dz),E_{\phi }\sharp \mathbb {P} ^{real}\right)^{2}}$$

統計的距離${\displaystyle d}$特別な特性が必要であり、例えば、損失関数を確率的最適化アルゴリズムで最適化する必要があるため、期待値として数式を持つ必要がある。いくつかの距離を選択でき、これによりいくつかの種類のVAEが生まれた。

• S KolouriらがVAEで使用したスライスド・ワッサースタイン距離^{[ 23 ]}
• ラドン・ソボレフ変分オートエンコーダー^{[ 24 ]}に実装されたエネルギー距離
• MMD-VAEで使用される最大平均不一致距離^{[ 25 ]}
• WAEで使用されるワッサースタイン距離^{[ 26 ]}
• カーネルベースの距離は、カーネル化変分オートエンコーダー（K-VAE）^{[ 27 ]で使用されています。}

• Kingma, Diederik P.; Welling, Max (2019). "変分オートエンコーダ入門". Foundations and Trends in Machine Learning . 12 (4). Now Publishers: 307–392 . arXiv : 1906.02691 . doi : 10.1561/2200000056 . ISSN 1935-8237 .