証拠の下限

観測可能な確率変数があると仮定します。${\displaystyle X}$そして、その真の分布を見つけたいのです。${\displaystyle p^{*}}$これにより、サンプリングによってデータを生成し、将来のイベントの確率を推定することが可能になります。一般的に、${\displaystyle p^{*}}$まさにその通りで、良い近似値を探す必要が生じます。

つまり、十分に大きなパラメトリック族を定義する。${\displaystyle \{p_{\theta }\}_{\theta \in \Theta }}$分布の、次に解く${\displaystyle \min _{\theta }L(p_{\theta },p^{*})}$ある損失関数に対して${\displaystyle L}$この問題を解決する一つの方法は、${\displaystyle p_{\theta }}$に${\displaystyle p_{\theta +\delta \theta }}$、そして解く${\displaystyle L(p_{\theta },p^{*})-L(p_{\theta +\delta \theta },p^{*})=0}$これは変分法の問題であり、そのため変分法と呼ばれます。

明示的にパラメータ化された分布族は多くないため（正規分布、ガンベル分布などの古典的な分布族はすべて、真の分布をモデル化するには単純すぎるため）、ここでは暗黙的にパラメータ化された確率分布を検討します。

• まず、単純な分布を定義します。${\displaystyle p(z)}$潜在確率変数について${\displaystyle Z}$通常は正規分布または一様分布で十分です。
• 次に、複雑な関数のファミリーを定義します。${\displaystyle f_{\theta }}$（例えば、深層ニューラルネットワーク）パラメータ化${\displaystyle \theta }$。
• 最後に、あらゆるものを変換する方法を定義します。${\displaystyle f_{\theta }(z)}$分布に（一般的には単純だが、${\displaystyle p(z)}$観測可能な確率変数について${\displaystyle X}$例えば、${\displaystyle f_{\theta }(z)=(f_{1}(z),f_{2}(z))}$出力が2つある場合、対応する分布を定義できます${\displaystyle X}$正規分布である${\displaystyle {\mathcal {N}}(f_{1}(z),e^{f_{2}(z)})}$。

これは、結合分布の族を定義する。${\displaystyle p_{\theta }}$以上${\displaystyle (X,Z)}$サンプリングは非常に簡単です${\displaystyle (x,z)\sim p_{\theta }}$: 簡単なサンプル${\displaystyle z\sim p}$次に計算します${\displaystyle f_{\theta }(z)}$そして最後にサンプル${\displaystyle x\sim p_{\theta }(\cdot |z)}$使用${\displaystyle f_{\theta }(z)}$。

言い換えれば、観測可能なものと潜在的なものの両方について生成モデルを持っている。次に、分布を考えてみよう。${\displaystyle p_{\theta }}$良い、もしそれが近似値であれば${\displaystyle p^{*}}$:$${\displaystyle p_{\theta }(X)\approx p^{*}(X)}$$右側の分布は${\displaystyle X}$ただし、左側の分布は潜在変数を周辺化する必要があります。${\displaystyle Z}$離れて。 一般に、積分を実行することは不可能です。${\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}$そのため、別の近似計算を行う必要が生じる。

以来${\displaystyle p_{\theta }(x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(z|x)}}}$（ベイズの定理）では、${\displaystyle p_{\theta }(z|x)}$では、別の分布族を定義してください。${\displaystyle q_{\phi }(z|x)}$そしてそれを使って近似する${\displaystyle p_{\theta }(z|x)}$これは潜在変数を識別するモデルです。

状況全体を以下の表にまとめます。

ベイズ言語では、${\displaystyle X}$観察された証拠は、${\displaystyle Z}$は潜在的/観測不能なものです。分布${\displaystyle p}$以上${\displaystyle Z}$事前分布は${\displaystyle Z}$、${\displaystyle p_{\theta }(x|z)}$は尤度関数であり、${\displaystyle p_{\theta }(z|x)}$事後分布は​${\displaystyle Z}$。

観測結果が与えられた場合${\displaystyle x}$推測できること${\displaystyle z}$おそらく${\displaystyle x}$計算によって${\displaystyle p_{\theta }(z|x)}$通常のベイズ法では、積分を推定します。${\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}$次に、ベイズの定理を用いて計算する。${\displaystyle p_{\theta }(z|x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(x)}}}$一般的には実行コストが高いが、適切な近似値を見つけることができれば${\displaystyle q_{\phi }(z|x)\approx p_{\theta }(z|x)}$ほとんどの人にとって${\displaystyle x,z}$そうすれば、${\displaystyle z}$から${\displaystyle x}$安価に。したがって、良いものを探す${\displaystyle q_{\phi }}$これは償却推論とも呼ばれます。

総じて、我々は変分ベイズ推論の問題を発見した。

変分推論における基本的な結果として、カルバック・ライブラー情報量（KL情報量）を最小化することは、対数尤度を最大化することと同等である。$${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$どこ${\displaystyle H(p^{*})=-\mathbb {\mathbb {E} } _{x\sim p^{*}}[\ln p^{*}(x)]}$は真の分布のエントロピーです。したがって、最大化できれば${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]}$最小限に抑えることができます${\displaystyle D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$結果として正確な近似値を見つける${\displaystyle p_{\theta }\approx p^{*}}$。

最大化するために${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]}$単純に多くのサンプルを抽出します${\displaystyle x_{i}\sim p^{*}(x)}$つまり、重点サンプリングを使用する$${\displaystyle N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]\approx \max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})}$$どこ${\displaystyle N}$は真の分布から抽出されたサンプルの数です。この近似は過学習と見なすことができます。^{[注1 ]}

最大化するために${\displaystyle \sum _{i}\ln p_{\theta }(x_{i})}$見つける必要がある${\displaystyle \ln p_{\theta }(x)}$:$${\displaystyle \ln p_{\theta }(x)=\ln \int p_{\theta }(x|z)p(z)dz}$$これは通常、閉じた形式で表すことができず、推定する必要がある。積分を推定する一般的な方法は、重点サンプリングを用いたモンテカルロ積分である。$${\displaystyle \int p_{\theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$どこ${\displaystyle q_{\phi }(z|x)}$は標本分布である${\displaystyle z}$モンテカルロ積分を実行するために使用するものです。

つまり、サンプリングすると${\displaystyle z\sim q_{\phi }(\cdot |x)}$、 それから${\displaystyle {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}}$は不偏推定量である${\displaystyle p_{\theta }(x)}$残念ながら、これは不偏推定量を与えてくれません。${\displaystyle \ln p_{\theta }(x)}$、 なぜなら${\displaystyle \ln }$は非線形である。実際、イェンセンの不等式により、$${\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$実際、明白な推定値はすべて${\displaystyle \ln p_{\theta }(x)}$サンプル数がいくつあっても、下方バイアスがかかっている。${\displaystyle z_{i}\sim q_{\phi }(\cdot |x)}$イェンセンの不等式を用いると、次のようになる。$${\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right]=\ln p_{\theta }(x)}$$右辺を引くと、問題はゼロの偏りのある推定値に帰着することがわかる。$${\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0}$$この時点で、重要度重み付けオートエンコーダの開発へと分岐することもできますが^{[注2 ]}、代わりに最も単純なケースで続けます。${\displaystyle N=1}$:$${\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$不等式の厳しさは、閉じた形で表せる。$${\displaystyle \ln p_{\theta }(x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0}$$こうしてELBO関数が得られました。$${\displaystyle L(\phi ,\theta ;x):=\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}$$

固定の場合${\displaystyle x}$最適化${\displaystyle \max _{\theta ,\phi }L(\phi ,\theta ;x)}$同時に最大化を試みる${\displaystyle \ln p_{\theta }(x)}$最小限に抑える${\displaystyle D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}$パラメータ化が${\displaystyle p_{\theta }}$そして${\displaystyle q_{\phi }}$十分に柔軟性があれば、${\displaystyle {\hat {\phi }},{\hat {\theta }}}$同時に

$${\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }\ln p_{\theta }(x);\quad q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}$$以来$${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$我々は持っています$${\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$など$${\displaystyle {\hat {\theta }}\approx \arg \min D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$言い換えれば、ELBOを最大化することで、正確な生成モデルを同時に得ることができる。${\displaystyle p_{\hat {\theta }}\approx p^{*}}$そして正確な識別モデル${\displaystyle q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}$[ ^{5 ]​}

仮に${\displaystyle N}$独立したサンプル${\displaystyle p^{*}}$それらをデータセットに収集する${\displaystyle D=\{x_{1},...,x_{N}\}}$すると、経験分布が得られます。${\displaystyle q_{D}(x)={\frac {1}{N}}\sum _{i}\delta _{x_{i}}}$。

フィッティング${\displaystyle p_{\theta }(x)}$に${\displaystyle q_{D}(x)}$通常通り、対数尤度を最大化することで実行できます。${\displaystyle \ln \ p_{\theta }(D)}$:$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln \ p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln \ p_{\theta }(D)-H(q_{D})}$$さて、ELBO不等式により、${\displaystyle \ln \ p_{\theta }(D)}$それで$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})}$$右辺はKLダイバージェンスに簡略化され、次の式が得られます。$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}$$この結果は、データ処理不等式の特殊なケースとして解釈できる。

この解釈では、最大化${\displaystyle L(\phi ,\theta ;D)=\sum _{i}L(\phi ,\theta ;x_{i})}$最小化している${\displaystyle D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}$これは、関心のある実数に上限を与える。${\displaystyle D_{\mathit {KL}}(q_{D}(x);p_{\theta }(x))}$データ処理不等式を介して。つまり、観測可能な空間に潜在空間を追加し、KLダイバージェンスの計算効率を高めるために不等式を弱めるという代償を払います。^{[ 6 ]}