再パラメータ化のトリック

再パラメータ化トリック（別名「再パラメータ化勾配推定器」）は、統計的機械学習、特に変分推論、変分オートエンコーダ、確率的最適化で使用される手法です。これにより、ランダム変数による勾配の効率的な計算が可能になり、確率的勾配降下法を使用したパラメトリック確率モデルの最適化と推定器の分散削減が可能になります。

これは1980年代にオペレーションズリサーチにおいて「経路勾配」または「確率的勾配」という名前で開発されました。^{[1] [2]}変分推論での使用は2013年に提案されました^。[3]

を分布 を持つランダム変数とします。ここで は分布のパラメータを含むベクトルです。 ${\displaystyle z}$${\displaystyle q_{\phi }(z)}$${\displaystyle \phi }$

次のような目的関数を考えてみましょう。再パラメータ化のトリックがなければ、パラメータがランダム変数自体に現れるため、勾配の推定は困難になる可能性があります。より詳しくは、統計的に推定する必要があります。強化学習、特にポリシー勾配で広く使用されているREINFORCE推定量^[4]は、次の等式を使用します。これにより、勾配を推定できます。REINFORCE推定量は分散が大きく、その分散を減らすために多くの方法が開発されました。^[5]$${\displaystyle L(\phi )=\mathbb {E} _{z\sim q_{\phi }(z)}[f(z)]}$$${\displaystyle \nabla _{\phi }L(\phi )}$$${\displaystyle \nabla _{\phi }L(\phi )=\nabla _{\phi }\int dz\;q_{\phi }(z)f(z)}$$$${\displaystyle \nabla _{\phi }L(\phi )=\int dz\;q_{\phi }(z)\nabla _{\phi }(\ln q_{\phi }(z))f(z)=\mathbb {E} _{z\sim q_{\phi }(z)}[\nabla _{\phi }(\ln q_{\phi }(z))f(z)]}$$$${\displaystyle \nabla _{\phi }L(\phi )\approx {\frac {1}{N}}\sum _{i=1}^{N}\nabla _{\phi }(\ln q_{\phi }(z_{i}))f(z_{i})}$$

再パラメータ化トリックは次のように表現されます。ここで、は によってパラメータ化された決定論的関数であり、は固定分布 から抽出されたノイズ変数です。これは次式を与えます。ここで、勾配は次のように推定できます。${\displaystyle z}$$${\displaystyle z=g_{\phi }(\epsilon ),\quad \epsilon \sim p(\epsilon )}$$${\displaystyle g_{\phi }}$${\displaystyle \phi }$${\displaystyle \epsilon }$${\displaystyle p(\epsilon )}$$${\displaystyle L(\phi )=\mathbb {E} _{\epsilon \sim p(\epsilon )}[f(g_{\phi }(\epsilon ))]}$$$${\displaystyle \nabla _{\phi }L(\phi )=\mathbb {E} _{\epsilon \sim p(\epsilon )}[\nabla _{\phi }f(g_{\phi }(\epsilon ))]\approx {\frac {1}{N}}\sum _{i=1}^{N}\nabla _{\phi }f(g_{\phi }(\epsilon _{i}))}$$

いくつかの一般的な分布では、再パラメータ化のトリックは特定の形式をとります。

正規分布: については、次を使用できます。${\displaystyle z\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$$${\displaystyle z=\mu +\sigma \epsilon ,\quad \epsilon \sim {\mathcal {N}}(0,1)}$$

指数分布: については、次式を使用できる:離散分布は、ガンベル分布(ガンベルソフトマックストリックまたは「具体的な分布」)によって再パラメータ化できる。 ^[6]${\displaystyle z\sim {\text{Exp}}(\lambda )}$$${\displaystyle z=-{\frac {1}{\lambda }}\log(\epsilon ),\quad \epsilon \sim {\text{Uniform}}(0,1)}$$

一般に、パラメータに関して微分可能な分布は、多変数CDF関数を反転し、暗黙的方法を適用することで再パラメータ化できます。ガンマベータ分布、ディリクレ分布、フォンミーゼス分布への説明と応用については^[1]を参照してください。

変分オートエンコーダ(VAE)では、証拠下限値(ELBO) と呼ばれる VAE 目的関数は次のように表されます。

$${\displaystyle {\text{ELBO}}(\phi ,\theta )=\mathbb {E} _{z\sim q_{\phi }(z|x)}[\log p_{\theta }(x|z)]-D_{\text{KL}}(q_{\phi }(z|x)||p(z))}$$

ここで、はエンコーダー (認識モデル)、はデコーダー (生成モデル)、 は潜在変数の事前分布です。 に対する ELBO の勾配は単純ですが、 に対する勾配にはコツが必要です。 サンプリング演算を次のように表します。ここで、 と はエンコーダー ネットワークの出力であり、 は要素ごとの乗算を表します。次に、となります。これにより、モンテ カルロ サンプリングを使用して勾配を推定できます。ここで、に対しておよび です。 ${\displaystyle q_{\phi }(z|x)}$${\displaystyle p_{\theta }(x|z)}$${\displaystyle p(z)}$${\displaystyle \theta }$$${\displaystyle \mathbb {E} _{z\sim q_{\phi }(z|x)}[\nabla _{\theta }\log p_{\theta }(x|z)]\approx {\frac {1}{L}}\sum _{l=1}^{L}\nabla _{\theta }\log p_{\theta }(x|z_{l})}$$${\displaystyle \phi }$${\displaystyle z\sim q_{\phi }(z|x)}$$${\displaystyle z=\mu _{\phi }(x)+\sigma _{\phi }(x)\odot \epsilon ,\quad \epsilon \sim {\mathcal {N}}(0,I)}$$${\displaystyle \mu _{\phi }(x)}$${\displaystyle \sigma _{\phi }(x)}$${\displaystyle \odot }$$${\displaystyle \nabla _{\phi }{\text{ELBO}}(\phi ,\theta )=\mathbb {E} _{\epsilon \sim {\mathcal {N}}(0,I)}[\nabla _{\phi }\log p_{\theta }(x|z)+\nabla _{\phi }\log q_{\phi }(z|x)-\nabla _{\phi }\log p(z)]}$$${\displaystyle z=\mu _{\phi }(x)+\sigma _{\phi }(x)\odot \epsilon }$$${\displaystyle \nabla _{\phi }{\text{ELBO}}(\phi ,\theta )\approx {\frac {1}{L}}\sum _{l=1}^{L}[\nabla _{\phi }\log p_{\theta }(x|z_{l})+\nabla _{\phi }\log q_{\phi }(z_{l}|x)-\nabla _{\phi }\log p(z_{l})]}$$${\displaystyle z_{l}=\mu _{\phi }(x)+\sigma _{\phi }(x)\odot \epsilon _{l}}$${\displaystyle \epsilon _{l}\sim {\mathcal {N}}(0,I)}$${\displaystyle l=1,\ldots ,L}$

この定式化により、サンプリング プロセスを通じてバックプロパゲーションが可能になり、確率的勾配降下法またはそのバリエーションを使用して VAE モデルの エンドツーエンドのトレーニングが可能になります。

より一般的には、このトリックにより、確率的勾配降下法を変分推論に使用できるようになります。変分目的関数 (ELBO) を次の形式とします。再パラメータ化トリックを使用すると、この目的関数の勾配を に関して推定できます。$${\displaystyle {\text{ELBO}}(\phi )=\mathbb {E} _{z\sim q_{\phi }(z)}[\log p(x,z)-\log q_{\phi }(z)]}$$${\displaystyle \phi }$$${\displaystyle \nabla _{\phi }{\text{ELBO}}(\phi )\approx {\frac {1}{L}}\sum _{l=1}^{L}\nabla _{\phi }[\log p(x,g_{\phi }(\epsilon _{l}))-\log q_{\phi }(g_{\phi }(\epsilon _{l}))],\quad \epsilon _{l}\sim p(\epsilon )}$$

再パラメータ化トリックは、ニューラル ネットワークの正規化手法であるドロップアウトの分散を減らすために適用されています。元のドロップアウトは、ベルヌーイ分布を使用して再パラメータ化できます。ここで、は重み行列、は入力、は (固定) ドロップアウト レートです。 $${\displaystyle y=(W\odot \epsilon )x,\quad \epsilon _{ij}\sim {\text{Bernoulli}}(\alpha _{ij})}$$${\displaystyle W}$${\displaystyle x}$${\displaystyle \alpha _{ij}}$

より一般的には、ベルヌーイ分布以外の分布、例えばガウスノイズも使用できます。ここで、およびであり、およびは、 -番目の出力ニューロンの平均と分散です。再パラメータ化トリックは、このようなすべてのケースに適用でき、変分ドロップアウト法になります。^[7]$${\displaystyle y_{i}=\mu _{i}+\sigma _{i}\odot \epsilon _{i},\quad \epsilon _{i}\sim {\mathcal {N}}(0,I)}$$${\displaystyle \mu _{i}=\mathbf {m} _{i}^{\top }x}$${\displaystyle \sigma _{i}^{2}=\mathbf {v} _{i}^{\top }x^{2}}$${\displaystyle \mathbf {m} _{i}}$${\displaystyle \mathbf {v} _{i}}$${\displaystyle i}$

• 変分オートエンコーダ
• 確率的勾配降下法
• 変分推論

• Ruiz, Francisco R.; AUEB, Titsias RC; Blei, David ( 2016). 「一般化された再パラメータ化勾配」。ニューラル情報処理システムの進歩。29。arXiv: 1610.02287。2024年9月23日閲覧。
• Zhang, Cheng; Butepage, Judith; Kjellstrom, Hedvig; Mandt, Stephan (2019-08-01). 「変分推論の進歩」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 41 (8): 2008–2026. arXiv : 1711.05597 . doi :10.1109/TPAMI.2018.2889774. ISSN  0162-8828. PMID  30596568.
• Mohamed, Shakir (2015 年 10 月 29 日)。「今日の機械学習トリック (4): 再パラメータ化トリック」。The Spectator。2024年9 月 23 日閲覧。