拡散モデル

モデルを提示するには、いくつかの表記法が必要となる。

• ${\displaystyle \beta _{1},...,\beta _{T}\in (0,1)}$これらは固定定数です。
• $\alpha_t:=1-\beta_t$
• $\displaystyle \bar \alpha \t:=\alpha _1\cdots \alpha _t$
• $\displaystyle \sigma _{t}:={\sqrt {1-{\bar {\alpha }}_{t}}}}$
• $${\displaystyle {\tilde {\sigma }}_{t}:={\frac {\sigma _{t-1}}{\sigma _{t}}}{\sqrt {\beta _{t}}}}$$
• $${\displaystyle {\tilde {\mu }}_{t}(x_{t},x_{0}):={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})x_{t}+{\sqrt {{\bar {\alpha }}_{t-1}}}(1-\alpha _{t})x_{0}}{\sigma _{t}^{2}}}}$$
• ${\displaystyle {\mathcal {N}}(\mu ,\Sigma )}$は平均が正規分布である${\displaystyle \mu }$および分散${\displaystyle \Sigma }$、 そして${\displaystyle {\mathcal {N}}(x|\mu ,\Sigma )}$確率密度は${\displaystyle x}$。
• 縦棒は条件付けを表します。

順方向拡散プロセスは、ある出発点から始まります。${\displaystyle x_{0}\sim q}$、 どこ${\displaystyle q}$は学習する確率分布であり、次に、にノイズを繰り返し加える。$${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}}$$どこ${\displaystyle z_{1},...,z_{T}}$IID（独立同分布の確率変数）サンプルは${\displaystyle {\mathcal {N}}(0,I)}$係数${\displaystyle {\sqrt {1-\beta _{t}}}}$そして$\displaystyle {\sqrt {\beta _{t}}}}$確実に${\displaystyle {\mbox{Var}}(X_{t})=I}$と仮定すると${\displaystyle {\mbox{Var}}(X_{0})=I}$. 値$\displaystyle \beta _{t}}$は、任意の初期分布に対して、${\displaystyle x_{0}}$2次モーメントが有限であれば、$\lim_{t\to\infty}x_{t}|x_{0}}$収束して${\displaystyle {\mathcal {N}}(0,I)}$。

拡散プロセス全体は、$${\displaystyle q(x_{0:T})=q(x_{0})q(x_{1}|x_{0})\cdots q(x_{T}|x_{T-1})=q(x_{0}){\mathcal {N}}(x_{1}|{\sqrt {\alpha _{1}}}x_{0},\beta _{1}I)\cdots {\mathcal {N}}(x_{T}|{\sqrt {\alpha _{T}}}x_{T-1},\beta _{T}I)}$$または$${\displaystyle \ln q(x_{0:T})=\ln q(x_{0})-\sum _{t=1}^{T}{\frac {1}{2\beta _{t}}}\|x_{t}-{\sqrt {1-\beta _{t}}}x_{t-1}\|^{2}+C}$$どこ${\displaystyle C}$は正規化定数であり、しばしば省略される。特に、次の点に注意する。${\displaystyle x_{1:T}|x_{0}}$はガウス過程であり、再パラメータ化においてかなりの自由度を与えてくれます。例えば、ガウス過程の標準的な操作により、$${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$$${\displaystyle x_{t-1}|x_{t},x_{0}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)}$$特に、大きい場合、${\displaystyle t}$変数${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$収束して${\displaystyle {\mathcal {N}}(0,I)}$つまり、十分な拡散過程を経て、最終的にいくつかの${\displaystyle x_{T}}$それは非常に近い${\displaystyle {\mathcal {N}}(0,I)}$オリジナルの痕跡がすべて残っている${\displaystyle x_{0}\sim q}$去った。

例えば、$${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$サンプルを採取できます${\displaystyle x_{t}|x_{0}}$すべての中間段階を経ずに、直接「1ステップ」で${\displaystyle x_{1},x_{2},...,x_{t-1}}$。

DDPMの重要なアイデアは、ニューラルネットワークをパラメータ化して使用することです。${\displaystyle \theta }$ネットワークは2つの引数を受け取ります${\displaystyle x_{t},t}$、そしてベクトルを出力します${\displaystyle \mu _{\theta }(x_{t},t)}$そして行列${\displaystyle \Sigma _{\theta }(x_{t},t)}$順方向拡散過程の各ステップは、近似的に元に戻すことができる。${\displaystyle x_{t-1}\sim {\mathcal {N}}(\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))}$これにより、逆拡散プロセスが得られます。${\displaystyle p_{\theta }}$定義される$${\displaystyle p_{\theta }(x_{T})={\mathcal {N}}(x_{T}|0,I)}$$$${\displaystyle p_{\theta }(x_{t-1}|x_{t})={\mathcal {N}}(x_{t-1}|\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))}$$今の目標はパラメータを学ぶことです${\displaystyle \theta }$そのため${\displaystyle p_{\theta }(x_{0})}$に最も近い${\displaystyle q(x_{0})}$可能な限り正確に行う。そのためには、変分推論を用いた最尤推定法を用いる。

ELBO不等式は次のように述べている。${\displaystyle \ln p_{\theta }(x_{0})\geq E_{x_{1:T}\sim q(\cdot |x_{0})}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$さらに期待値を1つ取ると、$${\displaystyle E_{x_{0}\sim q}[\ln p_{\theta }(x_{0})]\geq E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$右辺の量を最大化することで、観測データの尤度の下限値が得られることがわかります。これにより、変分推論を実行できます。

損失関数を定義する$${\displaystyle L(\theta ):=-E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$そして今、目標は確率的勾配降下法によって損失を最小化することです。式は次のように簡略化できます^{[ 14 ]}$${\displaystyle L(\theta )=\sum _{t=1}^{T}E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]+E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]+C}$$どこ${\displaystyle C}$パラメータに依存しないため、無視できます。${\displaystyle p_{\theta }(x_{T})={\mathcal {N}}(x_{T}|0,I)}$また、パラメータにも依存しない、項${\displaystyle E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]}$も無視できます。これで残るのは${\displaystyle L(\theta )=\sum _{t=1}^{T}L_{t}}$と${\displaystyle L_{t}=E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]}$最小限に抑えるべきである。

以来${\displaystyle x_{t-1}|x_{t},x_{0}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)}$これは、私たちが使用すべきであることを示唆しています${\displaystyle \mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}(x_{t},x_{0})}$ただし、ネットワークはアクセスできません${\displaystyle x_{0}}$なので、代わりにそれを推定する必要がある。${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$我々はこう書くかもしれない${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z}$、 どこ${\displaystyle z}$は未知のガウスノイズです。${\displaystyle x_{0}}$推定することと同等${\displaystyle z}$。

したがって、ネットワークがノイズベクトルを出力するようにする${\displaystyle \epsilon _{\theta }(x_{t},t)}$予測させて$${\displaystyle \mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}\left(x_{t},{\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}\right)={\frac {x_{t}-\epsilon _{\theta }(x_{t},t)\beta _{t}/\sigma _{t}}{\sqrt {\alpha _{t}}}}}$$設計は残る${\displaystyle \Sigma _{\theta }(x_{t},t)}$DDPM論文では、それを学習しないこと（「不安定なトレーニングとサンプル品質の低下」につながるため）を提案し、何らかの値に固定することを提案した。${\displaystyle \Sigma _{\theta }(x_{t},t)=\zeta _{t}^{2}I}$どちらか${\displaystyle \zeta _{t}^{2}=\beta _{t}{\text{ or }}{\tilde {\sigma }}_{t}^{2}}$同様の性能を示した。

これにより、損失は次のように単純化されます。$${\displaystyle L_{t}={\frac {\beta _{t}^{2}}{2\alpha _{t}\sigma _{t}^{2}\zeta _{t}^{2}}}E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]+C}$$これは確率的勾配降下法によって最小化できる可能性がある。論文では、さらに単純な損失関数が経験的に$${\displaystyle L_{simple,t}=E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]}$$その結果、より優れたモデルが得られた。

画像生成の問題を考えてみましょう。${\displaystyle x}$画像を表し、${\displaystyle q(x)}$すべての可能な画像に対する確率分布をとします。${\displaystyle q(x)}$それ自体が分かれば、特定の画像がどれくらいの確率で存在するかを確実に判断できる。しかし、これは一般的には解決困難な問題である。

多くの場合、私たちは特定の画像が出現する絶対的な確率を知ることには興味がありません。むしろ、特定の画像が周囲の画像と比べてどれくらい出現しやすいかを知ることにのみ興味があります。例えば、猫の画像は、その小さなバリエーションと比べてどれくらい出現しやすいでしょうか？画像にヒゲが2本含まれている場合、3本含まれている場合、あるいはガウスノイズが加えられている場合、出現しやすくなるでしょうか？

したがって、私たちは実際には${\displaystyle q(x)}$それ自体ではなく、むしろ、${\displaystyle \nabla _{x}\ln q(x)}$これには主に2つの影響があります。

• 1つ目は、もはや正常化する必要はありません${\displaystyle q(x)}$だが、どれでも使える${\displaystyle {\tilde {q}}(x)=Cq(x)}$、 どこ${\displaystyle C=\int {\tilde {q}}(x)dx>0}$は、我々にとって何ら関係のない未知の定数である。
• 2つ目に、比較している${\displaystyle q(x)}$隣人${\displaystyle q(x+dx)}$、 による${\displaystyle {\frac {q(x)}{q(x+dx)}}=e^{-\langle \nabla _{x}\ln q,dx\rangle }}$

スコア関数を次のように定義する。${\displaystyle s(x):=\nabla _{x}\ln q(x)}$;次に、私たちができることを検討します${\displaystyle s(x)}$。

結局、${\displaystyle s(x)}$サンプリングを可能にする${\displaystyle q(x)}$熱力学を用いる。具体的には、ポテンシャルエネルギー関数がある場合。${\displaystyle U(x)=-\ln q(x)}$そして、ポテンシャル井戸内に多数の粒子が存在する場合、熱力学的平衡状態における分布はボルツマン分布となる。${\displaystyle q_{U}(x)\propto e^{-U(x)/k_{B}T}=q(x)^{1/k_{B}T}}$温度${\displaystyle k_{B}T=1}$ボルツマン分布は正確に${\displaystyle q(x)}$。

したがって、モデル化するために${\displaystyle q(x)}$まず、任意の都合の良い分布（例えば標準ガウス分布）でサンプリングされた粒子から始め、ランジュバン方程式に従って粒子の前方運動をシミュレートします。$${\displaystyle dx_{t}=-\nabla _{x_{t}}U(x_{t})dt+dW_{t}}$$ そしてボルツマン分布は、フォッカー・プランク方程式により、唯一の熱力学的平衡状態である。したがって、どのような分布であっても${\displaystyle x_{0}}$分布は${\displaystyle x_{t}}$分布は収束し、${\displaystyle q}$として${\displaystyle t\to \infty }$。

密度が与えられた場合${\displaystyle q}$スコア関数の近似を学びたい${\displaystyle f_{\theta }\approx \nabla \ln q}$これはスコアマッチングである。^{[ 19 ]}一般的に、スコアマッチングはフィッシャー発散関数を最小化するものとして定式化される。${\displaystyle E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]}$積分を展開し、部分積分を実行すると、$${\displaystyle E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]=E_{q}[\|f_{\theta }\|^{2}+2\nabla \cdot f_{\theta }]+C}$$これにより、確率的勾配降下法によって最小化できる損失関数（ヒュヴァリネンスコアリングルールとも呼ばれる）が得られます。

画像の分布をモデル化する必要があると仮定し、${\displaystyle x_{0}\sim {\mathcal {N}}(0,I)}$ホワイトノイズ画像。ほとんどのホワイトノイズ画像は実際の画像とは似ていないので、${\displaystyle q(x_{0})\approx 0}$広範囲にわたって${\displaystyle x_{0}\sim {\mathcal {N}}(0,I)}$これはスコア関数の学習において問題となります。なぜなら、ある点の周囲にサンプルがない場合、その点のスコア関数を学習できないからです。スコア関数がわからない場合${\displaystyle \nabla _{x_{t}}\ln q(x_{t})}$その時点では、粒子に時間発展方程式を課すことはできない。$${\displaystyle dx_{t}=\nabla _{x_{t}}\ln q(x_{t})dt+dW_{t}}$$この問題に対処するために、焼きなましを行います。${\displaystyle q}$がホワイトノイズ分布と大きく異なる場合は、ホワイトノイズ分布と区別がつかなくなるまで徐々にノイズを追加していきます。つまり、順拡散を実行し、スコア関数を学習し、そのスコア関数を使用して逆拡散を実行します。

再び順方向拡散過程を考えてみましょう。ただし今回は連続時間で考えます。$${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}}$$取ることで${\displaystyle \beta _{t}\to \beta (t)dt,{\sqrt {dt}}z_{t}\to dW_{t}}$極限をとると、確率微分方程式の形で連続拡散過程が得られる。$${\displaystyle dx_{t}=-{\frac {1}{2}}\beta (t)x_{t}dt+{\sqrt {\beta (t)}}dW_{t}}$$どこ${\displaystyle W_{t}}$これはウィーナー過程（多次元ブラウン運動）である。

さて、この方程式は、過減衰ランジュバン方程式の特殊な場合である。$${\displaystyle dx_{t}=-{\frac {D}{k_{B}T}}(\nabla _{x}U)dt+{\sqrt {2D}}dW_{t}}$$どこ${\displaystyle D}$は拡散テンソルです。${\displaystyle T}$温度であり、${\displaystyle U}$は位置エネルギー場です。${\displaystyle D={\frac {1}{2}}\beta (t)I,k_{B}T=1,U={\frac {1}{2}}\|x\|^{2}}$すると、上記の式が得られます。これが、拡散モデルにおいて「ランジュバン動力学」という表現が用いられることがある理由です。

上記の式は、単一粒子の確率的運動に関するものです。粒子群が以下のように分布していると仮定します。${\displaystyle q}$その時${\displaystyle t=0}$そして長い時間が経つと、粒子の雲は安定した分布に落ち着くだろう。${\displaystyle {\mathcal {N}}(0,I)}$。 させて${\displaystyle \rho _{t}}$時刻における粒子雲の密度を${\displaystyle t}$すると、$${\displaystyle \rho _{0}=q;\quad \rho _{T}\approx {\mathcal {N}}(0,I)}$$そして目標は、何らかの方法でそのプロセスを逆転させ、終わりから始めて、再び始まりへと拡散させることです。

フォッカー・プランク方程式によれば、雲の密度は次のように変化する。$${\displaystyle \partial _{t}\ln \rho _{t}={\frac {1}{2}}\beta (t)\left(n+(x+\nabla \ln \rho _{t})\cdot \nabla \ln \rho _{t}+\Delta \ln \rho _{t}\right)}$$どこ${\displaystyle n}$は空間の次元であり、${\displaystyle \Delta }$はラプラス演算子である。同様に、$${\displaystyle \partial _{t}\rho _{t}={\frac {1}{2}}\beta (t)(\nabla \cdot (x\rho _{t})+\Delta \rho _{t})}$$

解決済み${\displaystyle \rho _{t}}$時間のために${\displaystyle t\in [0,T]}$そうすれば、雲の進化を正確に逆転させることができます。密度を持つ別の粒子雲から始めるとしましょう。${\displaystyle \nu _{0}=\rho _{T}}$雲の中の粒子は、

$${\displaystyle dy_{t}={\frac {1}{2}}\beta (T-t)y_{t}dt+\beta (T-t)\underbrace {\nabla _{y_{t}}\ln \rho _{T-t}\left(y_{t}\right)} _{\text{score function }}dt+{\sqrt {\beta (T-t)}}dW_{t}}$$

そして、フォッカー・プランク方程式に代入すると、次のようになる。${\displaystyle \partial _{t}\rho _{T-t}=\partial _{t}\nu _{t}}$したがって、この点群は、逆方向に進化する元の点群である。^{[ 20 ]}

分類器誘導拡散モデルは、${\displaystyle p(x|y)}$これは、事後確率の最大値付近に集中している。${\displaystyle \arg \max _{x}p(x|y)}$モデルを最尤推定値に近づけたい場合は、${\displaystyle \arg \max _{x}p(y|x)}$我々は、 $${\displaystyle p_{\gamma }(x|y)\propto p(y|x)^{\gamma }p(x)}$$ どこ${\displaystyle \gamma >0}$逆温度として解釈できる。拡散モデルの文脈では、通常、ガイダンススケールと呼ばれる。${\displaystyle \gamma }$モデルは、分布が集中している場所からサンプリングするように強制される。${\displaystyle \arg \max _{x}p(y|x)}$これにより、生成される画像の品質が向上する場合がある。^{[ 27 ]}

これは、前の式に修正を加えたものです。$${\displaystyle \nabla _{x}\ln p_{\beta }(x|y)=\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(y|x)}$$ノイズ除去モデルの場合、^{[ 28 ]に対応します。}$${\displaystyle \epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\gamma \sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)}$$