拡散モデル

機械学習において、拡散モデルは拡散確率モデルまたはスコアベースの生成モデルとも呼ばれ、潜在変数 生成モデルの一種です。拡散モデルは、順方向プロセス、逆方向プロセス、およびサンプリング手順という3つの主要なコンポーネントで構成されます。^[1]拡散モデルの目的は、与えられたデータセットの拡散プロセスを学習し、そのプロセスによって元のデータセットと同様に分布する新しい要素を生成できるようにすることです。拡散モデルは、拡散プロセスによって生成されたデータをモデル化し、新しいデータがすべての可能なデータの空間をドリフトしながらランダムウォークを実行します。 ^[2]トレーニングされた拡散モデルは、さまざまな方法でサンプリングでき、効率と品質が異なります。

同等の形式論としては、マルコフ連鎖、ノイズ除去拡散確率モデル、ノイズ条件付きスコアネットワーク、確率微分方程式などが挙げられます。^{[3]これらは通常、}変分推論を使用してトレーニングされます。^{[4]ノイズ除去を担当するモデルは通常、「バックボーン」と呼ばれます。バックボーンの種類は問いませんが、通常は}Uネットまたはトランスフォーマーです。

2024年現在^[update]、拡散モデルは主にコンピュータビジョンのタスクに使用されており、画像ノイズ除去、インペインティング、超解像、画像生成、ビデオ生成などがある。これらには通常、ガウスノイズでぼやけた画像を順次ノイズ除去するようにニューラルネットワークをトレーニングすることが含まれる。^{[2] [5]}このモデルは、画像にノイズを追加するプロセスを逆にするようにトレーニングされる。収束するまでトレーニングした後は、ランダムノイズで構成された画像から始めて、ネットワークを繰り返し適用して画像ノイズを除去することで、画像生成に使用できる。

拡散ベースの画像生成器は、安定拡散やDALL-Eなど、商業的に広く関心を集めています。これらのモデルは通常、拡散モデルとテキストエンコーダやクロスアテンションモジュールなどの他のモデルを組み合わせて、テキスト条件付き生成を可能にします。^[6]

コンピュータビジョン以外にも、拡散モデルは自然言語処理^{[7] [8]、}例えばテキスト生成^{[9] [10]}や要約^[11]、音声生成^{[12] 、強化学習[13] [14]}などにも応用されています。

拡散モデルは、非常に複雑な確率分布からサンプリングできるモデルを学習する方法として2015年に導入されました。拡散モデルでは、非平衡熱力学、特に拡散の技術が使用されました。^[15]

たとえば、自然発生写真の分布をモデル化する方法を考えてみます。各画像はすべての画像の空間内の点であり、自然発生写真の分布は空間内の「雲」です。画像に繰り返しノイズを追加することで、雲がガウス分布とほとんど区別がつかなくなるまで、画像空間の残りの部分に拡散します。その後 、拡散を近似的に元に戻すことができるモデルを使用して、元の分布からサンプリングすることができます。これは、「非平衡」熱力学で研究されます。これは、最終的な分布とは異なり、開始分布が平衡状態ではないためです。 ${\displaystyle N(0,I)}$

平衡分布はガウス分布 で、確率密度関数 です。これは、温度 1 のポテンシャル井戸内の粒子のマクスウェル・ボルツマン分布です。初期の分布は平衡から大きく外れているため、平衡分布に向かって拡散し、純粋なランダム性 (ブラウン運動のような) とポテンシャル井戸の勾配降下法の合計である偏ったランダムステップを作成します。ランダム性は必須です。粒子が勾配降下法のみを経ると、粒子はすべて原点に落ち、分布が崩壊します。 ${\displaystyle N(0,I)}$${\displaystyle \rho (x)\propto e^{-{\frac {1}{2}}\|x\|^{2}}}$${\displaystyle V(x)={\frac {1}{2}}\|x\|^{2}}$

2020年の論文では、変分推論によって従来の方法を改良したノイズ除去拡散確率モデル（DDPM）が提案されました。^{[4] [16]}

モデルを提示するには、何らかの表記が必要です。

• ${\displaystyle \beta _{1},...,\beta _{T}\in (0,1)}$固定定数です。
• ${\displaystyle \alpha _{t}:=1-\beta _{t}}$
• ${\displaystyle {\bar {\alpha }}_{t}:=\alpha _{1}\cdots \alpha _{t}}$
• ${\displaystyle \sigma _{t}:={\sqrt {1-{\bar {\alpha }}_{t}}}}$
• ${\displaystyle {\tilde {\sigma }}_{t}:={\frac {\sigma _{t-1}}{\sigma _{t}}}{\sqrt {\beta _{t}}}}$
• ${\displaystyle {\tilde {\mu }}_{t}(x_{t},x_{0}):={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})x_{t}+{\sqrt {{\bar {\alpha }}_{t-1}}}(1-\alpha _{t})x_{0}}{\sigma _{t}^{2}}}}$
• ${\displaystyle N(\mu ,\Sigma )}$は平均、分散の正規分布であり、における確率密度です。${\displaystyle \mu }$${\displaystyle \Sigma }$${\displaystyle N(x|\mu ,\Sigma )}$${\displaystyle x}$
• 縦棒は条件付けを表します。

順方向拡散プロセスは、ある開始点 から始まり、ここで は学習する確率分布です。次に によって繰り返しノイズが追加されます。ここで は IID サンプルです。これは、 の任意の開始分布に対して、が に収束するように設計されています。 ${\displaystyle x_{0}\sim q}$${\displaystyle q}$$${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}}$$${\displaystyle z_{1},...,z_{T}}$${\displaystyle N(0,I)}$${\displaystyle x_{0}}$${\displaystyle \lim _{t}x_{t}|x_{0}}$${\displaystyle N(0,I)}$

すると、拡散過程全体はまたは を満たします。ここでは正規化定数で、省略されることが多いです。特に、 はガウス過程であり、これにより の再パラメータ化にかなりの自由度が与えられることに注意してください。たとえば、ガウス過程の標準的な操作により、となります。特に、 が大きい場合、変数 がに収束することに注目してください。つまり、十分に長い拡散過程の後、 に非常に近い が得られ、元の の痕跡はすべて消えてしまいます。 $${\displaystyle q(x_{0:T})=q(x_{0})q(x_{1}|x_{0})\cdots q(x_{T}|x_{T-1})=q(x_{0})N(x_{1}|{\sqrt {\alpha _{1}}}x_{0},\beta _{1}I)\cdots N(x_{T}|{\sqrt {\alpha _{T}}}x_{T-1},\beta _{T}I)}$$$${\displaystyle \ln q(x_{0:T})=\ln q(x_{0})-\sum _{t=1}^{T}{\frac {1}{2\beta _{t}}}\|x_{t}-{\sqrt {1-\beta _{t}}}x_{t-1}\|^{2}+C}$$${\displaystyle C}$${\displaystyle x_{1:T}|x_{0}}$$${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$$${\displaystyle x_{t-1}|x_{t},x_{0}\sim N({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)}$$${\displaystyle t}$${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$${\displaystyle N(0,I)}$${\displaystyle x_{T}}$${\displaystyle N(0,I)}$${\displaystyle x_{0}\sim q}$

たとえば、すべての中間ステップを実行する代わりに、「1 つのステップで」直接サンプリングできるためです。 $${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$${\displaystyle x_{t}|x_{0}}$${\displaystyle x_{1},x_{2},...,x_{t-1}}$

DDPM の重要なアイデアは、 によってパラメータ化されたニューラル ネットワークを使用することです。ネットワークは 2 つの引数 を受け取り、ベクトルと行列を出力します。これにより、順方向拡散プロセスの各ステップは によって近似的に元に戻すことができます。これにより、によって定義される逆方向拡散プロセスが得られます。ここでの目標は、がに可能な限り近くなるようにパラメータを学習することです。そのためには、変分推論による 最大尤度推定を使用します。${\displaystyle \theta }$${\displaystyle x_{t},t}$${\displaystyle \mu _{\theta }(x_{t},t)}$${\displaystyle \Sigma _{\theta }(x_{t},t)}$${\displaystyle x_{t-1}\sim N(\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))}$${\displaystyle p_{\theta }}$$${\displaystyle p_{\theta }(x_{T})=N(x_{T}|0,I)}$$$${\displaystyle p_{\theta }(x_{t-1}|x_{t})=N(x_{t-1}|\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))}$$${\displaystyle p_{\theta }(x_{0})}$${\displaystyle q(x_{0})}$

ELBO不等式はと述べており、もう 1 つの期待値を取ると、次の式が得られます。右側の量を最大化すると、観測データの尤度の下限が得られることがわかります。これにより、変分推論を実行できます。 ${\displaystyle \ln p_{\theta }(x_{0})\geq E_{x_{1:T}\sim q(\cdot |x_{0})}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$${\displaystyle E_{x_{0}\sim q}[\ln p_{\theta }(x_{0})]\geq E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$

損失関数を定義し、今度は確率的勾配降下法によって損失を最小化することを目標とします。式は^[17]のように簡略化できます。ここで、はパラメータに依存しないため、無視できます。また、もパラメータに依存しないため、項も無視できます。これにより、最小化する必要があるのは、 だけです。 $${\displaystyle L(\theta ):=-E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$$${\displaystyle L(\theta )=\sum _{t=1}^{T}E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]+E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]+C}$$${\displaystyle C}$${\displaystyle p_{\theta }(x_{T})=N(x_{T}|0,I)}$${\displaystyle E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]}$${\displaystyle L(\theta )=\sum _{t=1}^{T}L_{t}}$${\displaystyle L_{t}=E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]}$

なので、 を使うべきであることが示唆されます。しかし、ネットワークは にアクセスできないため、代わりに を推定しなければなりません。ここで、 なので、 と書くことができます。ここで は未知のガウスノイズです。ここで、を推定することはを推定することと同等であることがわかります。 ${\displaystyle x_{t-1}|x_{t},x_{0}\sim N({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)}$${\displaystyle \mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}(x_{t},x_{0})}$${\displaystyle x_{0}}$${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z}$${\displaystyle z}$${\displaystyle x_{0}}$${\displaystyle z}$

したがって、ネットワークにノイズ ベクトル を出力させ、 を予測させます。を設計することが残っています。 DDPM の論文では、 を学習するのではなく (「トレーニングが不安定になり、サンプルの品質が低下する」ため)、どちらでも同様のパフォーマンスが得られるように、ある値 に固定することが提案されています。 ${\displaystyle \epsilon _{\theta }(x_{t},t)}$$${\displaystyle \mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}\left(x_{t},{\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}\right)={\frac {x_{t}-\epsilon _{\theta }(x_{t},t)\beta _{t}/\sigma _{t}}{\sqrt {\alpha _{t}}}}}$$${\displaystyle \Sigma _{\theta }(x_{t},t)}$${\displaystyle \Sigma _{\theta }(x_{t},t)=\zeta _{t}^{2}I}$${\displaystyle \zeta _{t}^{2}=\beta _{t}{\text{ or }}{\tilde {\sigma }}_{t}^{2}}$

これにより、損失は次のように簡略化され、確率的勾配降下法によって最小化される可能性があります。この論文では、経験的に、損失関数をさらに簡略化することで、より優れたモデルが得られると指摘しています。 $${\displaystyle L_{t}={\frac {\beta _{t}^{2}}{2\alpha _{t}\sigma _{t}^{2}\zeta _{t}^{2}}}E_{x_{0}\sim q;z\sim N(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]+C}$$$${\displaystyle L_{simple,t}=E_{x_{0}\sim q;z\sim N(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]}$$

ノイズ予測ネットワークをトレーニングした後、次のようにループで元の分布のデータ ポイントを生成するために使用できます。

1. ノイズ推定値を計算する${\displaystyle \epsilon \leftarrow \epsilon _{\theta }(x_{t},t)}$
2. 元のデータの推定値を計算する${\displaystyle {\tilde {x}}_{0}\leftarrow (x_{t}-\sigma _{t}\epsilon )/{\sqrt {{\bar {\alpha }}_{t}}}}$
3. 以前のデータをサンプリングする${\displaystyle x_{t-1}\sim N({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),{\tilde {\sigma }}_{t}^{2}I)}$
4. 時間を変更する${\displaystyle t\leftarrow t-1}$

スコアベースの生成モデルは拡散モデリングの別の定式化である。ノイズ条件付きスコアネットワーク（NCSN）またはランジュバンダイナミクスによるスコアマッチング（SMLD）とも呼ばれる。^{[18] [19] [20] [21]}

画像生成の問題を考えてみましょう。が画像を表し、 がすべての可能性のある画像に対する確率分布であるとします。 がそれ自身を持っている場合、特定の画像がどのくらいありそうかを確実に言うことができます。しかし、これは一般に扱いにくいものです。 ${\displaystyle x}$${\displaystyle q(x)}$${\displaystyle q(x)}$

ほとんどの場合、私たちは特定の画像の絶対的な確率を知ることに興味はありません。代わりに、通常、特定の画像がすぐ近くの画像と比較してどの程度の可能性があるかを知ることのみに興味があります。たとえば、猫の画像は、その小さなバリエーションと比較してどの程度の可能性がありますか? 画像にひげが 2 本、3 本、またはガウス ノイズが追加されている場合は、より可能性が高くなりますか?

その結果、私たちは実際にはそれ自体にはまったく興味がなく、むしろ、 です。これには 2 つの大きな効果があります。 ${\displaystyle q(x)}$${\displaystyle \nabla _{x}\ln q(x)}$

• 1 つ目は、 を正規化する必要がなくなり、任意の を使用できるようになります。ここで、 は、私たちにとって重要ではない任意の未知の定数です。${\displaystyle q(x)}$${\displaystyle {\tilde {q}}(x)=Cq(x)}$${\displaystyle C=\int {\tilde {q}}(x)dx>0}$
• 2つ目は、近隣の人を比較することです。${\displaystyle q(x)}$${\displaystyle q(x+dx)}$${\displaystyle {\frac {q(x)}{q(x+dx)}}=e^{-\langle \nabla _{x}\ln q,dx\rangle }}$

スコア関数をとし、 で何ができるかを考えます。 ${\displaystyle s(x):=\nabla _{x}\ln q(x)}$${\displaystyle s(x)}$

結局のところ、熱力学を使用してからサンプルを採取することができます。具体的には、ポテンシャル エネルギー関数 があり、ポテンシャル井戸内に多数の粒子がある場合、熱力学的平衡における分布はボルツマン分布です。温度 では、ボルツマン分布は とまったく同じです。 ${\displaystyle s(x)}$${\displaystyle q(x)}$${\displaystyle U(x)=-\ln q(x)}$ ${\displaystyle q_{U}(x)\propto e^{-U(x)/k_{B}T}=q(x)^{1/k_{B}T}}$${\displaystyle k_{B}T=1}$${\displaystyle q(x)}$

したがって、 をモデル化するには、任意の都合の良い分布（標準ガウス分布など）でサンプリングされた粒子から始めて、ランジュバン方程式 とボルツマン分布に従って粒子の前方への動きをシミュレートします。フォッカー・プランク方程式によれば、ボルツマン分布は唯一の熱力学的平衡です。したがって、 の分布がどのような分布であっても、 の分布はの分布でとして収束します。 ${\displaystyle q(x)}$ $${\displaystyle dx_{t}=-\nabla _{x_{t}}U(x_{t})dt+dW_{t}}$$${\displaystyle x_{0}}$${\displaystyle x_{t}}$${\displaystyle q}$${\displaystyle t\to \infty }$

密度が与えられたとき、スコア関数の近似値を学習したいとします。これがスコアマッチングです。^{[22]通常、スコアマッチングは}フィッシャーダイバージェンス関数を最小化するものとして形式化されます。積分を展開し、部分積分を実行すると、ヒュヴァリネンスコアリングルールとも呼ばれる損失関数が得られ、確率的勾配降下法によって最小化できます。 ${\displaystyle q}$${\displaystyle f_{\theta }\approx \nabla \ln q}$${\displaystyle E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]}$$${\displaystyle E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]=E_{q}[\|f_{\theta }\|^{2}+2\nabla ^{2}\cdot f_{\theta }]+C}$$

画像の分布をモデル化する必要があり、ホワイト ノイズ画像 が必要だとします。ほとんどのホワイト ノイズ画像は実際の画像のようには見えないため、の広い範囲では となります。これにより、スコア関数の学習に問題が発生します。特定の点の周囲にサンプルがない場合、その点のスコア関数を学習できないためです。その点のスコア関数がわからない場合は、時間発展方程式を粒子に適用できません。この問題に対処するには、アニーリングを実行します。がホワイト ノイズ分布と大きく異なる場合は、ホワイト ノイズ分布と区別がつかなくなるまで徐々にノイズを追加します。つまり、順方向拡散を実行し、スコア関数を学習し、スコア関数を使用して逆方向拡散を実行します。 ${\displaystyle x_{0}\sim N(0,I)}$${\displaystyle q(x_{0})\approx 0}$${\displaystyle x_{0}\sim N(0,I)}$${\displaystyle \nabla _{x_{t}}\ln q(x_{t})}$$${\displaystyle dx_{t}=\nabla _{x_{t}}\ln q(x_{t})dt+dW_{t}}$$${\displaystyle q}$

再び順方向拡散過程を考えてみましょう。ただし、今回は連続時間です。極限を取ることで、確率微分方程式の形で連続拡散過程が得られます。ここで、はウィーナー過程(多次元ブラウン運動) です。$${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}}$$${\displaystyle \beta _{t}\to \beta (t)dt,{\sqrt {dt}}z_{t}\to dW_{t}}$$${\displaystyle dx_{t}=-{\frac {1}{2}}\beta (t)x_{t}dt+{\sqrt {\beta (t)}}dW_{t}}$$${\displaystyle W_{t}}$

ここで、方程式は、拡散テンソル、温度、位置エネルギー場である過減衰ランジュバン方程式の特別なケースです。 を に代入すると、上記の方程式が復元されます。これが、拡散モデルで「ランジュバン動力学」という語句が使用されることがある理由です。 $${\displaystyle dx_{t}=-{\frac {D}{k_{B}T}}(\nabla _{x}U)dt+{\sqrt {2D}}dW_{t}}$$${\displaystyle D}$${\displaystyle T}$${\displaystyle U}$${\displaystyle D={\frac {1}{2}}\beta (t)I,k_{B}T=1,U={\frac {1}{2}}\|x\|^{2}}$

さて、上記の式は単一粒子の確率的運動に関するものです。時刻に に従って分布する粒子の雲があるとします。その後、長い時間が経つと、粒子の雲は の安定した分布に落ち着きます。を時刻 における粒子の雲の密度とすると、 となり、目標は、何らかの方法でプロセスを逆転させ、最後から始めて最初に拡散できるようにすることです。 ${\displaystyle q}$${\displaystyle t=0}$${\displaystyle N(0,I)}$${\displaystyle \rho _{t}}$${\displaystyle t}$$${\displaystyle \rho _{0}=q;\quad \rho _{T}\approx N(0,I)}$$

フォッカー・プランク方程式によれば、雲の密度は に従って変化します。ここでは空間の次元、 はラプラス演算子です。 $${\displaystyle \partial _{t}\ln \rho _{t}={\frac {1}{2}}\beta (t)\left(n+(x+\nabla \ln \rho _{t})\cdot \nabla \ln \rho _{t}+\Delta \ln \rho _{t}\right)}$$${\displaystyle n}$${\displaystyle \Delta }$

時間 について解くことができれば、雲の進化を正確に逆転させることができます。密度 の別の粒子雲から始めて、雲内の粒子が に従って進化すると仮定すると、フォッカー・プランク方程式に代入すると、 であることがわかります。したがって、この点の雲は元の雲であり、逆方向に進化しています。^[23]${\displaystyle \rho _{t}}$${\displaystyle t\in [0,T]}$${\displaystyle \nu _{0}=\rho _{T}}$$${\displaystyle dy_{t}={\frac {1}{2}}\beta (T-t)y_{t}dt+\beta (T-t)\underbrace {\nabla _{y_{t}}\ln \rho _{T-t}\left(y_{t}\right)} _{\text{score function }}dt+{\sqrt {\beta (T-t)}}dW_{t}}$$${\displaystyle \partial _{t}\rho _{T-t}=\partial _{t}\nu _{t}}$

連続極限では、 となり、 特に、最初に をサンプリングし、次に を取得する ことにより、中間ステップを経ることなく連続拡散プロセスの任意の点から直接サンプリングできることがわかります。 つまり、任意の をすばやくサンプリングできます。 $${\displaystyle {\bar {\alpha }}_{t}=(1-\beta _{1})\cdots (1-\beta _{t})=e^{\sum _{i}\ln(1-\beta _{i})}\to e^{-\int _{0}^{t}\beta (t)dt}}$$$${\displaystyle x_{t}|x_{0}\sim N\left(e^{-{\frac {1}{2}}\int _{0}^{t}\beta (t)dt}x_{0},\left(1-e^{-\int _{0}^{t}\beta (t)dt}\right)I\right)}$$${\displaystyle x_{0}\sim q,z\sim N(0,I)}$${\displaystyle x_{t}=e^{-{\frac {1}{2}}\int _{0}^{t}\beta (t)dt}x_{0}+\left(1-e^{-\int _{0}^{t}\beta (t)dt}\right)z}$${\displaystyle x_{t}\sim \rho _{t}}$${\displaystyle t\geq 0}$

ここで、上の特定の確率分布を定義すると、スコアマッチング損失関数は期待されるフィッシャーダイバージェンスとして定義されます。 をトレーニングした後、となるので、最初に をサンプリングし、次にからまでの SDE を積分することで、後方拡散プロセスを実行できます。 これは、オイラー–丸山法 などの任意の SDE 積分法で実行できます。 ${\displaystyle \gamma }$${\displaystyle [0,\infty )}$$${\displaystyle L(\theta )=E_{t\sim \gamma ,x_{t}\sim \rho _{t}}[\|f_{\theta }(x_{t},t)\|^{2}+2\nabla \cdot f_{\theta }(x_{t},t)]}$$${\displaystyle f_{\theta }(x_{t},t)\approx \nabla \ln \rho _{t}}$${\displaystyle x_{T}\sim N(0,I)}$${\displaystyle t=T}$${\displaystyle t=0}$$${\displaystyle x_{t-dt}=x_{t}+{\frac {1}{2}}\beta (t)x_{t}dt+\beta (t)f_{\theta }(x_{t},t)dt+{\sqrt {\beta (t)}}dW_{t}}$$

「ノイズ条件付きスコア ネットワーク」という名前は次のように説明されます。

• 「ネットワーク」はニューラルネットワークとして実装されているためです。${\displaystyle f_{\theta }}$
• ネットワークの出力はスコア関数を近似するものとして解釈されるため、「スコア」となります。${\displaystyle \nabla \ln \rho _{t}}$
• 「ノイズ条件付き」というのは、時間の経過とともに増加する追加されたガウスノイズによってぼやけたものに等しいため、スコア関数は追加されたノイズの量に依存するからです。${\displaystyle \rho _{t}}$${\displaystyle \rho _{0}}$

DDPMとスコアベースの生成モデルは同等である。^{[19] [2] [24]}これは、DDPMを使用してトレーニングされたネットワークをNCSNとして使用できることを意味し、その逆も同様です。

であることがわかっているので、 Tweedieの公式により、次の式が得られます 。 前述のように、DDPM損失関数は 、 のとき です。変数の変更により 、 内の項は最小二乗回帰となり、ネットワークが実際に損失の最小値に到達した場合、次の式が得られます。${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$${\displaystyle \nabla _{x_{t}}\ln q(x_{t})={\frac {1}{\sigma _{t}^{2}}}(-x_{t}+{\sqrt {{\bar {\alpha }}_{t}}}E_{q}[x_{0}|x_{t}])}$$${\displaystyle \sum _{t}L_{simple,t}}$$${\displaystyle L_{simple,t}=E_{x_{0}\sim q;z\sim N(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]}$$${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z}$$${\displaystyle L_{simple,t}=E_{x_{0},x_{t}\sim q}\left[\left\|\epsilon _{\theta }(x_{t},t)-{\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}x_{0}}{\sigma _{t}}}\right\|^{2}\right]=E_{x_{t}\sim q,x_{0}\sim q(\cdot |x_{t})}\left[\left\|\epsilon _{\theta }(x_{t},t)-{\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}x_{0}}{\sigma _{t}}}\right\|^{2}\right]}$$${\displaystyle \epsilon _{\theta }(x_{t},t)={\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}E_{q}[x_{0}|x_{t}]}{\sigma _{t}}}=-\sigma _{t}\nabla _{x_{t}}\ln q(x_{t})}$

したがって、スコアベースのネットワークは拡散のノイズ除去に使用できます。

逆に、後方方程式の 連続極限は、 スコアベースの拡散とまったく同じ方程式を与えます。 したがって、ノイズ除去ネットワークはスコアベースの拡散と同様に使用できます。 ${\displaystyle x_{t-1}=x_{t-dt},\beta _{t}=\beta (t)dt,z_{t}{\sqrt {dt}}=dW_{t}}$$${\displaystyle x_{t-1}={\frac {x_{t}}{\sqrt {\alpha _{t}}}}-{\frac {\beta _{t}}{\sigma _{t}{\sqrt {\alpha _{t}}}}}\epsilon _{\theta }(x_{t},t)+{\sqrt {\beta _{t}}}z_{t};\quad z_{t}\sim N(0,I)}$$$${\displaystyle x_{t-dt}=x_{t}(1+\beta (t)dt/2)+\beta (t)\nabla _{x_{t}}\ln q(x_{t})dt+{\sqrt {\beta (t)}}dW_{t}}$$

DDPM では、数値のシーケンスは(離散時間)ノイズ スケジュールと呼ばれます。一般に、シグモイド関数などの 型の厳密に増加する単調関数を考えます。その場合、ノイズ スケジュールは実数のシーケンスです。次に、ノイズのシーケンスを定義し、それによって他の量が導出されます。 ${\displaystyle 0=\sigma _{0}<\sigma _{1}<\cdots <\sigma _{T}<1}$${\displaystyle \sigma }$${\displaystyle \mathbb {R} \to (0,1)}$${\displaystyle \lambda _{1}<\lambda _{2}<\cdots <\lambda _{T}}$${\displaystyle \sigma _{t}:=\sigma (\lambda _{t})}$${\displaystyle \beta _{t}=1-{\frac {1-\sigma _{t}^{2}}{1-\sigma _{t-1}^{2}}}}$

任意のノイズスケジュールを使用するには、ノイズ予測モデルをトレーニングする代わりに、 をトレーニングします。 ${\displaystyle \epsilon _{\theta }(x_{t},t)}$${\displaystyle \epsilon _{\theta }(x_{t},\sigma _{t})}$

同様に、ノイズ条件付きスコア ネットワークの場合、 をトレーニングする代わりに、 をトレーニングします。 ${\displaystyle f_{\theta }(x_{t},t)}$${\displaystyle f_{\theta }(x_{t},\sigma _{t})}$

画像を生成するための元の DDPM 法は、通常、順方向拡散プロセスでの分布がガウス分布に近くなるのに かかるため、低速です。ただし、これは逆方向拡散プロセスにも 1000 ステップかかることを意味します。 はすべての に対してガウス分布であるためステップをスキップできる順方向拡散プロセスとは異なり、逆方向拡散プロセスではステップをスキップできません。たとえば、 をサンプリングするには、モデルで最初に をサンプリングする必要があります。直接サンプリングしようとすると、を周辺化する必要がありますが、これは一般に扱いにくいことです。 ${\displaystyle T\sim 1000}$${\displaystyle x_{T}}$${\displaystyle x_{t}|x_{0}}$${\displaystyle t\geq 1}$${\displaystyle x_{t-2}|x_{t-1}\sim N(\mu _{\theta }(x_{t-1},t-1),\Sigma _{\theta }(x_{t-1},t-1))}$${\displaystyle x_{t-1}}$${\displaystyle x_{t-2}|x_{t}}$${\displaystyle x_{t-1}}$

DDIM ^[25]は、 DDPM損失でトレーニングされた任意のモデルを取得し、いくつかのステップをスキップしてサンプリングすることで、調整可能な量の品質を犠牲にする手法です。DDPMのマルコフ連鎖ケースを非マルコフケースに生成すると、DDIMは逆プロセスの分散が0になるケースに対応します。言い換えれば、逆プロセス（および順プロセス）は決定論的です。より少ないサンプリングステップを使用する場合、DDIMはDDPMよりも優れています。

詳細には、DDIM サンプリング法は次のとおりです。順方向拡散プロセス から開始します。次に、逆方向ノイズ除去プロセス中に、 が与えられた場合、元のデータは と推定されます。その後、逆方向拡散プロセスは任意のステップ にジャンプでき、次のノイズ除去サンプルは になります。ここで、 は範囲 内の任意の実数、 は新しくサンプリングされたガウスノイズです。^[17]すべてが の場合、逆方向プロセスは決定論的になり、DDIM のこの特殊なケースは「DDIM」とも呼ばれます。元の論文では、プロセスが決定論的である場合、わずか 20 ステップで生成されたサンプルは、高レベルでは 1000 ステップで生成されたサンプルと非常によく似ていると指摘されています。 ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}\epsilon }$${\displaystyle x_{t},\epsilon _{\theta }(x_{t},t)}$$${\displaystyle x_{0}'={\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}}$$${\displaystyle 0\leq s<t}$$${\displaystyle x_{s}={\sqrt {{\bar {\alpha }}_{s}}}x_{0}'+{\sqrt {\sigma _{s}^{2}-(\sigma '_{s})^{2}}}\epsilon _{\theta }(x_{t},t)+\sigma _{s}'\epsilon }$$${\displaystyle \sigma _{s}'}$${\displaystyle [0,\sigma _{s}]}$${\displaystyle \epsilon \sim N(0,I)}$${\displaystyle \sigma _{s}'=0}$

元の論文では、となる単一の「イータ値」 を定義することを推奨していました。 のとき、これは元の DDPM です。 のとき、これは完全に決定論的な DDIM です。中間値の場合、プロセスはそれらの値の間を補間します。 ${\displaystyle \eta \in [0,1]}$${\displaystyle \sigma _{s}'=\eta {\tilde {\sigma }}_{s}}$${\displaystyle \eta =1}$${\displaystyle \eta =0}$

同様に、DDIM アルゴリズムはスコアベースの拡散モデルにも適用されます。

拡散モデルは確率分布をモデル化する一般的な方法であるため、画像上の分布をモデル化したい場合は、まずエンコーダーによって画像を低次元空間にエンコードし、次に拡散モデルを使用してエンコードされた画像上の分布をモデル化することができます。次に、画像を生成するには、拡散モデルからサンプルを抽出し、デコーダーを使用してそれを画像にデコードします。^[26]

エンコーダーとデコーダーのペアは、ほとんどの場合、変分オートエンコーダー(VAE) です。

^[27]は様々なアーキテクチャの改善を提案した。例えば、彼らは後方サンプリング中に対数空間補間を提案した。彼らは、 からサンプリングする代わりに、学習したパラメータからサンプリングすることを推奨した。 ${\displaystyle x_{t-1}\sim N({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),{\tilde {\sigma }}_{t}^{2}I)}$${\displaystyle N({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),(\sigma _{t}^{v}{\tilde {\sigma }}_{t}^{1-v})^{2}I)}$${\displaystyle v}$

v-予測形式では、ノイズ式は角度 と定義される「速度」 によって再パラメータ化されます。ネットワークは速度 を予測するようにトレーニングされ、ノイズ除去は によって行われます。^[28]このパラメータ化により、モデルが総ノイズ (つまり ) に到達してそれを逆転するようにトレーニングできるため、パフォーマンスが向上することがわかりました。一方、標準的なパラメータ化では が常に真であるため、総ノイズに到達することはありません。^[29]${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\epsilon _{t}}$${\displaystyle \phi _{t}}$${\displaystyle \cos \phi _{t}={\sqrt {{\bar {\alpha }}_{t}}}}$${\displaystyle \cos \phi _{t}\epsilon _{t}-\sin \phi _{t}x_{0}}$${\displaystyle {\hat {v}}_{\theta }}$${\displaystyle x_{\phi _{t}-\delta }=\cos(\delta )\;x_{\phi _{t}}-\sin(\delta ){\hat {v}}_{\theta }\;(x_{\phi _{t}})}$${\displaystyle \phi _{t}=90^{\circ }}$${\displaystyle {\sqrt {{\bar {\alpha }}_{t}}}>0}$

分類器ガイダンスは、分類器を使用してクラス条件付き生成を改善するために2021年に提案されました。元の出版物では、CLIPテキストエンコーダーを使用してテキスト条件付き画像生成を改善しました。^[30]

画像の分布全体からではなく、画像の説明に応じてサンプリングするとします。一般的な画像をサンプリングするのではなく、「赤い目の黒猫」という説明に一致する画像をサンプリングします。一般的に、分布 からサンプリングします。ここで、 は画像全体にわたり、 は画像のクラスにわたります (「赤い目の黒猫」という説明は非常に詳細なクラスであり、「猫」というクラスは非常に漠然とした説明です)。 ${\displaystyle p(x|y)}$${\displaystyle x}$${\displaystyle y}$

ノイズの多いチャネル モデルの観点から見ると、このプロセスは次のように理解できます。説明 を条件として画像を生成するには、要求者が実際には画像 を念頭に置いていたが、その画像がノイズの多いチャネルを通過して のように文字化けして出力されたと想定します。この場合、画像生成は、要求者が何を念頭に置いていたかを推測することに他なりません。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle x}$${\displaystyle y}$${\displaystyle x}$

言い換えれば、条件付き画像生成は単に「テキスト言語から画像言語への翻訳」です。次に、ノイズのあるチャネル モデルと同様に、ベイズの定理を使用して、言い換える と、すべての画像の空間の適切なモデルと、適切な画像からクラスへのトランスレータがあれば、クラスから画像へのトランスレータを「無料で」取得できます。後方拡散の式では、スコアは次のように置き換えることができます 。 ここで、は前述のようにトレーニングされたスコア関数であり、微分可能な画像分類器を使用して求められます。 $${\displaystyle p(x|y)\propto p(y|x)p(x)}$$${\displaystyle \nabla \ln p(x)}$$${\displaystyle \nabla _{x}\ln p(x|y)=\underbrace {\nabla _{x}\ln p(x)} _{\text{score}}+\underbrace {\nabla _{x}\ln p(y|x)} _{\text{classifier guidance}}}$$${\displaystyle \nabla _{x}\ln p(x)}$${\displaystyle \nabla _{x}\ln p(y|x)}$

拡散プロセス中は、時間を条件として を与える必要がありますが、通常、分類器モデルは時間に依存しないため、 となります。 $${\displaystyle \nabla _{x_{t}}\ln p(x_{t}|y,t)=\nabla _{x_{t}}\ln p(y|x_{t},t)+\nabla _{x_{t}}\ln p(x_{t}|t)}$$${\displaystyle p(y|x_{t},t)=p(y|x_{t})}$

分類器ガイダンスはスコア関数の勾配に対して定義されるため、スコアベースの拡散ネットワークに対しては となるが、前述のように、スコアベースの拡散モデルは によるノイズ除去モデルと同等であり、同様に となる。したがって、分類器ガイダンスは、修正されたノイズ予測を使用して、ノイズ除去拡散にも機能する。^[30]${\displaystyle \epsilon _{\theta }(x_{t},t)=-\sigma _{t}\nabla _{x_{t}}\ln p(x_{t}|t)}$${\displaystyle \epsilon _{\theta }(x_{t},y,t)=-\sigma _{t}\nabla _{x_{t}}\ln p(x_{t}|y,t)}$$${\displaystyle \epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\underbrace {\sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)} _{\text{classifier guidance}}}$$

分類器誘導拡散モデルは、最大事後推定値の周囲に集中しているからサンプルを採取します。モデルを最大尤度推定値に向かって強制的に動かしたい場合は、 を使用することができます 。 ここで、は温度の逆数として解釈できます。拡散モデルの文脈では、これは通常、ガイダンススケールと呼ばれます。 が高いと、モデルは の周囲に集中している分布からサンプルを採取するように強制されます。これにより、生成される画像の品質が向上する場合があります。^[30]${\displaystyle p(x|y)}$ ${\displaystyle \arg \max _{x}p(x|y)}$ ${\displaystyle \arg \max _{x}p(y|x)}$$${\displaystyle p_{\gamma }(x|y)\propto p(y|x)^{\gamma }p(x)}$$${\displaystyle \gamma >0}$${\displaystyle \gamma }$${\displaystyle \arg \max _{x}p(y|x)}$

これは前の式を修正したものである。ノイズ除去モデルの場合、これは^{[31]に相当する。}$${\displaystyle \nabla _{x}\ln p_{\beta }(x|y)=\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(y|x)}$$$${\displaystyle \epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\gamma \sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)}$$

分類器がない場合でも、画像モデル自体から分類器を抽出することは可能です。^[31] このようなモデルは通常、との両方を提示することでトレーニングされ、との両方をモデル化できるようになります。 ${\displaystyle p(y|x)}$ $${\displaystyle \nabla _{x}\ln p_{\gamma }(x|y)=(1-\gamma )\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(x|y)}$$${\displaystyle (x,y)}$${\displaystyle (x,{\rm {None}})}$${\displaystyle \nabla _{x}\ln p(x|y)}$${\displaystyle \nabla _{x}\ln p(x)}$

CFG の場合、拡散モデルは単にデータ分布全体の生成モデルにはならないことに注意してください。条件付き生成モデルである必要があります。たとえば、安定した拡散では、拡散バックボーンは、ノイズのあるモデル、時間、および条件付けベクトル(テキスト プロンプトをエンコードするベクトルなど) の両方を入力として受け取り、ノイズ予測を生成します。 ${\displaystyle \nabla _{x}\ln p(x)}$${\displaystyle \nabla _{x}\ln p(x|y)}$${\displaystyle x_{t}}$${\displaystyle t}$${\displaystyle y}$${\displaystyle \epsilon _{\theta }(x_{t},y,t)}$

ノイズ除去モデルの場合、これは に相当する。DDIMでサンプリングすると、アルゴリズムは次のように記述できる。 ^[32]同様の手法が言語モデルのサンプリングにも適用される。また、無条件生成を に置き換えると、否定的なプロンプトが生成され、生成が条件から遠ざかる。^{[33] [34]}$${\displaystyle \epsilon _{\theta }(x_{t},y,t,\gamma )=\epsilon _{\theta }(x_{t},t)+\gamma (\epsilon _{\theta }(x_{t},y,t)-\epsilon _{\theta }(x_{t},t))}$$$${\displaystyle {\begin{aligned}\epsilon _{\text{uncond}}&\leftarrow \epsilon _{\theta }(x_{t},t)\\\epsilon _{\text{cond}}&\leftarrow \epsilon _{\theta }(x_{t},t,c)\\\epsilon _{\text{CFG}}&\leftarrow \epsilon _{\text{uncond}}+\gamma (\epsilon _{\text{cond}}-\epsilon _{\text{uncond}})\\x_{0}&\leftarrow (x_{t}-\sigma _{t}\epsilon _{\text{CFG}})/{\sqrt {1-\sigma _{t}^{2}}}\\x_{s}&\leftarrow {\sqrt {1-\sigma _{s}^{2}}}x_{0}+{\sqrt {\sigma _{s}^{2}-(\sigma _{s}')^{2}}}\epsilon _{\text{uncond}}+\sigma _{s}'\epsilon \\\end{aligned}}}$$${\displaystyle \epsilon _{\text{uncond}}\leftarrow \epsilon _{\theta }(x_{t},t)}$${\displaystyle \epsilon _{\text{neg cond}}\leftarrow \epsilon _{\theta }(x_{t},t,c')}$${\displaystyle c'}$

拡散モデルが与えられた場合、それを連続プロセスとみなして SDE を積分することによってそこからサンプルを採取することも、それを離散プロセスとみなして離散ステップを反復することによってそこからサンプルを採取することもできます。 「ノイズ スケジュール」の選択もサンプルの品質に影響する可能性があります。 ノイズ スケジュールは、自然数をノイズ レベルに送信する関数です。ノイズ スケジュールは、マップ によって指定されることが多いです。 であるため、2 つの定義は同等です。 ${\displaystyle \beta _{t}}$$${\displaystyle t\mapsto \beta _{t},\quad t\in \{1,2,\dots \},\beta \in (0,1)}$$${\displaystyle t\mapsto \sigma _{t}}$${\displaystyle \beta _{t}=1-{\frac {1-\sigma _{t}^{2}}{1-\sigma _{t-1}^{2}}}}$

DDPMの観点からは、DDPM自体（ノイズあり）またはDDIM（調整可能なノイズ量）を使用できます。ノイズを追加する場合は、祖先サンプリングと呼ばれることがあります。^[35]ノイズとノイズなしの間を補間できます。DDIMの論文では、ノイズの量（「イータ値」）が示され、 はノイズなし（決定論的DDIMの場合）を示し、 は完全なノイズ（DDPMの場合）を示します。 ${\displaystyle \eta }$${\displaystyle \eta =0}$${\displaystyle \eta =1}$

SDEの観点からは、オイラー・丸山法、ホイン法、線形多段階法などの数値積分法のいずれかを使用することができます。離散の場合と同様に、積分中に調整可能な量のノイズを追加することができます。^[36]

画像生成の文脈におけるサンプラーの調査と比較は行われている。^[37]

注目すべき変種としては、^[38]ポアソンフロー生成モデル、^[39]コンシステンシーモデル、^[40]臨界減衰ランジュバン拡散、^[41] GenPhys、^[42]冷拡散、^[43]離散拡散、^{[44] [45]}などがある。

抽象的に言えば、拡散モデルの考え方は、未知の確率分布（自然に見える画像の分布）を取り、それらを接続した完全に連続した確率パスを構築することによって、それを既知の確率分布（標準ガウス分布）に段階的に変換することです。確率パスは、実際にはスコア関数によって暗黙的に定義されます。 ${\displaystyle \nabla \ln p_{t}}$

拡散モデルのノイズ除去では、順方向プロセスでノイズを追加し、逆方向プロセスでノイズを除去します。順方向プロセスと逆方向プロセスはどちらもSDEですが、順方向プロセスは閉形式で積分可能なので、計算コストをかけずに実行できます。逆方向プロセスは閉形式で積分できないので、標準的な SDE ソルバーで段階的に積分する必要があり、非常にコストがかかります。拡散モデルの確率パスはイトー過程によって定義され、確率 ODE フロー定式化を使用して決定論的プロセスを取得できます。^[2]

フローベースの拡散モデルでは、順方向プロセスは時間依存のベクトル場に沿った決定論的なフローであり、逆方向プロセスも同じベクトル場に沿った決定論的なフローですが、逆方向に進みます。どちらのプロセスもODEの解です。ベクトル場が適切に動作する場合、ODE も適切に動作します。

2 つの分布とが与えられた場合、フローベースのモデルはにおける時間依存の速度場 となり、点 をサンプリングすることから始めて、速度場に従って移動させると、 点 が得られます。上記の ODE の解は、プッシュフォワード測定演算子によって確率経路を定義します。特に、です。 ${\displaystyle \pi _{0}}$${\displaystyle \pi _{1}}$${\displaystyle v_{t}(x)}$${\displaystyle [0,1]\times \mathbb {R} ^{d}}$${\displaystyle x\sim \pi _{0}}$$${\displaystyle {\frac {d}{dt}}\phi _{t}(x)=v_{t}(\phi _{t}(x))\quad t\in [0,1],\quad {\text{starting from }}\phi _{0}(x)=x}$$${\displaystyle x_{1}\sim \pi _{1}}$${\displaystyle \phi _{t}}$${\displaystyle p_{t}=[\phi _{t}]_{\#}\pi _{0}}$${\displaystyle [\phi _{1}]_{\#}\pi _{0}=\pi _{1}}$

確率経路と速度場は、確率分布の意味で 連続方程式も満たします。 確率経路を構築するには、まず条件付き確率経路と、それに対応する条件付き速度場をある条件付き分布上に構築します。自然な選択は、ガウス条件付き確率経路です。 条件付きガウス経路間の測地線経路に対応する条件付き速度場は、 確率経路と速度場は、次に周辺化によって計算されます。 $${\displaystyle \partial _{t}p_{t}+\nabla \cdot (v_{t}p_{t})=0}$$${\displaystyle p_{t}(x\vert z)}$${\displaystyle v_{t}(x\vert z)}$${\displaystyle q(z)}$$${\displaystyle p_{t}(x\vert z)={\mathcal {N}}\left(m_{t}(z),\zeta _{t}^{2}I\right)}$$$${\displaystyle v_{t}(x\vert z)={\frac {\zeta _{t}'}{\zeta _{t}}}(x-m_{t}(z))+m_{t}'(z)}$$

${\displaystyle p_{t}(x)=\int p_{t}(x\vert z)q(z)dz\qquad {\text{ and }}\qquad v_{t}(x)=\mathbb {E} _{q(z)}\left[{\frac {v_{t}(x\vert z)p_{t}(x\vert z)}{p_{t}(x)}}\right]}$

最適輸送フロー ^[46]の考え方は、ワッサーシュタイン計量 を最小化する確率経路を構築することです。条件となる分布は、 と:および の間の最適輸送計画です。ここで は最適輸送計画であり、ミニバッチ最適輸送によって近似できます。${\displaystyle \pi _{0}}$${\displaystyle \pi _{1}}$${\displaystyle z=(x_{0},x_{1})}$${\displaystyle q(z)=\Gamma (\pi _{0},\pi _{1})}$${\displaystyle \Gamma }$

整流フロー^{[47] [48]}の考え方は、各フローパスに沿って速度がほぼ一定になるようにフローモデルを学習することです。これは、非常に少ないステップでそのようなベクトル場に沿って積分できるため便利です。たとえば、常微分方程式が完全に直線のパスをたどる場合、それは に簡略化され、1つのステップで正確な解を得ることができます。実際には、このような完璧さには到達できませんが、フローフィールドがほぼそのようになると、多くの小さなステップの代わりにいくつかの大きなステップを踏むことができます。 ${\displaystyle {\dot {\phi _{t}}}(x)=v_{t}(\phi _{t}(x))}$${\displaystyle \phi _{t}(x)=x_{0}+t\cdot v_{0}(x_{0})}$

一般的な考え方としては、2 つの分布とから始めて、それからフロー フィールドを構築し、次に「リフロー」操作を繰り返し適用して、それぞれが前のものよりも直線になる連続したフロー フィールドを取得します。フロー フィールドが適用できるほど直線になったら、操作を終了します。 ${\displaystyle \pi _{0}}$${\displaystyle \pi _{1}}$${\displaystyle \phi ^{0}=\{\phi _{t}:t\in [0,1]\}}$${\displaystyle \phi ^{1},\phi ^{2},\dots }$

一般に、任意の時間微分可能プロセスについては、次を解くことで推定できます。 ${\displaystyle \phi _{t}}$${\displaystyle v_{t}}$$${\displaystyle \min _{\theta }\int _{0}^{1}\mathbb {E} _{x\sim p_{t}}\left[\lVert {v_{t}(x,\theta )-v_{t}(x)}\rVert ^{2}\right]\,\mathrm {d} t.}$$

整流フローでは、中間軌道が直線であるという強い事前確率を注入することで、直線パスを持つ ODE を時間離散化なしで正確にシミュレートできるため、最適輸送の理論的妥当性と計算効率の両方を実現できます。

具体的には、正規化フローは、分布と の点の間の線形補間の周辺分布と常微分方程式を一致させようとします。観測値 と が与えられると、標準線形補間により、なしでは因果的にシミュレートできない自明なケース が生成されます。これに対処するために、方向 に関する最小二乗損失を最小化することにより、 は因果的にシミュレート可能な常微分方程式の空間に「投影」されます。 ${\displaystyle \pi _{0}}$${\displaystyle \pi _{1}}$${\displaystyle x_{0}\sim \pi _{0}}$${\displaystyle x_{1}\sim \pi _{1}}$${\displaystyle x_{t}=tx_{1}+(1-t)x_{0},t\in [0,1]}$${\displaystyle {\dot {x}}_{t}=x_{1}-x_{0}}$${\displaystyle x_{1}}$${\displaystyle x_{t}}$${\displaystyle x_{1}-x_{0}}$$${\displaystyle \min _{\theta }\int _{0}^{1}\mathbb {E} _{\pi _{0},\pi _{1},p_{t}}\left[\lVert {(x_{1}-x_{0})-v_{t}(x_{t})}\rVert ^{2}\right]\,\mathrm {d} t.}$$

データペアは、とを任意に組み合わせたもので、通常は独立（つまり、）であり、とからの観測値をランダムに組み合わせることで得られる。このプロセスにより、軌跡は軌跡の密度マップを厳密に反映しますが、交差点では因果関係を確保するために経路が変更されます。この修正プロセスは、フローマッチング、 ^[49]、確率的補間、^[50]、およびアルファブレンディングとしても知られています。 ^{[引用が必要]}${\displaystyle (x_{0},x_{1})}$${\displaystyle \pi _{0}}$${\displaystyle \pi _{1}}$${\displaystyle (x_{0},x_{1})\sim \pi _{0}\times \pi _{1}}$${\displaystyle \pi _{0}}$${\displaystyle \pi _{1}}$${\displaystyle x_{t}}$

整流フローの特徴的な側面は、ODE パスの軌跡を直線化する「リフロー」機能です。から誘導される整流フローを と表します。この演算子を再帰的に適用すると、一連の整流フローが生成されます。 この「リフロー」プロセスは、輸送コストを削減するだけでなく、整流フローのパスを直線化し、が増加するにつれてパスがより直線的になります。 ${\displaystyle \phi ^{0}=\{\phi _{t}:t\in [0,1]\}}$${\displaystyle (x_{0},x_{1})}$${\displaystyle \phi ^{0}={\mathsf {Rectflow}}((x_{0},x_{1}))}$${\displaystyle {\mathsf {Rectflow}}(\cdot )}$${\displaystyle \phi ^{k+1}={\mathsf {Rectflow}}((\phi _{0}^{k}(x_{0}),\phi _{1}^{k}(x_{1})))}$${\displaystyle \phi ^{k}}$${\displaystyle k}$

整流フローには、線形補間を、と を結ぶ任意の時間微分可能曲線に置き換えた非線形拡張が含まれており、 によって与えられます。このフレームワークには、との特定の選択を伴う特別なケースとして、DDIM と確率フロー ODE が含まれます。ただし、 のパスが直線でない場合は、リフロープロセスによって凸輸送コストが削減されなくなり、 のパスも直線化されなくなります。^[47]${\displaystyle x_{t}}$${\displaystyle x_{0}}$${\displaystyle x_{1}}$${\displaystyle x_{t}=\alpha _{t}x_{1}+\beta _{t}x_{0}}$${\displaystyle \alpha _{t}}$${\displaystyle \beta _{t}}$${\displaystyle x_{t}}$${\displaystyle \phi _{t}}$

アニメーション付きのフローマッチングのチュートリアルについては ^[51]を参照してください。

DDPMで画像を生成するには、時間とノイズ画像を受け取り、そこからノイズを予測するニューラルネットワークが必要です。ノイズを予測することは、ノイズ除去された画像を予測し、それをから減算することと同じなので、ノイズ除去アーキテクチャはうまく機能する傾向があります。たとえば、画像のノイズ除去に適していることがわかったU-Netは、画像を生成する拡散モデルのノイズ除去によく使用されます。^[52]${\displaystyle t}$${\displaystyle x_{t}}$${\displaystyle \epsilon _{\theta }(x_{t},t)}$${\displaystyle x_{t}}$

DDPM の場合、基礎となるアーキテクチャ (「バックボーン」) は U-Net である必要はありません。何らかの方法でノイズを予測するだけでよいのです。たとえば、拡散トランスフォーマー (DiT) は、テキスト条件と部分的にノイズが除去された画像に基づいて、トランスフォーマーを使用してノイズの平均と対角共分散を予測します。これは、U-Net の代わりにトランスフォーマーが使用されている、標準的な U-Net ベースのノイズ除去拡散モデルと同じです。^[53] 専門家の混合- トランスフォーマーも適用できます。^[54]

DDPMは、自然な画像だけでなく、一般的なデータ分布をモデル化するために使用できます。たとえば、Human Motion Diffusion ^[55]は、DDPMによって人間の動作の軌跡をモデル化します。各人間の動作の軌跡は、関節の回転または位置のいずれかで表されるポーズのシーケンスです。Transformerネットワークを使用して、ノイズの多い軌跡からノイズの少ない軌跡を生成します。

基本拡散モデルは、分布全体から無条件に生成することしかできません。たとえば、ImageNetで学習された拡散モデルは、ImageNet からのランダムな画像のように見える画像を生成します。1 つのカテゴリからのみ画像を生成するには、条件を課してから、条件付き分布からサンプリングする必要があります。課す条件が何であれ、まず条件付けを浮動小数点数のベクトルに変換し、それを基礎となる拡散モデル ニューラル ネットワークに入力する必要があります。ただし、条件付けをベクトルに変換する方法は自由に選択できます。

例えば、安定拡散は、クロスアテンションメカニズムの形で条件付けを課します。ここで、クエリはU-Net内の画像の中間表現であり、キーと値の両方が条件付けベクトルです。条件付けは画像の一部にのみ選択的に適用することができ、ControlNetで使用されているように、新しい種類の条件付けを基本モデルに微調整することができます。^[56]

特に単純な例として、画像の修復を考えてみましょう。条件は、参照画像 、修復マスクです。条件付けは、まず のノイズバージョンをサンプリングし、次にに置き換えることで、後方拡散プロセスの各ステップで行われます。ここで、 は要素ごとの乗算 を意味します。 ^[57]クロスアテンションメカニズムの別の応用は、プロンプトツープロンプト画像編集です。^[58]${\displaystyle {\tilde {x}}}$${\displaystyle m}$${\displaystyle {\tilde {x}}_{t}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}{\tilde {x}},\sigma _{t}^{2}I\right)}$${\displaystyle {\tilde {x}}}$${\displaystyle x_{t}}$${\displaystyle (1-m)\odot x_{t}+m\odot {\tilde {x}}_{t}}$${\displaystyle \odot }$

条件付けは、特定のカテゴリからの画像の生成や、特定のキャプション（テキストから画像への変換など）に従って画像を生成することだけに限定されません。たとえば、^[55]では、人間の歩行の音声クリップ（サウンドトラックと同期した動きが可能）や人間の走行のビデオ、人間の動きのテキスト説明などを条件として、人間の動きを生成することが実証されています。条件付き拡散モデルが数学的にどのように定式化されるかについては、^{[59]の方法論的要約を参照してください。}

画像の生成には長い時間がかかるため、まずは基本拡散モデルで小さな画像を生成し、それを他のモデルでアップスケールするという方法があります。アップスケールはGAN、^[60]、 Transformer、^{[61]、または}Lanczosリサンプリングなどの信号処理手法で行うことができます。

拡散モデル自体もアップスケーリングに使用できます。カスケーディング拡散モデルは、プログレッシブGANのスタイルで、複数の拡散モデルを次々に積み重ねます。最下層は32x32の画像を生成する標準的な拡散モデルであり、次にその画像はアップスケーリング用に特別にトレーニングされた拡散モデルによってアップスケーリングされ、このプロセスが繰り返されます。^[52]

より詳細には、拡散アップスケーラは次のように訓練される。^[52]

• サンプル、は高解像度の画像、は同じ画像ですが低解像度に縮小されたもの、は条件付けであり、画像のキャプションや画像のクラスなどになります。${\displaystyle (x_{0},z_{0},c)}$${\displaystyle x_{0}}$${\displaystyle z_{0}}$${\displaystyle c}$
• 2 つのホワイト ノイズ、2 つのタイム ステップをサンプリングします。高解像度画像と低解像度画像のノイズ バージョンを計算します。${\displaystyle \epsilon _{x},\epsilon _{z}}$${\displaystyle t_{x},t_{z}}$${\displaystyle {\begin{cases}x_{t_{x}}&={\sqrt {{\bar {\alpha }}_{t_{x}}}}x_{0}+\sigma _{t_{x}}\epsilon _{x}\\z_{t_{z}}&={\sqrt {{\bar {\alpha }}_{t_{z}}}}z_{0}+\sigma _{t_{z}}\epsilon _{z}\end{cases}}}$
• 与えられたを予測するようにノイズ除去ネットワークをトレーニングします。つまり、L2 損失 に勾配降下法を適用します。${\displaystyle \epsilon _{x}}$${\displaystyle x_{t_{x}},z_{t_{z}},t_{x},t_{z},c}$${\displaystyle \theta }$${\displaystyle \|\epsilon _{\theta }(x_{t_{x}},z_{t_{z}},t_{x},t_{z},c)-\epsilon _{x}\|_{2}^{2}}$

このセクションでは、いくつかの注目すべき拡散モデルを収集し、そのアーキテクチャについて簡単に説明します。

OpenAI の DALL-E シリーズは、画像のテキスト条件付き拡散モデルです。

DALL-E の最初のバージョン (2021) は、実際には拡散モデルではありません。代わりに、トークンのシーケンスを自己回帰的に生成する Transformer アーキテクチャを使用し、それを離散 VAE のデコーダーによって画像に変換します。DALL-E とともにリリースされたのは CLIP 分類器で、DALL-E はこれを使用して、生成された画像をテキストにどれだけ近いかに基づいてランク付けしました。

GLIDE（2022-03）^[62]は35億の拡散モデルであり、その小規模バージョンが公開されました。^[6]その後すぐに、DALL-E 2がリリースされました（2022-04）。^[63] DALL-E 2は35億のカスケード拡散モデルであり、「CLIP画像エンコーダーを反転」することでテキストから画像を生成します。この手法は「unCLIP」と呼ばれています。

unCLIP メソッドには、CLIP 画像エンコーダー、CLIP テキスト エンコーダー、画像デコーダー、および「事前」モデル (拡散モデルまたは自己回帰モデル) の 4 つのモデルが含まれます。トレーニング中、事前モデルは、CLIP 画像エンコーディングを CLIP テキスト エンコーディングに変換するようにトレーニングされます。画像デコーダーは、CLIP 画像エンコーディングを画像に戻すようにトレーニングされます。推論中、テキストは CLIP テキスト エンコーダーによってベクトルに変換され、次に事前モデルによって画像エンコーディングに変換され、次に画像デコーダーによって画像に変換されます。

Sora (2024-02) は拡散トランスフォーマーモデル (DiT) です。

Stability AIがリリースしたStable Diffusion（2022-08）は、ノイズ除去潜在拡散モデル（8億6000万パラメータ）、VAE、テキストエンコーダーで構成されています。ノイズ除去ネットワークはU-Netで、条件付き画像生成を可能にするクロスアテンションブロックを備えています。^{[64] [26]}

安定拡散3（2024-03）^[65]は潜在拡散モデルをUNetからTransformerモデルに変更したため、DiTとなっている。整流フローを使用している。

Stable Video 4D（2024-07）^[66]は、3Dオブジェクトのビデオ用の潜在拡散モデルです。

Imagen (2022) ^{[67] [68]}は、T5-XXL言語モデルを使用して、入力テキストを埋め込みベクトルにエンコードします。これは、3つのサブモデルを持つカスケード拡散モデルです。最初のステップでは、テキストの埋め込みベクトルを条件として、ホワイトノイズを64×64の画像にノイズ除去します。このモデルには2Bのパラメーターがあります。2番目のステップでは、埋め込みを条件として、画像を64×64→256×256にアップスケールします。このモデルには650Mのパラメーターがあります。3番目のステップも同様で、256×256→1024×1024にアップスケールします。このモデルには400Mのパラメーターがあります。3つのノイズ除去ネットワークはすべてU-Netです。

Muse（2023-01）^[69]は拡散モデルではなく、マスクされていない画像トークンからマスクされた画像トークンを予測するように訓練されたエンコーダーのみのTransformerです。

Imagen 2（2023-12）も拡散ベースです。画像とテキストを混ぜたプロンプトに基づいて画像を生成することができます。詳細情報はありません。^[70]

Veo（2024）は潜在拡散によってビデオを生成します。拡散はテキストプロンプトと画像プロンプトの両方をエンコードしたベクトルに条件付けられます。^[71]

Make-A-Video（2022）はテキストからビデオへの拡散モデルです。^{[72] [73]}

CM3leon（2023）は拡散モデルではなく、 LLaMa -2とほぼ同じアーキテクチャを持つ自己回帰因果マスクTransformerです。^{[74] [75]}

Transfusion（2024）は、自己回帰テキスト生成とノイズ除去拡散を組み合わせたTransformerです。具体的には、自己回帰的にテキストを生成し（因果マスキングを使用）、画像トークンに対して複数回のノイズ除去を行って画像を生成します（全対全注意を使用）。^[76]

映画「Gen（2024）」は、潜在空間とフローマッチングによって動作する拡散トランスフォーマーのシリーズです。^[77]

• 拡散プロセス
• マルコフ連鎖
• 変分推論
• 変分オートエンコーダ

• レビュー論文
  • Yang, Ling (2024-09-06)、YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy 、 2024-09-06取得
  • ヤン、リン。張志龍。ソン、ヤン。ホン、シェンダ。シュウ・ルンシェン。趙、越。張文涛。崔、斌。ヤン・ミンシュアン（2023-11-09）。 「普及モデル: 手法と応用の包括的調査」。ACM コンピューティング。生き残る。56 (4): 105:1–105:39。arXiv : 2209.00796。土井：10.1145/3626235。ISSN  0360-0300。
  • Austin, Jacob; Johnson, Daniel D.; Ho, Jonathan; Tarlow, Daniel; Rianne van den Berg (2021). 「離散状態空間における構造化ノイズ除去拡散モデル」。arXiv : 2107.03006 [ cs.LG]。
  • クロイトル、フロリネル・アリン。ホンドル、ヴラド。イヨネスク、ラドゥ・チューダー。シャー、ムバラク (2023-09-01)。 「ビジョンにおける拡散モデル: 調査」。パターン分析とマシン インテリジェンスに関する IEEE トランザクション。45 (9): 10850–10869。arXiv : 2209.04747。土井：10.1109/TPAMI.2023.3261988。ISSN  0162-8828。PMID  37030794。
• 記事では数学的な詳細は省略されています。
  • 「拡散モデルの力」。AstraBlog。2022年9月25日。 2023年9月25日閲覧。
  • Luo, Calvin (2022-08-25). 「拡散モデルの理解：統一された視点」. arXiv : 2208.11970 [cs.LG].
  • Weng, Lilian (2021-07-11). 「拡散モデルとは何か?」lilianweng.github.io . 2023-09-25に閲覧。
• チュートリアル
  • ナッキラン、プリータム。ブラッドリー、アルウェン。周、ハッティ。アドヴァニ、マドゥ (2024)。 「ステップバイステップの普及: 初歩的なチュートリアル」。arXiv : 2406.08929 [cs.LG]。
  • 「ガイダンス：拡散モデルのチートコード」。2022年5月26日。分類子ガイダンスと分類子フリーガイダンスの概要。数学的な詳細については省略します。