フローベースの生成モデル

フローベースの生成モデルは、機械学習で使用される生成モデルであり、正規化フロー^{[1] [2] [3]}を活用して確率分布を明示的にモデル化します。これは、変数変更の確率法則を使用して単純な分布を複雑な分布に変換する 統計的手法です。

尤度の直接モデリングには多くの利点があります。たとえば、負の対数尤度は損失関数として直接計算され、最小化されます。さらに、初期分布からサンプリングし、フロー変換を適用することで、新しいサンプルを生成することができます。

対照的に、変分オートエンコーダ (VAE)や生成敵対ネットワークなどの多くの代替生成モデリング手法では、尤度関数を明示的に表現しません。

を分布 を持つ（多変量の可能性がある）確率変数とします。 ${\displaystyle z_{0}}$${\displaystyle p_{0}(z_{0})}$

について、を から変換されたランダム変数のシーケンスとします。関数は可逆である必要があります。つまり、逆関数が存在します。最終出力はターゲット分布をモデル化します。 ${\displaystyle i=1,...,K}$${\displaystyle z_{i}=f_{i}(z_{i-1})}$${\displaystyle z_{0}}$${\displaystyle f_{1},...,f_{K}}$ ${\displaystyle f_{i}^{-1}}$${\displaystyle z_{K}}$

の対数尤度は（導出を参照）次のとおりです。 ${\displaystyle z_{K}}$

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

対数尤度を効率的に計算するには、関数は1. 逆変換が容易で、 2. ヤコビ行列式の計算が容易である必要があります。実際には、関数はディープニューラルネットワークを使用してモデル化され、ターゲット分布からのデータサンプルの負の対数尤度を最小化するようにトレーニングされます。これらのアーキテクチャは通常、逆変換とヤコビ行列式の計算の両方でニューラルネットワークの順方向パスのみが必要になるように設計されています。このようなアーキテクチャの例には、NICE、^[4]、 RealNVP、^[5]、Glow などがあります。^[6]${\displaystyle f_{1},...,f_{K}}$${\displaystyle f_{1},...,f_{K}}$

およびについて考えます。 に注意してください。 ${\displaystyle z_{1}}$${\displaystyle z_{0}}$${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$

変数変換式により、分布は次のようになります。 ${\displaystyle z_{1}}$

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}$

ここで、のヤコビ行列の行列式です。 ${\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}$${\displaystyle f_{1}^{-1}}$

逆関数定理により：

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}$

恒等式（ここでは可逆行列）により、次の式が得られます。 ${\displaystyle \det(A^{-1})=\det(A)^{-1}}$${\displaystyle A}$

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}$

したがって、対数尤度は次のようになります。

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}$

一般に、上記は任意のおよびに適用されます。は非再帰項を減算したものに等しいため、帰納法によって次のことが推論できます。 ${\displaystyle z_{i}}$${\displaystyle z_{i-1}}$${\displaystyle \log p_{i}(z_{i})}$${\displaystyle \log p_{i-1}(z_{i-1})}$

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

ディープラーニング モデルをトレーニングするときに一般的に行われるように、フロー正規化の目標は、モデルの尤度と推定されるターゲット分布間のKullback-Leibler ダイバージェンスを最小化することです。モデルの尤度と学習するターゲット分布を表すと、(順方向) KL ダイバージェンスは次のように表されます。 ${\displaystyle p_{\theta }}$${\displaystyle p^{*}}$

${\displaystyle D_{KL}[p^{*}(x)||p_{\theta }(x)]=-\mathbb {E} _{p^{*}(x)}[\log(p_{\theta }(x))]+\mathbb {E} _{p^{*}(x)}[\log(p^{*}(x))]}$

式の右側の 2 番目の項は、ターゲット分布のエントロピーに対応し、モデルに学習させたいパラメータとは独立しているため、ターゲット分布の下で負の対数尤度が最小化するという期待値のみが残ります。この扱いにくい項は、モンテカルロ法の重要度サンプリングによって近似できます。実際、ターゲット分布からそれぞれ独立して抽出されたサンプルのデータセットがある場合、この項は次のように推定できます。 ${\displaystyle \theta }$${\displaystyle \{x_{i}\}_{i=1:N}}$${\displaystyle p^{*}(x)}$

${\displaystyle -{\hat {\mathbb {E} }}_{p^{*}(x)}[\log(p_{\theta }(x))]=-{\frac {1}{N}}\sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

したがって、学習目標は

${\displaystyle {\underset {\theta }{\operatorname {arg\,min} }}\ D_{KL}[p^{*}(x)||p_{\theta }(x)]}$

は次のように置き換えられます

${\displaystyle {\underset {\theta }{\operatorname {arg\,max} }}\ \sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

言い換えれば、モデルの尤度と目標分布の間のKullback-Leiblerダイバージェンスを最小化することは、目標分布の観測サンプルの下でのモデルの尤度を最大化することと同等である。 ^[7]

正規化フローを訓練するための擬似コードは以下のとおりです。^[8]

• 入力。データセット、正規化フロー モデル。${\displaystyle x_{1:n}}$${\displaystyle f_{\theta }(\cdot ),p_{0}}$
• 解決法。勾配降下法${\displaystyle \max _{\theta }\sum _{j}\ln p_{\theta }(x_{j})}$
• 戻る。${\displaystyle {\hat {\theta }}}$

最も初期の例。^[9]ある活性化関数を固定し、適切な次元を持つとすると、逆関数には一般に閉じた解は存在しない。 ${\displaystyle h}$${\displaystyle \theta =(u,w,b)}$$${\displaystyle x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)}$$${\displaystyle f_{\theta }^{-1}}$

ヤコビアンは です。 ${\displaystyle |\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |}$

どこでも逆行列が成り立つためには、どこでもゼロ以外でなければなりません。たとえば、は要件を満たします。 ${\displaystyle h=\tanh }$${\displaystyle \langle u,w\rangle >-1}$

を偶数次元とし、真ん中で分割します。[ ^4]すると、正規化フロー関数は、重み を持つ任意のニューラルネットワークになります。 ${\displaystyle x,z\in \mathbb {R} ^{2n}}$$${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$$${\displaystyle m_{\theta }}$${\displaystyle \theta }$

${\displaystyle f_{\theta }^{-1}}$はちょうど であり、ヤコビアンはちょうど 1 です。つまり、流れは体積を保存します。 ${\displaystyle z_{1}=x_{1},z_{2}=x_{2}-m_{\theta }(x_{1})}$

のとき、これは 方向に沿った曲線状のせん断として見られます。 ${\displaystyle n=1}$${\displaystyle x_{2}}$

実体積非保存モデルはNICEモデルを次のように一般化します: ^[5]$${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\e^{s_{\theta }(z_{1})}\odot z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$$

その逆行列は、ヤコビアンは です。NICE モデルは を設定することで復元されます。実 NVP マップはベクトルの前半と後半を別々に保持するため、通常は各実 NVP レイヤーの後に順列を追加する必要があります。 ${\displaystyle z_{1}=x_{1},z_{2}=e^{-s_{\theta }(x_{1})}\odot (x_{2}-m_{\theta }(x_{1}))}$${\displaystyle \prod _{i=1}^{n}e^{s_{\theta }(z_{1,})}}$${\displaystyle s_{\theta }=0}$${\displaystyle x}$${\displaystyle (x_{1},x_{2})\mapsto (x_{2},x_{1})}$

生成フローモデル^[6]では、各層は3つの部分から構成されます。

• ヤコビアンを使用したチャネル単位のアフィン変換。$${\displaystyle y_{cij}=s_{c}(x_{cij}+b_{c})}$$${\displaystyle \prod _{c}s_{c}^{HW}}$
• ヤコビ行列を使用した可逆な 1x1 畳み込み。ここでは任意の可逆行列を指定します。$${\displaystyle z_{cij}=\sum _{c'}K_{cc'}y_{cij}}$$${\displaystyle \det(K)^{HW}}$${\displaystyle K}$
• 実 NVP で説明されているヤコビアンを持つ実 NVP。

可逆 1x1 畳み込みを使用するアイデアは、Real NVP のように、単に前半と後半を並べ替えるのではなく、一般にすべてのレイヤーを並べ替えることです。

分布の自己回帰モデルは、次の確率過程として定義される: ^[10]${\displaystyle \mathbb {R} ^{n}}$

$${\displaystyle {\begin{aligned}x_{1}\sim &N(\mu _{1},\sigma _{1}^{2})\\x_{2}\sim &N(\mu _{2}(x_{1}),\sigma _{2}(x_{1})^{2})\\&\cdots \\x_{n}\sim &N(\mu _{n}(x_{1:n-1}),\sigma _{n}(x_{1:n-1})^{2})\\\end{aligned}}}$$ここで、およびは自己回帰モデルを定義する固定関数です。 ${\displaystyle \mu _{i}:\mathbb {R} ^{i-1}\to \mathbb {R} }$${\displaystyle \sigma _{i}:\mathbb {R} ^{i-1}\to (0,\infty )}$

再パラメータ化トリックにより、自己回帰モデルは正規化フローに一般化されます。自己回帰モデルは、 を設定することで復元されます。 $${\displaystyle {\begin{aligned}x_{1}=&\mu _{1}+\sigma _{1}z_{1}\\x_{2}=&\mu _{2}(x_{1})+\sigma _{2}(x_{1})z_{2}\\&\cdots \\x_{n}=&\mu _{n}(x_{1:n-1})+\sigma _{n}(x_{1:n-1})z_{n}\\\end{aligned}}}$$${\displaystyle z\sim N(0,I_{n})}$

前方マッピングは (順次であるため) 低速ですが、後方マッピングは (並列であるため) 高速です。

ヤコビ行列は下対角なので、ヤコビアンは です。 ${\displaystyle \sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})}$

MAFの2つのマップを逆にすると、高速順方向マッピングと低速逆方向マッピングを持つ逆自己回帰フロー（IAF）が得られます。^[11]${\displaystyle f_{\theta }}$${\displaystyle f_{\theta }^{-1}}$

関数合成によってフローを構築する代わりに、フローを連続時間ダイナミクスとして定式化するという別のアプローチがあります。^{[12] [13]}を分布 を持つ潜在変数とします。この潜在変数を次のフロー関数を使用してデータ空間にマッピングします。 ${\displaystyle z_{0}}$${\displaystyle p(z_{0})}$

${\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{T}f(z_{t},t)dt}$

ここで、は任意の関数であり、例えばニューラル ネットワークでモデル化できます。 ${\displaystyle f}$

逆関数は当然次のようになる: ^[12]

${\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}f(z_{t},t)dt=z_{T}-\int _{0}^{T}f(z_{t},t)dt}$

の対数尤度は次のように求められる: ^[12]${\displaystyle x}$

${\displaystyle \log(p(x))=\log(p(z_{0}))-\int _{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}\right]dt}$

トレースはヤコビアン対角線のみに依存するため、「自由形式」のヤコビアンが可能になります。^[14]ここで、「自由形式」とは、ヤコビアンの形に制限がないことを意味します。これは、ヤコビアンが効率的に評価できるように、ヤコビアンが上対角線または下対角線のみになるように注意深く設計されていた、正規化フローの以前の離散モデルとは対照的です。 ${\displaystyle \partial _{z_{t}}f}$

この痕跡は「ハッチンソンのトリック」によって推定できる: ^{[15] [16]}

任意の行列 と、 となる任意の乱数が与えられると、 が成り立ちます。(証明: 期待値を直接展開します。)${\displaystyle W\in \mathbb {R} ^{n\times n}}$${\displaystyle u\in \mathbb {R} ^{n}}$${\displaystyle E[uu^{T}]=I}$${\displaystyle E[u^{T}Wu]=tr(W)}$

通常、ランダムベクトルは(正規分布) または(ラダマッハ分布) からサンプリングされます。 ${\displaystyle N(0,I)}$${\displaystyle \{\pm n^{-1/2}\}^{n}}$

をニューラルネットワークとして実装する場合、ニューラルODE法^[17]が必要になります。実際、CNFはニューラルODEを提案した同じ論文で初めて提案されました。 ${\displaystyle f}$

CNF には 2 つの主な欠陥があります。1 つは、連続フローは同相写像でなければならないため、方向と周囲の同位体性が保存されることです (たとえば、空間を連続的に変形して左手を右手に反転することは不可能であり、球を裏返しにしたり、結び目を解いたりすることは不可能です)。もう 1 つは、学習したフローが、退化 (つまり、同じ問題を解決する可能性のあるフローが無限に存在する) のために、正しく動作しない可能性があることです。 ${\displaystyle f}$${\displaystyle f}$

次元を追加することで、CNFは方向を反転し、周囲の同位体を超えるのに十分な自由度を獲得します（机から多角形を持ち上げて3次元空間で反転したり、4次元空間で結び目を解いたりするのと同じように）、「拡張ニューラルODE」を生み出します。^[18]

の任意の同相写像は、上で動作するニューラルODEによって近似することができ、これは多様体に対するホイットニーの埋め込み定理とニューラルネットワークに対する普遍近似定理を組み合わせることによって証明される。^[19]${\displaystyle \mathbb {R} ^{n}}$${\displaystyle \mathbb {R} ^{2n+1}}$

流れを正規化するために、正規化損失を課すことができます。論文^{[15]では、}最適輸送理論に基づいて次の正規化損失を提案しました。ここで、はハイパーパラメータです。最初の項は、時間の経過とともに流れ場が振動することに対してモデルを罰し、2番目の項は、空間にわたって流れ場が振動することに対してモデルを罰します。両方の項が一緒になって、モデルを空間と時間にわたって滑らかな（「でこぼこ」ではない）流れに導きます。 ${\displaystyle f}$$${\displaystyle \lambda _{K}\int _{0}^{T}\left\|f(z_{t},t)\right\|^{2}dt+\lambda _{J}\int _{0}^{T}\left\|\nabla _{z}f(z_{t},t)\right\|_{F}^{2}dt}$$${\displaystyle \lambda _{K},\lambda _{J}>0}$

正規化フローは高次元密度の推定に成功しているが、その設計には依然としていくつかの欠点が残っている。まず、入力データが投影される潜在空間は低次元空間ではないため、フローベースのモデルではデフォルトでデータの圧縮ができず、多くの計算が必要になる。しかし、画像圧縮は依然として可能である。^[20]

フローベースのモデルは、分布外サンプル（つまり、トレーニングセットと同じ分布から抽出されていないサンプル）の可能性を推定できないことでも有名です。^[21]この現象を説明するためにいくつかの仮説が立てられましたが、その中には、典型的集合仮説、^[22]モデルをトレーニングする際の推定の問題、^[23]データ分布のエントロピーによる基本的な問題などがあります。^[24]

正規化フローの最も興味深い特性の 1 つは、学習した全単射写像の可逆性です。この特性は、理論的な可逆性を保証するモデル設計の制約 (RealNVP、Glow を参照) によって与えられます。逆写像の完全性は、変数変換定理の適用性、写像のヤコビアンの計算、およびモデルによるサンプリングを保証するために重要です。しかし、実際にはこの可逆性は破綻し、数値的不正確さのために逆写像が爆発します。^[25]

フローベースの生成モデルは、次のようなさまざまなモデリング タスクに適用されています。

• オーディオ生成^[26]
• 画像生成^[6]
• 分子グラフ生成^[27]
• ポイントクラウドモデリング^[28]
• ビデオ生成^[29]
• 非可逆画像圧縮^[20]
• 異常検出^[30]

• フローベースのディープ生成モデル
• フローモデルの正規化