ワッサーシュタイン GAN

Wasserstein Generative Adversarial Network (WGAN) は、 2017 年に提案されたGenerative Adversarial Network (GAN)の派生版であり、「学習の安定性を向上させ、モード崩壊などの問題を排除し、デバッグやハイパーパラメータ検索に役立つ有意義な学習曲線を提供する」ことを目的としています。^{[1] [2]}

オリジナルの GAN 識別器と比較すると、Wasserstein GAN 識別器はジェネレーターに優れた学習信号を提供します。これにより、ジェネレーターが非常に高次元の空間で分布を学習しているときに、トレーニングがより安定します。

オリジナルの GAN 手法は、GAN ゲーム (ジェネレーターとディスクリミネータの 2 人のプレイヤーによるゼロサム ゲーム)に基づいています。ゲームは確率空間 上で定義されます。ジェネレーターの戦略セットは上のすべての確率測度のセットであり、ディスクリミネータの戦略セットは測定可能な関数 のセットです。 ${\displaystyle (\Omega ,{\mathcal {B}},\mu _{ref})}$${\displaystyle \mu _{G}}$${\displaystyle (\Omega ,{\mathcal {B}})}$${\displaystyle D:\Omega \to [0,1]}$

ゲームの目的は、 ジェネレーターがそれを最小化することを目指し、識別器がそれを最大化することです。 $${\displaystyle L(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{ref}}[\ln D(x)]+\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))].}$$

GANゲームの基本定理 は、

GAN ゲームを何度も繰り返します。そのたびに、ジェネレータが最初に動き、識別器が 2 番目に移動します。ジェネレータが変化するたびに、識別器は理想に近づくように適応する必要があります。 私たちが本当に興味を持っているのは なので、識別器関数自体はあまり面白くありません。それは単にジェネレータ分布と参照分布の間の尤度比を追跡するだけです。平衡状態では、識別器は違いを認識しようとすることをあきらめ、常に出力しているだけです。^{[注 1]}${\displaystyle \mu _{G}}$$${\displaystyle D^{*}(x)={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}.}$$${\displaystyle \mu _{ref}}$${\displaystyle D}$${\displaystyle {\frac {1}{2}}}$

具体的には、GAN ゲームで、ジェネレータ を固定し、 がステップでの識別器であるとして、識別器を段階的に改善していきます。すると、（理想的には） となり、識別器が実際には下限 であることがわかります。 ${\displaystyle \mu _{G}}$${\displaystyle \mu _{D,t}}$${\displaystyle t}$$${\displaystyle L(\mu _{G},\mu _{D,1})\leq L(\mu _{G},\mu _{D,2})\leq \cdots \leq \max _{\mu _{D}}L(\mu _{G},\mu _{D})=2D_{JS}(\mu _{ref}\|\mu _{G})-2\ln 2,}$$${\displaystyle D_{JS}(\mu _{ref}\|\mu _{G})}$

したがって、弁別器の目的は主に、ジェネレーターに「完璧からどれだけ離れているか」についてのフィードバックを提供する批評家としての役割であり、「遠い」とはジェンセン・シャノン距離として定義されることがわかります。

当然、これにより、異なる遠近基準を使用する可能性が生まれます。f -GAN を生成するf-ダイバージェンスファミリなど、選択できるダイバージェンスは多数あります。 ^[3]

Wasserstein GAN はWasserstein メトリックを使用して取得されます。これは「二重表現定理」を満たし、計算を非常に効率的にします。

証明はWasserstein 計量のメイン ページにあります。

Kantorovich-Rubenstein 双対性により、Wasserstein GAN の定義は明確です。

Wasserstein GAN ゲームは確率空間 （距離空間）と定数によって定義されます。 ${\displaystyle (\Omega ,{\mathcal {B}},\mu _{ref})}$${\displaystyle \Omega }$${\displaystyle K>0}$

プレイヤーはジェネレーターとディスクリミネーター（「批評家」とも呼ばれる）の 2 種類あります。

ジェネレータの戦略セットは、 上のすべての確率測度のセットです。 ${\displaystyle \mu _{G}}$${\displaystyle (\Omega ,{\mathcal {B}})}$

判別器の戦略セットは、有界なリプシッツノルムを持つ型の測定可能な関数の集合です。 ${\displaystyle D:\Omega \to \mathbb {R} }$${\displaystyle \|D\|_{L}\leq K}$

ワッサーシュタインGANゲームはゼロサムゲームであり、目的関数は$${\displaystyle L_{WGAN}(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{G}}[D(x)]-\mathbb {E} _{x\sim \mu _{ref}}[D(x)].}$$

ジェネレータが最初に実行され、識別器が 2 番目に実行されます。ジェネレータは目的を最小化することを目指し、識別器は目的を最大化することを目指します。$${\displaystyle \min _{\mu _{G}}\max _{D}L_{WGAN}(\mu _{G},D).}$$

カントロビッチ-ルーベンシュタインの双対性により、任意のジェネレータ戦略 に対して、識別器による最適な応答は となり、 となる。したがって、識別器が適切であれば、ジェネレータは常に を最小化するようにプッシュされ、ジェネレータの最適な戦略は となり、当然のことです。 ${\displaystyle \mu _{G}}$${\displaystyle D^{*}}$$${\displaystyle L_{WGAN}(\mu _{G},D^{*})=K\cdot W_{1}(\mu _{G},\mu _{ref}).}$$${\displaystyle W_{1}(\mu _{G},\mu _{ref})}$${\displaystyle \mu _{G}=\mu _{ref}}$

Wasserstein GAN ゲームでは、識別器は GAN ゲームよりも優れた勾配を提供します。

たとえば、とが両方ともガウス分布である実数直線上のゲームを考えてみましょう。最適な Wasserstein 評論家と最適な GAN 識別器は以下のようにプロットされます。 ${\displaystyle \mu _{G}}$${\displaystyle \mu _{ref}}$${\displaystyle D_{WGAN}}$${\displaystyle D}$

固定識別子の場合、ジェネレーターは次の目的を最小限に抑える必要があります。

• GANの場合、.${\displaystyle \mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]}$
• Wasserstein GAN の場合、.${\displaystyle \mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]}$

を でパラメータ化すると、勾配の2 つの不偏推定値を使用して確率的勾配降下法を実行できます。ここで、再パラメータ化トリック を使用しました。^{[注 2]}${\displaystyle \mu _{G}}$${\displaystyle \theta }$$${\displaystyle \nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]=\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]}$$$${\displaystyle \nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]=\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]}$$

示されているように、GAN のジェネレーターは、 の「ピークを滑り降りる」ように動機付けられています。Wasserstein GAN のジェネレーターも同様です。 ${\displaystyle \mu _{G}}$${\displaystyle \ln(1-D(x))}$

Wasserstein GAN では、ほぼどこでも勾配 1 になりますが、GAN では、中央で勾配が平坦になり、他の場所では勾配が急になります。その結果、GAN の推定器の分散は、Wasserstein GAN のそれよりも通常ははるかに大きくなります。^{[1]の図 3 も参照してください。}${\displaystyle D_{WGAN}}$${\displaystyle \ln(1-D)}$

に関する問題は、実際の機械学習の状況でははるかに深刻です。GAN をトレーニングして、サイズが 256 x 256 の写真のコレクションであるImageNetを生成することを考えてみましょう。このような写真すべての空間は であり、ImageNet の写真の分布 は、その中のはるかに低い次元の多様体に集中します。その結果、どのジェネレータ戦略もと完全に分離され、 になります。したがって、優れた識別器はだけでなく、 に近い任意の をほぼ完全に区別できます。したがって、勾配 となり、ジェネレータの学習信号は生成されません。 ${\displaystyle D_{JS}}$${\displaystyle \mathbb {R} ^{256^{2}}}$${\displaystyle \mu _{ref}}$${\displaystyle \mu _{G}}$${\displaystyle \mu _{ref}}$${\displaystyle D_{JS}(\mu _{G}\|\mu _{ref})=+\infty }$${\displaystyle \mu _{ref}}$${\displaystyle \mu _{G}}$${\displaystyle \mu _{G}'}$${\displaystyle \mu _{G}}$${\displaystyle \nabla _{\mu _{G}}L(\mu _{G},D)\approx 0}$

^{詳細な定理については[4]}を参照のこと。

Wasserstein GAN でジェネレーターをトレーニングするのは、GAN (またはほとんどのディープラーニング手法) と同じ勾配降下法ですが、識別器のトレーニングは異なります。識別器は、有界な Lipschitz ノルムに制限されるようになったためです。これにはいくつかの方法があります。

識別関数を多層パーセプトロンによって実装するとします。ここで、 、および は の固定活性化関数です。たとえば、双曲正接関数は要件を満たします。 ${\displaystyle D}$$${\displaystyle D=D_{n}\circ D_{n-1}\circ \cdots \circ D_{1}}$$${\displaystyle D_{i}(x)=h(W_{i}x)}$${\displaystyle h:\mathbb {R} \to \mathbb {R} }$${\displaystyle \sup _{x}|h'(x)|\leq 1}$ ${\displaystyle h=\tanh }$

次に、任意の に対して、 とすると、連鎖律により が成り立ちます。したがって、 のリプシッツノルムはによって上限が定められます。ここでは行列の演算子ノルム、つまり行列の最大特異値、つまり行列のスペクトル半径です(これらの概念は行列の場合は同じですが、一般の線形演算子の場合は異なります)。 ${\displaystyle x}$${\displaystyle x_{i}=(D_{i}\circ D_{i-1}\circ \cdots \circ D_{1})(x)}$$${\displaystyle dD(x)=diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\cdot dx}$$${\displaystyle D}$$${\displaystyle \|D\|_{L}\leq \sup _{x}\|diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\|_{F}}$$${\displaystyle \|\cdot \|_{s}}$

なので、 となり、したがって上限が成り立ちます。したがって、各行列の演算子ノルムを上限化できれば、 のリプシッツノルムを上限化できます。 ${\displaystyle \sup _{x}|h'(x)|\leq 1}$${\displaystyle \|diag(h'(W_{i}x_{i-1}))\|_{s}=\max _{j}|h'(W_{i}x_{i-1,j})|\leq 1}$$${\displaystyle \|D\|_{L}\leq \prod _{i=1}^{n}\|W_{i}\|_{s}}$$${\displaystyle \|W_{i}\|_{s}}$${\displaystyle D}$

任意の行列に対して となるので、のすべての要素をある区間内にクリップすることによりとなり、 を制限できます。 ${\displaystyle m\times l}$${\displaystyle W}$${\displaystyle c=\max _{i,j}|W_{i,j}|}$$${\displaystyle \|W\|_{s}^{2}=\sup _{\|x\|_{2}=1}\|Wx\|_{2}^{2}=\sup _{\|x\|_{2}=1}\sum _{i}\left(\sum _{j}W_{i,j}x_{j}\right)^{2}=\sup _{\|x\|_{2}=1}\sum _{i,j,k}W_{ij}W_{ik}x_{j}x_{k}\leq c^{2}ml^{2}}$$${\displaystyle W}$${\displaystyle [-c,c]}$${\displaystyle \|W\|_{s}}$

これは元の論文で提案された重みクリッピング法である。^[1]

スペクトル半径は次のアルゴリズムによって効率的に計算できます。

入力行列と初期推定値${\displaystyle W}$${\displaystyle x}$

収束するまで繰り返します。これは、固有値 を持つの固有ベクトルです。 ${\displaystyle x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx}$${\displaystyle x^{*}}$${\displaystyle W}$${\displaystyle \|W\|_{s}}$

戻る ${\displaystyle x^{*},\|Wx^{*}\|_{2}}$

弁別器を更新するたびに再割り当てすることで、上限、つまり上限 を実現できます。 ${\displaystyle W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}}$${\displaystyle \|W_{i}\|_{s}\leq 1}$${\displaystyle \|D\|_{L}}$

アルゴリズムは、メモ化によってさらに高速化できます。ステップ で、 を保存します。次に、ステップ で、 をアルゴリズムの初期推定値として使用します。は に非常に近いため、 はに近くなり、これにより迅速な収束が可能になります。 ${\displaystyle t}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle t+1}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle W_{i}(t+1)}$${\displaystyle W_{i}(t)}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle x_{i}^{*}(t+1)}$

これがスペクトル正規化法である。^[5]

を厳密に制限する代わりに、単に の形式の「勾配ペナルティ」項を判別器に追加することができます。ここで、 は、判別器がリプシッツ ノルムの要件にどの程度違反しているかを推定するために使用される固定分布です。判別器は、新しい損失関数を最小化しようとする際に、自然に をどこでもに近づけるため、 が実現されます。 ${\displaystyle \|D\|_{L}}$$${\displaystyle \mathbb {E} _{x\sim {\hat {\mu }}}[(\|\nabla D(x)\|_{2}-a)^{2}]}$$${\displaystyle {\hat {\mu }}}$${\displaystyle \nabla D(x)}$${\displaystyle a}$${\displaystyle \|D\|_{L}\approx a}$

これが勾配ペナルティ法である。^[6]

• GANからWGANへ
• Wasserstein GAN と Kantorovich-Rubinstein 双対性
• 深さ優先学習: Wasserstein GAN

• 生成的敵対ネットワーク
• ワッサーシュタイン計量法
• 地球移動距離
• 輸送理論