ニューラルスタイル転送

ニューラル スタイル トランスファー( NST ) とは、デジタル画像またはビデオを操作して、別の画像の外観または視覚スタイルを採用するソフトウェア アルゴリズムの一種です。NST アルゴリズムは、画像変換のためにディープ ニューラル ネットワークを使用することを特徴としています。NST の一般的な用途は、有名な絵画の外観をユーザー提供の写真に転送するなど、写真から人工的なアート作品を作成することです。DeepArtやPrismaなど、いくつかの有名なモバイル アプリでは、この目的で NST 技術が使用されています。この方法は、既存のスタイルに基づいて新しいアート作品を開発するために、世界中のアーティストやデザイナーによって使用されてきました。

NST は、非フォトリアリスティックレンダリングの分野で 20 年以上研究されてきた問題である画像様式化の一例です。最初の 2 つの例に基づくスタイル転送アルゴリズムは、画像類推^[1]と画像キルティング^[2]でした。これらの方法は両方とも、パッチベースのテクスチャ合成アルゴリズムに基づいていました。

トレーニング用の画像のペア（写真とその写真を描いたアートワーク）があれば、変換を学習し、類推によって新しい写真から新しいアートワークを作成するために適用できます。トレーニング用の画像がない場合は、入力アートワークを処理して作成する必要があります。イメージ キルティングではこの処理手順は必要ありませんが、1 つのスタイルでのみ実証されています。

NSTは、Leon Gatysらによる論文「芸術的スタイルのニューラルアルゴリズム」で初めて発表され、 2015年にArXivで最初に発表され、^[3]その後、 2016年に査読のあるCVPR会議で受理されました。 ^[4]元の論文で は、 ImageNetデータセットを使用してオブジェクト認識を実行するために事前トレーニングされたVGG-19アーキテクチャ^[5]が使用されていました。

2017年にGoogle AIは、単一の深層畳み込みスタイル転送ネットワークで複数のスタイルを同時に学習できる 手法^{[6]を導入しました。このアルゴリズムにより、動画メディア上でもリアルタイムでスタイル補間が可能になります。}

このセクションは原論文に忠実に従っています。^[4]

ニューラル スタイル トランスファー (NST) の考え方は、コンテンツ イメージとスタイル イメージの2 つの画像を取得し、コンテンツ損失とスタイル損失の2 つの損失関数の加重組み合わせを最小化する3 番目の画像を生成することです。 ${\displaystyle {\vec {p}}}$${\displaystyle {\vec {a}}}$${\displaystyle {\vec {x}}}$${\displaystyle {\mathcal {L}}_{\text{コンテンツ }}({\vec {p}},{\vec {x}})}$${\displaystyle {\mathcal {L}}_{\text{style }}({\vec {a}},{\vec {x}})}$

全体的な損失は、2 つの損失の線形和です。コンテンツ損失とスタイル損失を共同で最小化することにより、NST はコンテンツ画像のコンテンツとスタイル画像のスタイルを融合した画像を生成します。 $${\displaystyle {\mathcal {L}}_{\text{NST}}({\vec {p}},{\vec {a}},{\vec {x}})=\alpha {\mathcal { L}}_{\text{content}}({\vec {p}},{\vec {x}})+\beta {\mathcal {L}}_{\text{style}}({\vec {a}}、{\vec {x}})}$$

コンテンツ損失とスタイル損失はどちらも、2 つの画像の類似性を測定します。コンテンツ類似性は、2 つの画像に対する単一の畳み込みニューラル ネットワーク (CNN) のニューラル アクティベーション間の二乗差の加重合計です。スタイル類似性は、各レイヤー内のグラム マトリックスの加重合計です(詳細については以下を参照してください)。

元の論文ではVGG-19 CNN が使用されていましたが、この方法はどの CNN でも機能します。

を CNN への画像入力とします 。${\textstyle {\vec {x}}}$

を、画像 に対する層 のフィルタ応答の行列とします。ここで、 ${\textstyle F^{l}\in \mathbb {R} ^{N_{l}\times M_{l}}}$${\textstyle l}$${\textstyle {\vec {x}}}$

• ${\textstyle N_{l}}$レイヤー内のフィルターの数です 。${\textstyle l}$
• ${\textstyle M_{l}}$レイヤー内の各フィルターの高さ×幅（つまりピクセル数）です 。${\textstyle l}$
• ${\textstyle F_{ij}^{l}({\vec {x}})}$レイヤー内の位置にあるフィルタのアクティブ化です。${\textstyle i^{\text{th}}}$${\textstyle j}$${\textstyle l}$

与えられた入力画像は、その画像に対するフィルター応答によって CNN の各層でエンコードされ、上位層ではよりグローバルな特徴がエンコードされますが、ローカルな特徴の詳細は失われます。 ${\textstyle {\vec {x}}}$

を元の画像とします。を の内容と一致するように生成された画像とします。を 画像 に対する層のフィルタ応答の行列とします。 ${\textstyle {\vec {p}}}$${\textstyle {\vec {x}}}$${\textstyle {\vec {p}}}$${\textstyle P^{l}}$${\textstyle l}$${\textstyle {\vec {p}}}$

コンテンツ損失は、 CNN の 選択されたレイヤーにおける生成画像とコンテンツ画像の特徴表現間の二乗誤差損失として定義されます。 ここで、およびは、それぞれ、生成画像とコンテンツ画像のレイヤー内の位置でのフィルタのアクティブ化です。この損失を最小限に抑えることで、選択されたレイヤーでの特徴アクティブ化によってキャプチャされた、生成画像のコンテンツがコンテンツ画像に類似したものになります。 ${\displaystyle l}$$${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}},l)={\frac {1}{2}}\sum _{i,j}\left(A_{ij}^{l}({\vec {x}})-A_{ij}^{l}({\vec {p}})\right)^{2}}$$${\displaystyle A_{ij}^{l}({\vec {x}})}$${\displaystyle A_{ij}^{l}({\vec {p}})}$${\displaystyle i^{\text{th}}}$${\displaystyle j}$${\displaystyle l}$

総コンテンツ損失は、各レイヤーのコンテンツ損失の線形和です。ここで、 はハイパーパラメータとして選択された正の実数です。 ${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}})=\sum _{l}v_{l}{\mathcal { L}}_{\text{コンテンツ }}({\vec {p}},{\vec {x}},l)}$${\displaystyle v_{l}}$

スタイル損失は、生成された画像とスタイル画像のグラム行列に基づいており、CNN の異なるレイヤーでの異なるフィルタ応答間の相関関係を捉えています。 ここ で、およびは、レイヤーで生成された画像とスタイル画像のグラム行列のエントリです。明示的には、$${\displaystyle {\mathcal {L}}_{\text{style }}({\vec {a}},{\vec {x}})=\sum _{l=0}^{L}w_{ l}E_{l},}$$$${\displaystyle E_{l}={\frac {1}{4N_{l}^{2}M_{l}^{2}}}\sum _{i,j}\left(G_{ij}^{l}({\vec {x}})-G_{ij}^{l}({\vec {a}})\right)^{2}.}$$${\displaystyle G_{ij}^{l}({\vec {x}})}$${\displaystyle G_{ij}^{l}({\vec {a}})}$${\displaystyle l}$$${\displaystyle G_{ij}^{l}({\vec {x}})=\sum _{k}F_{ik}^{l}({\vec {x}})F_{jk}^{ l}({\vec {x}})}$$

この損失を最小限に抑えることで、各層の特徴応答間の相関関係によって捕捉されたスタイル画像と同様のスタイル特性を、生成された画像が持つようになります。単一層内のフィルター間の活性化パターン相関関係によって、その層の受容野の順序で「スタイル」が捕捉されるという考えです。

前の場合と同様に、ハイパーパラメータとして正の実数が選択されます。 ${\displaystyle w_{l}}$

元の論文では、特定のハイパーパラメータが選択されました。

スタイル損失は、 VGG-19 ネットワークのレイヤー、、、の出力に対してはによって計算され、それ以外の場合は 0 になります。コンテンツ損失はに対してはによって計算され、それ以外の場合は 0 になります。 ${\displaystyle w_{l}=0.2}$conv1_1conv2_1conv3_1conv4_1conv5_1${\displaystyle w_{l}=1}$conv4_2

比率。 ${\displaystyle \alpha /\beta \in [5,50]\times 10^{-4}}$

画像は、最初に入力画像に少量のホワイトノイズを追加し、それを CNN に通すことで近似されます。次に、 CNN の重みを固定した状態で、この損失をネットワークに逆伝播して、 のピクセルを更新します。数千エポックのトレーニングの後、のスタイルと の内容に一致する が (うまくいけば) 出現します。 ${\displaystyle {\vec {x}}}$${\displaystyle {\vec {p}}}$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {a}}}$${\displaystyle {\vec {p}}}$

2017年現在、 GPU^{[アップデート]}に実装した場合、収束するまでに数分かかる。^[8]

いくつかの実際の実装では、結果として得られる画像に高周波アーティファクトが多すぎることが指摘されていますが、これは総損失に総変動を加えることで抑制できます。 ^[9]

VGGNetと比較すると、AlexNetはニューラルスタイルの転送には適していません。^[10]

NSTはビデオにも拡張されました。^[11]

その後の研究では、特殊な正規化を使用することで画像のNSTの速度が向上しました。^{[12] [8]}

Fei-Fei Liらの論文では、異なる正規化された損失メトリックとトレーニングの加速化手法を採用し、リアルタイムで結果を生成します (Gatys より 3 桁高速)。^[13]彼らのアイデアは、上で定義したピクセルベースの損失ではなく、CNN 内の上位層間の差を測定する「知覚損失」を使用することでした。彼らは対称畳み込み-逆畳み込み CNN を使用しました。トレーニングでは、基本的な NST 法と同様の損失関数を使用しますが、全変動(TV) 損失を使用して出力を正規化して滑らかにします。トレーニングが完了すると、ネットワークは、ネットワークの単一のフィードフォワード パスを使用して、トレーニング中に使用したスタイルに画像を変換するために使用できます。ただし、ネットワークは、トレーニングされた単一のスタイルに制限されます。^[13]

陳東東らによる研究では、出力の時間的一貫性を改善するために、光フロー情報をフィードフォワードネットワークに融合することを検討した。 ^[14]

最近では、特徴変換に基づくNST法が、特定のスタイルに結び付けられず、ユーザーが制御可能なスタイルのブレンドを可能にする高速なスタイル設定のために研究されてきました。例えば、ホワイトニングとカラーリング変換（WCT）などです。^[15]