バッチ正規化

バッチ正規化（バッチノルムとも呼ばれる）は、再センタリングと再スケーリングによって層の入力を正規化することで、人工ニューラルネットワークのトレーニングをより高速かつ安定させるために使用される手法です。2015年にSergey IoffeとChristian Szegedyによって提案されました。^[1]

バッチ正規化の効果は明ら​​かであるが、その有効性の理由についてはまだ議論が続いている。バッチ正規化は、パラメータの初期化と各層の入力の分布の変化がネットワークの学習率に影響を与える内部共変量シフトの問題を軽減できると考えられていた。 ^[1]最近、バッチ正規化は内部共変量シフトを減らすのではなく、目的関数を滑らかにし、それが今度はパフォーマンスを向上させると主張する学者もいる。^[2]しかし、初期化時に、バッチ正規化は実際にはディープネットワークで深刻な勾配爆発を引き起こし、これは残差ネットワークでのスキップ接続によってのみ緩和される。^[3]他の人は、バッチ正規化は長さ方向の分離を達成し、それによってニューラルネットワークを加速すると主張している。^[4]

ニューラル ネットワークの各層には、対応する分布を持つ入力があり、トレーニング プロセス中に、パラメーター初期化のランダム性と入力データのランダム性によって影響を受けます。トレーニング中にこれらのランダム性ソースが内部層への入力の分布に与える影響は、内部共変量シフトとして説明されます。明確で正確な定義が欠落しているようですが、実験で観察される現象は、トレーニング中の内部層への入力の平均と分散の変化です。

バッチ正規化は当初、内部共変量シフトを軽減するために提案されました。^[1]ネットワークのトレーニング段階では、先行する層のパラメータが変化すると、現在の層への入力の分布がそれに応じて変化するため、現在の層は常に新しい分布に再調整する必要があります。この問題は、浅い隠れ層の小さな変化がネットワーク内で伝播するにつれて増幅され、より深い隠れ層に大きなシフトをもたらすため、深いネットワークでは特に深刻です。したがって、バッチ正規化の方法は、これらの不要なシフトを減らしてトレーニングを高速化し、より信頼性の高いモデルを生成するために提案されています。

内部共変量シフトの削減以外にも、バッチ正規化には多くの利点があると考えられています。この追加操作により、ネットワークは勾配を消失または爆発させることなく、より高い学習率を使用できます。さらに、バッチ正規化には正規化効果があるようで、ネットワークの一般化特性が向上し、オーバーフィッティングを軽減するためにドロップアウトを使用する必要がなくなります。バッチ正規化を使用すると、ネットワークがさまざまな初期化スキームや学習率に対してより堅牢になることも確認されています。

ニューラル ネットワークでは、バッチ正規化は、各層の入力の平均と分散を固定する正規化ステップによって実現されます。理想的には、正規化はトレーニング セット全体にわたって実行されますが、このステップを確率的最適化手法と併用する場合、グローバル情報を使用することは現実的ではありません。したがって、正規化はトレーニング プロセスの各ミニバッチに制限されます。

訓練セット全体のサイズmのミニバッチをBで表すとしよう。Bの実験平均と分散は次のように表される。

${\displaystyle \mu _{B}={\frac {1}{m}}\sum _{i=1}^{m}x_{i}}$そして。 ${\displaystyle \sigma _{B}^{2}={\frac {1}{m}}\sum _{i=1}^{m}(x_{i}-\mu _{B})^{2}}$

d次元の入力を持つネットワークの層の場合、入力の各次元は個別に正規化（つまり、再中心化および再スケール化）されます。 ${\displaystyle x=(x^{(1)},...,x^{(d)})}$

${\displaystyle {\hat {x}}_{i}^{(k)}={\frac {x_{i}^{(k)}-\mu _{B}^{(k)}}{\sqrt {\left(\sigma _{B}^{(k)}\right)^{2}+\epsilon }}}}$ここで、および はそれぞれ次元ごとの平均と標準偏差です。 ${\displaystyle k\in [1,d]}$${\displaystyle i\in [1,m]}$${\displaystyle \mu _{B}^{(k)}}$${\displaystyle \sigma _{B}^{(k)}}$

${\displaystyle \epsilon }$は数値安定性のために分母に加えられており、任意の小さな定数である。を考慮しない場合、結果として得られる正規化された活性化は平均ゼロ、分散1となる。ネットワークの表現力を回復するために、変換ステップが次のように続く。 ${\displaystyle {\hat {x}}^{(k)}}$${\displaystyle \epsilon }$

${\displaystyle y_{i}^{(k)}=\gamma ^{(k)}{\hat {x}}_{i}^{(k)}+\beta ^{(k)}}$、

ここで、パラメータとは、最適化プロセスで後で学習されます。 ${\displaystyle \gamma ^{(k)}}$${\displaystyle \beta ^{(k)}}$

正式には、バッチ正規化を実装する操作は、バッチ正規化変換と呼ばれる変換です。BN 変換の出力は他のネットワーク レイヤーに渡されますが、正規化された出力は 現在のレイヤーの内部に残ります。 ${\displaystyle BN_{\gamma ^{(k)},\beta ^{(k)}}:x_{1...m}^{(k)}\rightarrow y_{1...m}^{(k)}}$${\displaystyle y^{(k)}=BN_{\gamma ^{(k)},\beta ^{(k)}}(x^{(k)})}$${\displaystyle {\hat {x}}_{i}^{(k)}}$

説明したBN変換は微分可能な演算であり、 異なるパラメータに対する損失 lの勾配は連鎖律を使用して直接計算できます。

具体的には、活性化関数の選択に依存し、他のパラメータに対する勾配はの関数として表すことができます。 ${\displaystyle {\frac {\partial l}{\partial y_{i}^{(k)}}}}$${\displaystyle {\frac {\partial l}{\partial y_{i}^{(k)}}}}$

${\displaystyle {\frac {\partial l}{\partial {\hat {x}}_{i}^{(k)}}}={\frac {\partial l}{\partial y_{i}^{(k)}}}\gamma ^{(k)}}$、

${\displaystyle {\frac {\partial l}{\partial \gamma ^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}{\hat {x}}_{i}^{(k)}}$、、、、、​​​ ${\displaystyle {\frac {\partial l}{\partial \beta ^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}}$
${\displaystyle {\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}(x_{i}^{(k)}-\mu _{B}^{(k)})\left(-{\frac {\gamma ^{(k)}}{2}}(\sigma _{B}^{(k)^{2}}+\epsilon )^{-3/2}\right)}$${\displaystyle {\frac {\partial l}{\partial \mu _{B}^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}{\frac {-\gamma ^{(k)}}{\sqrt {\sigma _{B}^{(k)^{2}}+\epsilon }}}+{\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}{\frac {1}{m}}\sum _{i=1}^{m}(-2)\cdot (x_{i}^{(k)}-\mu _{B}^{(k)})}$

そして。 ${\displaystyle {\frac {\partial l}{\partial x_{i}^{(k)}}}={\frac {\partial l}{\partial {\hat {x}}_{i}^{(k)}}}{\frac {1}{\sqrt {\sigma _{B}^{(k)^{2}}+\epsilon }}}+{\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}{\frac {2(x_{i}^{(k)}-\mu _{B}^{(k)})}{m}}+{\frac {\partial l}{\partial \mu _{B}^{(k)}}}{\frac {1}{m}}}$

トレーニング段階では、効率的で信頼性の高いトレーニングを確実に行うために、正規化手順はミニバッチに依存します。ただし、推論段階では、この依存性はもはや役に立ちません。代わりに、この段階の正規化手順は、出力が入力に決定論的に依存できるように、母集団統計を使用して計算されます。母集団の平均、および分散、は次のように計算されます。 ${\displaystyle E[x^{(k)}]}$${\displaystyle \operatorname {Var} [x^{(k)}]}$

${\displaystyle E[x^{(k)}]=E_{B}[\mu _{B}^{(k)}]}$、 そして。 ${\displaystyle \operatorname {Var} [x^{(k)}]={\frac {m}{m-1}}E_{B}[\left(\sigma _{B}^{(k)}\right)^{2}]}$

したがって、人口統計はミニバッチの完全な表現となります。

推論ステップにおけるBN変換は、

${\displaystyle y^{(k)}=BN_{\gamma ^{(k)},\beta ^{(k)}}^{\text{inf}}(x^{(k)})=\gamma ^{(k)}{\frac {x^{(k)}-E[x^{(k)}]}{\sqrt {\operatorname {Var} [x^{(k)}]+\epsilon }}}+\beta ^{(k)}}$、

ここで、 はの代わりに将来の層に渡されます。この変換ではパラメータが固定されているため、バッチ正規化手順は基本的に活性化に 線形変換を適用します。${\displaystyle y^{(k)}}$${\displaystyle x^{(k)}}$

バッチ正規化は、その強力な経験的パフォーマンスのために人気が高まっていますが、この方法の動作メカニズムはまだ十分に理解されていません。元の論文^[1]で行われた説明は、バッチ正規化は内部共変量シフトを減らすことによって機能するというものでしたが、これは最近の研究によって異議を唱えられています。ある実験^[2]では、 VGG-16 ネットワーク^[5]を 3 つの異なるトレーニング レジーム (標準 (バッチ正規化なし)、バッチ正規化、トレーニング中に各レイヤーにノイズを追加したバッチ正規化) でトレーニングしました。3 番目のモデルでは、ノイズの平均と分散がゼロ以外であり、つまり共変量シフトが明示的に導入されます。それにもかかわらず、2 番目のモデルと同様の精度を示し、両方とも最初のモデルよりも優れたパフォーマンスを示しました。これは、共変量シフトがバッチ正規化によってパフォーマンスが向上する理由ではないことを示唆しています。

バッチ正規化を使用すると、バッチ内の項目はiidではなくなり、品質の低い勾配推定のためにトレーニングが困難になる可能性があります。^[6]

もう一つの説明^[2]は、バッチ正規化による改善は、より小さなリプシッツ定数によって形式化されるように、より滑らかなパラメータ空間とより滑らかな勾配を生成するためであるというものである。

2 つの同一のネットワークを考えます。一方にはバッチ正規化層が含まれ、もう一方には含まれません。この 2 つのネットワークの動作を比較します。損失関数をそれぞれ、およびと表します。両方のネットワークへの入力を、出力を とします。この場合、 、は層の重みです。2 番目のネットワークでは、はさらにバッチ正規化層を通過します。正規化されたアクティベーションを と表します。これは平均が 0、分散が 1 です。変換されたアクティベーションを と表し、 およびは定数であるとします。最後に、ミニバッチの標準偏差をと表します。 ${\displaystyle {\hat {L}}}$${\displaystyle L}$${\displaystyle x}$${\displaystyle y}$${\displaystyle y=Wx}$${\displaystyle W}$${\displaystyle y}$${\displaystyle {\hat {y}}}$${\displaystyle z=\gamma {\hat {y}}+\beta }$${\displaystyle \gamma }$${\displaystyle \beta }$${\displaystyle {\hat {y_{j}}}\in \mathbb {R} ^{m}}$${\displaystyle \sigma _{j}}$

まず、バッチ正規化ネットワークの勾配の大きさは有界であることが示され、その有界は次のように表される。 ${\displaystyle ||\triangledown _{y_{i}}{\hat {L}}||}$

${\displaystyle ||\triangledown _{y_{i}}{\hat {L}}||^{2}\leq {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}{\Bigg (}||\triangledown _{y_{i}}L||^{2}-{\frac {1}{m}}\langle 1,\triangledown _{y_{i}}L\rangle ^{2}-{\frac {1}{m}}\langle \triangledown _{y_{i}}L,{\hat {y}}_{j}\rangle ^{2}{\bigg )}}$。

勾配の大きさは損失の Lipschitzness を表すため、この関係はバッチ正規化ネットワークが比較的高い Lipschitzness を達成できることを示しています。勾配が活性化 と相関する場合、境界が狭くなることに注意してください。これは一般的な現象です。分散が大きいことが多いため、 のスケーリングも重要です。 ${\displaystyle \triangledown _{y_{i}}{\hat {L}}}$${\displaystyle {\hat {y_{i}}}}$${\displaystyle {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}}$

第二に、勾配方向の活性化に関する損失ヘッセ行列の二次形式は次のように制限される。

${\displaystyle (\triangledown _{y_{j}}{\hat {L}})^{T}{\frac {\partial {\hat {L}}}{\partial y_{j}\partial y_{j}}}(\triangledown _{y_{j}}{\hat {L}})\leq {\frac {\gamma ^{2}}{\sigma ^{2}}}{\bigg (}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg )}^{T}{\bigg (}{\frac {\partial L}{\partial y_{j}\partial y_{j}}}{\bigg )}{\bigg (}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg )}-{\frac {\gamma }{m\sigma ^{2}}}\langle \triangledown _{y_{j}}L,{\hat {y_{j}}}\rangle {\bigg |}{\bigg |}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg |}{\bigg |}^{2}}$。

のスケーリングは、損失ヘッセ行列がミニバッチ分散に対して弾力性があることを示していますが、右側の第 2 項は、ヘッセ行列と内積が非負の場合に滑らかになることを示しています。損失が局所的に凸の場合、ヘッセ行列は半正定値であり、損失の最小値に向かう方向にある場合は内積は正です。したがって、この不等式から、バッチ正規化レイヤーを使用すると、一般に勾配がより予測的になると結論付けることができます。 ${\displaystyle {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}}$${\displaystyle {\hat {g_{j}}}}$

次に、正規化されたアクティベーションに関する損失に関連する境界を、ネットワークの重みに関する損失の境界に変換します。

${\displaystyle {\hat {g_{j}}}\leq {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}(g_{j}^{2}-m\mu _{g_{j}}^{2}-\lambda ^{2}\langle \triangledown _{y_{j}}L,{\hat {y}}_{j}\rangle ^{2})}$、ここで、および。 ${\displaystyle g_{j}=max_{||X||\leq \lambda }||\triangledown _{W}L||^{2}}$${\displaystyle {\hat {g}}_{j}=max_{||X||\leq \lambda }||\triangledown _{W}{\hat {L}}||^{2}}$

より滑らかな地形に加えて、バッチ正規化によって次の不等式でより良い初期化が得られる可能性があることがさらに示されています。

${\displaystyle ||W_{0}-{\hat {W}}^{*}||^{2}\leq ||W_{0}-W^{*}||^{2}-{\frac {1}{||W^{*}||^{2}}}(||W^{*}||^{2}-\langle W^{*},W_{0}\rangle )^{2}}$ここで、 と はそれぞれ 2 つのネットワークの局所最適重みです。 ${\displaystyle W^{*}}$${\displaystyle {\hat {W}}^{*}}$

一部の学者は、上記の分析はバッチ正規化のパフォーマンスを完全には捉えていないと主張している。なぜなら、証明は最大の固有値、つまりすべての点でのランドスケープの1つの方向のみに関係しているからだ。決定的な分析を行うには、完全な固有スペクトルを考慮する必要があると示唆されている。^[4]

^[2]

バッチ正規化レイヤーは内部共変量シフトを削減できるという仮説があるため、共変量シフトがどの程度削減されるかを定量的に測定するための実験^[要出典]が設定されます。まず、内部共変量シフトの概念を数学的に定義する必要があります。具体的には、レイヤーのパラメーターが前のレイヤーの更新に応じて行う調整を定量化するために、すべての前のレイヤーが更新される前と更新された後の損失の勾配間の相関を測定します。これは、勾配が一次トレーニング方法からのシフトを捉えることができるためです。前のレイヤーの変更によってもたらされるシフトが小さい場合、勾配間の相関は 1 に近くなります。

勾配間の相関は、標準 VGG ネットワーク、^[5]バッチ正規化層を持つ VGG ネットワーク、フルバッチ勾配降下法でトレーニングされた 25 層の深層線形ネットワーク (DLN)、およびバッチ正規化層を持つ DLN ネットワークの 4 つのモデルについて計算されています。興味深いことに、標準 VGG モデルと DLN モデルはどちらも、対応するモデルと比較して勾配の相関が高く、追加のバッチ正規化層が内部共変量シフトを減らしていないことを示しています。

バッチノルムはもともと勾配消失問題や勾配爆発問題を緩和するために導入されたが、ディープバッチノルムネットワークは実際には、非線形性に何を使用しても、初期化時に勾配爆発の影響を受ける。したがって、ランダムに初期化されたディープバッチノルムネットワークの最適化ランドスケープは、滑らかとはほど遠い。より正確には、ネットワークに層がある場合、最初の層の重みの勾配は、非線形性のみに依存するいくつかのノルムを持つ。任意の固定非線形性について、バッチサイズが増加するにつれて、は減少する。たとえば、ReLUの場合、バッチサイズが無限大に近づくにつれて、は減少する。実際には、これはディープバッチノルムネットワークがトレーニング不可能であることを意味する。これは、残差ネットワークのようなスキップ接続によってのみ緩和される。^[3]${\displaystyle L}$${\displaystyle >c\lambda ^{L}}$${\displaystyle \lambda >1,c>0}$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle \pi /(\pi -1)\approx 1.467}$

この表面の勾配爆発は、前のセクションで説明した滑らかさの特性と矛盾しますが、実際には一致しています。前のセクションでは、ネットワークに単一のバッチ正規分布を挿入する効果を研究しましたが、勾配爆発は、現代のディープ ニューラル ネットワークに典型的なバッチ正規分布の積み重ねに依存しています。

バッチ正規化が成功するもう 1 つの理由は、重みベクトルの長さと方向が切り離され、より適切なトレーニングが可能になることです。

バッチ正規化を重み空間の再パラメータ化として解釈すると、重みの長さと方向が分離され、別々にトレーニングできることがわかります。入力と重みベクトルを持つ特定のニューラルネットワークユニットの場合、その出力を と表します。ここで は活性化関数であり、 と表します。 、および行列のスペクトルが、で有界であり、 が対称正定値であると仮定します。このユニットにバッチ正規化を追加すると、次のようになります。 ${\displaystyle x}$${\displaystyle w}$${\displaystyle f(w)=E_{x}[\phi (x^{T}w)]}$${\displaystyle \phi }$${\displaystyle S=E[xx^{T}]}$${\displaystyle E[x]=0}$${\displaystyle S}$${\displaystyle 0<\mu =\lambda _{min}(S)}$${\displaystyle L=\lambda _{max}(S)<\infty }$${\displaystyle S}$

${\displaystyle f_{BN}(w,\gamma ,\beta )=E_{x}[\phi (BN(x^{T}w))]=E_{x}{\bigg [}\phi {\bigg (}\gamma ({\frac {x^{T}w-E_{x}[x^{T}w]}{var_{x}[x^{T}w]^{1/2}}})+\beta {\bigg )}{\bigg ]}}$定義上はそうです。

分散項は と簡略化できる。の平均がゼロで省略できると仮定すると、次の式が成り立つ。 ${\displaystyle var_{x}[x^{T}w]=w^{T}Sw}$${\displaystyle x}$${\displaystyle \beta }$

${\displaystyle f_{BN}(w,\gamma )=E_{x}{\bigg [}\phi {\bigg (}\gamma {\frac {x^{T}w}{(w^{T}Sw)^{1/2}}}{\bigg )}{\bigg ]}}$、ここで はの 誘導ノルムです。${\displaystyle (w^{T}Sw)^{\frac {1}{2}}}$${\displaystyle S}$${\displaystyle ||w||_{s}}$

したがって、 、および がその長さと方向を別々に考慮すると、であると結論付けることができます。この特性は、バッチ正規化の問題の収束が速いことを証明するために使用できます。 ${\displaystyle f_{BN}(w,\gamma )=E_{x}[\phi (x^{T}{\tilde {w}})]}$${\displaystyle {\tilde {w}}=\gamma {\frac {w}{||w||_{s}}}}$${\displaystyle \gamma }$${\displaystyle w}$

再パラメータ化の解釈により、通常の最小二乗問題にバッチ正規化を適用すると、勾配降下法で線形収束率を達成できることが証明されました。これは、線形以下の収束のみを伴う通常の勾配降下法よりも高速です。

通常の最小二乗問題を最小化する目的を次のように表す。

${\displaystyle min_{{\tilde {w}}\in R^{d}}f_{OLS}({\tilde {w}})=min_{{\tilde {w}}\in R^{d}}(E_{x,y}[(y-x^{T}{\tilde {w}})^{2}])=min_{{\tilde {w}}\in R^{d}}(2u^{T}{\tilde {w}}+{\tilde {w}}^{T}S{\tilde {w}})}$、ここで、および。 ${\displaystyle u=E[-yx]}$${\displaystyle S=E[xx^{T}]}$

なので、目的は次のようになる。 ${\displaystyle {\tilde {w}}=\gamma {\frac {w}{||w||_{s}}}}$

${\displaystyle min_{w\in R^{d}\backslash \{0\},\gamma \in R}f_{OLS}(w,\gamma )=min_{w\in R^{d}\backslash \{0\},\gamma \in R}{\bigg (}2\gamma {\frac {u^{T}w}{||w||_{S}+\gamma ^{2}}}{\bigg )}}$ただし、分母に 0 が入らないように 0 は除外されます。

目的関数は に関して凸であるため、 に対する目的関数の偏微分を0 に設定することで最適値を計算できます。目的関数はさらに次のように簡略化できます。 ${\displaystyle \gamma }$${\displaystyle \gamma }$

${\displaystyle min_{w\in R^{d}\backslash \{0\}}\rho (w)=min_{w\in R^{d}\backslash \{0\}}{\bigg (}-{\frac {w^{T}uu^{T}w}{w^{T}Sw}}{\bigg )}}$。

この目的は一般化レイリー商の形であることに注意する。

${\displaystyle {\tilde {\rho }}(w)={\frac {w^{T}Bw}{w^{T}Aw}}}$ここで、 は対称行列であり、 は対称正定値行列です。 ${\displaystyle B\in R^{d\times d}}$${\displaystyle A\in R^{d\times d}}$

一般化レイリー商の勾配降下収束率は次の式で表さ れることが証明されている。

${\displaystyle {\frac {\lambda _{1}-\rho (w_{t+1})}{\rho (w_{t+1}-\lambda _{2})}}\leq {\bigg (}1-{\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}-\lambda _{min}}}{\bigg )}^{2t}{\frac {\lambda _{1}-\rho (w_{t})}{\rho (w_{t})-\lambda _{2}}}}$ここで はの最大固有値、は の2番目に大きい固有値、 はの最小の固有値である。^[7]${\displaystyle \lambda _{1}}$${\displaystyle B}$${\displaystyle \lambda _{2}}$${\displaystyle B}$${\displaystyle \lambda _{min}}$${\displaystyle B}$

この場合、は階数1の行列であり、収束結果はそれに応じて簡略化できます。具体的には、 から始めて、ステップサイズ の形式の勾配降下ステップを考える と、${\displaystyle B=uu^{T}}$${\displaystyle w_{t+1}=w_{t}-\eta _{t}\triangledown \rho (w_{t})}$${\displaystyle \eta _{t}={\frac {w_{t}^{T}Sw_{t}}{2L|\rho (w_{t})|}}}$${\displaystyle \rho (w_{0})\neq 0}$

${\displaystyle \rho (w_{t})-\rho (w^{*})\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}(\rho (w_{0})-\rho (w^{*}))}$。

半空間を学習する問題は、ニューラルネットワークの最も単純な形式であるパー​​セプトロンのトレーニングを指します。この場合の最適化問題は

${\displaystyle min_{{\tilde {w}}\in R^{d}}f_{LH}({\tilde {w}})=E_{y,x}[\phi (z^{T}{\tilde {w}})]}$ここで、および は任意の損失関数です。 ${\displaystyle z=-yx}$${\displaystyle \phi }$

が無限に微分可能で、導関数が有界であると仮定します。目的関数が-滑らかで、解が存在し、 となるように有界であると仮定します。また、は多変量正規確率変数であると仮定します。ガウスの仮定により、損失関数 の任意の選択に対して、すべての臨界点が同じ線上にあることが示されます。具体的には、 の勾配は次のように表すことができます 。${\displaystyle \phi }$${\displaystyle f_{LH}}$${\displaystyle \zeta }$${\displaystyle \alpha ^{*}=argmin_{\alpha }||\triangledown f(\alpha w)||^{2}}$${\displaystyle -\infty <\alpha ^{*}<\infty }$${\displaystyle z}$${\displaystyle \phi }$${\displaystyle f_{LH}}$

${\displaystyle \triangledown _{\tilde {w}}f_{LH}({\tilde {w}})=c_{1}({\tilde {w}})u+c_{2}({\tilde {w}})S{\tilde {w}}}$ここで 、、、はの - 次導関数です。 ${\displaystyle c_{1}({\tilde {w}})=E_{z}[\phi ^{(1)}(z^{T}{\tilde {w}})]-E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})](u^{T}{\tilde {w}})}$${\displaystyle c_{2}({\tilde {w}})=E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})]}$${\displaystyle \phi ^{(i)}}$${\displaystyle i}$${\displaystyle \phi }$

勾配を 0 に設定すると、境界付き臨界点は と表すことができます。ここで、 はおよびに依存します。このグローバル プロパティを長さ方向の分離と組み合わせると、この最適化問題が線形に収束することが証明されます。 ${\displaystyle {\tilde {w}}_{*}}$${\displaystyle {\tilde {w}}_{*}=g_{*}S^{-1}u}$${\displaystyle g_{*}}$${\displaystyle {\tilde {w}}_{*}}$${\displaystyle \phi }$

まず、バッチ正規化による勾配降下法のバリエーションである正規化パラメータ化勾配降下法（GDNP）は、目的関数 に対して設計され、重みの方向と長さが別々に更新されます。GDNPの停止基準を次のように表します。 ${\displaystyle min_{w\in R^{d}\backslash \{0\},\gamma \in R}f_{LH}(w,\gamma )}$

${\displaystyle h(w_{t},\gamma _{t})=E_{z}[\phi '(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})-E_{z}[\phi ''(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})^{2}}$。

ステップサイズは

${\displaystyle s_{t}=s(w_{t},\gamma _{t})=-{\frac {||w_{t}||_{S}^{3}}{Lg_{t}h(w_{t},\gamma _{t})}}}$。

各ステップで、 の場合、方向を次のように更新します。 ${\displaystyle h(w_{t},\gamma _{t})\neq 0}$

${\displaystyle w_{t+1}=w_{t}-s_{t}\triangledown _{w}f(w_{t},\gamma _{t})}$。

次に長さを更新します。

${\displaystyle \gamma _{t}=Bisection(T_{s},f,w_{t})}$ここで、は古典的な二分アルゴリズムであり、 は二分ステップで実行される反復の合計回数です。 ${\displaystyle Bisection()}$${\displaystyle T_{s}}$

反復回数を とすると、GDNPの最終出力は ${\displaystyle T_{d}}$

${\displaystyle {\tilde {w}}_{T_{d}}=\gamma _{T_{d}}{\frac {w_{T_{d}}}{||w_{T_{d}}||_{S}}}}$。

したがって、GDNP アルゴリズムは、数学的分析を容易にするためにバッチ正規化ステップをわずかに変更します。

GDNPでは、長さ成分に対する偏微分は線形速度でゼロに収束することが示されており、 ${\displaystyle f_{LH}}$

${\displaystyle (\partial _{\gamma }f_{LH}(w_{t},a_{t}^{(T_{s})})^{2}\leq {\frac {2^{-T_{s}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}}$ここで、と はそれぞれ、左と右の二分アルゴリズムの 2 つの開始点です。 ${\displaystyle a_{t}^{(0)}}$${\displaystyle b_{t}^{0}}$

さらに、各反復において、の勾配のノルムは線形収束し、 ${\displaystyle f_{LH}}$${\displaystyle w}$

${\displaystyle ||w_{t}||_{S}^{2}||\triangledown f_{LH}(w_{t},g_{t})||_{S^{-1}}^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}\Phi ^{2}\gamma _{t}^{2}(\rho (w_{0})-\rho ^{*})}$。

これら2つの不等式を組み合わせると、 に関する勾配の境界が得られます。 ${\displaystyle {\tilde {w}}_{T_{d}}}$

${\displaystyle ||\triangledown _{\tilde {w}}f({\tilde {w}}_{T_{d}})||^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2T_{d}}\Phi ^{2}(\rho (w_{0})-\rho ^{*})+{\frac {2^{-T_{s}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}}$アルゴリズムが線形に収束することが保証されます。

証明はガウス入力を前提としていますが、実験では GDNP がこの制約なしで最適化を加速できることも示されています。

1つの隠れ層と、入力からスカラー出力へのマッピングが次のように記述される 隠れユニットを持つ多層パーセプトロン（MLP）を考える。${\displaystyle m}$${\displaystyle x\in R^{d}}$

${\displaystyle F_{x}({\tilde {W}},\Theta )=\sum _{i=1}^{m}\theta _{i}\phi (x^{T}{\tilde {w}}^{(i)})}$ここで、および はそれぞれユニットの入力重みと出力重みであり、 は活性化関数であり、 はtanh 関数であると仮定されます。 ${\displaystyle {\tilde {w}}^{(i)}}$${\displaystyle \theta _{i}}$${\displaystyle i}$${\displaystyle \phi }$

入力と出力の重みは次のように最適化できる。

${\displaystyle min_{{\tilde {W}},\Theta }(f_{NN}({\tilde {W}},\Theta )=E_{y,x}[l(-yF_{x}({\tilde {W}},\Theta ))])}$、ここで は損失関数、、 です。 ${\displaystyle l}$${\displaystyle {\tilde {W}}=\{{\tilde {w}}^{(1)},...,{\tilde {w}}^{(m)}\}}$${\displaystyle \Theta =\{\theta ^{(1)},...,\theta ^{(m)}\}}$

を固定し、 のみを最適化することを考えると、特定の隠れユニットの の臨界点、はすべて、隠れ層に入る情報に応じて1つの線に沿って並ぶこと が示され、${\displaystyle \Theta }$${\displaystyle {\tilde {W}}}$${\displaystyle f_{NN}({\tilde {W}})}$${\displaystyle i}$${\displaystyle {\hat {w}}^{(i)}}$

${\displaystyle {\hat {w}}^{(i)}={\hat {c}}^{(i)}S^{-1}u}$、ここで はスカラーです。 ${\displaystyle {\hat {c}}^{(i)}\in R}$${\displaystyle i=1,...,m}$

この結果は、 の勾配をゼロに設定し、方程式系を解くことによって証明できます。 ${\displaystyle f_{NN}}$

この最適化問題にGDNPアルゴリズムを適用し、異なる隠れユニットに対して交互に最適化を行います。具体的には、隠れユニットごとにGDNPを実行して最適な と を見つけます。停止基準とステップサイズを同じに選択すると、次のようになります。 ${\displaystyle W}$${\displaystyle \gamma }$

${\displaystyle ||\triangledown _{{\tilde {w}}^{(i)}}f({\tilde {w}}_{t}^{(i)})||_{S^{-1}}^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}C(\rho (w_{0})-\rho ^{*})+{\frac {2^{-T_{s}^{(i)}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}}$。

各隠れユニットのパラメータは線形に収束するため、最適化問題全体の収束率は線形となる。^[4]

• Ioffe, Sergey、Szegedy, Christian (2015)。「バッチ正規化: 内部共変量シフトの削減によるディープ ネットワーク トレーニングの高速化」、ICML'15: 第 32 回国際機械学習会議の議事録 - 第 37 巻、2015 年 7 月、448 ～ 456 ページ
• Simonyan, Karen; Zisserman, Andrew (2014). 「大規模画像認識のための非常に深い畳み込みネットワーク」arXiv : 1409.1556 [cs.CV].