正規化（機械学習）

機械学習において、正規化はさまざまな用途を持つ統計手法です。正規化には、データ正規化と活性化正規化という 2 つの主な形式があります。データ正規化 (または特徴スケーリング) には、特徴が同じ範囲、平均、分散、またはその他の統計特性を持つように入力データを再スケーリングする方法が含まれます。たとえば、特徴スケーリング方法の一般的な選択肢は最小最大正規化です。この方法では、各特徴が同じ範囲 (通常はまたは)を持つように変換されます。これにより、たとえば 1 つの特徴がキロメートル単位で測定され、別の特徴がナノメートル単位で測定される場合など、異なる特徴のスケールが大きく異なる問題が解決されます。 ${\displaystyle [0,1]}$${\displaystyle [-1,1]}$

一方、活性化正規化はディープラーニングに特有のものであり、ニューラル ネットワーク内の隠れニューロンの活性化を再スケールする方法が含まれます。

正規化は次のような場合によく使用されます。

• トレーニングの収束速度を上げる、
• 入力データの変動や特徴スケールに対する感度を低減する。
• 過剰適合を減らす、
• 未知のデータに対してより優れたモデルの一般化を実現します。

正規化技術は、共分散シフトの削減、最適化ランドスケープの平滑化、正則化の向上など理論的には正当化されることが多いが、主に経験的な成功によって正当化されている。^[1]

バッチ正規化（BatchNorm）^[2]は、各ミニバッチのレイヤーの活性化に対して作用する。

モジュールを連結して定義される単純なフィードフォワード ネットワークを考えてみましょう。

$${\displaystyle x^{(0)}\mapsto x^{(1)}\mapsto x^{(2)}\mapsto \cdots }$$

ここで、各ネットワーク モジュールは、線形変換、非線形活性化関数、畳み込みなどになります。は入力ベクトル、は最初のモジュールからの出力ベクトルなどになります。 ${\displaystyle x^{(0)}}$${\displaystyle x^{(1)}}$

BatchNorm は、フィードフォワード ネットワークの任意のポイントに挿入できるモジュールです。たとえば、 の直後に挿入された場合、ネットワークはそれに応じて動作します。 ${\displaystyle x^{(l)}}$

$${\displaystyle \cdots \mapsto x^{(l)}\mapsto \mathrm {BN} (x^{(l)})\mapsto x^{(l+1)}\mapsto \cdots }$$

BatchNorm モジュールは個々の入力に対しては動作しません。代わりに、一度に 1 つのバッチの入力に対して動作する必要があります。

具体的には、入力のバッチがあり、ネットワークに一度に入力されるとします。ネットワークの中央でいくつかのベクトルを取得します。 ${\displaystyle x_{(1)}^{(0)},x_{(2)}^{(0)},\dots ,x_{(B)}^{(0)}}$

$${\displaystyle x_{(1)}^{(l)},x_{(2)}^{(l)},\dots ,x_{(B)}^{(l)}}$$

BatchNorm モジュールは、これらのベクトルの座標ごとの平均と分散を計算します。

$${\displaystyle {\begin{aligned}\mu _{i}^{(l)}&={\frac {1}{B}}\sum _{b=1}^{B}x_{(b),i}^{(l)}\\(\sigma _{i}^{(l)})^{2}&={\frac {1}{B}}\sum _{b=1}^{B}(x_{(b),i}^{(l)}-\mu _{i}^{(l)})^{2}\end{aligned}}}$$

ここで、 はベクトルの座標をインデックスし、 はバッチの要素をインデックスします。言い換えると、バッチ内の各ベクトルの - 番目の座標を考慮し、これらの数値の平均と分散を計算します。 ${\displaystyle i}$${\displaystyle b}$${\displaystyle i}$

次に、各座標を平均 0、分散 1 になるように正規化します。

$${\displaystyle {\hat {x}}_{(b),i}^{(l)}={\frac {x_{(b),i}^{(l)}-\mu _{i}^{(l)}}{\sqrt {(\sigma _{i}^{(l)})^{2}+\epsilon }}}}$$

は、ゼロ除算を避けるために、数値の安定性のために分散に追加される小さな正の定数です。 ${\displaystyle \epsilon }$${\displaystyle 10^{-9}}$

最後に、線形変換を適用します。

$${\displaystyle y_{(b),i}^{(l)}=\gamma _{i}{\hat {x}}_{(b),i}^{(l)}+\beta _{i}}$$

ここで、および はBatchNorm モジュール内のパラメータです。これらは学習可能なパラメータであり、通常は勾配降下法によってトレーニングされます。 ${\displaystyle \gamma }$${\displaystyle \beta }$

以下はBatchNorm のPython実装です。

 numpyを npとして インポートする

def  batchnorm ( x ,  gamma ,  beta ,  epsilon = 1e-9 ): 
    # 各特徴量の平均と分散
    mu  =  np . mean ( x ,  axis = 0 )   # shape (N,) 
    var  =  np . var ( x ,  axis = 0 )   # shape (N,)

    # 活性化を正規化する
    x_hat  =  ( x  -  mu )  /  np . sqrt ( var  +  epsilon )   # 形状 (B, N)

    # 線形変換
    y  =  gamma  *  x_hat  +  betaを適用します  # shape (B, N)

     yを返す

${\displaystyle \gamma }$そして、それが有益であれば、ネットワークが正規化を元に戻すことを学習できるようにします。^[3] BatchNormは、純粋に線形な変換を削除し、そのレイヤーがデータの非線形側面のモデリングにのみ焦点を当てていると解釈できます。これは、ニューラルネットワークは常に上部に線形変換レイヤーを追加できるため、有益である可能性があります。^{[4] [3]}${\displaystyle \beta }$

オリジナルの出版物では、BatchNormは内部共分散シフトを減らすことで機能すると主張されていますが、この主張には支持者^{[5] [6]}と反対者^{[7] [8]の両方がいます。}

元の論文^[2]では、 BatchNormsを非線形アクティベーションの後ではなく、線形変換の後にのみ使用することを推奨しています。つまり、 であり、 ではありません。また、バイアスは、後続の平均減算によってキャンセルされるため重要ではなく、 の形式になります。つまり、BatchNormの前に線形変換がある場合、その線形変換のバイアス項はゼロに設定されます。^[2]${\displaystyle \phi (\mathrm {BN} (Wx+b))}$${\displaystyle \mathrm {BN} (\phi (Wx+b))}$${\displaystyle b}$${\displaystyle \mathrm {BN} (Wx)}$

畳み込みニューラルネットワーク（CNN）の場合、BatchNormはこれらのモデルの変換不変性を維持する必要があり、同じカーネルのすべての出力をバッチ内の異なるデータポイントであるかのように扱う必要があります。^[2]これは、Spatial BatchNorm、BatchNorm2D、またはチャネルごとのBatchNormと呼ばれることもあります。^{[9] [10]}

具体的には、次のように定義される 2 次元畳み込み層があるとします。

$${\displaystyle x_{h,w,c}^{(l)}=\sum _{h',w',c'}K_{h'-h,w'-w,c,c'}^{(l)}x_{h',w',c'}^{(l-1)}+b_{c}^{(l)}}$$

どこ：

• ${\displaystyle x_{h,w,c}^{(l)}}$は、第 層の第 チャネルの位置にあるニューロンの活性化です。${\displaystyle (h,w)}$${\displaystyle c}$${\displaystyle l}$
• ${\displaystyle K_{\Delta h,\Delta w,c,c'}^{(l)}}$はカーネルテンソルです。各チャネルはインデックス を持つカーネル に対応します。${\displaystyle c}$${\displaystyle K_{h'-h,w'-w,c,c'}^{(l)}}$${\displaystyle \Delta h,\Delta w,c'}$
• ${\displaystyle b_{c}^{(l)}}$は、第 層の第 チャネルのバイアス項です。${\displaystyle c}$${\displaystyle l}$

翻訳不変性を保つために、BatchNorm は同じバッチ内の同じカーネルからのすべての出力を、バッチ内のより多くのデータとして扱います。つまり、アクティベーションごとではなく、カーネル ごとに 1 回(つまり、チャネルごとに 1 回) 適用されます。 ${\displaystyle c}$${\displaystyle c}$ ${\displaystyle x_{h,w,c}^{(l+1)}}$

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{(b),h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\end{aligned}}}$$

ここで、はバッチ サイズ、は特徴マップの高さ、は特徴マップの幅です。 ${\displaystyle B}$${\displaystyle H}$${\displaystyle W}$

つまり、バッチ内にデータポイントしかない場合でも、このバッチ内のカーネルからの出力はすべて平等に扱われます。^[2]${\displaystyle B}$${\displaystyle BHW}$

続いて、カーネルごとに正規化と線形変換も実行されます。

$${\displaystyle {\begin{aligned}{\hat {x}}_{(b),h,w,c}^{(l)}&={\frac {x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{(b),h,w,c}^{(l)}&=\gamma _{c}{\hat {x}}_{(b),h,w,c}^{(l)}+\beta _{c}\end{aligned}}}$$

n次元畳み込みの BatchNorm にも同様の考慮事項が適用されます。

以下は、2D 畳み込み用の BatchNorm の Python 実装です。

 numpyを npとして インポートする

def  batchnorm_cnn ( x ,  gamma ,  beta ,  epsilon = 1e-9 ): 
    # 各チャネルの平均と分散を計算します
    。mean = np .mean (  x , axis = ( 0 , 1 , 2 ) , keepdims = True ) var = np .var ( x , axis = ( 0 , 1 , 2 ) , keepdims = True )     
          

    # 入力テンソルを正規化します
    。x_hat  =  ( x  -  mean )  /  np . sqrt ( var  +  epsilon )

    # 正規化されたテンソルをスケールおよびシフトします
    。y = gamma  * x_hat + beta     

     yを返す

BatchNormは非常に人気があり、多くの改良が試みられました。いくつかの例を挙げると、次のようなものがあります。^[11]

• ゴーストバッチ処理: バッチをランダムにサブバッチに分割し、それぞれに対して BatchNorm を個別に実行します。
• 重量減少および;${\displaystyle \gamma }$${\displaystyle \beta }$
• BatchNorm と GroupNorm を組み合わせます。

BatchNormの特に問題なのは、トレーニング中はバッチごとに平均と分散がオンザフライで計算される（通常は指数移動平均として）が、推論中は平均と分散がトレーニング中に計算されたものから固定されていることだ。このトレーニングとテストの不一致はパフォーマンスを低下させる。この不一致は推論中に移動平均をシミュレートすることで減少させることができる：^{[11] ：式3}

$${\displaystyle {\begin{aligned}\mu &=\alpha E[x]+(1-\alpha )\mu _{x,{\text{ train}}}\\\sigma ^{2}&=(\alpha E[x]^{2}+(1-\alpha )\mu _{x^{2},{\text{ train}}})-\mu ^{2}\end{aligned}}}$$

ここで、検証セットで最適化されるハイパーパラメータです。 ${\displaystyle \alpha }$

他の研究では、Normalizer-Free ResNetのようにBatchNormを排除しようと試みている。^[12]

レイヤー正規化（LayerNorm）^[13]は、BatchNormの代替としてよく知られています。特定の特徴に対してバッチ次元全体で活性化を正規化するBatchNormとは異なり、LayerNormは単一のデータサンプル内のすべての特徴を正規化します。BatchNormと比較して、LayerNormのパフォーマンスはバッチサイズの影響を受けません。これは、トランスフォーマーモデルの重要なコンポーネントです。

与えられたデータ入力とレイヤーに対して、LayerNorm はレイヤー内のすべてのニューロンの平均と分散を計算します。BatchNorm と同様に、学習可能なパラメータ(スケール) と(シフト) が適用されます。これは次のように定義されます。 ${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$${\displaystyle \gamma }$${\displaystyle \beta }$

$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}-\mu }{\sqrt {\sigma ^{2}+\epsilon }}},\quad y_{i}=\gamma _{i}{\hat {x_{i}}}+\beta _{i}}$$

どこ：

$${\displaystyle \mu ={\frac {1}{D}}\sum _{i=1}^{D}x_{i},\quad \sigma ^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}-\mu )^{2}}$$

インデックスの範囲はその層内のニューロンにわたります。 ${\displaystyle i}$

たとえば、CNN では、LayerNorm はレイヤー内のすべてのアクティベーションに適用されます。前の表記では、次のようになります。

$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}x_{h,w,c}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}(x_{h,w,c}^{(l)}-\mu ^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu ^{(l)}}{\sqrt {(\sigma ^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma ^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta ^{(l)}\end{aligned}}}$$

バッチ インデックスが削除され、チャネル インデックスが追加されることに注意してください。 ${\displaystyle b}$${\displaystyle c}$

リカレントニューラルネットワーク^[13]とトランスフォーマー^[14]では、LayerNormは各タイムステップに個別に適用されます。たとえば、タイムステップでのRNNの隠れベクトルが（ここでは隠れベクトルの次元）の場合、LayerNormは次のように適用されます。 ${\displaystyle t}$${\displaystyle x^{(t)}\in \mathbb {R} ^{D}}$${\displaystyle D}$

$${\displaystyle {\hat {x_{i}}}^{(t)}={\frac {x_{i}^{(t)}-\mu ^{(t)}}{\sqrt {(\sigma ^{(t)})^{2}+\epsilon }}},\quad y_{i}^{(t)}=\gamma _{i}{\hat {x_{i}}}^{(t)}+\beta _{i}}$$

どこ：

$${\displaystyle \mu ^{(t)}={\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{(t)},\quad (\sigma ^{(t)})^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}^{(t)}-\mu ^{(t)})^{2}}$$

二乗平均平方根層正規化（RMSNorm）^[15]はLayerNormを次のように変更する：

$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\sqrt {{\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{2}}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$

本質的には、 を強制するのは LayerNorm です。 ${\displaystyle \mu ,\epsilon =0}$

適応型レイヤーノルム（adaLN）は、レイヤーの活性化自体からではなく、他のデータからLayerNormのを計算します。これは最初にCNN用に提案され、^[16]拡散トランスフォーマー（DiT）で効果的に使用されてきました。 ^[17]たとえば、DiTでは、条件付け情報（テキストエンコーディングベクトルなど）は多層パーセプトロンによって処理されてになり、それがトランスフォーマーのLayerNormモジュールに適用されます。 ${\displaystyle \gamma ,\beta }$${\displaystyle \gamma ,\beta }$

重み正規化（WeightNorm）^[18]は、BatchNormにヒントを得た手法で、ニューラルネットワークの活性化ではなく重み行列を正規化します。

一例として、重み行列をスペクトルノルムで割るスペクトル正規化が挙げられます。スペクトル正規化は、Wasserstein GANなどの生成的敵対的ネットワーク(GAN)で使用されます。^[19]スペクトル半径は次のアルゴリズムで効率的に計算できます。

入力行列と初期推定値${\displaystyle W}$${\displaystyle x}$

収束するまで繰り返します。これは、固有値 を持つの固有ベクトルです。 ${\displaystyle x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx}$${\displaystyle x^{*}}$${\displaystyle W}$${\displaystyle \|W\|_{s}}$

戻る ${\displaystyle x^{*},\|Wx^{*}\|_{2}}$

判別器を更新するたびに再割り当てすることで、 を上限にすることができ、したがって を上限にすることができます。 ${\displaystyle W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}}$${\displaystyle \|W_{i}\|_{s}\leq 1}$${\displaystyle \|D\|_{L}}$

アルゴリズムは、メモ化によってさらに高速化できます。ステップ で、 を保存します。次に、ステップ で、 をアルゴリズムの初期推定値として使用します。 はに非常に近いため、 にも が近いため、急速に収束できます。 ${\displaystyle t}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle t+1}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle W_{i}(t+1)}$${\displaystyle W_{i}(t)}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle x_{i}^{*}(t+1)}$

CNN にのみ使用されるアクティベーション正規化手法がいくつかあります。

AlexNetでは局所応答正規化^[20]が使用されました。これは非線形活性化関数の直後の畳み込み層に適用されました。次のように定義されます。

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

ここで、 は位置とチャネルにおけるニューロンの活性化です。つまり、チャネル内の各ピクセルは、隣接するチャネル内の同じピクセルの活性化によって抑制されます。 ${\displaystyle a_{x,y}^{i}}$${\displaystyle (x,y)}$${\displaystyle i}$

${\displaystyle k,n,\alpha ,\beta }$検証セットを使用して選択されたハイパーパラメータです。

これは以前の局所コントラスト正規化の変形であった。^[21]

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}-{\bar {a}}_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

ここで、 は位置とチャネルを中心とした小さなウィンドウ内の平均アクティベーションです。ハイパーパラメータと小さなウィンドウのサイズは、検証セットを使用して選択されます。 ${\displaystyle {\bar {a}}_{x,y}^{j}}$${\displaystyle (x,y)}$${\displaystyle i}$${\displaystyle k,n,\alpha ,\beta }$

同様の方法は、活性化を活性化に応じて数値で割ることから、除算正規化と呼ばれています。これはもともと生物学からヒントを得たもので、皮質ニューロンの非線形応答や視覚知覚における非線形マスキングを説明するために使用されていました。^[22]

両方の種類の局所正規化は、よりグローバルな正規化形式であるバッチ正規化によって不要になりました。^[23]

応答正規化は、ConvNeXT-2でグローバル応答正規化として再登場しました。^[24]

グループ正規化（GroupNorm）^[25]もCNN専用に使用される技術である。これは、チャネルグループごとに1回適用されるCNNのLayerNormとして理解できる。

レイヤー にチャネル があり、それがグループ に分割されているとします。次に、各グループに LayerNorm が適用されます。 ${\displaystyle l}$${\displaystyle 1,2,\dots ,C}$${\displaystyle g_{1},g_{2},\dots ,g_{G}}$

インスタンス正規化（InstanceNorm）、またはコントラスト正規化は、ニューラルスタイル転送のために最初に開発された技術であり、CNNにのみ使用されます。^[26]これは、チャネルごとに1回適用されるCNNのLayerNormとして理解できます。または、各グループが1つのチャネルで構成されるグループ正規化として同等に理解できます。

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma _{c}^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta _{c}^{(l)}\end{aligned}}}$$

適応インスタンス正規化（AdaIN）はインスタンス正規化の変種であり、一般的なCNNだけでなく、CNNを使用したニューラルスタイル転送に特化して設計されています。^[27]

スタイル転送の AdaIN メソッドでは、CNN と 2 つの入力画像 (コンテンツ用とスタイル用) を取ります。各画像は同じ CNN で処理され、特定のレイヤーでAdaIn が適用されます。 ${\displaystyle l}$

をコンテンツ イメージのアクティベーション、をスタイル イメージのアクティベーションとします。次に、AdaIn は最初にコンテンツ イメージのアクティベーションの平均と分散を計算し、それらを のInstanceNorm のとして使用します。 自体は変更されないことに注意してください。明示的には、次のようになります。 ${\displaystyle x^{(l),{\text{ content}}}}$${\displaystyle x^{(l),{\text{ style}}}}$${\displaystyle x'^{(l)}}$${\displaystyle \gamma ,\beta }$${\displaystyle x^{(l),{\text{ content}}}}$${\displaystyle x^{(l),{\text{ style}}}}$

$${\displaystyle {\begin{aligned}y_{h,w,c}^{(l),{\text{ content}}}&=\sigma _{c}^{(l),{\text{ style}}}\left({\frac {x_{h,w,c}^{(l),{\text{ content}}}-\mu _{c}^{(l),{\text{ content}}}}{\sqrt {(\sigma _{c}^{(l),{\text{ content}}})^{2}+\epsilon }}}\right)+\mu _{c}^{(l),{\text{ style}}}\end{aligned}}}$$

いくつかの正規化方法は、トランスフォーマーで使用するために設計されました。

2017年のオリジナルのトランスフォーマーは、LayerNormsに「ポストLN」構成を使用していました。これはトレーニングが難しく、慎重なハイパーパラメータの調整と、学習率を小さく始めて徐々に増やしていく「ウォームアップ」が必要でした。2018年に何度か提案されたプレLNコンベンション^[28]は、トレーニングが容易でウォームアップを必要とせず、収束が速いことがわかりました。^[29]

FixNorm ^[30]とScaleNorm ^[31]はどちらも、トランスフォーマー内の活性化ベクトルを正規化します。FixNorm法は、トランスフォーマーからの出力ベクトルをL2ノルムで割り、学習したパラメータを掛けます。ScaleNormは、トランスフォーマー内のすべてのLayerNormをL2ノルムで割り、学習したパラメータ（トランスフォーマーのすべてのScaleNormモジュールで共有）を掛けて置き換えます。クエリキー正規化（QKNorm）^[32]は、クエリベクトルとキーベクトルを単位L2ノルムに正規化します。 ${\displaystyle g}$${\displaystyle g'}$

nGPTでは、多くのベクトルが単位L2ノルムを持つように正規化されています。^[33]隠れ状態ベクトル、入力および出力埋め込みベクトル、重み行列列、クエリベクトルとキーベクトル。

勾配正規化（GradNorm）^[34]はバックプロパゲーション中に勾配ベクトルを正規化する。

• データ前処理
• 機能のスケーリング

• 「正規化レイヤー」。labml.ai ディープラーニングペーパー実装。2024年8月7日閲覧。