勾配消失問題

一般的なリカレントネットワークは隠れ状態を持つ${\displaystyle h_{1},h_{2},\dots }$入力​${\displaystyle u_{1},u_{2},\dots }$出力​${\displaystyle x_{1},x_{2},\dots }$それを次のようにパラメータ化する。${\displaystyle \theta }$システムは次のように進化 する$${\displaystyle (h_{t},x_{t})=F(h_{t-1},u_{t},\theta )}$$ 多くの場合、出力${\displaystyle x_{t}}$は関数である${\displaystyle h_{t}}$いくつか例を挙げると${\displaystyle x_{t}=G(h_{t})}$勾配消失問題はすでに明確に現れています。${\displaystyle x_{t}=h_{t}}$そこで、表記を簡略化して、次の特殊なケースに絞ります。 $${\displaystyle x_{t}=F(x_{t-1},u_{t},\theta )}$$ では、その微分を取ってみましょう。 $${\displaystyle {\begin{aligned}dx_{t}&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )dx_{t-1}\\&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )\left[\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )d\theta +\nabla _{x}F(x_{t-2},u_{t-1},\theta )dx_{t-2}\right]\\&\;\;\vdots \\&=\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta \end{aligned}}}$$ ネットワークをトレーニングするには、最小化すべき損失関数を定義する必要があります。それを次のようにします。${\displaystyle L(x_{T},u_{1},\dots ,u_{T})}$^{[注1 ]}、勾配降下法で最小化すると、

$${\displaystyle \Delta \theta =-\eta \cdot \left[\nabla _{x}L(x_{T})\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)\right]^{T}}$$どこ${\displaystyle \eta }$は学習率です。

勾配消失/爆発問題は、次の形式の繰り返し乗算があるために発生します。$${\displaystyle \nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{x}F(x_{t-2},u_{t-1},\theta )\nabla _{x}F(x_{t-3},u_{t-2},\theta )\cdots }$$

（Doya、1993）^{[ 7 ]}に従って、シグモイド活性化関数を持つこの1ニューロン再帰ネットワークを考えてみよう。 $${\displaystyle x_{t+1}=(1-\varepsilon )x_{t}+\varepsilon \sigma (wx_{t}+b)+\varepsilon w'u_{t}}$$ 小さな${\displaystyle \varepsilon }$限界に達すると、ネットワークのダイナミクスは $${\displaystyle {\frac {dx}{dt}}=-x(t)+\sigma (wx(t)+b)+w'u(t)}$$ まず、自律的なケースを考えてみましょう。${\displaystyle u=0}$。セット${\displaystyle w=5.0}$、そして変化する${\displaystyle b}$で${\displaystyle [-3,-2]}$。 として${\displaystyle b}$減少すると、システムは安定点を 1 つ持ち、次に安定点を 2 つと不安定点を 1 つ持ち、最後に再び安定点を 1 つ持ちます。具体的には、安定点は次のとおりです。${\displaystyle (x,b)=\left(x,\ln \left({\frac {x}{1-x}}\right)-5x\right)}$。

次に考えてみましょう${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}}$そして${\displaystyle {\frac {\Delta x(T)}{\Delta b}}}$、 どこ${\displaystyle T}$システムが安定点の1つに落ち着くほど十分に大きい。

もし${\displaystyle (x(0),b)}$システムを不安定点に非常に近づけ、${\displaystyle x(0)}$または${\displaystyle b}$作る${\displaystyle x(T)}$安定した一点から別の安定した一点へと移動する。これにより${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}}$そして${\displaystyle {\frac {\Delta x(T)}{\Delta b}}}$どちらも非常に大きく、勾配爆発の事例である。

もし${\displaystyle (x(0),b)}$システムを不安定点から遠ざけ、${\displaystyle x(0)}$影響はありません${\displaystyle x(T)}$作る${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}=0}$これは、勾配消失現象の一例である。

この場合、${\displaystyle {\frac {\Delta x(T)}{\Delta b}}\approx {\frac {\partial x(T)}{\partial b}}=\left({\frac {1}{x(T)(1-x(T))}}-5\right)^{-1}}$ゼロに減衰することも、無限大に発散することもありません。実際、これは唯一まともな勾配であり、初期の研究が、その安定アトラクターを形成することによって、長距離計算（例えば、エピソードの最後に最初に見た入力を出力するなど）を実行できるリカレントネットワークシステムを学習または設計することに焦点を当てていた理由を説明しています。^{[ 8 ]}

一般の場合、直感は依然として成り立つ（^{[ 6 ]}図3、4、5）。

上記の1ニューロンネットワークを引き続き使用し、${\displaystyle w=5,x(0)=0.5,u(t)=0}$損失関数を以下のように定義する。${\displaystyle L(x(T))=(0.855-x(T))^{2}}$これは、かなり病的な損失状況を生み出します。${\displaystyle b}$アプローチ${\displaystyle -2.5}$上から見ると損失はゼロに近づきますが、${\displaystyle b}$十字架${\displaystyle -2.5}$すると、アトラクター盆地が変化し、損失が0.50に跳ね上がる。^{[注4 ]}

したがって、トレーニングを試みる${\displaystyle b}$勾配降下法では「損失ランドスケープで壁にぶつかる」ことになり、勾配爆発を引き起こします。もう少し複雑な状況は、^{[ 6 ]}図6に示されています。

リカレントニューラルネットワークの場合、問題を解決するために長短期記憶（LSTM）ネットワークが設計されました（ Hochreiter & Schmidhuber、1997）。^{[ 9 ]}

勾配爆発問題に対して、(Pascanu et al, 2012) ^{[ 6 ]}は勾配クリッピング、すなわち勾配ベクトルを分割することを推奨した。${\displaystyle g}$による${\displaystyle \left\|g\right\|/g_{\text{max}}}$もし${\displaystyle \left\|g\right\|>g_{\text{max}}}$これにより、勾配ベクトルは半径の球の範囲内に制限されます。${\displaystyle g_{\text{max}}}$。

バッチ正規化は、爆発勾配問題と消失勾配問題の両方を解決するための標準的な方法です。^{[ 10 ] [ 11 ]}

マルチレベル階層ネットワーク（Schmidhuber 、1992）では、教師なし学習によって一度に1レベルずつ事前学習され、バックプロパゲーションによって微調整されます。^{[ 12 ]}ここでは、各レベルが観測の圧縮表現を学習し、それが次のレベルに供給されます。

同様のアイデアは、フィードフォワードニューラルネットワークで教師なし事前学習に使用され、ニューラルネットワークを構造化し、まず一般的に有用な特徴検出器を学習させます。次に、教師ありバックプロパゲーションによってネットワークをさらにトレーニングし、ラベル付きデータを分類します。 Hinton ら (2006) によるディープビリーフネットワークモデルは、バイナリまたは実数値の潜在変数の連続するレイヤーを使用して高レベル表現の分布を学習します。制限付きボルツマンマシンを使用して、高レベルの特徴の各新しいレイヤーをモデル化します。各新しいレイヤーは、データの対数尤度の下限の増加を保証し、適切にトレーニングすればモデルを改善します。十分な数のレイヤーが学習されると、ディープアーキテクチャは、トップレベルの特徴活性化からモデルをサンプリングダウン (「祖先パス」) するときにデータを再現することにより、生成モデルとして使用できます。 ^{[ 13 ]} Hinton は、彼のモデルが高次元の構造化データに対する効果的な特徴抽出器であると報告しています。^{[ 14 ]}

ハードウェアの進歩により、1991年から2015年にかけて、コンピュータの処理能力（特にGPUによって提供されるもの）は約100万倍に増加し、勾配消失問題が認識された当時よりも数層深いネットワークでも標準的なバックプロパゲーションが可能になりました。シュミットフーバーは、これが「現在多​​くの画像認識コンテストで勝利している基本的な理由」であると指摘していますが、ヒントンらが勾配消失問題に取り組んだ元のモデルはGPUではなくXeonプロセッサでトレーニングされたため、 「根本的な方法では問題を克服していない」と述べています^{[ 15 ] 。 [ 13 ]}

残余接続、またはスキップ接続とは、建築モチーフの${\displaystyle x\mapsto f(x)+x}$、どこ${\displaystyle f}$これは任意のニューラルネットワークモジュールです。これにより、勾配が得られます。${\displaystyle \nabla f+I}$単位行列は勾配消失や勾配爆発の影響を受けない。逆伝播中、勾配の一部は残差接続を介して流れる。^{[ 16 ]}

具体的には、ニューラルネットワーク（残差接続なし）を次のようにする。${\displaystyle f_{n}\circ f_{n-1}\circ \cdots \circ f_{1}}$そして、残余接続によって、層での活性化に対する出力の勾配が${\displaystyle l}$は${\displaystyle I+\nabla f_{l+1}+\nabla f_{l+2}\nabla f_{l+1}+\cdots }$したがって、勾配は任意の深さのネットワークでも消滅しない。

残差接続を持つフィードフォワードネットワークは、比較的浅いネットワークの集合とみなすことができる。この観点から、フィードフォワードネットワークは、勾配消失問題が存在しない多数の浅いネットワークの集合と等価であるため、勾配消失問題を解決する。^{[ 17 ]}

ReLUなどの整流器は、一方向のみで飽和するため、勾配消失問題の影響を受けにくい。^{[ 18 ]}

重み初期化は、深層ネットワークにおける勾配消失問題を軽減するために提案されたもう一つのアプローチである。

Kumarは、初期重みの分布は使用する活性化関数に応じて変化させるべきであると示唆し、ロジスティック活性化関数を使用するネットワークでは、平均ゼロ、標準偏差が のガウス分布を使用して重みを初期化することを提案した。${\displaystyle 3.6/{\sqrt {N}}}$、 どこ${\displaystyle N}$は層内のニューロンの数です。^{[ 19 ]}

2022年、YilmazとPoli ^{[ 20 ]}は、ロジスティック活性化関数を用いた深層ニューラルネットワークにおいて、初期重みの平均が勾配にどのような影響を与えるかについて理論的な分析を行い、初期重みの平均が次の式に従って設定された場合、勾配は消滅しないことを発見した。${\displaystyle \max(-1,-8/N)}$このシンプルな戦略により、標準的なバックプロパゲーションを使用して、10層または15層の隠れ層を持つネットワークを非常に効率的かつ効果的にトレーニングできます。

ベーンケは、画像再構成や顔位置特定などの問題を解決するためにニューラル抽象化ピラミッド^{[ 21 ]}を訓練する際に、勾配の符号( Rprop )のみに頼った。

ニューラルネットワークは、ニューラルネットワークの重みの空間で、例えばランダム推測やより体系的な遺伝的アルゴリズムなどの汎用探索アルゴリズムを使用して最適化することもできます。このアプローチは勾配に基づかず、勾配消失問題を回避します。^{[ 22 ]}