残差ニューラルネットワーク

多層ニューラルネットワークモデルにおいて、一定数の層（例えば2層または3層）が積み重ねられた（非残差）サブネットワークを考える。${\displaystyle H(x;\alpha )}$サブネットワークを表す。${\displaystyle H^{*}}$これは、このサブネットワークの望ましい最適出力です。残差学習は単にそれを加えるだけです。${\displaystyle x}$出力に直接接続されるため、最適な学習出力は次のようになります。${\displaystyle H^{*}-x}$これは、に関して「残差」と解釈される。${\displaystyle x}$。

「追加」の操作${\displaystyle x}$これは、サブネットワークの入力と出力を接続するために恒等写像を実行する「スキップ接続」によって実装されます。この接続は、後の研究では「残余接続」と呼ばれます。

させて${\displaystyle F(x;\alpha )=H(x;a)+x}$. 機能${\displaystyle F}$は、活性化関数と正規化操作（バッチ正規化やレイヤー正規化など）が組み合わされた行列乗算によって表現されることが多い。全体として、これらのサブネットワークの 1 つは「残差ブロック」と呼ばれる。^{[ 1 ]}ディープ残差ネットワークは、これらのブロックを単純に積み重ねることによって構築される。

長短期記憶（LSTM）には、残余接続として機能する記憶メカニズムがあります。^{[ 4 ]}忘却ゲートのないLSTMでは、入力は${\displaystyle x_{t}}$関数によって処理されます${\displaystyle F}$そしてメモリセルに追加されました${\displaystyle c_{t}}$、 その結果${\displaystyle c_{t+1}=c_{t}+F(x_{t})}$忘却ゲートを備えたLSTMは、基本的にハイウェイネットワークとして機能します。

レイヤーの入力の分散を安定させるには、残差接続を置き換えることを推奨します。${\displaystyle x+f(x)}$と${\displaystyle x/L+f(x)}$、 どこ${\displaystyle L}$は残余層の総数です。^{[ 5 ]}

関数が${\displaystyle F}$型は${\displaystyle F:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}$どこ${\displaystyle n\neq m}$、 それから${\displaystyle F(x)+x}$は未定義です。この特殊なケースを処理するために、射影接続が使用されます。

$${\displaystyle y=F(x)+P(x)}$$

どこ${\displaystyle P}$は、通常、線形投影であり、次のように定義されます。${\displaystyle P(x)=Mx}$どこ${\displaystyle M}$は${\displaystyle m\times n}$行列。この行列は、モデルの他のパラメータと同様に、バックプロパゲーションによって学習されます。

アイデンティティマッピングの導入により、順方向および逆方向の両方の経路での信号伝搬が促進される。^{[ 6 ]}

基本ブロックは、オリジナルの ResNet で研究された最も単純な構成要素です。^{[ 1 ]}このブロックは、2 つの連続した 3x3畳み込み層と残差接続で構成されています。両方の層の入力次元と出力次元は同じです。

ボトルネックブロック^{[ 1 ]}は、3つの連続した畳み込み層と残差接続から構成されます。このブロックの最初の層は、次元削減（例えば、入力次元の1/2まで）のための1×1畳み込みです。2番目の層は3×3畳み込みを実行し、最後の層は次元復元のための別の1×1畳み込みです。ResNet-50、ResNet-101、およびResNet-152のモデルはすべてボトルネックブロックに基づいています。^{[ 1 ]}

事前活性化残差ブロック^{[ 6 ]}は、残差関数を適用する前に活性化関数を適用する。${\displaystyle F}$形式的には、事前活性化残余ブロックの計算は次のように記述できます。

$${\displaystyle x_{\ell +1}=F(\phi (x_{\ell }))+x_{\ell }}$$

どこ${\displaystyle \phi }$は、任意の活性化（ReLUなど）または正規化（LayerNormなど）演算にすることができます。この設計により、残差ブロック間の非恒等写像の数が減少し、入力から出力への恒等写像が直接可能になります。この設計は、200層から1000層を超えるモデルのトレーニングに使用され、残差パスが恒等関数ではないバリアントよりも一貫して優れたパフォーマンスを発揮することがわかりました。200層の事前活性化ResNetは、2016年に8つのGPUでImageNetのトレーニングに3週間かかりました。 ^{[ 6 ]}

GPT-2以降、トランスフォーマーブロックは主に事前活性化ブロックとして実装されてきました。これは、トランスフォーマーモデルの文献では「事前正規化」と呼ばれることがよくあります。^{[ 7 ]}

残存接続は、ロレンテ・デ・ノ（1938）などの神経解剖学において注目された。 ^{[ 14 ]：図3}マカロックとピッツ（1943）は人工ニューラルネットワークを提案し、残存接続を持つものを検討した。^{[ 15 ]：図1.h}

1961年、フランク・ローゼンブラットはスキップ接続を備えた3層多層パーセプトロン（MLP）モデルについて説明した。^{[ 16 ]： 313、第15章}このモデルは「クロスカップリングシステム」と呼ばれ、スキップ接続はクロスカップリング接続の一種であった。

1980年代後半には、ニューラルネットワークで「スキップレイヤー」接続が使用されることがありました。例としては、^{[ 17 ] [ 18 ]} LangとWitbrock（1988）^{[ 19 ]}は、後のDenseNet（2016）のように、各レイヤーが後続のすべてのレイヤーにスキップ接続する全結合フィードフォワードネットワークを訓練しました。この研究では、残差接続は次の形式でした。${\displaystyle x\mapsto F(x)+P(x)}$、どこ${\displaystyle P}$これはランダムに初期化された投影接続です。彼らはこれを「ショートカット接続」と呼びました。初期のニューラル言語モデルは残差接続を使用し、それを「直接接続」と名付けました。^{[ 20 ]}

ゼップ・ホッホライターは1991年に勾配消失問題を発見し^{[ 21 ]}、当時主流だったリカレントニューラルネットワークが長いシーケンスでは機能しない理由をそれが説明していると主張した。彼とシュミットフーバーは後にこの問題を解決するためにLSTMアーキテクチャを設計した^{[ 4 ] [ 22 ]}。LSTMには「セル状態」がある。${\displaystyle c_{t}}$これは、一般化された残差接続として機能することができます。ハイウェイネットワーク（2015）^{[ 23 ] [ 24 ]}は、時間内に展開されたLSTMのアイデアをフィードフォワードニューラルネットワークに適用し、ハイウェイネットワークを生み出しました。ResNetは、オープンゲートハイウェイネットワークと同等です。

ディープラーニングの初期には、より深いモデルを訓練する試みがありました。注目すべき例としては、8 層のAlexNet (2012) や19 層のVGG-19 (2014) があります。^{[ 25 ]}しかし、層を積み重ねすぎると、トレーニング精度が急激に低下し、^{[ 26 ]}「劣化」問題として知られるようになりました。^{[ 1 ]}理論的には、ネットワークを深くするために追加の層を追加しても、トレーニング損失が大きくなることはないはずですが、 VGGNetでは実際にそうなりました。^{[ 1 ]}ただし、追加の層を恒等写像として設定できる場合、より深いネットワークは、より浅いネットワークと同じ機能を表すことになります。オプティマイザがパラメータ化された層の恒等写像に近づくことができないという証拠があり、残差接続の利点は、デフォルトで恒等写像を許可することでした。^{[ 6 ]}

2014年当時、最先端技術は20～30層のディープニューラルネットワークのトレーニングでした。^{[ 25 ]} ResNetの研究チームは、より深いネットワークをトレーニングするためのさまざまな方法を経験的にテストすることで、より深いネットワークのトレーニングを試み、最終的にResNetアーキテクチャにたどり着きました。^{[ 27 ]}

Wide Residual Network (2016) は、元の ResNet よりもチャネル数を増やし、レイヤー数を減らすことでパフォーマンスと GPU 計算効率が向上すること、また 2 つの 3×3 畳み込みブロックが他の畳み込みブロック構成よりも優れていることを発見した。^{[ 28 ]}

DenseNet (2016) ^{[ 29 ]}は、各層の出力を次の各層への入力に接続します。

$${\displaystyle x_{\ell +1}=F(x_{1},x_{2},\dots ,x_{\ell -1},x_{\ell })}$$

確率的深度^{[ 30 ]}は、層の一部をランダムにドロップし、恒等スキップ接続を介して信号を伝播させる正則化手法です。DropPathとしても知られるこの手法は、ビジョントランスフォーマーなどの深層モデルのトレーニングを正則化します。^{[ 31 ]}

ResNeXt (2017) はInception モジュールと ResNet を組み合わせたものです。^{[ 32 ] [ 8 ]}

Squeeze-and-Excitation Networks (2018) は ResNet に squeeze-and-excitation (SE) モジュールを追加しました。^{[ 33 ]} SE モジュールは畳み込みの後に適用され、形状のテンソルを受け取ります。${\displaystyle \mathbb {R} ^{H\times W\times C}}$（高さ、幅、チャンネル）を入力として受け取ります。各チャンネルの平均化を行い、形状のベクトルを生成します。${\displaystyle \mathbb {R} ^{C}}$これは、元のテンソルと乗算される前に、多層パーセプトロン（線形-ReLU-線形-シグモイドなどのアーキテクチャを持つ）を通過します。これは2017年のILSVRCで優勝しました。 ^{[ 34 ]}