残差ニューラルネットワーク

残差ニューラルネットワーク（残差ネットワークまたはResNetとも呼ばれる）^[1]は、層が層の入力を参照して残差関数を学習するディープラーニングアーキテクチャです。2015年に画像認識用に開発され、その年のImageNet Large Scale Visual Recognition Challenge（ILSVRC）で優勝しました。 ^{[2] [3]}

用語上の「残留接続」とは、${\displaystyle x\mapsto f(x)+x}$ここで、 は任意のニューラル ネットワーク モジュールです。このモチーフは以前にも使用されていました (詳細については §履歴を参照)。しかし、ResNet の公開により、フィードフォワード ネットワークで広く普及し、一見 ResNet とは無関係なニューラル ネットワークにも使用されるようになりました。 ${\displaystyle f}$

残差接続は、数百の層を持つディープ ニューラル ネットワークのトレーニングと収束を安定化させるもので、トランスフォーマーモデル ( BERTやChatGPTなどのGPTモデルなど)、AlphaGo Zeroシステム、AlphaStarシステム、AlphaFoldシステムなどのディープ ニューラル ネットワークでよく使われるモチーフです。

多層ニューラル ネットワーク モデルでは、特定の数の積層層 (たとえば、2 または 3) を持つサブネットワークを考えます。このサブネットワークによって実行される基礎関数を と表します。ここで、 はサブネットワークへの入力です。残差学習により、このサブネットワークが再パラメータ化され、パラメータ層が「残差関数」 を表すようになります。このサブネットワークの出力は次のように表されます。 ${\displaystyle H(x)}$${\displaystyle x}$${\displaystyle F(x)=H(x)-x}$${\displaystyle y}$

${\displaystyle y=F(x)+x}$

「 」の操作は、サブネットワークの入力とその出力を接続するための恒等写像を実行する「スキップ接続」を介して実装されます。この接続は、後の研究では「残差接続」と呼ばれます。関数は、多くの場合、活性化関数と正規化操作（バッチ正規化またはレイヤー正規化など）が織り交ぜられた行列乗算によって表されます。全体として、これらのサブネットワークの1つは「残差ブロック」と呼ばれます。^[1]深い残差ネットワークは、これらのブロックを単純に積み重ねるだけで構築されます。 ${\displaystyle +\ x}$${\displaystyle F(x)}$

長短期記憶（LSTM）には、残差接続として機能するメモリメカニズムがあります。^[4]忘却ゲートのないLSTMでは、入力は関数によって処理され、メモリセルに追加され、結果として になります。忘却ゲートのあるLSTMは、本質的に高速道路ネットワークとして機能します。 ${\displaystyle x_{t}}$${\displaystyle F}$${\displaystyle c_{t}}$${\displaystyle c_{t+1}=c_{t}+F(x_{t})}$

層の入力の分散を安定させるために、残差接続を（残差層の総数）に置き換えることが推奨される。 ^[5]${\displaystyle x+f(x)}$${\displaystyle x/L+f(x)}$${\displaystyle L}$

関数が 型の場合、 は未定義になります。この特殊なケースを処理するには、投影接続が使用されます。 ${\displaystyle F}$${\displaystyle F:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}$${\displaystyle n\neq m}$${\displaystyle F(x)+x}$

${\displaystyle y=F(x)+P(x)}$

ここで、は通常、 によって定義される線形投影であり、は行列です。行列は、モデルの他のパラメータと同様に、 バックプロパゲーションによってトレーニングされます。${\displaystyle P}$${\displaystyle P(x)=Mx}$${\displaystyle M}$${\displaystyle m\times n}$

アイデンティティマッピングの導入により、前方パスと後方パスの両方で信号伝播が容易になります。^[6]

- 番目の残差ブロックの出力が- 番目の残差ブロックへの入力である場合(ブロック間に活性化関数がないと仮定)、- 番目の入力は次のようになります。 ${\displaystyle \ell}$${\displaystyle (\ell +1)}$${\displaystyle (\ell +1)}$

${\displaystyle x_{\ell +1}=F(x_{\ell })+x_{\ell }}$

この定式化を再帰的に適用すると、次のようになります。

${\displaystyle {\begin{aligned}x_{\ell +2}&=F(x_{\ell +1})+x_{\ell +1}\\&=F(x_{\ell +1})+F(x_{\ell })+x_{\ell }\end{aligned}}}$

一般的な関係は次のようになります。

${\displaystyle x_{L}=x_{\ell}+\sum _{i=\ell}^{L-1}F(x_{i})}$

ここで、 は残差ブロックのインデックスであり、はそれより前のブロックのインデックスです。この定式化は、より浅いブロックからより深いブロックに直接送信される信号が常に存在することを示唆しています。 ${\textstyle L}$${\textstyle \ell }$${\textstyle \ell }$${\textstyle L}$

残差学習の定式化は、勾配消失問題をある程度緩和するという追加の利点を提供する。しかし、勾配消失問題は、正規化の使用によって対処される劣化問題の根本的な原因ではないことを認識することが重要である。残差ブロックがバックプロパゲーションに与える影響を観察するには、残差ブロック入力に対する損失関数 の偏微分を考慮する。上記の式を、後の残差ブロックのフォワードプロパゲーションから使用すると、次のようになる。^[6]${\displaystyle {\mathcal {E}}}$${\displaystyle x_{\ell}}$${\displaystyle L>\ell}$

${\displaystyle {\begin{aligned}{\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}{\frac {\partial x_{L}}{\partial x_{\ell }}}\\&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}\left(1+{\frac {\partial }{\partial x_{\ell }}}\sum _{i=\ell }^{L-1}F(x_{i})\right)\\&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}+{\frac {\partial {\mathcal {E}}}{\partial x_{L}}}{\frac {\partial }{\partial x_{\ell }}}\sum _{i=\ell }^{L-1}F(x_{i})\end{aligned}}}$

この定式化は、より浅い層 の勾配計算には、常に後の項が直接追加されることを示唆しています。項の勾配が小さい場合でも、追加された項 により、全体の勾配は消えません。 ${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}}$${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{L}}}}$${\displaystyle F(x_{i})}$${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}}$${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{L}}}}$

基本ブロックは、オリジナルのResNetで研究された最も単純な構成要素です。^[1]このブロックは、2つの連続した3x3畳み込み層と残差接続で構成されています。両層の入力次元と出力次元は同じです。

ボトルネックブロック^[1]は、3つの連続した畳み込み層と残差接続で構成されています。このブロックの最初の層は、次元削減（たとえば、入力次元の1/2）のための1x1畳み込みです。2番目の層は3x3畳み込みを実行し、最後の層は次元復元のための別の1x1畳み込みです。ResNet-50、ResNet-101、およびResNet-152のモデルはすべて、ボトルネックブロックに基づいています。^[1]

事前活性化残差ブロック^[6]は、残差関数を適用する前に活性化関数を適用する。正式には、事前活性化残差ブロックの計算は次のように記述できる。 ${\displaystyle F}$

${\displaystyle x_{\ell +1}=F(\phi (x_{\ell }))+x_{\ell }}$

ここで、任意の活性化（例： ReLU）または正規化（例：LayerNorm ）操作が可能です。この設計により、残差ブロック間の非同一マッピングの数が減少します。この設計は、200から1000を超えるレイヤーを持つモデルのトレーニングに使用されました。^[6]${\displaystyle \phi }$

GPT-2以降、トランスフォーマーブロックは主に事前活性化ブロックとして実装されています。これは、トランスフォーマーモデルの文献では「事前正規化」と呼ばれることがよくあります。^[7]

もともと、ResNetはコンピュータービジョンのために設計されました。^{[1] [8] [9]}

すべてのトランスフォーマーアーキテクチャには残差接続が含まれています。実際、非常に深いトランスフォーマーは残差接続なしではトレーニングできません。^[10]

ResNetのオリジナルの論文では、生物系にヒントを得たとは主張されていませんでした。しかし、その後の研究では、ResNetは生物学的に妥当なアルゴリズムと関連付けられています。^{[11] [12]}

2023年にサイエンス誌に掲載された研究^[13]では、昆虫の脳（具体的にはショウジョウバエの幼虫）の完全なコネクトームが明らかにされました。この研究では、ResNetを含む人工ニューラルネットワークのスキップ接続に似た「多層ショートカット」が発見されました。

残余結合は、ロレンテ・デ・ノ（1938）などの神経解剖学で注目されました。 ^{[14] ：図3}マカロックとピッツ（1943）は人工ニューラルネットワークを提案し、残余結合を持つものを検討しました。^{[15] ：図1.h}

1961年、フランク・ローゼンブラットはスキップ接続を備えた3層の多層パーセプトロン(MLP)モデルを説明しました。 ^{[16] ：313、第15章}このモデルは「クロスカップルドシステム」と呼ばれ、スキップ接続はクロスカップルド接続の一種でした。

1980年代後半には、ニューラルネットワークで「スキップ層」接続が時々使用されました。例は次のとおりです。^{[17] [18]} LangとWitbrock（1988）^[19]は、後のDenseNet（2016）のように、各層が後続のすべての層にスキップ接続する完全接続フィードフォワードネットワークをトレーニングしました。この研究では、残差接続は次の形式でした。${\displaystyle x\mapsto F(x)+P(x)}$、ここで、はランダムに初期化された投影接続です。彼らはこれを「ショートカット接続」と呼んでいます。${\displaystyle P}$

Sepp Hochreiterは1991年に勾配消失問題^[20]を発見し、それが当時普及していたリカレントニューラルネットワークが長いシーケンスでは機能しない理由を説明すると主張した。彼とSchmidhuberは後にこの問題を解決するためにLSTMアーキテクチャを設計した^{[4] [21]} 。これは一般化された残差接続として機能する「セル状態」を持つ。ハイウェイネットワーク（2015）^{[22] [23]は、}時間的に展開されるLSTMのアイデアをフィードフォワードニューラルネットワークに適用し、ハイウェイネットワークを生み出した。ResNetはオープンゲートハイウェイネットワークに相当する。 ${\displaystyle c_{t}}$

ディープラーニングの初期には、より深いモデルを訓練する試みがなされた。注目すべき例としては、8層のAlexNet (2012) や19層のVGG-19 (2014) などがある。 ^{[24]しかし、層を積みすぎると}訓練精度が急激に低下し、^[25]「劣化」問題として知られる。^[1]理論上、ネットワークを深くするために層を追加しても訓練損失が高くなることはないはずだが、 VGGNetではそれが起こった。^{[1]ただし、追加層を}恒等マッピングとして設定できる場合、より深いネットワークはより浅いネットワークと同じ機能を表すことになる。オプティマイザーはパラメーター化された層の恒等マッピングに近づくことができないという証拠がいくつかあり、残差接続の利点は恒等マッピングをデフォルトで許可することだった。^[6]

2014年当時、最先端の技術は20～30層のディープニューラルネットワークのトレーニングでした。^[24] ResNetの研究チームは、より深いネットワークをトレーニングするためのさまざまな方法を経験的にテストすることで、より深いネットワークをトレーニングしようと試み、最終的にResNetアーキテクチャにたどり着きました。^[26]

DenseNet（2016）^[27]は各層の出力を各後続層の入力に接続します。

${\displaystyle x_{\ell +1}=F(x_{1},x_{2},\dots ,x_{\ell -1},x_{\ell })}$

確率的深度^{[28]は、層のサブセットをランダムにドロップし、信号をアイデンティティスキップ接続を介して伝播させる}正規化手法である。DropPathとしても知られ、これはビジョントランスフォーマーなどの深層モデルのトレーニングを正規化する。^[29 ]

ResNeXt（2017）はInceptionモジュールとResNetを組み合わせたものである。^{[30] [8]}

Squeeze-and-Excitation Networks (2018) は、ResNet に squeeze-and-excitation (SE) モジュールを追加しました。^[31] SE モジュールは畳み込みの後に適用され、形状 のテンソル(高さ、幅、チャネル) を入力として受け取ります。各チャネルは平均化され、形状 のベクトルが生成されます。次に、これは多層パーセプトロン(線形 ReLU 線形シグモイドなどのアーキテクチャを使用)を通過してから、元のテンソルと乗算されます。 ${\displaystyle \mathbb {R} ^{H\times W\times C}}$${\displaystyle \mathbb {R} ^{C}}$