VGGNet

VGGNetsは、オックスフォード大学のビジュアルジオメトリグループ（VGG）によって開発された一連の畳み込みニューラルネットワーク（CNN）です。

VGGファミリーには、さまざまな深さの構成があり、「VGG」という文字に重み層の数が続く形で表されます。最も一般的なものは、VGG-16（13個の畳み込み層 + 3個の全結合層、1億3800万個のパラメータ）とVGG-19（16 + 3、1億4400万個のパラメータ）です。^{[ 1 ]}

VGGファミリーは、さまざまなコンピュータビジョン分野で広く応用されています。^{[ 2 ]} VGGNetのアンサンブルモデルは、 2014年のImageNet大規模視覚認識チャレンジ（ILSVRC）で最先端の結果を達成しました。^{[ 1 ] [ 3 ]}画像分類のResNet論文ではベースライン比較として使用され、^{[ 4 ]}物体検出のFast Region-based CNNのネットワークとして、またニューラルスタイル転送のベースネットワークとして使用されました。^{[ 5 ]}

このシリーズは、汎用モジュールを組み合わせて設計された初期の影響力のあるモデルとして歴史的に重要であり、一方AlexNet（2012）は「ゼロから」設計された。また、CNNの標準的な畳み込みカーネルを大きなもの（AlexNetでは最大11×11）からわずか3×3に変更する上で重要な役割を果たし、この決定はConvNext（2022）でようやく修正された。^{[ 6 ] [ 7 ]}

VGGNetはInception、ResNet、DenseNetによって時代遅れになった。RepVGG（2021）は、そのアーキテクチャの更新版である。^{[ 8 ]}

VGGモデルの主要なアーキテクチャ原則は、小さな${\displaystyle 3\times 3}$ネットワーク全体に畳み込みフィルタが使用されています。これは、以前のCNNアーキテクチャが使用していた、より大きなフィルタ（例：${\displaystyle 11\times 11}$AlexNetにおいて。^{[ 7 ]}

例えば、2つ$3×3$畳み込みを重ねると、単一の畳み込みと同じ受容野ピクセルになります${\textstyle 5\times 5}$畳み込みだが、後者は${\textstyle \left(25\cdot c^{2}\right)}$前者はパラメータを使用するが、後者は${\textstyle \left(18\cdot c^{2}\right)}$パラメータ（${\displaystyle c}$はチャネル数です。元の論文では、ディープで狭いCNNは、浅くて広いCNNに比べて大幅に優れていることが示されました。^{[ 7 ]}

VGGシリーズのモデルは、汎用モジュールで構成された深層ニューラルネットワークです。

1. 畳み込みモジュール：${\displaystyle 3\times 3}$ストライド1の畳み込み層に続いて、ReLU活性化関数が適用される。
2. 最大プーリング層：いくつかの畳み込みモジュールの後、最大プーリング層は$2×2$特徴マップをダウンサンプリングするために、フィルターとストライド2を使用します。これにより、幅と高さは両方とも半分になりますが、チャンネル数は維持されます。
3. 全結合層：ネットワークの最後に3つの全結合層があり、サイズは4096-4096-1000です。最後の層は、ImageNetの1000クラスに対応する1000チャネルを備えています。
4. ソフトマックス層：ソフトマックス層は、クラス間の確率分布を出力します。

VGGファミリーには、さまざまな深さの構成があり、文字「VGG」に重み層の数が続く形で表されます。最も一般的なのは、VGG-16（13個の畳み込み層 + 3個の全結合層）とVGG-19（16 + 3）で、元の論文では構成DとEとして示されています。^{[ 10 ]}

例えば、VGG-19の16個の畳み込み層は、以下のように構成されています。$${\displaystyle {\begin{aligned}&3\to 64\to 64&\xrightarrow {\text{downsample}} \\&64\to 128\to 128&\xrightarrow {\text{downsample}} \\&128\to 256\to 256\to 256\to 256&\xrightarrow {\text{downsample}} \\&256\to 512\to 512\to 512\to 512&\xrightarrow {\text{downsample}} \\&512\to 512\to 512\to 512\to 512&\xrightarrow {\text{downsample}} \end{aligned}}}$$矢印が${\displaystyle c_{1}\to c_{2}}$3x3畳み込みを意味します${\displaystyle c_{1}}$入力チャネルと${\displaystyle c_{2}}$出力チャネルとストライド1、続いてReLU活性化。${\displaystyle \xrightarrow {\text{ダウンサンプル}} }$これは、ストライド2の2x2最大プーリングによるダウンサンプリング層を意味します。

オリジナルのVGGモデルは、マルチGPUトレーニングとデータ並列処理による評価用に修正されたC++ Caffeのバージョンで実装されました。4つのNVIDIA Titan Black GPUを搭載したシステムでは、単一のネットワークのトレーニングにはアーキテクチャに応じて2～3週間かかりました。^{[ 1 ]}