インセプション（ディープラーニングアーキテクチャ）

Inception ^[1]は、コンピュータビジョン用の畳み込みニューラルネットワーク（CNN）のファミリーであり、2014年にGoogleの研究者によってGoogLeNet（後にInception v1に改名）として導入されました。このシリーズは、幹（データ取り込み）、本体（データ処理）、ヘッド（予測）を分離する初期のCNNとして歴史的に重要であり、すべての現代のCNNに存続するアーキテクチャ設計です。^[2]

2014年にGoogleのチームがGoogLeNetアーキテクチャを開発し、そのインスタンスがImageNet Large-Scale Visual Recognition Challenge 2014（ILSVRC14）で優勝しました。^{[1] [3]}

この名前は1998年のLeNetに由来しており、LeNetとGoogLeNetはどちらもCNNである。また、映画『インセプション』 （2010年）のフレーズである「もっと深く掘り下げる必要がある」というインターネットミームにちなんで「インセプション」とも呼ばれた。 ^[1]その後、より多くのバージョンがリリースされたため、元のインセプションアーキテクチャは「インセプションv1」に改名された。

モデルとコードはGitHub上でApache 2.0ライセンスの下で公開された。^[4]

Inception v1アーキテクチャは、22層で構成されたディープCNNです。これらの層のほとんどは「Inceptionモジュール」でした。元の論文では、InceptionモジュールはNetwork in Network ^[5]および(Arora et al、2014)の「論理的な集大成」であると述べられています。^[6]

Inception v1 は深層であるため、勾配消失問題に悩まされていました。チームは、ネットワーク内の 1/3 の深さと 2/3 の深さに挿入された線形ソフトマックス分類器である 2 つの「補助分類器」を使用してこの問題を解決し、損失関数は 3 つすべての加重合計になります。$${\displaystyle L=0.3L_{aux,1}+0.3L_{aux,2}+L_{real}}$$

これらはトレーニングが完了した後に削除されました。これは後にResNet アーキテクチャによって解決されました。

このアーキテクチャは3つの部分が積み重ねられて構成されています。^[2]

• ステム（データの取り込み）：最初のいくつかの畳み込み層は、データの前処理を実行して、画像をより小さなサイズに縮小します。
• 本体 (データ処理): 次の多数の Inception モジュールがデータ処理の大部分を実行します。
• ヘッド (予測): 最後の完全接続層とソフトマックスは、画像分類の確率分布を生成します。

この構造は、ほとんどの最新の CNN アーキテクチャで使用されています。

Inception v2は2015年に、バッチ正規化を提案したことで有名な論文でリリースされました。^{[7] [8]} 1,360万のパラメータがありました。

バッチ正規化を追加し、バッチ正規化を使用すると不要になることが判明した ドロップアウトとローカル応答正規化を削除することで、Inception v1 を改良しました。

Inception v3は2016年にリリースされました。^{[7] [9]}因数分解畳み込みを使用することでInception v2を改良しました。

たとえば、5×5 の畳み込みを 1 つ分解すると、3×3 が別の 3×3 の上に積み重なって 3×3 になります。どちらも受容野のサイズは 5×5 です。5×5 畳み込みカーネルには 25 個のパラメータがありますが、分解バージョンでは 18 個しかありません。したがって、5×5 畳み込みは分解バージョンよりも強力です。ただし、この強力さは必ずしも必要ではありません。研究チームは、実験的に、分解畳み込みが役立つことを発見しました。

また、畳み込み層とプーリング層からの出力を連結することで、次元削減の形式も使用します。たとえば、サイズのテンソルは、ストライド 2 の畳み込みによって に縮小され、プール サイズの最大プーリングによって に縮小されます。これらは、次に に連結されます。 ${\displaystyle 35\times 35\times 320}$${\displaystyle 17\times 17\times 320}$${\displaystyle 2\times 2}$${\displaystyle 17\times 17\times 320}$${\displaystyle 17\times 17\times 640}$

これ以外にも、トレーニング中に最も低い補助分類器も削除しました。彼らは、補助ヘッドが正則化の一種として機能することを発見しました。

彼らはまた、分類におけるラベル平滑化正則化を提案しました。ラベル を持つ画像に対して、モデルに確率分布 を予測させる代わりに、モデルに平滑化分布 を予測させました。ここで、はクラスの総数です。 ${\displaystyle c}$${\displaystyle \delta _{c}=(0,0,\dots ,0,\underbrace {1} _{c{\text{番目のエントリ}}},0,\dots ,0)}$${\displaystyle (1-\epsilon )\delta _{c}+\epsilon /K}$${\displaystyle K}$

2017年にチームはInception v4、Inception ResNet v1、Inception ResNet v2をリリースした。^[10]

Inception v4 は、さらに多くの因数分解畳み込みと、ベンチマークを改善することが経験的に判明したその他の複雑性を備えた増分アップデートです。

Inception ResNet v1とv2はどちらもInception v4の改良版であり、ResNetアーキテクチャに触発されて各Inceptionモジュールに残差接続が追加されています。^[11]

Xception（「エクストリームインセプション」）は2017年に発表されました。^{[12]これは、残差接続を持つ}深さ方向に分離可能な畳み込み層の線形スタックです。この設計は、CNNでは、特徴マップ内のクロスチャネル相関と空間相関を完全に分離できるという仮説に基づいて提案されました。

• Google がリリースしたすべての Inception モデルのリスト: 「models/research/slim/README.md at master · tensorflow/models」。GitHub。2024年10 月 19 日に取得。