畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（CNN）は、フィルタ（またはカーネル）最適化によって特徴を自ら学習する、正規化されたタイプのフィードフォワードニューラルネットワークです。このタイプのディープラーニングネットワークは、テキスト、画像、音声など、さまざまな種類のデータを処理して予測を行うために適用されています。^{[1]畳み込みベースのネットワークは、}コンピュータービジョンと画像処理に対するディープラーニングベースのアプローチの事実上の標準であり、ごく最近になって、トランスフォーマーなどの新しいディープラーニングアーキテクチャに置き換えられました。初期のニューラルネットワークでバックプロパゲーション中に見られた勾配消失と勾配爆発は、より少ない接続で正規化された重みを使用することで防止されます。^{[2] [3]}たとえば、完全結合層の各ニューロンでは、100 × 100ピクセルのサイズの画像を処理するために10,000の重みが必要になります。しかし、カスケード畳み込み（または相互相関）カーネルを適用すると、^{[4] [5]} 5x5サイズのタイルを処理するのに必要なニューロンは25個だけです。^{[6] [7]}上位層の特徴は、下位層の特徴と比較して、より広いコンテキストウィンドウから抽出されます。

CNN の用途には次のようなものがあります。

• 画像・動画認識、^[8]
• 推薦システム、^[9]
• 画像分類、
• 画像セグメンテーション、
• 医療画像解析、
• 自然言語処理、^[10]
• 脳コンピュータインターフェース[ ^11]および
• 金融時系列^[12 ]

CNNはシフト不変または空間不変の人工ニューラルネットワークとしても知られ、入力特徴に沿ってスライドし、特徴マップと呼ばれる平行移動と等価な応答を提供する畳み込みカーネルまたはフィルタの共有重みアーキテクチャに基づいています。 ^{[13] [14]}直感に反しますが、ほとんどの畳み込みニューラルネットワークは、入力に適用するダウンサンプリング操作のため、平行移動に対して不変ではありません。 ^[15]

フィードフォワードニューラルネットワークは通常、完全に接続されたネットワークです。つまり、1つの層の各ニューロンは次の層のすべてのニューロンに接続されています。これらのネットワークの「完全な接続」により、データの過剰適合が発生しやすくなります。正規化、つまり過剰適合を防ぐ一般的な方法には、トレーニング中にパラメータにペナルティを課す（重みの減衰など）または接続をトリミングする（スキップされた接続、ドロップアウトなど）などがあります。堅牢なデータセットは、CNNが、人口の少ないセットのバイアスではなく、特定のデータセットを特徴付ける一般化された原則を学習する可能性を高めます。^[16]

畳み込みネットワークは、ニューロン間の接続パターンが動物の視覚皮質の構成に似ているという点で、生物学的プロセス^{[17] [18] [19] [20]}にヒントを得ています。個々の皮質ニューロンは、受容野と呼ばれる視野の限られた領域でのみ刺激に反応します。異なるニューロンの受容野は部分的に重なり合って、視野全体をカバーします。

CNN は、他の画像分類アルゴリズムと比較して、比較的少ない前処理を使用します。つまり、ネットワークは自動学習を通じてフィルター(またはカーネル) を最適化することを学習しますが、従来のアルゴリズムではこれらのフィルターは手動で設計されます。特徴抽出における事前の知識や人間の介入に依存しないという点は、大きな利点です。^{[誰にとって? ]}

畳み込みニューラルネットワークは、入力層、隠れ層、出力層から構成されます。畳み込みニューラルネットワークでは、隠れ層には畳み込みを実行する 1 つ以上の層が含まれます。通常、これには畳み込みカーネルと層の入力行列のドット積を実行する層が含まれます。この積は通常フロベニウスの内積であり、その活性化関数はReLU であるのが一般的です。畳み込みカーネルが層の入力行列に沿って移動すると、畳み込み演算によって特徴マップが生成され、それが次の層の入力に寄与します。その後に、プーリング層、完全結合層、正規化層などの他の層が続きます。ここで注目すべきは、畳み込みニューラルネットワークがマッチドフィルタにどれほど近いかということです。^[21]

CNN では、入力は次の形状のテンソルです。

(入力数) × (入力高さ) × (入力幅) × (入力チャンネル)

畳み込み層を通過すると、画像は次の形状の特徴マップ（アクティベーション マップとも呼ばれます）に抽象化されます。

(入力数) × (特徴マップの高さ) × (特徴マップの幅) × (特徴マップのチャンネル数)。

畳み込み層は入力を畳み込み、その結果を次の層に渡します。これは視覚野のニューロンが特定の刺激に反応するのと似ています。^{[22]各畳み込みニューロンは、その}受容野のデータのみを処理します。

完全に接続されたフィードフォワードニューラルネットワークは特徴を学習し、データを分類するために使用できますが、このアーキテクチャは一般に、各ピクセルが関連する入力特徴であるため、膨大な数のニューロンを必要とする大きな入力（高解像度画像など）には実用的ではありません。サイズが 100 × 100 の画像の完全に接続された層では、2 番目の層の各ニューロンに 10,000 の重みがあります。畳み込みにより、自由パラメータの数が減り、ネットワークをより深くすることができます。^{[6]たとえば、それぞれが同じ共有重みを持つ 5 × 5 のタイリング領域を使用する場合、必要なニューロンは 25 個だけです。より少ないパラメータで正規化された重みを使用すると、以前のニューラルネットワークでの}バックプロパゲーション中に見られる勾配消失と勾配爆発の問題を回避できます。^{[2] [3]}

処理速度を上げるために、標準的な畳み込み層を深さ方向に分離可能な畳み込み層^[23]に置き換えることができます。深さ方向の畳み込みとそれに続く点方向の畳み込みに基づいています。深さ方向の畳み込みは、入力テンソルの各チャネルに独立して適用される空間畳み込みですが、点方向の畳み込みはカーネル の使用に制限された標準的な畳み込みです。${\displaystyle 1\times 1}$

畳み込みネットワークには、従来の畳み込み層に加えて、ローカル プーリング層やグローバル プーリング層が含まれる場合があります。プーリング層は、ある層のニューロン クラスターの出力を次の層の 1 つのニューロンに結合することで、データの次元を削減します。ローカル プーリングは小さなクラスターを結合し、2 × 2 などのタイリング サイズが一般的に使用されます。グローバル プーリングは、特徴マップのすべてのニューロンに作用します。^{[24] [25]}よく使用されるプーリングには、最大プーリングと平均プーリングの 2 つの種類があります。最大プーリングは、特徴マップ内のニューロンの各ローカル クラスターの最大値を使用し、^{[26] [27]}平均プーリングは平均値を使用します。

完全接続層は、ある層のすべてのニューロンを別の層のすべてのニューロンに接続します。これは、従来の多層パーセプトロンニューラル ネットワーク (MLP)と同じです。平坦化されたマトリックスは、完全接続層を通過して画像を分類します。

ニューラル ネットワークでは、各ニューロンは前の層のいくつかの場所から入力を受け取ります。畳み込み層では、各ニューロンは前の層のニューロンの受容野と呼ばれる制限された領域からのみ入力を受け取ります。通常、その領域は正方形です (例: 5 x 5 ニューロン)。一方、完全結合層では、受容野は前の層全体です。したがって、各畳み込み層では、各ニューロンは前の層よりも広い領域から入力を受け取ります。これは、ピクセルの値だけでなく周囲のピクセルも考慮に入れて畳み込みを何度も適用するためです。膨張層を使用する場合、受容野のピクセル数は一定のままですが、複数の層の効果を組み合わせると、フィールドの次元が大きくなるにつれて、フィールドはよりまばらになります。

受容野サイズを必要に応じて操作するために、標準的な畳み込み層の代わりとなる方法がいくつかあります。例えば、アトラス畳み込み層または膨張畳み込み層^{[28] [29]}は、可視領域と盲目領域を交互に配置することで、パラメータの数を増やすことなく受容野サイズを拡大します。さらに、単一の膨張畳み込み層は、複数の膨張率を持つフィルタで構成することができ、^[30] 、可変の受容野サイズを持つことができます。

ニューラル ネットワーク内の各ニューロンは、前の層の受容野から受け取った入力値に特定の関数を適用して出力値を計算します。入力値に適用される関数は、重みとバイアス (通常は実数) のベクトルによって決まります。学習は、これらのバイアスと重みを繰り返し調整することで行われます。

重みとバイアスのベクトルはフィルターと呼ばれ、入力の特定の特徴（特定の形状など）を表します。CNNの特徴は、多くのニューロンが同じフィルターを共有できることです。これにより、各受容野が独自のバイアスとベクトルの重みを持つのではなく、フィルターを共有するすべての受容野で単一のバイアスと単一の重みベクトルが使用されるため、メモリフットプリントが削減されます。 ^[31]

逆畳み込みニューラルネットワークは本質的にCNNの逆であり、逆畳み込み層とアンプーリング層で構成されています。^[32]

逆畳み込み層は畳み込み層の転置です。具体的には、畳み込み層は行列との乗算として表すことができ、逆畳み込み層はその行列の転置との乗算です。^[33]

アンプーリング層は層を拡張します。最大アンプーリング層は、各エントリを複数回コピーするだけなので、最も単純です。たとえば、2行2列の最大アンプーリング層は です。 ${\displaystyle [x]\mapsto {\begin{bmatrix}x&x\\x&x\end{bmatrix}}}$

デコンボリューションレイヤーは画像生成器で使用されます。デフォルトでは周期的なチェッカーボードアーティファクトが生成されますが、これはアップスケールしてからコンボリューションすることで修正できます。^[34]

CNNは、生物の脳が視覚処理を行う方法とよく比較されます。^[35]

1950年代と1960年代のヒューベルとヴィーゼルの研究は、猫の視覚皮質には視野の小さな領域に個別に反応するニューロンが含まれていることを示した。目が動いていない場合、視覚刺激が単一のニューロンの発火に影響を与える視覚空間の領域は、その受容野として知られている。^[36]隣接する細胞は類似した重なり合った受容野を持っている。受容野のサイズと位置は皮質全体で体系的に変化し、視覚空間の完全な地図を形成する。^{[引用が必要]}各半球の皮質は、反対側の視野を表す。^{[引用が必要]}

1968年の論文では、脳内の2つの基本的な視覚細胞の種類が特定されました。^[18]

• 単純細胞。受容野内で特定の方向を持つ直線エッジによって出力が最大化される。
• 複雑な細胞はより大きな受容野を持ち、その出力は受容野内のエッジの正確な位置に影響を受けない。

ヒューベルとヴィーゼルは、パターン認識タスクに使用するために、これら2種類の細胞のカスケードモデルも提案した。^{[37] [36]}

フクシマ・クニヒコは、ヒューベルとヴィーゼルの研究に触発され、1969年にReLU 活性化関数を使用するディープCNNを発表しました。^[38]ほとんどの現代のネットワークとは異なり、このネットワークは手動で設計されたカーネルを使用しています。重みはすべて非負であったため、彼のネオコグニトロンでは使用されず、代わりに側方抑制が使用されました。整流器は、CNNやディープニューラルネットワーク全般で最も人気のある活性化関数になりました。^[39]

「ネオコグニトロン」は1979年に福島邦彦によって導入されました。^{[40] [19] [17]}カーネルは教師なし学習によって訓練されました。これは前述のヒューベルとヴィーゼルの研究に触発されました。ネオコグニトロンは2つの基本的なタイプのレイヤーを導入しました。

• 「S 層」: 共有重み受容野層 (後に畳み込み層と呼ばれる)。この層には、前の層のパッチをカバーする受容野を持つユニットが含まれます。共有重み受容野グループ (ネオコグニトロンの用語では「平面」) は、フィルターと呼ばれることが多く、通常、1 つの層には複数のフィルターがあります。
• 「C 層」: 受容野が前の畳み込み層のパッチをカバーするユニットを含むダウンサンプリング層。このようなユニットは通常、パッチ内のユニットの活性化の加重平均を計算し、やや大きいパッチからプールされた抑制 (除算正規化) と、層内のさまざまなフィルターを適用し、飽和活性化関数を適用します。パッチの重みは非負であり、元のネオコグニトロンではトレーニングできません。ダウンサンプリングと競合抑制は、オブジェクトがシフトされている場合でも、視覚シーン内の特徴とオブジェクトを分類するのに役立ちます。

ネオコグニトロンの変種であるクレセプトロンでは、福島の抑制と飽和を伴う空間平均化を使用する代わりに、J. Wengらは1993年にマックスプーリングと呼ばれる手法を導入しました。これは、ダウンサンプリングユニットがそのパッチ内のユニットの活性化の最大値を計算するものです。 ^[41]マックスプーリングは現代のCNNでよく使用されます。^[42]

ネオコグニトロンの重みを訓練するために、数十年にわたっていくつかの教師あり学習および教師なし学習アルゴリズムが提案されてきました。 ^[17]しかし、今日では、CNNアーキテクチャは通常、バックプロパゲーションを通じて訓練されます。

ニューラルネットワークにおける「畳み込み」という用語は、1987年の第1回神経情報処理システム会議における本間俊輝、レス・アトラス、ロバート・マークス2世の論文で初めて登場する。彼らの論文では、時間的に乗算を畳み込みに置き換え、本質的にシフト不変性を実現している。これは、フィルタの信号処理概念に動機付けられ、より直接的に結びついており、音声認識タスクでそれを実証した。^[7]彼らはまた、データ学習可能なシステムとして、畳み込みは重みの反転が最終的な学習関数に影響を与えないため、本質的に相関と同等であると指摘した（「便宜上、*を畳み込みではなく相関として表記する。a(t)とb(t)の畳み込みは、a(-t)とb(t)の相関と同等である点に注意すること。」）。^[7]現代のCNN実装では通常、相関が行われ、便宜上、ここで行ったように畳み込みと呼ばれている。

時間遅延ニューラルネットワーク（TDNN）は、1987年にアレックス・ワイベルらによって音素認識のために導入され、シフト不変性を実現した最初の畳み込みネットワークの1つでした。 ^[43] TDNNは、データの時間軸に沿って畳み込みが実行される1次元畳み込みニューラルネットです。これは、バックプロパゲーションを使用した勾配降下法によるトレーニングと組み合わせて重み共有を活用した最初のCNNです。^[44]したがって、ネオコグニトロンと同様にピラミッド構造を使用しながら、重みのローカル最適化ではなくグローバル最適化を実行しました。^[43]

TDNNは、時間次元に沿って重みを共有する畳み込みネットワークです。^[45]これにより、音声信号を時間不変に処理できます。1990年にハンプシャーとワイベルは、2次元畳み込みを実行する変種を発表しました。^[46]これらのTDNNはスペクトログラムで動作するため、結果として得られる音素認識システムは、ネオコグニトロンによって処理された画像と同様に、時間と周波数の両方の変化に対して不変でした。

TDNNは遠距離音声認識の性能を向上させた。^[47]

デンカーら（1989）は、手書きの郵便番号を認識する2次元CNNシステムを設計した。^[48]しかし、畳み込みのカーネル係数を決定するための効率的なトレーニング方法がなかったため、すべての係数を手間をかけて手作業で設計する必要があった。^[49]

Waibel ら (1987) による 1-D CNN のトレーニングの進歩に続いて、Yann LeCunら (1989) ^{[49] は}、手書きの数字の画像から直接畳み込みカーネル係数を学習するためにバックプロパゲーションを使用しました。学習は完全に自動化され、手動で係数を設計するよりもパフォーマンスが高く、より幅広い画像認識問題や画像タイプに適していました。Wei Zhang ら (1988) ^{[13] [14] は}、アルファベット認識用の CNN の畳み込みカーネルをバックプロパゲーションでトレーニングしました。このモデルは、1990 年代初頭に CNN という名前が付けられる前は、シフト不変パターン認識ニューラル ネットワークと呼ばれていました。Wei Zhang らは、最後の完全結合層を除いた同じ CNN を、医療用画像オブジェクトのセグメンテーション (1991) ^[50]やマンモグラムでの乳がん検出 (1994) にも適用しました。^[51]

このアプローチは現代のコンピュータービジョンの基礎となりました。

1990年に山口らは、特定の領域の最大値を計算して伝播する固定フィルタリング操作である最大プーリングの概念を導入しました。彼らは、TDNNと最大プーリングを組み合わせて、話者に依存しない孤立単語認識システムを実現しました。^[26]彼らのシステムでは、単語ごとに複数のTDNN（各音節に1つ）を使用しました。入力信号に対する各TDNNの結果は最大プーリングを使用して結合され、プーリング層の出力は実際の単語分類を実行するネットワークに渡されました。

LeCunらが1995年に発表した先駆的な7レベル畳み込みネットワークであるLeNet-5 ^{[52]は、32×32ピクセルの画像にデジタル化された小切手（}イギリス英語：ch​​eques ）上の手書きの数字を分類します。高解像度の画像を処理するには、より大きくより多くの層の畳み込みニューラルネットワークが必要になるため、この手法はコンピューティングリソースの可用性によって制約されます。

このシステムは、他の商用小切手読み取りシステムよりも優れていました（1995年時点）。このシステムはNCRの小切手読み取りシステムに統合され、1996年6月からアメリカのいくつかの銀行に導入され、1日あたり数百万枚の小切手を読み取りました。^[53]

シフト不変ニューラルネットワークは、1988年にWei Zhangらによって画像文字認識用に提案されました。^{[13] [14]}これは、画像特徴層と最後の完全結合層との間の畳み込み相互接続のみを維持することによって修正されたネオコグニトロンです。モデルはバックプロパゲーションでトレーニングされました。トレーニングアルゴリズムは1991年にさらに改良され^[54]、一般化能力が向上しました。モデルアーキテクチャは最後の完全結合層を削除することによって修正され、医療画像セグメンテーション（1991）^[50]やマンモグラムにおける乳がんの自動検出（1994）に適用されました。^[51]

1988年には、畳み込みをベースとした異なる設計が提案され^{[55]、 1次元}筋電図畳み込み信号の逆畳み込みによる分解に適用されました。この設計は1989年に他の逆畳み込みベースの設計に変更されました。^{[56] [57]}

CNN は 1980 年代に発明されましたが、2000 年代のブレークスルーには、グラフィックス プロセッシング ユニット(GPU) での高速実装が必要でした。

2004年、KS OhとK. Jungは、標準的なニューラルネットワークがGPUで大幅に高速化できることを示しました。その実装はCPUでの同等の実装よりも20倍高速でした。^{[58] 2005年には、別の論文でも}機械学習におけるGPGPUの価値が強調されました。^[59]

CNNの最初のGPU実装は、2006年にK. Chellapillaらによって発表されました。彼らの実装は、CPUでの同等の実装よりも4倍高速でした。^{[60]同じ時期に、GPUは}ディープビリーフネットワークの教師なしトレーニングにも使用されました。^{[61] [62] [63] [64]}

2010年、 IDSIAのDan Ciresanらは、GPU上でディープフィードフォワードネットワークをトレーニングしました。^[65] 2011年に、彼らはこれをCNNに拡張し、CPUのトレーニングと比較して60倍の高速化を実現しました。^[24] 2011年、ネットワークは画像認識コンテストで優勝し、初めて超人的なパフォーマンスを達成しました。^[66]その後、彼らはさらに多くのコンテストで優勝し、いくつかのベンチマークで最先端のパフォーマンスを達成しました。^{[67] [42] [27]}

その後、Alex Krizhevskyらによる同様のGPUベースのCNNであるAlexNetが、 ImageNet Large Scale Visual Recognition Challenge 2012で優勝しました。 ^{[68]これは}AIブームの初期の触媒的な出来事でした。

GPUを使用したCNNのトレーニングと比較して、CPUにはあまり注目が集まっていませんでした。(Viebke et al 2019)は、Intel Xeon Phiで利用可能なスレッドレベルおよびSIMDレベルの並列処理によってCNNを並列化します。^{[69] [70]}

過去には、従来の多層パーセプトロン(MLP) モデルが画像認識に使用されていました。^{[例が必要]}しかし、ノード間の完全な接続により次元の呪いが発生し、高解像度の画像では計算が困難でした。RGBカラーチャネルを持つ 1000×1000 ピクセルの画像では、完全に接続されたニューロンごとに 300 万の重みがあり、大規模に効率的に処理するには大きすぎます。

たとえば、CIFAR-10では、画像のサイズは 32×32×3 (幅 32、高さ 32、カラー チャネル 3) のみであるため、通常のニューラル ネットワークの最初の非表示層にある 1 つの完全接続ニューロンには、32*32*3 = 3,072 個の重みがあります。ただし、200×200 の画像では、ニューロンの重みは 200*200*3 = 120,000 個になります。

また、このようなネットワーク アーキテクチャはデータの空間構造を考慮せず、離れた入力ピクセルを近くのピクセルと同じように扱います。これにより、グリッド トポロジ (画像など) のデータにおける参照の局所性が計算的にも意味的にも無視されます。したがって、ニューロンの完全な接続は、空間的にローカルな入力パターンが支配的な画像認識などの目的には無駄です。

畳み込みニューラル ネットワークは、視覚皮質の動作をエミュレートするように設計された多層パーセプトロンのバリエーションです。これらのモデルは、自然画像に存在する強力な空間的局所相関を利用することで、MLP アーキテクチャによってもたらされる課題を軽減します。MLP とは対照的に、CNN には次の際立った特徴があります。

• ニューロンの3Dボリューム。CNNの層には、幅、高さ、深さの3次元に配置されたニューロンがあります。 ^[71]畳み込み層内の各ニューロンは、受容野と呼ばれる前の層の小さな領域にのみ接続されています。局所的に接続された層と完全に接続された層の両方を含む、異なるタイプの層が積み重ねられ、CNNアーキテクチャを形成します。
• ローカル接続: 受容野の概念に従い、CNN は隣接する層のニューロン間のローカル接続パターンを強制することで空間的局所性を活用します。このアーキテクチャにより、学習した「フィルター」が空間的にローカルな入力パターンに対して最も強い応答を生成することが保証されます。このような層を多数積み重ねると、非線形フィルターが次第にグローバル (つまり、ピクセル空間のより広い領域に応答する) になり、ネットワークは最初に入力の小さな部分の表現を作成し、次にそれらからより広い領域の表現を組み立てます。
• 共有重み: CNN では、各フィルターは視野全体に複製されます。これらの複製されたユニットは同じパラメータ (重みベクトルとバイアス) を共有し、特徴マップを形成します。これは、特定の畳み込み層内のすべてのニューロンが、特定の応答フィールド内の同じ特徴に応答することを意味します。このようにユニットを複製すると、結果として得られる活性化マップは、視野内の入力特徴の位置のシフトに対して等変になります。つまり、レイヤーのストライドが 1 である場合、並進等変が保証されます。 ^[72]
• プーリング：CNNのプーリング層では、特徴マップが長方形のサブ領域に分割され、各長方形内の特徴は、通常は平均値または最大値を取ることによって、独立して単一の値にダウンサンプリングされます。プーリング操作は、特徴マップのサイズを縮小するだけでなく、そこに含まれる特徴にある程度局所的な並進不変性を与え、CNNが位置の変化に対してより堅牢になるようにします。^[15]

これらの特性を組み合わせることで、CNN は視覚の問題に対するより優れた一般化を実現できます。重みの共有により、学習する自由パラメータの数が大幅に削減されるため、ネットワークを実行するためのメモリ要件が低下し、より大規模で強力なネットワークのトレーニングが可能になります。

CNN アーキテクチャは、微分可能な関数を通じて入力ボリュームを出力ボリューム (クラス スコアの保持など) に変換する個別のレイヤーのスタックによって形成されます。一般的に使用されるレイヤーにはいくつかの異なるタイプがあります。これらについては、以下でさらに詳しく説明します。

畳み込み層はCNNのコアとなる構成要素です。この層のパラメータは学習可能なフィルタ（またはカーネル）のセットから構成され、受容野は小さいものの、入力ボリュームの深度全体に広がります。フォワードパスでは、各フィルタは入力ボリュームの幅と高さにわたって畳み込まれ、フィルタエントリと入力のドット積が計算され、そのフィルタの2次元アクティベーションマップが生成されます。その結果、ネットワークは入力内の特定の空間位置で特定の種類の特徴を検出したときにアクティブになるフィルタを学習します。 ^{[73] [nb 1]}

すべてのフィルターのアクティベーション マップを深度次元に沿って積み重ねると、畳み込み層の完全な出力ボリュームが形成されます。出力ボリュームの各エントリは、入力内の小さな領域を調べるニューロンの出力として解釈することもできます。アクティベーション マップの各エントリは、フィルターを定義するのと同じパラメーター セットを使用します。

自己教師学習は、高マスク比のスパースパッチとグローバル応答正規化層を使用することで、畳み込み層での使用に適応されています。^{[引用が必要]}

画像などの高次元入力を扱う場合、ニューロンを前のボリューム内のすべてのニューロンに接続することは非現実的です。このようなネットワーク アーキテクチャでは、データの空間構造が考慮されないためです。畳み込みネットワークは、隣接する層のニューロン間に疎なローカル接続パターンを適用することで、空間的にローカルな相関関係を活用します。各ニューロンは、入力ボリュームの小さな領域にのみ接続されます。

この接続の範囲は、ニューロンの受容野と呼ばれるハイパーパラメータです。接続は空間的にローカルですが(幅と高さに沿って)、常に入力ボリュームの深さ全体に沿って拡張されます。このようなアーキテクチャにより、学習された (イギリス英語: learnt ) フィルタが空間的にローカルな入力パターンに対して最も強力な応答を生成することが保証されます。

畳み込み層の出力ボリュームのサイズは、深さ、ストライド、パディング サイズという 3 つのハイパーパラメータによって制御されます。

• 出力ボリュームの深度は、入力ボリュームの同じ領域に接続するレイヤー内のニューロンの数を制御します。これらのニューロンは、入力内のさまざまな特徴に対してアクティブになることを学習します。たとえば、最初の畳み込みレイヤーが生の画像を入力として受け取る場合、さまざまな方向のエッジや色の塊が存在すると、深度次元に沿ったさまざまなニューロンがアクティブになることがあります。
• ストライドは、幅と高さの周りの深さの列の割り当てを制御します。ストライドが 1 の場合、フィルターを 1 ピクセルずつ移動します。これにより、列間の受容野が大きく重なり、出力ボリュームが大きくなります。任意の整数に対して、ストライドS は、フィルターが出力ごとにS単位ずつ移動することを意味します。実際には、これはまれです。ストライドが大きいほど、受容野の重なりが小さくなり、出力ボリュームの空間次元が小さくなります。 ^[74]${\textstyle S>0,}$${\textstyle S\geq 3}$
• 場合によっては、入力ボリュームの境界にゼロ (または領域の平均などの他の値) をパディングすると便利なことがあります。このパディングのサイズは、3 番目のハイパーパラメータです。パディングにより、出力ボリュームの空間サイズを制御できます。特に、入力ボリュームの空間サイズを正確に保持することが望ましい場合があり、これは一般に「同じ」パディングと呼ばれます。

出力ボリュームの空間サイズは、入力ボリューム サイズ、畳み込み層ニューロンのカーネル フィールド サイズ、ストライド、および境界の ゼロ パディング量の関数です。特定のボリュームに「収まる」ニューロンの数は次のようになります。${\displaystyle W}$${\displaystyle K}$${\displaystyle S}$${\displaystyle P}$

$${\displaystyle {\frac {W-K+2P}{S}}+1.}$$

この数値が整数でない場合、ストライドは正しくなく、ニューロンを入力ボリューム全体に対称的にタイリングすることはできません。一般に、ストライドが のときにパディングを 0 に設定すると、入力ボリュームと出力ボリュームが空間的に同じサイズになります。ただし、前のレイヤーのすべてのニューロンを使用する必要は必ずしもありません。たとえば、ニューラル ネットワークの設計者は、パディングの一部だけを使用することを決定する場合があります。 ${\textstyle P=(K-1)/2}$${\displaystyle S=1}$

パラメータ共有スキームは、畳み込み層で自由パラメータの数を制御するために使用されます。これは、パッチ機能がある空間位置での計算に有用であれば、他の位置での計算にも有用であるはずだという仮定に基づいています。深度の単一の 2 次元スライスを深度スライスとして表すと、各深度スライスのニューロンは同じ重みとバイアスを使用するように制約されます。

単一の深度スライス内のすべてのニューロンは同じパラメータを共有するため、畳み込み層の各深度スライスのフォワードパスは、ニューロンの重みと入力ボリュームの畳み込みとして計算できます。 ^{[nb 2]}したがって、重みのセットをフィルター（またはカーネル）と呼ぶのが一般的であり、これは入力と畳み込まれます。この畳み込みの結果は活性化マップであり、異なるフィルターごとの活性化マップのセットは深度次元に沿って積み重ねられ、出力ボリュームを生成します。パラメータの共有は、CNNアーキテクチャの並進不変性に貢献します。 ^[15]

場合によっては、パラメータ共有の仮定が意味をなさないことがあります。これは特に、CNN への入力画像が特定の中心構造を持つ場合に当てはまります。この場合は、異なる空間位置で完全に異なる特徴が学習されることが予想されます。1 つの実用的な例は、入力が画像の中心に配置された顔である場合です。画像の異なる部分で、異なる目固有の特徴または髪固有の特徴が学習されることが予想されます。その場合、パラメータ共有スキームを緩和し、代わりにレイヤーを単に「ローカル接続レイヤー」と呼ぶのが一般的です。

CNN のもう 1 つの重要な概念はプーリングで、これは非線形ダウンサンプリングの一形態として使用されます。プーリングは、入力特徴マップの空間次元 (高さと幅) を縮小しながら最も重要な情報を保持するため、ダウンサンプリングを実現します。プーリングを実装するための非線形関数はいくつかありますが、最大プーリングと平均プーリングが最も一般的です。プーリングは、入力の小さな領域から情報を集約して入力特徴マップのパーティションを作成し、通常は固定サイズのウィンドウ (2x2 など) を使用し、ストライド (多くの場合 2) を適用して入力全体でウィンドウを移動します。^[75] 1 より大きいストライドを使用しない場合、プーリングはダウンサンプリングを実行しないことに注意してください。プーリングは、プーリング ウィンドウを入力全体で 1 ステップずつ移動するだけであり、特徴マップのサイズは縮小されないためです。言い換えれば、ストライドは、プーリング ウィンドウが入力上でどれだけ移動するかを決定することで、実際にダウンサンプリングを引き起こすものです。

直感的には、特徴の正確な位置よりも、他の特徴に対する大まかな位置の方が重要です。これが、畳み込みニューラルネットワークでプーリングを使用する背景にある考え方です。プーリング層は、表現の空間サイズを徐々に縮小し、ネットワーク内のパラメータ数、メモリ使用量、計算量を削減し、したがって、オーバーフィッティングも制御します。これはダウンサンプリングとして知られています。CNNアーキテクチャでは、連続する畳み込み層（通常、各層の後にはReLU層などの活性化関数が続く）の間にプーリング層を定期的に挿入するのが一般的です。^{[73] : 460–461}プーリング層は局所的な変換不変性に貢献しますが、何らかのグローバルプーリングが使用されない限り、CNNでグローバルな変換不変性は提供しません。^{[15] [72]}プーリング層は通常、入力のすべての深度またはスライスに対して独立して動作し、空間的にサイズを変更します。最大プーリングの非常に一般的な形式は、2×2 サイズのフィルターを持つレイヤーで、ストライド 2 で適用され、入力のすべての深度スライスを幅と高さの両方に沿って 2 ずつサブサンプリングし、アクティベーションの 75% を破棄します。 この場合、すべての最大操作は 4 つの数値を超えます。深度次元は変更されません (これは他の形式のプーリングにも当てはまります)。 $${\displaystyle f_{X,Y}(S)=\max _{a,b=0}^{1}S_{2X+a,2Y+b}.}$$

最大プーリングに加えて、プーリングユニットは平均プーリングやℓ2ノルムプーリングなどの他の関数を使用すること_もできます。平均プーリングは歴史的によく使用されていましたが、最近では最大プーリングに比べて好まれなくなっています。最大プーリングは実際にはより良いパフォーマンスを発揮します。^[76]

表現サイズの急速な空間縮小の影響により、^{[それは？ ]}最近ではより小さなフィルタを使用する傾向があり^[77]、プーリング層を完全に破棄する傾向があります。^[78]

チャネル最大プーリング（CMP）操作層は、冗長な情報を除去する目的で、連続する特徴マップの対応する位置の間でチャネル側に沿ってMP操作を実行します。CMPは、重要な特徴をより少ないチャネル内に集めます。これは、より多くの識別特徴を必要とする細粒度画像分類にとって重要です。一方、CMP操作のもう1つの利点は、最初の完全接続（FC）層に接続する前に、特徴マップのチャネル数を少なくできることです。MP操作と同様に、CMP層の入力特徴マップと出力特徴マップをそれぞれF ∈ R（C×M×N）とC ∈ R（c×M×N）と表します。ここで、Cとcは入力および出力特徴マップのチャネル番号、MとNはそれぞれ特徴マップの幅と高さです。CMP操作は特徴マップのチャネル番号のみを変更することに注意してください。特徴マップの幅と高さは変更されません。これはMP操作とは異なります。^[79]

プーリング法のレビューについては ^{[80] [81]}を参照。

ReLUは、 Rectified Linear Unitの略称である。 1941年にAlston Householderによって提案され、 ^[82] 1969年に福島邦彦によってCNNで使用された。^[38] ReLUは、非飽和活性化関数 を適用する。^[68]負の値をゼロに設定することで、活性化マップから負の値を効果的に除去する。^{[83]畳み込み層の受容野に影響を与えることなく、}決定関数とネットワーク全体に非線形性を導入する。2011年に、Xavier Glorot、Antoine Bordes、Yoshua Bengioは、 2011年以前に広く使用されていた活性化関数と比較して、ReLUによりより深いネットワークのトレーニングが向上することを発見した。 ^[84]${\textstyle f(x)=\max(0,x)}$

非線形性を高めるために、飽和双曲正接関数 、シグモイド関数などの他の関数を使用することもできます。ReLUは、一般化精度に大きなペナルティを与えることなくニューラルネットワークを数倍速くトレーニングできるため、他の関数よりも好まれることが多いです。^[85]${\displaystyle f(x)=\tanh(x)}$${\displaystyle f(x)=|\tanh(x)|}$ ${\textstyle \sigma (x)=(1+e^{-x})^{-1}}$

いくつかの畳み込み層と最大プーリング層の後、最終分類は完全接続層によって行われます。完全接続層のニューロンは、通常の（非畳み込み）人工ニューラル ネットワークで見られるように、前の層のすべての活性化に接続されています。したがって、その活性化は、行列乗算とバイアス オフセット（学習されたバイアス項または固定バイアス項の ベクトル加算）を伴うアフィン変換として計算できます。

「損失レイヤー」または「損失関数」は、ネットワークの予測出力と実際のデータ ラベル (教師あり学習中)間の偏差に対してトレーニングでどのようにペナルティを課すかを指定します。特定のタスクに応じて、さまざまな損失関数を使用できます。

ソフトマックス損失関数は、 K個の相互に排他的なクラスのうちの1つのクラスを予測するために使用されます。 ^{[nb 3]} シグモイド クロスエントロピー損失は、 K個の独立した確率値を予測するために使用されます。ユークリッド損失は、実数値ラベルへの回帰に使用されます。 ${\displaystyle [0,1]}$${\displaystyle (-\infty ,\infty )}$

ハイパーパラメータは、学習プロセスを制御するために使用されるさまざまな設定です。CNN は、標準的な多層パーセプトロン (MLP) よりも 多くのハイパーパラメータを使用します。

カーネルは、一緒に処理されるピクセルの数です。通常は、カーネルの寸法 (2x2、3x3 など) として表されます。

パディングとは、画像の境界に (通常は) 0 値のピクセルを追加することです。これは、境界ピクセルが通常 1 つの受容野インスタンスにのみ参加するため、出力から過小評価 (失われる) されないようにするために行われます。適用されるパディングは、通常、対応するカーネル次元より 1 つ少ないです。たとえば、3x3 カーネルを使用する畳み込み層は、2 ピクセルのパディングを受け取ります。つまり、画像の各側に 1 ピクセルずつです。^{[引用が必要]}

ストライドは、分析ウィンドウが各反復で移動するピクセル数です。ストライドが 2 の場合、各カーネルは前のカーネルから 2 ピクセルオフセットされます。

特徴マップのサイズは深さとともに小さくなるため、入力層に近い層ではフィルターの数が少なくなる傾向があり、高位層ではフィルターの数が多くなることがあります。各層での計算を均等にするために、特徴値v _aとピクセル位置の積は、層間でほぼ一定に保たれます。入力に関するより多くの情報を保持するには、アクティブ化の合計数 (特徴マップの数とピクセル位置の数の積) を層ごとに減少させないようにする必要があります。

特徴マップの数は容量を直接制御し、利用可能な例の数とタスクの複雑さによって異なります。

文献に記載されている一般的なフィルター サイズは大きく異なり、通常はデータ セットに基づいて選択されます。一般的なフィルター サイズは 1x1 から 7x7 の範囲です。有名な 2 つの例として、AlexNet では3x3、5x5、11x11 が使用されました。Inceptionv3では1x1、3x3、5x5 が使用されました。

課題は、特定のデータ セットを与えられた場合に、過剰適合することなく、適切なスケールで抽象化を作成するために、適切な粒度レベルを見つけることです。

通常、最大プーリングが使用され、多くの場合、2x2 次元で使用されます。これは、入力が大幅にダウンサンプリングされ、処理コストが削減されることを意味します。

プーリングを大きくすると信号の次元が小さくなり、許容できない情報損失が発生する可能性があります。多くの場合、重複しないプーリングウィンドウが最良のパフォーマンスを発揮します。^[76]

膨張では、カーネル内のピクセルを無視します。これにより、信号を大幅に失うことなく、処理/メモリを削減できます。3x3 カーネルで膨張率 2 を設定すると、カーネルは 5x5 に拡張されますが、9 個のピクセル (均等間隔) は処理されます。したがって、膨張率 4 ではカーネルは 7x7 に拡張されます。^{[引用が必要]}

CNN は入力のシフトに対して不変であると一般に考えられています。CNN 内の畳み込み層またはプーリング層でストライドが 1 より大きくないものは、入力の変換に対して確かに等変です。^[72]ただし、ストライドが 1 より大きい層は、ナイキスト-シャノンのサンプリング定理を無視し、入力信号のエイリアシングにつながる可能性があります。 ^[72]原理的には、CNN はアンチエイリアシングフィルターを実装できますが、実際にはこれが起こらないことが観察されており^[86]、変換に対して等変でないモデルが生成されます。さらに、CNN が完全に接続された層を使用する場合、完全に接続された層は入力のシフトに対して不変でないため、変換の等変は変換不変性を意味しません。^{[87] [15]}完全な変換不変性の 1 つの解決策は、ネットワーク全体でダウンサンプリングを回避し、最後の層でグローバル平均プーリングを適用することです。^[72]さらに、ダウンサンプリング操作の前のアンチエイリアシング、^[88]空間トランスフォーマーネットワーク、^[89] データ拡張、プーリングと組み合わせたサブサンプリング、^[15]カプセルニューラルネットワークなど、いくつかの部分的な解決策が提案されています。^[90]

最終的なモデルの精度は、最初に設定されたデータセットのサブセット（テストセットと呼ばれることが多い）に基づいています。また、k分割交差検証などの方法も適用されます。その他の戦略としては、等角予測の使用などがあります。^{[91] [92]}

正則化とは、不適切設定問題を解決したり、過剰適合を防ぐために追加情報を導入するプロセスです。CNN はさまざまな種類の正則化を使用します。

完全に接続された層はパラメータのほとんどを占有するため、過剰適合になりがちです。過剰適合を減らす方法の1つが、2014年に導入されたドロップアウトです。 ^[93]各トレーニング段階で、個々のノードは確率でネットから「ドロップアウト」（無視）されるか、確率で保持されるため、縮小されたネットワークが残ります。ドロップアウトされたノードへの入力エッジと出力エッジも削除されます。その段階では、縮小されたネットワークのみがデータに対してトレーニングされます。削除されたノードは、元の重みでネットワークに再挿入されます。 ${\displaystyle 1-p}$${\displaystyle p}$

トレーニング段階では通常 0.5 ですが、入力ノードの場合は、入力ノードが無視されると情報が直接失われるため、通常ははるかに高くなります。 ${\displaystyle p}$

トレーニング終了後のテスト時には、理想的には、ドロップアウトされる可能性のあるすべてのネットワークのサンプル平均を見つけたいところですが、残念ながらこれは の値が大きい場合には実現不可能です。ただし、各ノードの出力を の係数で重み付けした完全なネットワークを使用することで近似値を見つけることができるため、どのノードの出力の期待値もトレーニング段階と同じになります。これがドロップアウト法の最大のメリットです。ドロップアウト法はニューラルネットを効果的に生成し、モデルの組み合わせを可能にしますが、テスト時には 1 つのネットワークのみをテストすればよいのです。 ${\displaystyle 2^{n}}$${\displaystyle n}$${\displaystyle p}$${\displaystyle 2^{n}}$

ドロップアウトは、すべてのノードをすべてのトレーニング データでトレーニングすることを避けることで、オーバーフィッティングを減らします。この方法は、トレーニング速度も大幅に向上します。これにより、ディープ ニューラル ネットワークでもモデルの組み合わせが実用的になります。この手法は、ノードの相互作用を減らし、新しいデータに一般化しやすい、 より堅牢な機能を学習することにつながるようです^{[説明が必要] 。}

DropConnectはドロップアウトの一般化であり、各出力ユニットではなく各接続が確率でドロップされる。各ユニットは、前の層のユニットのランダムなサブセットから入力を受け取る。^[94]${\displaystyle 1-p}$

DropConnect は、モデル内に動的なスパース性を導入する点でドロップアウトに似ていますが、スパース性がレイヤーの出力ベクトルではなく重みにあるという点で異なります。言い換えると、DropConnect を使用した完全接続レイヤーは、トレーニング段階で接続がランダムに選択されるスパース接続レイヤーになります。

Dropout の主な欠点は、ニューロンが完全に接続されていない畳み込み層では同じ利点が得られないことです。

Dropout以前でも、2013年に確率的プーリング^[95]と呼ばれる技術が開発され、従来の決定論的プーリング操作が確率的手順に置き換えられました。確率的手順では、各プーリング領域内の活性は、プーリング領域内の活性によって与えられる多項分布に従ってランダムに選択されます。このアプローチはハイパーパラメータを必要とせず、ドロップアウトやデータ拡張などの他の正規化アプローチと組み合わせることができます。

確率的プーリングの別の見方は、標準的な最大プーリングと同等であるが、入力画像のコピーが多数あり、それぞれが小さな局所的な変形を持っているというものです。これは、入力画像の明示的な弾性変形に似ており、^[96] MNISTデータセットで優れたパフォーマンスを発揮します。^[96]多層モデルで確率的プーリングを使用すると、上位層の選択が下位層の選択とは独立しているため、変形の数が指数関数的に増加します。

モデルの過剰適合の度合いは、モデルのパワーと受けるトレーニングの量の両方によって決まるため、畳み込みネットワークにより多くのトレーニング例を提供することで、過剰適合を減らすことができます。トレーニングに利用できるデータが十分でないことが多いため、特に一部を後でテストするために残しておく必要があることを考えると、2つのアプローチがあります。新しいデータを最初から生成するか（可能であれば）、既存のデータを乱して新しいデータを作成するかです。後者は1990年代半ばから使用されています。^[52]たとえば、入力画像を切り取ったり、回転したり、再スケーリングしたりして、元のトレーニングセットと同じラベルを持つ新しい例を作成できます。^[97]

ネットワークのオーバーフィッティングを防ぐ最も簡単な方法の 1 つは、オーバーフィッティングが発生する前にトレーニングを停止することです。ただし、学習プロセスが停止するという欠点があります。

オーバーフィッティングを防ぐもう 1 つの簡単な方法は、パラメータの数を制限することです。通常は、各層の隠れユニットの数を制限するか、ネットワークの深さを制限します。畳み込みネットワークの場合、フィルタ サイズもパラメータの数に影響します。パラメータの数を制限すると、ネットワークの予測力が直接制限され、データに対して実行できる関数の複雑さが軽減されるため、オーバーフィッティングの量が制限されます。これは、「ゼロ ノルム」に相当します。

追加された正則化の単純な形式は重み減衰です。重みベクトルの重みの合計 ( L1 ノルム) または大きさの二乗 ( L2 ノルム) に比例する追加の誤差を各ノードの誤差に単純に追加します。比例定数 (「アルファ」ハイパーパラメータ) を増やすことで、許容されるモデルの複雑さのレベルを下げることができます。これにより、大きな重みベクトルのペナルティが増加します。

L2 正則化は、最も一般的な正則化形式です。これは、目的関数内のすべてのパラメータの二乗値を直接ペナルティとして課すことで実装できます。L2 正則化は、ピークの重みベクトルに重いペナルティを課し、拡散重みベクトルを優先するという直感的な解釈があります。重みと入力の間の乗法的な相互作用により、ネットワークが一部の入力を多く使用するのではなく、すべての入力を少しずつ使用することを促すという便利な特性があります。

L1 正則化も一般的です。これにより、最適化中に重みベクトルがスパースになります。言い換えると、L1 正則化を持つニューロンは、最も重要な入力のスパース サブセットのみを使用することになり、ノイズの多い入力に対してほぼ不変になります。L1 と L2 正則化を組み合わせることができます。これは、弾性ネット正則化と呼ばれます。

正則化の別の形式は、各ニューロンの重みベクトルの大きさに絶対的な上限を強制し、投影勾配降下法を使用して制約を強制することです。実際には、これは通常どおりパラメータ更新を実行し、各ニューロンの重みベクトルをクランプして を満たすように制約を強制することに相当します。 の典型的な値は3～4のオーダーです。いくつかの論文では、この形式の正則化を使用すると 改善が報告されています^{[98] 。}${\displaystyle {\vec {w}}}$${\displaystyle \|{\vec {w}}\|_{2}<c}$${\displaystyle c}$

プーリングでは、高レベルのパーツ（顔画像の鼻と口など）間の正確な空間関係が失われます。これらの関係は、アイデンティティの認識に必要です。各特徴が複数のプールに出現するようにプールを重ねると、情報を保持しやすくなります。翻訳だけでは、異なる方向やスケールなど、まったく新しい視点に幾何学的関係の理解を外挿することはできません。一方、人間は外挿が非常に得意で、新しい形状を一度見たら、別の視点からそれを認識することができます。^[99]

この問題に対処する従来の一般的な方法は、ネットワークがこれらの変化に対応できるように、さまざまな方向、スケール、照明などで変換されたデータでネットワークをトレーニングすることであった。これは、大規模なデータセットでは計算量が多くなる。代替案は、座標フレームの階層を使用し、ニューロンのグループを使用して、特徴の形状と網膜に対するその姿勢の結合を表すことである。網膜に対する姿勢は、網膜の座標フレームと固有の特徴の座標フレームとの関係である。^[100]

したがって、何かを表現する方法の 1 つは、その中に座標フレームを埋め込むことです。これにより、各部分のポーズの一貫性を利用して大きな特徴を認識できます (たとえば、鼻と口のポーズは、顔全体のポーズを一貫して予測します)。このアプローチにより、下位レベル (たとえば、鼻と口) がポーズの予測に同意するときに、上位レベルのエンティティ (たとえば、顔) が存在することが保証されます。ポーズを表すニューロン活動のベクトル (「ポーズ ベクトル」) により、線形操作としてモデル化された空間変換が可能になり、ネットワークが視覚エンティティの階層を学習し、視点を超えて一般化することが容易になります。これは、人間の視覚システムが形状を表現するために座標フレームを課す方法に似ています。^[101]

CNNは画像認識システムでよく使用されます。2012年には、MNISTデータベースでのエラー率が0.23%と報告されました。^[27] CNNを画像分類に使用することに関する別の論文では、学習プロセスが「驚くほど高速」であると報告されています。同じ論文では、2011年時点での最高の結果はMNISTデータベースとNORBデータベースで達成されました。^{[24]その後、} AlexNet ^[102]と呼ばれる同様のCNNがImageNet Large Scale Visual Recognition Challenge 2012で優勝しました。

顔認識に適用した場合、CNNはエラー率の大幅な低下を達成しました。^[103]別の論文では、「10人以上の被写体の5,600枚の静止画像」で97.6%の認識率が報告されています。^[20] CNNは、手動トレーニング後に客観的な方法でビデオ品質を評価するために使用され、結果として得られたシステムの二乗平均平方根誤差は非常に低くなりました。^[104]

ImageNet大規模視覚認識チャレンジは、何百万もの画像と何百ものオブジェクトクラスを使用した、オブジェクトの分類と検出のベンチマークです。大規模な視覚認識チャレンジであるILSVRC 2014 ^[105]では、ほぼすべての上位チームがCNNを基本フレームワークとして使用しました。優勝したGoogLeNet ^{[106] (} DeepDreamの基盤) は、オブジェクト検出の平均精度を0.439329に向上させ、分類エラーを0.06656に削減し、これまでで最高の結果を達成しました。そのネットワークは30層以上を適用しました。ImageNetテストにおける畳み込みニューラルネットワークのそのパフォーマンスは、人間のパフォーマンスに近かった。^[107]最高のアルゴリズムでも、花の茎にいる小さなアリや羽根ペンを手に持っている人など、小さいまたは薄いオブジェクトには依然として苦労しています。また、現代のデジタルカメラでますます一般的になっている現象である、フィルターで歪んだ画像にも苦労します。対照的に、そのような画像が人間を困らせることはほとんどありません。しかし、人間は他の問題でも問題を抱えがちです。例えば、特定の犬種や鳥の種類といった細かいカテゴリに物体を分類するのは苦手ですが、畳み込みニューラル ネットワークはこれを処理します。^{[引用が必要]}

2015年、多層CNNは、上下逆さまの顔や部分的に隠れている顔など、さまざまな角度から顔を判別する能力を、競争力のあるパフォーマンスで実証しました。このネットワークは、さまざまな角度や向きの顔を含む20万枚の画像と、顔のない画像2000万枚のデータベースでトレーニングされました。彼らは5万回の反復で128枚の画像のバッチを使用しました。^[108]

画像データ領域と比較すると、CNN をビデオ分類に適用する研究は比較的少ないです。ビデオは別の (時間) 次元を持っているため、画像よりも複雑です。ただし、ビデオ領域への CNN の拡張がいくつか検討されています。1 つのアプローチは、空間と時間を入力の同等の次元として扱い、時間と空間の両方で畳み込みを実行することです。^{[109] [110]}別の方法は、空間ストリーム用と時間ストリーム用の 2 つの畳み込みニューラルネットワークの機能を融合することです。^{[111] [112] [113]} フレーム間またはクリップ間の依存関係を考慮するために、通常、長短期記憶(LSTM)再帰ユニットが CNN の後に組み込まれます。 ^{[114] [115]時空間特徴のトレーニング用の} 教師なし学習スキームは、畳み込みゲート制限ボルツマンマシン^[116]と独立部分空間分析に基づいて導入されています。^{[117]その応用は}テキストからビデオへのモデルに見られる。^[要出典]

CNNは自然言語処理にも応用されてきました。CNNモデルは様々なNLP問題に有効であり、意味解析、^[118]、検索クエリ検索、^[119]、文モデリング、^[120]、分類、^[121] 、予測^[122]、その他の従来のNLPタスクで優れた結果を達成しました。^[123]再帰型ニューラルネットワーク などの従来の言語処理方法と比較して、CNNはシリーズシーケンスの仮定に依存しない言語のさまざまな文脈的現実を表現できますが、RNNは古典的な時系列モデリングが必要な場合に適しています。^{[124] [125] [126] [127]}

1次元畳み込みを持つCNNを、時間領域における異常を検出するために、教師なしモデルによって周波数領域（スペクトル残差）の時系列に使用した。^[128]

CNNは創薬に利用されてきた。分子と生物学的タンパク質の相互作用を予測することで、潜在的な治療法を特定できる。2015年、Atomwiseは構造ベースの薬物設計のための初のディープラーニングニューラルネットワークであるAtomNetを発表した。^[129]このシステムは、化学相互作用の3次元表現を直接トレーニングする。画像認識ネットワークが、より小さく空間的に近い特徴をより大きく複雑な構造に組み立てるのと同じように、^{[130] AtomNetは}芳香族性、sp3炭素、水素結合などの化学的特徴を発見する^。その後、AtomNetは複数の疾患標的、特にエボラウイルス^[131]と多発性硬化症の治療法に対する新たな候補生体分子を予測するために使用された。^[132]

CNN はチェッカーゲームで使用されています。1999 年から 2001 年にかけて、Fogelと Chellapilla は共進化を使用して畳み込みニューラル ネットワークがチェッカーのプレイを学習する方法を示した論文を発表しました。学習プロセスでは、以前の人間のプロのゲームは使用されず、チェッカーボードに含まれる最小限の情報、つまり駒の位置と種類、および両側の駒の数の差に重点が置かれました。最終的に、プログラム ( Blondie24 ) は 165 のプレイヤーとのゲームでテストされ、上位 0.4% にランクされました。^{[133] [134]また、このプログラムは、その「エキスパート」レベルのプレイでプログラム}Chinookに勝利しました。^[135]

CNNはコンピュータ囲碁でも使用されている。2014年12月、クラークとストーキーは、人間のプロのゲームのデータベースから教師あり学習によってトレーニングされたCNNがGNU Goよりも優れており、モンテカルロ木探索Fuego 1.1に対して、Fuegoのプレイ時間のほんの一部でいくつかのゲームに勝つことができることを示す論文を発表した。 ^{[136]その後、大規模な12層の畳み込みニューラルネットワークが55％の局面でプロの手を正しく予測し、} 6段の人間のプレイヤーの精度に匹敵したことが発表された。トレーニングされた畳み込みネットワークを、検索なしで直接囲碁のゲームをプレイするために使用した場合、97％のゲームで従来の検索プログラムGNU Goに勝ち、1手あたり1万回のプレイアウト（約100万の局面）をシミュレートするモンテカルロ木探索プログラムFuegoのパフォーマンスに匹敵した。 ^[137]

MCTSを駆動する、試すべき動きを選択するCNN（「ポリシーネットワーク」）とポジションを評価するCNN（「バリューネットワーク」）は、当時最高の人間プレイヤーに初めて勝利したAlphaGoによって使用されました。 ^[138]

再帰型ニューラルネットワークは、一般的に時系列予測（および一般的なシーケンスモデリング）に最適なニューラルネットワークアーキテクチャであると考えられていますが、最近の研究では、畳み込みネットワークが同等かそれ以上の性能を発揮できることが示されています。^{[139] [12]}膨張畳み込み^[140]により、1次元畳み込みニューラルネットワークは時系列の依存関係を効果的に学習できる可能性があります。^[141]畳み込みは、RNNベースのソリューションよりも効率的に実装でき、勾配が消失（または爆発）する問題がありません。^[142]畳み込みネットワークは、学習する類似した時系列が複数ある場合に、予測性能を向上させることができます。^{[143] CNNは、時系列分析のさらなるタスク（時系列分類[144]}や分位予測^[145]など） にも適用できます。

楔形文字が書かれた粘土板などの考古学的発見が3Dスキャナーを使用してますます多く取得されるにつれて、ベンチマークデータセットが利用可能になりつつあり、その中にはGigaMeshソフトウェアフレームワークで作成された約2000の正規化された2Dおよび3Dデータセットを提供するHeiCuBeDa ^[146]も含まれる。^[147]そのため、曲率ベースの尺度は幾何学的ニューラルネットワーク（GNN）と組み合わせて使用​​され、例えば人類史上最古の文書の1つである粘土板の時代分類に使用されている。^{[148] [149]}

多くのアプリケーションでは、トレーニングデータがあまり入手できません。畳み込みニューラルネットワークは通常、過剰適合を避けるために大量のトレーニングデータを必要とします。一般的な手法は、関連ドメインからのより大きなデータセットでネットワークをトレーニングすることです。ネットワークパラメータが収束すると、ドメイン内データを使用してネットワークの重みを微調整する追加のトレーニングステップが実行され、これは転移学習として知られています。さらに、この手法により、畳み込みネットワークアーキテクチャを小さなトレーニングセットの問題にうまく適用できます。^[150]

エンドツーエンドのトレーニングと予測は、コンピュータービジョンでは一般的な方法です。しかし、自動運転車などの重要なシステムでは、人間が解釈できる説明が必要です。^[151]視覚的顕著性、空間的注意、時間的注意の最近の進歩により、CNN予測を正当化するために最も重要な空間領域/時間的瞬間を視覚化できるようになりました。^{[152] [153]}

ディープQネットワーク（DQN）は、ディープニューラルネットワークと強化学習の一種であるQ学習を組み合わせたディープラーニングモデルの一種です。従来の強化学習エージェントとは異なり、CNNを利用するDQNは強化学習を介して高次元の感覚入力から直接学習することができます。^[154]

予備的な結果は2014年に発表され、付随する論文は2015年2月に発表された。 ^{[155]この研究では、} Atari 2600ゲームへの応用について説明されている。他の深層強化学習モデルはこれに先行していた。^[156]

畳み込みディープビリーフネットワーク（CDBN）は、畳み込みニューラルネットワークと非常によく似た構造を持ち、ディープビリーフネットワークと同様にトレーニングされます。したがって、CNNのように画像の2D構造を活用し、ディープビリーフネットワークのように事前トレーニングを使用します。CDBNは、多くの画像および信号処理タスクで使用できる汎用的な構造を提供します。CIFAR ^[157]などの標準画像データセットのベンチマーク結果は、CDBNを使用して得られています。^[158]

畳み込みニューラルネットワークのフィードフォワードアーキテクチャは、ニューラル抽象ピラミッド^[159]で横方向およびフィードバック接続によって拡張されました。結果として得られる再帰型畳み込みネットワークは、コンテキスト情報を柔軟に組み込んで、局所的な曖昧さを反復的に解決することを可能にします。以前のモデルとは対照的に、セマンティックセグメンテーション、画像再構成、およびオブジェクトローカリゼーションタスクなどのために、最高解像度で画像のような出力が生成されました。

• Caffe : 畳み込みニューラル ネットワーク用のライブラリ。Berkeley Vision and Learning Center (BVLC) によって作成されました。CPU と GPU の両方をサポートします。C ++で開発されており、PythonおよびMATLABラッパーがあります。
• Deeplearning4j :マルチ GPU 対応SparkでのJavaおよびScalaによるディープラーニング。C++ 科学計算エンジンで実行される JVM プロダクション スタック用の汎用ディープラーニング ライブラリ。カスタム レイヤーの作成が可能。Hadoop および Kafka と統合。
• Dlib : C++ で実際の機械学習およびデータ分析アプリケーションを作成するためのツールキット。
• Microsoft Cognitive Toolkit : Microsoft が作成したディープラーニング ツールキットで、複数のノードにわたるスケーラビリティを強化する独自の機能がいくつか備わっています。C++ および Python でのトレーニング用の本格的なインターフェイスをサポートし、 C#および Javaでのモデル推論もサポートしています。
• TensorFlow : CPU、GPU、Google独自のテンソルプロセッシングユニット（TPU）^[160]、モバイルデバイスをサポートする、Apache 2.0ライセンスのTheanoライクなライブラリ。
• Theano : 人気のNumPyライブラリとほぼ互換性のある API を備えた Python のリファレンス ディープラーニング ライブラリ。ユーザーが記号的な数式を記述し、その導関数を自動的に生成できるため、勾配やバックプロパゲーションをコーディングする必要がありません。これらの記号式は、高速なGPU実装のためにCUDAコードに自動的にコンパイルされます。
• Torch : CとLuaで記述された、機械学習アルゴリズムを幅広くサポートする科学計算フレームワーク。

• 注意（機械学習）
• 畳み込み
• ディープラーニング
• 自然言語処理
• ネオコグニトロン
• スケール不変特徴変換
• 時間遅延ニューラルネットワーク
• ビジョン処理ユニット

• CS231n: 視覚認識のための畳み込みニューラル ネットワーク — Andrej Karpathyによるスタンフォードコンピュータ サイエンスのコース「コンピュータ ビジョンにおける CNN」
• vdumoulin/conv_arithmetic: ディープラーニングのコンテキストにおける畳み込み演算に関する技術レポート。畳み込みのアニメーション。