ルネット

LeCun研究グループが発表した最初のニューラルネットワークは1988年のものでした。^{[ 10 ]}これはハイブリッドアプローチでした。最初の段階では、入力画像を拡大縮小、傾き補正、骨格化しました。2番目の段階は、18個の手動で設計されたカーネルを持つ畳み込み層でした。3番目の段階は、1つの隠れ層を持つ全結合ネットワークでした。

このデータセットは、実際の米国郵便から抽出された手書き数字画像のコレクションであり、有名な1989年のレポートで使用されたものと同じデータセットです。^{[ 11 ]}

Net-1からNet-5は1989年のレポートで発表された。^{[ 12 ]}それらすべての最後の層は完全に接続されている。元の論文ではパディング戦略は説明されていない。畳み込み層の出力セルを含め、すべてのセルは独立したバイアスを持っている。

• Net-1：隠れ層なし。完全接続。${\displaystyle (16\times 16)\to 10}$。
• Net-2：12個の隠れユニットを持つ、完全に接続された1つの隠れ層。${\displaystyle (16\times 16)\to 12\to 10}$。
• Net-3：2つの隠れ畳み込み層。${\displaystyle (16\times 16)\to (8\times 8)\to (4\times 4)\to 10}$どちらも入力形状を持つローカル接続レイヤーです。${\displaystyle 3\times 3}$そして2歩目。
• Net-4：2つの隠れ層があり、1つ目は畳み込み層、2つ目は局所的に接続された層です。${\displaystyle (16\times 16)\to (8\times 8\times 2)\to (4\times 4)\to 10}$畳み込み層には、形状が 2 つのカーネルがあります。${\displaystyle 3\times 3}$そしてストライドは2です。ローカル接続層は入力形状を持ちます。${\displaystyle 5\times 5\times 2}$そして歩幅1。
• Net-5：2つの畳み込み隠れ層。${\displaystyle (16\times 16)\to (8\times 8\times 2)\to (4\times 4\times 4)\to 10}$最初の畳み込み層は、形状が 2 つのカーネルを持つ。${\displaystyle 3\times 3}$そしてストライドは2です。2番目の畳み込み層には、形状の4つのカーネルがあります。${\displaystyle 5\times 5\times 2}$そして歩幅1。

このデータセットには、それぞれ16×16ピクセルのバイナリ画像が480枚含まれていました。元々は、各数字の12例をマウスを使って16×13のビットマップ上に手描きし、120枚の画像を作成しました。次に、各画像を水平方向に4つずつずらして16×16のバージョンを作成し、480枚の画像を得ました。

これらの画像から、320枚（1桁あたり32枚）をランダムに選択して学習に用い、残りの160枚（1桁あたり16枚）をテストに用いた。学習セットにおける性能は全てのネットワークで100%であったが、テストセットにおける性能はネットワークによって異なった。

1989年に発表されたLeNetは、3つの隠れ層（H1～H3）と出力層を持っています。^{[ 11 ]}ユニット数は1256、接続数は64660、独立したパラメータ数は9760です。

• H1（畳み込み）：${\displaystyle 16\times 16\to 12\times 8\times 8}$と${\displaystyle 5\times 5}$種子。
• H2（畳み込み）：${\displaystyle 12\times 8\times 8\to 12\times 4\times 4}$と${\displaystyle 8\times 5\times 5}$種子。
• H3：30ユニットがH2に完全接続されています。
• 出力：10個のユニットがH3に完全接続され、10個の数字クラス（0～9）を表す。

H1とH2間の接続パターンは^{[ 18 ]の表1}に記載されています。計算コストが高すぎると判断されたため、独立したプーリング層はありませんでした。^{[ 19 ]}

このデータセットは「米国郵便公社データベース」と呼ばれ、ニューヨーク州バッファローの郵便局を通過する米国の郵便物に手書きで書かれた郵便番号からデジタル化された、解像度16×16のグレースケール画像9298枚で構成されていました。^{[ 11 ]}トレーニングセットには7291のデータポイントがあり、テストセットには2007のデータポイントがありました。トレーニングセットとテストセットの両方に、曖昧で分類不能なデータと誤分類されたデータが含まれていました。このタスクはかなり困難です。テストセットでは、2人の人間（ジェーン・ブロムリーとエドゥアルト・ゼッキンガー）が平均2.5%の割合でエラーを犯しました。^{[ 20 ] [ 21 ]}

トレーニングはSun-4/260上で3日間かけて行われ、ニュートン法の対角ヘッセ行列近似法が用いられました。SNニューラルネットワークシミュレータ上で実装され、トレーニングセット全体で23エポックを要しました。

1988年の以前のアーキテクチャと比較すると、スケルトン化は行われておらず、畳み込みカーネルはバックプロパゲーションによって自動的に学習された。

1989年版LeNetの後のバージョンは、4つの隠れ層（H1～H4）と出力層を備えています。入力として28x28ピクセルの画像を受け取りますが、境界効果を避けるためにアクティブ領域は16x16です。^{[ 22 ]}

• H1（畳み込み）：${\displaystyle 28\times 28\to 4\times 24\times 24}$と${\displaystyle 5\times 5}$カーネル。このレイヤーには${\displaystyle 104}$学習可能なパラメータ（カーネルから100個、バイアスから4個）。
• H2（プーリング）：${\displaystyle 4\times 24\times 24\to 4\times 12\times 12}$による${\displaystyle 2\times 2}$平均プーリング。
• H3（畳み込み）：${\displaystyle 4\times 12\times 12\to 12\times 8\times 8}$と${\displaystyle 5\times 5}$カーネル。カーネルの中には、1つの特徴マップから入力を受け取るものもあれば、2つの特徴マップから入力を受け取るものもある。
• H4（プーリング）：${\displaystyle 12\times 8\times 8\to 12\times 4\times 4}$による${\displaystyle 2\times 2}$平均プーリング。
• 出力：10個のユニットがH4に完全接続され、10個の数字クラス（0～9）を表します。

このネットワークは、4635個のユニット、98442個の接続、および2578個の学習可能なパラメータで構成されています。そのアーキテクチャは、1989年のLeNetをベースに設計され、Optimal Brain Damageによってパラメータ数を4分の1に削減しました。^{[ 23 ]} 1回の順伝播には、約14万回の乗算加算演算が必要です。メモリサイズは50kBです。LeNet-1とも呼ばれていました。SPARCstation 10では、学習に0.5週間、1枚の画像を分類するのに0.015秒かかりました。^{[ 15 ]}

1994 LeNet は、より大規模な MNIST データベースに適合するように設計された 1989 LeNet の大型版です。LeNet-4 とも呼ばれます。畳み込み層に特徴マップが多く、最後の畳み込み層と出力ユニットの両方に完全に接続された隠れユニットの層が追加されています。2 つの畳み込み、2 つの平均プーリング、および 2 つの全結合層があります。約 17000 個の学習可能なパラメータがあります。^{[ 15 ]}

1回の順伝播には約26万回の乗算加算が必要です。メモリサイズは60kBです。SPARCstation 10では、トレーニングに2週間かかり、1枚の画像を分類するのに0.03秒かかりました。^{[ 15 ]}

1998 LeNet は 1994 LeNet と似ていますが、全結合層が多くなっています。そのアーキテクチャは右の画像に示されています。2 つの畳み込み層、2 つのサブサンプリング層、および 3 つの全結合層があります。通常は LeNet-5 と呼ばれます。約 60000 個の学習可能なパラメータがあります。^{[ 2 ]}

具体的には、以下の層から構成されています。

• 入力: (暗黙的に${\displaystyle 1\times 32\times 32}$ピクセル画像）
• C1（畳み込み）：${\displaystyle 1\times 32\times 32\to 6\times 28\times 28}$と${\displaystyle 5\times 5}$カーネルは、156個の学習可能なパラメータを持つ。
• S2（サブサンプリング）：${\displaystyle 6\times 28\times 28\to 6\times 14\times 14}$と${\displaystyle 2\times 2}$プーリング、学習可能なパラメータは12個。
• C3（畳み込み）：${\displaystyle 6\times 14\times 14\to 16\times 10\times 10}$と${\displaystyle k\times 5\times 5}$さまざまな値に対するカーネル${\displaystyle k}$（この層の正確な接続については下の表を参照）1516個の学習可能なパラメータがあります。
• S4（サブサンプリング）：${\displaystyle 16\times 10\times 10\to 16\times 5\times 5}$と${\displaystyle 2\times 2}$プーリング、学習可能なパラメータは32個。
• C5（畳み込み）：${\displaystyle 16\times 5\times 5\to 120\times 1\times 1}$と${\displaystyle 16\times 5\times 5}$カーネルは48120個の学習可能なパラメータを持つ。
• F6:${\displaystyle 84}$C5に完全に接続されたユニット、学習可能なパラメータ、学習可能なパラメータ数は10164個。
• 出力：${\displaystyle 10}$10桁のクラスを表すユニット（RBF）は、F6に完全に接続されている。

各「サブサンプリング」層は厳密には平均プーリングではなく、学習可能なパラメータを持つ。具体的には、S2 の単一セルを考えてみよう。これは C1 の 4 つのセルを入力として受け取る。これらのセルには値があるとしよう。${\displaystyle x_{1},\dots ,x_{4}}$すると、S2 のセルには次の値があります。${\displaystyle \sigma \left(w\left(\sum _{i=1}^{4}x_{i}\right)+b\right)}$、 どこ${\displaystyle w,b\in \mathbb {R} }$は学習可能なパラメータであり、${\displaystyle \sigma }$これはシグモイド活性化関数であり、「ルカンのtanh」と呼ばれることもあります。これは双曲線正接活性化関数のスケーリング版です。${\displaystyle 1.7159\tanh(2x/3)}$区間をマッピングするように設計されている${\displaystyle [-1,+1]}$それ自体に、したがって「通常の動作条件」では全体的な利得が約 1 になることを保証し、${\displaystyle |f''(x)|}$最大となるのは${\displaystyle x=-1,+1}$これにより、トレーニング終了時の収束性が向上します。^{[ 12 ] [ 24 ]}

以下の表では、各列は、S2の6つの特徴マップのうち、C3の15の特徴マップのそれぞれのユニットによって組み合わされているものを示しています。

C5には出力形状がありますが${\displaystyle 120\times 1\times 1}$これは完全結合層ではありません。なぜなら、このネットワークは、入力形状が任意の高さと幅を持ち、${\displaystyle 1\times 32\times 32}$ネットワークがトレーニングされているデータよりも、C5 の出力形状は大きくなります。同様に、F6 の出力も大きくなります。${\displaystyle 84\times 1\times 1}$実際、現代の言葉で言えば、レイヤーF6は次のように表現するのが適切である。${\displaystyle 1\times 1}$畳み込み。^{[ 25 ]}

ネットワークの畳み込み部分の出力には84個のニューロンがありますが、これは偶然ではありません。84 = 7×12となるように設計されており、ネットワークの出力は7×12の小さなグレースケール画像として見ることができるからです。

出力層はRBFユニットで構成されており、RBFネットワークと同様です。10個のユニットそれぞれに84個のパラメータがあり、これらは手動で設計して固定することも、学習させることも可能です。手動で設計する場合、7×12のグレースケール画像として表示したときに、認識対象の数字のように見えるように設計されます。

1998年、LeNetはヘッセ行列の対角近似を用いた確率的レーベンバーグ・マルカート法で学習されました。MNISTデータセットで約20エポック学習されました。Silicon Graphics Origin 2000サーバー上で、 200MHzのR10000プロセッサ1基を使用して、CPU時間を2～3日要しました。 ^{[ 2 ]} 

2005年に「LeNet7」というモデルが言及されました。NYU Object Recognition Benchmark (NORB) でベンチマークテストを行ったところ、SVMよりも優れていることが示されました。90,857個の学習可能なパラメータと466万個の接続を持ち、1回の順伝播には3,896,920回の乗算加算が必要でした。1998年のLeNetと同じ方法で、約25万回のパラメータ更新で学習されました。^{[ 26 ] [ 27 ]}