フィードフォワードニューラルネットワーク

歴史的に一般的な2つの活性化関数はどちらもシグモイド関数であり、次のように記述されます。

$${\displaystyle y(v_{i})=\tanh(v_{i})~~{\text{および}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}.}$$

1つ目は-1から1の範囲をとる双曲線正接関数であり、もう1つは形状は似ているが0から1の範囲をとるロジスティック関数である。$\displaystyle y_i}}$は、${\displaystyle i}$-番目のノード（ニューロン）と${\displaystyle v_{i}}$は入力接続の加重和です。代替の活性化関数として、整流関数やソフトプラス関数などが提案されています。より特殊な活性化関数としては、放射基底関数（教師ありニューラルネットワークモデルの別のクラスである放射基底ネットワークで使用される）などがあります。

近年の深層学習の発展において、ReLU（整流線形ユニット）は、シグモイド関数に関連する数値的な問題を克服するための有効な手段の一つとして、より頻繁に用いられるようになっている。

学習は、各データ処理後に、出力における期待結果との誤差量に基づいて接続重みを変更することによって行われます。これは教師あり学習の一例であり、バックプロパゲーションによって実行されます。

出力ノードでエラーの度合いを表すことができます${\displaystyle j}$で${\displaystyle n}$- 番目のデータポイント（トレーニング例）${\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$、 どこ$d_j(n)$は、${\displaystyle n}$ノードにおける 番目のデータポイント${\displaystyle j}$、 そして${\displaystyle y_{j}(n)}$ノードで生成される値です${\displaystyle j}$その時${\displaystyle n}$番目のデータポイントが入力として与えられます。

ノードの重みは、全体の出力の誤差を最小化する補正に基づいて調整できます。${\displaystyle n}$次のデータポイント

$${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{出力ノード}}j}e_{j}^{2}(n).}$$

勾配降下法を用いると、各重みの変化は${\displaystyle w_{ij}}$は

$${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$$

どこ${\displaystyle y_{i}(n)}$これは前のニューロンの出力です${\displaystyle i}$、 そして${\displaystyle \eta }$は学習率であり、重みが振動することなく迅速に応答に収束するように選択されます。前の式では、${\displaystyle {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}}$は誤差の偏微分を表す$\displaystyle {\mathcal {E}}(n)}$加重合計によると${\displaystyle v_{j}(n)}$ニューロンの入力接続${\displaystyle i}$。

計算される導関数は、誘起された局所場に依存する。${\displaystyle v_{j}}$、それ自体も変化する。出力ノードの場合、この導関数は次のように単純化できることは容易に証明できる。

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$$

どこ${\displaystyle \phi ^{\prime }}$は、上記で説明した活性化関数の導関数であり、それ自体は変化しません。隠れノードへの重みの変化については分析がより困難ですが、関連する導関数は であることが示せます。

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)。$$

これは、${\displaystyle k}$は、出力層を表すノードです。隠れ層の重みを変更するには、活性化関数の導関数に従って出力層の重みを変更する必要があり、このアルゴリズムは活性化関数のバックプロパゲーションを表します。^{[ 10 ]}

• 1800 年頃、ルジャンドル(1805 年) とガウス(1795 年) は、線形活性化関数を持つ単一の重み層で構成される最も単純なフィードフォワードネットワークを作成しました。これは、平均二乗誤差を最小化する最小二乗法、つまり線形回帰によって学習されました。ルジャンドルとガウスは、これを学習データからの惑星の動きの予測に使用しました。^{[ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]}
• 1943年、ウォーレン・マカロックとウォルター・ピッツは、生物学的神経ネットワークの論理モデルとして二値人工ニューロンを提案した。 ^{[ 16 ]}
• 1958年、フランク・ローゼンブラットは、入力層、学習しないランダムな重みを持つ隠れ層、学習可能な接続を持つ出力層からなる多層パーセプトロンモデルを提案した。 ^{[ 17 ]} R.D.ジョセフ（1960）^{[ 18 ]}は、さらに以前のパーセプトロンに似たデバイスについて言及している。^{[ 13 ]}「MITリンカーン研究所のファーリーとクラークは、実際にはローゼンブラットよりも先にパーセプトロンに似たデバイスを開発していた。」しかし、「彼らはその話題を放棄した。」
• 1960年、Joseph ^{[ 18 ]}は適応型隠れ層を持つ多層パーセプトロンについても論じた。Rosenblatt (1962) ^{[ 19 ] :セクション 16}ではこれらのアイデアを引用して採用し、HD Block と BW Knight の研究にも言及している。残念ながら、これらの初期の取り組みは、隠れユニット、つまりディープラーニングのための実用的な学習アルゴリズムにはつながらなかった。
• 1965年、アレクセイ・グリゴリエヴィチ・イヴァフネンコとヴァレンティン・ラパは、任意の深さのニューラルネットワークをトレーニングする方法である、最初の実用的な深層学習アルゴリズムである「データ処理のグループ法」を発表しました。 ^{[ 20 ] [ 21 ]}これは、回帰分析による層ごとのトレーニングに基づいています。余分な隠れユニットは、別の検証セットを使用して剪定されます。ノードの活性化関数はコルモゴロフ・ガボール多項式であるため、これらは乗算ユニットまたは「ゲート」を備えた最初の深層ネットワークでもありました。^{[ 13 ]}これは、1971年に8層のニューラルネットワークをトレーニングするために使用されました。
• 1967年、甘利俊一は^{[ 22 ]} 、非線形分離可能なパターンクラスを分類できる確率的勾配降下法で学習された最初の多層ニューラルネットワークを報告した。甘利の教え子である斎藤は、2つの学習層を持つ5層のフィードフォワードネットワークを使用してコンピュータ実験を行った。^{[ 13 ]}
• 1970 年、セッポ・リンナイマーは修士論文 (1970 年) でバックプロパゲーションの現代的な形式を発表しました。^{[ 23 ] [ 24 ] [ 13 ]} GM オストロフスキーらは 1971 年にそれを再出版しました。^{[ 25 ] [ 26 ]}ポール・ヴェルボスは1982 年にバックプロパゲーションをニューラルネットワークに適用しました^{[ 7 ] [ 27 ]} (1974 年の博士論文は 1994 年の書籍に再録されましたが^{[ 28 ]} 、まだアルゴリズムについては記述されていませんでした^{[ 26 ]} )。1986 年、デイビッド・E・ルーメルハートらはバックプロパゲーションを普及させましたが、元の研究を引用しませんでした。^{[ 29 ] [ 8 ]}
• 2003年、ヨシュア・ベンジオとその共著者らが言語モデリングにディープラーニングを適用して成功を収めたことにより、バックプロパゲーションネットワークへの関心が再び高まった。 ^{[ 30 ]}

閾値、すなわち線形活性化関数を使用する場合、結果として得られる線形閾値ユニットはパーセプトロンと呼ばれます。（多くの場合、この用語はこれらのユニットの 1 つだけを指すために使用されます。）複数の並列非線形ユニットは、線形閾値関数を持つ単一ユニットの限られた計算能力にもかかわらず、実数のコンパクトな区間から区間 [−1,1] への任意の連続関数を近似することができます。 ^{[ 31 ]}

パーセプトロンは、デルタルールと呼ばれる単純な学習アルゴリズムによって学習させることができます。このアルゴリズムは、計算された出力とサンプル出力データとの間の誤差を計算し、それを用いて重みを調整することで、勾配降下法の一種を実現します。

多層パーセプトロン（MLP）は、完全に接続されたニューロン（そのため、完全接続ネットワーク（FCN ）という同義語が使われることもある）で構成され、多くの場合非線形の活性化関数を持ち、少なくとも3つの層に組織化され、線形分離できないデータを区別できることで知られる、現代のフィードフォワード人工ニューラルネットワークの誤称である。^{[ 32 ]}