フィードフォワードニューラルネットワーク

フィードフォワードニューラルネットワーク（FNN ）は、人工ニューラルネットワークの2つの大まかなタイプのうちの1つであり、層間の情報の流れの方向によって特徴付けられます。^[2]その流れは一方向であり、モデル内の情報は入力ノードから隠しノード（存在する場合）を通過して出力ノードへと一方向（順方向）にのみ流れ、サイクルやループはありません[ ^2]（双方向の流れを持つリカレントニューラルネットワーク[ ^{3]とは対照的です）。現代のフィードフォワードネットワークは}バックプロパゲーション^{[4] [5] [6] [7] [8]}を使用してトレーニングされ、俗に「バニラ」ニューラルネットワークと呼ばれています。^[9]

歴史的に一般的な2つの活性化関数はどちらもシグモイド関数であり、次のように記述されます。

${\displaystyle y(v_{i})=\tanh(v_{i})~~{\textrm {and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}}$。

1 つ目は-1 から 1 までの範囲の双曲正接で、もう 1 つは形状は似ていますが範囲が 0 から 1 のロジスティック関数です。ここで は番目のノード (ニューロン)の出力であり、 は入力接続の加重合計です。整流器関数やソフトプラス関数など、代替の活性化関数が提案されています。より特殊な活性化関数には、ラジアル基底関数(別のクラスの教師ありニューラル ネットワーク モデルである ラジアル基底ネットワークで使用される)があります。${\displaystyle y_{i}}$${\displaystyle i}$${\displaystyle v_{i}}$

最近のディープラーニングの発展では、シグモイドに関連する 数値問題を克服する方法の 1 つとして、ReLU (Rerectified Linear Unit) がより頻繁に使用されています。

学習は、各データが処理された後に、期待される結果と比較した出力のエラーの量に基づいて接続の重みを変更することによって行われます。これは教師あり学習の例であり、バックプロパゲーションを通じて実行されます。

番目のデータ ポイント (トレーニング例)の出力ノードにおけるエラーの度合いは で表すことができます。ここで、 はノード の 番目のデータ ポイントに対する望ましいターゲット値であり、 は番目のデータ ポイントが入力として与えられたときにノード で生成される値です。 ${\displaystyle j}$${\displaystyle n}$${\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$${\displaystyle d_{j}(n)}$${\displaystyle n}$${\displaystyle j}$${\displaystyle y_{j}(n)}$${\displaystyle j}$${\displaystyle n}$

ノードの重みは、次の式で与えられるデータポイント 全体の出力の誤差を最小化する補正に基づいて調整される。${\displaystyle n}$

${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{output node }}j}e_{j}^{2}(n)}$。

勾配降下法を用いると、各重みの変化は ${\displaystyle w_{ij}}$

${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$

ここで、は前のニューロン の出力、は学習率で、重みが振動することなく応答にすばやく収束するように選択されます。前の式では、 はニューロン の入力接続の加重和に応じた誤差の偏微分を表します。 ${\displaystyle y_{i}(n)}$${\displaystyle i}$${\displaystyle \eta }$${\displaystyle {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}}$${\displaystyle {\mathcal {E}}(n)}$${\displaystyle v_{j}(n)}$${\displaystyle i}$

計算される導関数は誘導された局所場に依存し、誘導された局所場自体も変化する。出力ノードに対してこの導関数が次のように簡略化できることは簡単に証明できる。 ${\displaystyle v_{j}}$

${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$

ここで、は上で説明した活性化関数の導関数であり、それ自体は変化しない。隠れノードへの重みの変化に対する分析はより困難であるが、関連する導関数は ${\displaystyle \phi ^{\prime }}$

${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)}$。

これは、出力層を表す番目のノードの重みの変化に依存します。したがって、隠れ層の重みを変更するには、出力層の重みが活性化関数の導関数に応じて変化し、このアルゴリズムは活性化関数のバックプロパゲーションを表します。^[10]${\displaystyle k}$

• 1800年頃、ルジャンドル（1805）とガウス（1795）は、線形活性化関数を持つ単一の重み層で構成される最も単純なフィードフォワードネットワークを作成しました。これは、平均二乗誤差を最小化する最小二乗法（線形回帰とも呼ばれます）によってトレーニングされました。ルジャンドルとガウスは、トレーニングデータから惑星の動きを予測するためにこれを使用しました。^{[11] [12] [13] [14] [15]}

• 1943年、ウォーレン・マカロックとウォルター・ピッツは、生物学的ニューラルネットワークの論理モデルとしてバイナリ人工ニューロンを提案した。 ^[16]
• 1958年、フランク・ローゼンブラットは、入力層、学習しないランダムな重みを持つ隠れ層、学習可能な接続を持つ出力層で構成される多層パーセプトロンモデルを提案しました。 ^[17] RDジョセフ（1960）^[18]は、さらに初期のパーセプトロンのようなデバイスについて言及しています。^[13]「MITリンカーン研究所のファーリーとクラークは、実際にはローゼンブラットより先にパーセプトロンのようなデバイスを開発していました。」しかし、「彼らはその主題を放棄しました。」

• 1960年にジョセフ^[18]も適応型隠れ層を持つ多層パーセプトロンについて議論した。ローゼンブラット(1962) ^{[19] ：第16節}ではこれらのアイデアを引用して採用し、HDブロックとBWナイトの研究も引用した。残念ながら、これらの初期の取り組みは、隠れユニットの実用的な学習アルゴリズム、つまりディープラーニングにはつながらなかった。

• 1965年、アレクセイ・グリゴレヴィッチ・イヴァクネンコとヴァレンティン・ラパは、任意の深さのニューラルネットワークを訓練する方法である、最初の実用的なディープラーニングアルゴリズムであるグループメソッドオブデータハンドリングを発表しました。 ^{[20] [21]}これは、回帰分析によるレイヤーごとのトレーニングに基づいています。余分な隠れユニットは、別の検証セットを使用して削除されます。ノードの活性化関数はコルモゴロフ-ガボール多項式であるため、これらは乗法ユニットまたは「ゲート」を備えた最初のディープネットワークでもありました。^[13]これは、1971年に8層のニューラルネットのトレーニングに使用されました。

• 1967年、天利俊一は確率的勾配降下法で訓練された最初の多層ニューラルネットワークを報告した^[22] 。このネットワークは非線形に分離可能なパターンクラスを分類することができた。天利の学生であった斎藤は、2つの学習層を持つ5層のフィードフォワードネットワークを使用してコンピュータ実験を行った^{[13] 。}

• 1970年、Seppo Linnainmaaは修士論文（1970）でバックプロパゲーションの現代版を発表しました。 ^{[23] [24] [13]} GM Ostrovskiらは1971年にそれを再出版しました。^{[25] [26]} Paul Werbosは1982年にバックプロパゲーションをニューラルネットワークに適用しました^{[7] [27]}（1994年の本に再版された彼の1974年の博士論文^[28]では、まだアルゴリズムは説明されていませんでした^[26]）。1986年、David E. Rumelhartらはバックプロパゲーションを普及させましたが、元の研究を引用していませんでした。^{[29] [8]}

• 2003年、ヨシュア・ベンジオと共著者らによる言語モデルへのディープラーニングの適用の成功により、バックプロパゲーションネットワークへの関心が再び高まりました。 ^[30]

閾値、つまり線形活性化関数を使用する場合、結果として得られる線形閾値ユニットはパーセプトロンと呼ばれます。（多くの場合、この用語はこれらのユニットの1つだけを示すために使用されます。）複数の並列非線形ユニットは、線形閾値関数を持つ単一ユニットの計算能力が限られているにもかかわらず、実数のコンパクトな区間から区間[-1,1]への任意の連続関数を近似することができます。 ^[31]

パーセプトロンは、通常デルタルールと呼ばれる単純な学習アルゴリズムによってトレーニングできます。このアルゴリズムは、計算された出力とサンプル出力データ間の誤差を計算し、これを使用して重みを調整することで、勾配降下法の一種を実装します。

多層パーセプトロン（MLP ）は、現代のフィードフォワード人工ニューラルネットワークの誤った名称であり、完全に接続されたニューロン（そのため、完全に接続されたネットワーク（FCN ）の同義語が使用されることもあります）で構成され、多くの場合、非線形の活性化関数を持ち、少なくとも3つの層で構成され、線形に分離できないデータを区別できることが特徴です。^[32]

他のフィードフォワード ネットワークの例としては、異なる活性化関数を使用する 畳み込みニューラル ネットワークやラジアル基底関数ネットワークなどがあります。

• ホップフィールドネットワーク
• フィードフォワード
• バックプロパゲーション
• Rprop

• フィードフォワードニューラルネットワークのチュートリアル
• フィードフォワードニューラルネットワーク: 例
• フィードフォワードニューラルネットワーク: 入門