リカレントニューラルネットワーク

リカレントニューラルネットワーク（RNN ）は、シーケンシャルデータ処理によく使用される人工ニューラルネットワークの一種です。フィードフォワードニューラルネットワークが単一のパスでデータを処理するのとは異なり、RNNは複数の時間ステップにわたってデータを処理するため、テキスト、音声、時系列のモデリングと処理に適しています。^[1]

RNN の構成要素は、再帰ユニットです。このユニットは、基本的にメモリの形式である隠れ状態を維持し、現在の入力と以前の隠れ状態に基づいて各タイム ステップで更新されます。このフィードバック ループにより、ネットワークは過去の入力から学習し、その知識を現在の処理に組み込むことができます。

初期の RNN は勾配消失問題に悩まされており、長距離依存性を学習する能力が制限されていました。この問題は1997 年にLong Short-Term Memory (LSTM) バリアントによって解決され、RNN の標準アーキテクチャとなりました。

RNNは、セグメント化されていない連続した手書き認識、^[2]、 音声認識、^{[3] [4]、} 自然言語処理、ニューラル機械翻訳などのタスクに適用されています。^{[5] [6]}

RNN の起源の 1 つは神経科学です。「回帰」という言葉は、解剖学でループ状の構造を表すために使用されます。1901 年、カハールは小脳皮質で平行繊維、プルキンエ細胞、顆粒細胞によって形成された「回帰性半円」を観察しました。^{[7] [8]} 1933 年、ロレンテ・デ・ノはゴルジ法によって「回帰性相互接続」を発見し、興奮性ループが前庭眼反射の特定の側面を説明することを提案しました。^{[9] [10]} 1940 年代には、複数の人が脳内のフィードバックの存在を提唱しましたが、これは神経系が純粋にフィードフォワード構造であるという以前の理解とは対照的でした。ヘブは短期記憶の説明として「反響回路」を検討しました。^[11] McCullochとPittsの論文（1943年）は、McCulloch-Pittsニューロンモデルを提案し、サイクルを含むネットワークを検討しました。このようなネットワークの現在の活動は、無限に過去の活動によって影響を受ける可能性があります。^{[12]彼らは両方とも、}てんかんやカウザルギーなどの可能性のある説明として閉ループに興味を持っていました。^{[13] [14]} 再帰性抑制は、1946年に運動制御における負のフィードバックメカニズムとして提案されました。神経フィードバックループは、メイシー会議でよく議論されたトピックでした。^{[15]神経科学における再帰型ニューラルネットワークモデルの広範なレビューについては、 [16]}を参照してください。

フランク・ローゼンブラットは1960年に「閉ループ相互結合パーセプトロン」を発表しました。これは3層のパーセプトロンネットワークで、中間層にはヘブ学習則によって変化する再帰接続が含まれています。^{[18] : 73–75}その後、彼は「神経力学の原理」（1961年）で「閉ループ相互結合」および「逆結合」パーセプトロンネットワークについて説明し、これらのネットワークにおけるヘブ学習の理論的および実験的研究を行いました。^{[17] : 第19章、21節}で、完全に相互結合されたパーセプトロンネットワークは無限に深いフィードフォワードネットワークと同等であると指摘しました。^{[17] : 第19.11節}

^{同様のネットワークは、1971年に中野薫[19] [20]}、1972年に甘利俊一^[21] 、 1974年にウィリアム・A・リトル [de]によって発表され、 ^[22]ホップフィールドの1982年の論文でも認められている。

RNNのもう一つの起源は統計力学です。イジングモデルは、 1920年代にヴィルヘルム・レンツ^[23]とエルンスト・イジング^[24]によって、平衡状態にある磁石の単純な統計力学モデルとして開発されました^{[25] 。}グラウバーは1963年に、時間の要素を加えて、時間とともに進化するイジングモデルを平衡に向かうプロセス（グラウバーダイナミクス）として研究しました^{[26] 。}

1975年に発表されたスピングラスのシェリントン・カークパトリックモデル^[27]は、ランダム初期化のホップフィールドネットワークである。シェリントンとカークパトリックは、SKモデルのエネルギー関数が多くの局所最小値を持つ可能性が高いことを発見した。1982年の論文で、ホップフィールドはこの最近開発された理論を適用して、バイナリ活性化関数を持つホップフィールドネットワークを研究した。^[28] 1984年の論文では、彼はこれを連続活性化関数に拡張した。^[29]これは、統計力学によるニューラルネットワークの研究の標準モデルとなった。^{[30] [31]}

現代のRNNネットワークは主にLSTMとBRNNという2つのアーキテクチャに基づいています。^[32]

1980年代にニューラルネットワークが復活すると、リカレントネットワークが再び研究されました。これらは「反復ネットワーク」と呼ばれることもありました。^[33]初期の影響力のある2つの研究は、ジョーダンネットワーク（1986年）とエルマンネットワーク（1990年）で、認知心理学の研究にRNNを適用しました。1993年には、ニューラル履歴圧縮システムが、時間的に展開されたRNNで1000を超える後続のレイヤーを必要とする「非常に深い学習」タスクを解決しました。 ^[34]

長短期記憶（LSTM）ネットワークは、1995年にHochreiterとSchmidhuberによって発明され、複数のアプリケーション領域で精度記録を樹立しました。^{[35] [36]}これはRNNアーキテクチャのデフォルトの選択肢となりました。

双方向リカレントニューラルネットワーク（BRNN）は、同じ入力を反対方向に処理する2つのRNNを使用します。^[37]これら2つはしばしば組み合わされ、双方向LSTMアーキテクチャを形成します。

2006年頃、双方向LSTMは音声認識に革命を起こし始め、特定の音声アプリケーションで従来のモデルを上回りました。^{[38] [39]}また、大語彙音声認識^{[3] [4]}とテキスト音声合成^{[40]も改善され、} Google音声検索やAndroidデバイスのディクテーションに使用されました。^[41]機械翻訳、^[42] 言語モデル^[43]および多言語言語処理^[44]の改善の記録を破りました。また、LSTMを畳み込みニューラルネットワーク（CNN）と組み合わせることで、自動画像キャプション作成が改善されました。^[45]

エンコーダー-デコーダーシーケンス変換のアイデアは、2010年代初頭に開発されました。seq2seqを生み出した創始者として最もよく引用される論文は、2014年の2つの論文です。^{[46] [47]} seq2seqアーキテクチャは、機械翻訳などのシーケンス変換に、2つのRNN（通常はLSTM）、「エンコーダー」と「デコーダー」を使用します。これらは機械翻訳の最先端技術となり、アテンションメカニズムとTransformerの開発に役立ちました。

RNN ベースのモデルは、構成とアーキテクチャの 2 つの部分に分けられます。複数の RNN をデータ フローに組み合わせることができ、データ フロー自体が構成になります。各 RNN 自体には、LSTM、GRU など、任意のアーキテクチャを設定できます。

RNNには多くの種類があります。抽象的に言えば、RNNは型の関数であり、 ${\displaystyle f_{\theta }}$${\displaystyle (x_{t},h_{t})\mapsto (y_{t},h_{t+1})}$

• ${\displaystyle x_{t}}$: 入力ベクトル;
• ${\displaystyle h_{t}}$: 隠しベクトル;
• ${\displaystyle y_{t}}$: 出力ベクトル;
• ${\displaystyle \theta }$: ニューラルネットワークパラメータ。

言葉で言えば、これは入力を出力にマッピングするニューラル ネットワークであり、隠れたベクトルは「メモリ」の役割を果たします。これは、以前のすべての入力と出力のペアの部分的な記録です。各ステップで、入力を出力に変換し、将来の処理をより適切に実行できるように「メモリ」を変更します。 ${\displaystyle x_{t}}$${\displaystyle y_{t}}$${\displaystyle h_{t}}$

実際のニューラル ネットワーク トポロジーは「レイヤー」で構成されていることが多く、この図もそのように見えるため、右の図は多くの人を誤解させる可能性があります。ただし、レイヤーのように見えるものは、実際には、レイヤーの外観を生み出すために「展開」された、時間の経過に伴うさまざまなステップです。

スタック型RNN、またはディープRNNは、複数のRNNを積み重ねて構成されます。抽象的には、次のように構成されます。

1. レイヤー 1 には、非表示のベクトル、パラメーター、およびマップがあります。${\displaystyle h_{1,t}}$${\displaystyle \theta _{1}}$${\displaystyle f_{\theta _{1}}:(x_{0,t},h_{1,t})\mapsto (x_{1,t},h_{1,t+1})}$
2. レイヤー 2 には、非表示のベクトル、パラメーター、およびマップがあります。${\displaystyle h_{2,t}}$${\displaystyle \theta _{2}}$${\displaystyle f_{\theta _{2}}:(x_{1,t},h_{2,t})\mapsto (x_{2,t},h_{2,t+1})}$
3. ...
4. レイヤーには非表示のベクター、パラメーター、マップがあります。${\displaystyle n}$${\displaystyle h_{n,t}}$${\displaystyle \theta _{n}}$${\displaystyle f_{\theta _{n}}:(x_{n-1,t},h_{n,t})\mapsto (x_{n,t},h_{n,t+1})}$

各層はスタンドアロンの RNN として動作し、各層の出力シーケンスは上位層の入力シーケンスとして使用されます。スタックされた RNN の深さには概念的な制限はありません。

双方向 RNN ( biRNN) は 2 つの RNN で構成され、1 つは入力シーケンスを一方向に処理し、もう 1 つは反対方向に処理します。抽象的には、次のように構成されます。

• 順方向 RNN は一方向に処理します。$${\displaystyle f_{\theta }(x_{0},h_{0})=(y_{0},h_{1}),f_{\theta }(x_{1},h_{1})=(y_{1},h_{2}),\dots }$$
• 後方 RNN は反対方向に処理します。$${\displaystyle f'_{\theta '}(x_{N},h_{N}')=(y'_{N},h_{N-1}'),f'_{\theta '}(x_{N-1},h_{N-1}')=(y'_{N-1},h_{N-2}'),\dots }$$

次に、2 つの出力シーケンスを連結して合計出力を生成します。 ${\displaystyle ((y_{0},y_{0}'),(y_{1},y_{1}'),\dots ,(y_{N},y_{N}'))}$

双方向RNNにより、モデルはトークンをその前にあったものと後にあったものの両方の文脈で処理することができます。複数の双方向RNNを積み重ねることで、モデルはトークンをより文脈的に処理することができます。ELMoモデル（ 2018）^[48]は、文字レベルを入力として受け取り、単語レベルの埋め込みを生成する、積み重ねられた双方向LSTMです。

2つのRNNをエンコーダー・デコーダー構成 で前後に実行することができます。エンコーダーRNNは入力シーケンスを隠しベクトルのシーケンスに処理し、デコーダーRNNは隠しベクトルのシーケンスを出力シーケンスに処理します。オプションのアテンションメカニズムを使用します。これは、2014年から2017年にかけて最先端のニューラル機械翻訳機を構築するために使用されました。これは、 Transformersの開発に向けた重要なステップでした。^[49]

RNNは、1次元以上のデータを処理することができます。PixelRNNは、多くの方向が可能な2次元データを処理します。^[50]たとえば、行ごとの方向では、ベクトルのグリッドを次の順序で処理します。対角BiLSTMは、 2つのLSTMを使用して同じグリッドを処理します。1つは左上隅から右下に向かって処理し、上部と左側の非表示状態とセル状態に応じて処理します。そして。もう1つは、右上隅から左下に向かって処理します。 ${\displaystyle n\times n}$${\displaystyle x_{i,j}}$$${\displaystyle x_{1,1},x_{1,2},\dots ,x_{1,n},x_{2,1},x_{2,2},\dots ,x_{2,n},\dots ,x_{n,n}}$$${\displaystyle x_{i,j}}$${\displaystyle h_{i-1,j},c_{i-1,j}}$${\displaystyle h_{i,j-1},c_{i,j-1}}$

完全再帰型ニューラル ネットワーク(FRNN) は、すべてのニューロンの出力をすべてのニューロンの入力に接続します。言い換えれば、完全に接続されたネットワークです。これは最も一般的なニューラル ネットワーク トポロジです。これは、一部の接続重みをゼロに設定してニューロン間の接続がないことをシミュレートすることで、他のすべてのトポロジを表現できるためです。

ホップフィールド ネットワークは、すべての層間の接続が同じサイズである RNN です。定常入力を必要とし、パターンのシーケンスを処理しないため、一般的な RNN ではありません。ただし、収束することが保証されます。接続がヘブビアン学習を使用してトレーニングされている場合、ホップフィールド ネットワークは、接続の変更に耐性のある堅牢な コンテンツ アドレス可能メモリとして機能します。

エルマンネットワークは、一連のコンテキストユニット（図のu ）が追加された3層ネットワーク（図ではx、y、zとして水平に配置）です。中間の（隠れた）層は、重み1で固定されたこれらのコンテキストユニットに接続されています。^[51]各タイムステップで、入力がフィードフォワードされ、学習ルールが適用されます。固定されたバック接続は、コンテキストユニット内の隠れユニットの以前の値のコピーを保存します（学習ルールが適用される前に、接続を介して伝播するため）。したがって、ネットワークは一種の状態を維持できるため、標準的な多層パーセプトロンの能力を超えたシーケンス予測などのタスクを実行できます。

ジョーダンネットワークはエルマンネットワークに似ています。コンテキストユニットは隠れ層ではなく出力層から供給されます。ジョーダンネットワークのコンテキストユニットは状態層とも呼ばれます。それらは自分自身に再帰的な接続を持っています。 ^[51]

Elman ネットワークと Jordan ネットワークは、「単純再帰ネットワーク」(SRN) とも呼ばれます。

エルマンネットワーク^[52]

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}$

ジョーダンネットワーク^[53]

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}s_{t}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\\s_{t}&=\sigma _{s}(W_{s,s}s_{t-1}+W_{s,y}y_{t-1}+b_{s})\end{aligned}}}$

変数と関数

• ${\displaystyle x_{t}}$: 入力ベクトル
• ${\displaystyle h_{t}}$: 隠れ層ベクトル
• ${\displaystyle s_{t}}$: 「状態」ベクトル、
• ${\displaystyle y_{t}}$: 出力ベクトル
• ${\displaystyle W}$、および：パラメータ行列とベクトル${\displaystyle U}$${\displaystyle b}$
• ${\displaystyle \sigma }$:活性化関数

長短期記憶（LSTM）は、最も広く使用されているRNNアーキテクチャです。消失勾配問題を解決するために設計されました。LSTMは通常、「忘却ゲート」と呼ばれる再帰ゲートによって拡張されます。^[54] LSTMは、バックプロパゲーションされたエラーが消失または爆発するのを防ぎます。^[55]代わりに、エラーは空間に展開された無制限の数の仮想レイヤーを逆方向に流れることができます。つまり、LSTMは、数千または数百万の離散時間ステップ前に発生したイベントの記憶を必要とするタスクを学習できます。問題固有のLSTMのようなトポロジーを進化させることができます。^[56] LSTMは、重要なイベント間の長い遅延があっても機能し、低周波成分と高周波成分が混在する信号を処理できます。

多くのアプリケーションではLSTMのスタックが使用されており、^{[57]これは「ディープLSTM」と呼ばれています。LSTMは、}隠れマルコフモデル（HMM）や同様の概念に基づく以前のモデルとは異なり、文脈依存の言語を認識するように学習できます。^[58]

2014年に導入されたゲート型回帰ユニット（GRU）は、LSTMの簡略化として設計されました。これらは完全な形式といくつかのさらに簡略化された変種で使用されています。^{[59] [60]}出力ゲートがないため、LSTMよりもパラメータが少なくなっています。^[61]

ポリフォニック音楽モデリングと音声信号モデリングにおけるパフォーマンスは、長期短期記憶の場合と類似していることが判明した。^[62] LSTMとGRUの間には特にパフォーマンスの違いはないようだ。^{[62] [63]}

バート・コスコ^[64]によって導入された双方向連想記憶（BAM）ネットワークは、ホップフィールドネットワークの変形であり、連想データをベクトルとして保存します。双方向性は、情報を行列とその転置を介して渡すことから生まれます。通常、連想ペアのバイナリエンコードよりもバイポーラエンコードが好まれます。最近、マルコフステップを使用した確率的BAMモデルが最適化され、ネットワークの安定性と実際のアプリケーションへの関連性が向上しました。^[65]

BAMネットワークには2つの層があり、どちらかを入力として駆動することで関連付けを思い出し、もう一方の層に出力を生成することができます。^[66]

エコーステートネットワーク（ESN）は、疎に接続されたランダムな隠れ層を持っています。出力ニューロンの重みは、ネットワークの中で変更（トレーニング）できる唯一の部分です。ESNは、特定の時系列を再現するのに優れています。 ^[67]スパイクニューロンの変種は、液体状態マシンとして知られています。 ^[68]

再帰ニューラルネットワーク[ ^69]は、微分可能なグラフのような構造を位相順序でトラバースすることにより、同じ重みセットを再帰的に適用することによって作成されます。このようなネットワークは通常、自動微分化の逆モードでもトレーニングされます。^{[70] [71]}これらは、論理用語などの構造の分散表現を処理できます。再帰ニューラルネットワークの特殊なケースは、構造が線形チェーンに対応する RNN です。再帰ニューラルネットワークは自然言語処理に適用されています。^[72]再帰ニューラルテンソルネットワークは、ツリー内のすべてのノードにテンソルベースの構成関数を使用します。 ^[73]

ニューラルチューリングマシン（NTM）は、リカレントニューラルネットワークを、相互作用する外部メモリリソースに結合することによって拡張する方法である。この結合システムはチューリングマシンやフォンノイマンアーキテクチャに類似しているが、エンドツーエンドで微分可能であるため、勾配降下法で効率的にトレーニングすることができる。^[74]

微分可能ニューラルコンピュータ（DNC）はニューラルチューリングマシンの拡張であり、各メモリアドレスのあいまいな量と時系列の記録の使用を可能にします。^[75]

ニューラルネットワークプッシュダウンオートマトン（NNPDA）はNTMに似ていますが、テープが微分可能でトレーニングされたアナログスタックに置き換えられています。このように、複雑さの点で文脈自由文法（CFG）の認識装置に似ています。^[76]

リカレントニューラルネットワークはチューリング完全であり、任意のプログラムを実行して任意の入力シーケンスを処理できます。^[77]

RNN は、シーケンスの条件付き生成モデル、つまり自己回帰にトレーニングすることができます。

具体的には、機械翻訳の問題、つまり英語の単語のシーケンスが与えられたときに、モデルがフランス語の単語のシーケンスを生成するという問題を考えてみましょう。これはseq2seqモデルによって解決されます。 ${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$${\displaystyle (y_{1},\dots ,y_{m})}$

さて、トレーニング中、モデルのエンコーダー側は最初に を取り込み、次にデコーダー側がシーケンス の生成を開始します。問題は、モデルが早い段階で、たとえば で間違いを犯した場合、後続のトークンも間違いになる可能性が高いことです。これにより、モデルが学習信号を取得するのが非効率的になります。これは、モデルが にシフトすることを主に学習しますが、他の方向にはシフトしないことになるためです。 ${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$${\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\dots ,{\hat {y}}_{l})}$${\displaystyle {\hat {y}}_{2}}$${\displaystyle {\hat {y}}_{2}}$${\displaystyle y_{2}}$

教師の強制により、デコーダーは正しい出力シーケンスを使用してシーケンスの次のエントリを生成するようになります。たとえば、を生成するには を参照します。 ${\displaystyle (y_{1},\dots ,y_{k})}$${\displaystyle {\hat {y}}_{k+1}}$

勾配降下法は、関数の最小値を見つけるための1 次 反復最適化 アルゴリズムです。ニューラル ネットワークでは、非線形活性化 関数が微分可能であることを前提として、各重みをその重みに対する誤差の導関数に比例して変更することで、誤差項を最小化するために使用できます。

勾配降下法によるRNNのトレーニングの標準的な方法は、「時間による逆伝播」（BPTT）アルゴリズムであり、これは逆伝播の一般的なアルゴリズムの特殊なケースです。より計算コストの高いオンラインバリアントは「リアルタイム再帰学習」またはRTRLと呼ばれ、^{[78] [79]は、スタックされた接線ベクトルを使用した順方向累積モードでの}自動微分の例です。BPTTとは異なり、このアルゴリズムは時間的にはローカルですが、空間的にはローカルではありません。

この文脈では、空間的にローカルとは、ユニットの重みベクトルは、接続されたユニットとユニット自体に格納されている情報のみを使用して更新できるため、単一のユニットの更新の複雑さは重みベクトルの次元に線形であることを意味します。時間的にローカルとは、更新が継続的に（オンラインで）行われ、BPTTのように特定の時間範囲内の複数の時間ステップではなく、最新の時間ステップのみに依存することを意味します。生物学的ニューラルネットワークは、時間と空間の両方に関してローカルであるように見えます。^{[80] [81]}

再帰的に偏微分を計算する場合、RTRLはヤコビ行列を計算するために時間ステップごとにO(隠れ行列の数x重みの数)の時間計算量が必要ですが、BPTTは時間ステップごとにO(重みの数)しかかかりませんが、指定された時間範囲内のすべての順方向活性化を格納するというコストがかかります。^[82] BPTTとRTRLの中間の計算量を持つオンラインハイブリッドが存在し、^{[83] [84]}連続時間用の変種とともに存在します。^[85]

標準的なRNNアーキテクチャの勾配降下法の主な問題は、重要なイベント間のタイムラグの大きさに応じて誤差勾配が指数関数的に急速に消失することです。 ^{[55] [86]} BPTT/RTRLハイブリッド学習法と組み合わせたLSTMは、これらの問題を克服しようとします。^[36]この問題は、独立再帰型ニューラルネットワーク（IndRNN）^[87]でも、ニューロンのコンテキストをそれ自身の過去の状態に減らすことで解決され、その後、ニューロン間の情報を次の層で探索できます。長期記憶を含むさまざまな範囲の記憶を、勾配消失および勾配爆発の問題なしに学習できます。

因果再帰バックプロパゲーション（CRBP）と呼ばれるオンラインアルゴリズムは、局所再帰ネットワークのBPTTとRTRLパラダイムを実装して組み合わせます。^[88]これは最も一般的な局所再帰ネットワークで機能します。CRBPアルゴリズムは、グローバルエラー項を最小限に抑えることができます。この事実はアルゴリズムの安定性を向上させ、ローカルフィードバックを備えた再帰ネットワークの勾配計算手法の統一的な見方を提供します。

任意のアーキテクチャを持つRNNにおける勾配情報計算の1つのアプローチは、信号フローグラフの図式的導出に基づいています。^[89]これは、ネットワーク感度計算のためのLeeの定理に基づくBPTTバッチアルゴリズムを使用します。^[90]これはWanとBeaufaysによって提案され、その高速オンラインバージョンはCampolucci、Uncini、およびPiazzaによって提案されました。^[90]

コネクショニスト時間分類（CTC）^[91]は、タイミングが可変であるシーケンスモデリング問題のためのRNNのトレーニングに特化した損失関数です。^[92]

ニューラル ネットワークの重みのトレーニングは、非線形グローバル最適化問題としてモデル化できます。次のように、特定の重みベクトルの適合性またはエラーを評価するためのターゲット関数を作成できます。まず、ネットワークの重みが重みベクトルに従って設定されます。次に、ネットワークがトレーニング シーケンスに対して評価されます。通常、予測値とトレーニング シーケンスで指定されたターゲット値との差の二乗和を使用して、現在の重みベクトルのエラーを表します。次に、任意のグローバル最適化手法を使用して、このターゲット関数を最小化できます。

RNNを訓練するための最も一般的なグローバル最適化手法は遺伝的アルゴリズムであり、特に非構造化ネットワークではそれが顕著である。^{[93] [94] [95]}

最初に、遺伝的アルゴリズムは、染色体内の 1 つの遺伝子が 1 つの重みリンクを表すという定義済みの方法でニューラル ネットワークの重みを使用してエンコードされます。ネットワーク全体は単一の染色体として表されます。適合関数は次のように評価されます。

• 染色体にエンコードされた各重みは、ネットワークのそれぞれの重みリンクに割り当てられます。
• トレーニング セットはネットワークに提示され、ネットワークは入力信号を前方に伝播します。
• 平均二乗誤差が適応度関数に返されます。
• この機能は遺伝的選択プロセスを推進します。

集団は多数の染色体で構成されているため、停止基準が満たされるまで、さまざまなニューラル ネットワークが進化します。一般的な停止スキームは次のとおりです。

• ニューラルネットワークがトレーニングデータの一定の割合を学習すると、
• 平均二乗誤差の最小値が満たされるか、
• トレーニング世代の最大数に達したとき。

適応度関数は、トレーニング中に各ネットワークから平均二乗誤差の逆数を受け取り、停止基準を評価します。したがって、遺伝的アルゴリズムの目標は、適応度関数を最大化し、平均二乗誤差を減らすことです。

シミュレーテッドアニーリングや粒子群最適化など、他のグローバル（および/または進化的）最適化手法を使用して、適切な重みセットを探すこともできます。

独立再帰型ニューラルネットワーク（IndRNN）^[87]は、従来の完全接続型RNNにおける勾配消失および勾配爆発の問題を解決します。1つの層の各ニューロンは、コンテキスト情報として自身の過去の状態のみを受け取ります（この層の他のすべてのニューロンへの完全な接続ではなく）。そのため、ニューロンは互いの履歴から独立しています。勾配バックプロパゲーションは、長期または短期の記憶を保持するために勾配消失および勾配爆発を回避するように調整できます。ニューロン間の情報は、次の層で探索されます。IndRNNは、ReLUなどの飽和していない非線形関数を使用して堅牢にトレーニングできます。ディープネットワークは、スキップ接続を使用してトレーニングできます。

ニューラル履歴コンプレッサーは、教師なしのRNNスタックです。^[96]入力レベルでは、以前の入力から次の入力を予測することを学習します。階層内の一部のRNNの予測不可能な入力のみが、次の上位レベルのRNNへの入力となり、したがって、その内部状態が再計算されることはほとんどありません。したがって、各上位レベルのRNNは、下位のRNNの情報の圧縮表現を学習します。これは、入力シーケンスが最高レベルの表現から正確に再構築できるように行われます。

このシステムは、記述長またはデータの確率の負の対数を効果的に最小化します。 ^[97]入力データシーケンスに多くの学習可能な予測可能性が与えられれば、最高レベルのRNNは教師あり学習を使用して、重要なイベント間の間隔が長い深いシーケンスでも簡単に分類できます。

RNN 階層を 2 つの RNN に分けることができます。「意識的な」チャンカー (高レベル) と「潜在意識的な」オートマタイザー (低レベル) です。^[96]チャンカーがオートマタイザーが予測できない入力を予測して圧縮することを学習すると、次の学習フェーズでオートマタイザーは、よりゆっくりと変化するチャンカーの隠れユニットを、追加のユニットを通じて予測または模倣するように強制できます。これにより、オートマタイザーは、長期間にわたって適切でめったに変化しないメモリを学習しやすくなります。その結果、オートマタイザーは、以前は予測不可能だった入力の多くを予測可能にすることができ、チャンカーは残りの予測不可能なイベントに集中できるようになります。^[96]

生成モデルは1992年にニューラルネットワークにおける自動微分または逆伝播の勾配消失問題^[55]を部分的に克服した。1993年には、そのようなシステムが時間的に展開されるRNNで1000以上の後続レイヤーを必要とする「非常に深い学習」タスクを解決した。^[34]

2次RNNは標準の重みの代わりに高次の重みを使用し、状態は積になることができます。これにより、トレーニング、安定性、表現のいずれにおいても有限状態マシンへの直接マッピングが可能になります。 ^{[98] [99]}長期短期記憶はその一例ですが、そのような正式なマッピングや安定性の証明はありません。 ${\displaystyle w{}_{ijk}}$${\displaystyle w{}_{ij}}$

階層的再帰型ニューラルネットワーク（HRNN）は、ニューロンをさまざまな方法で接続して、階層的な動作を有用なサブプログラムに分解します。^{[96] [100]このような階層的な認知構造は、哲学者}アンリ・ベルクソンが提示した記憶理論に存在し、ベルクソンの哲学的見解は階層モデルに影響を与えました。^[101]

階層的リカレントニューラルネットワークは予測に役立ち、消費者物価指数（CPI）の細分化されたインフレ要素を予測するのに役立ちます。HRNNモデルは、CPI階層の上位レベルの情報を活用して、下位レベルの予測を強化します。米国のCPI-U指数からの大規模なデータセットの評価では、確立されたさまざまなインフレ予測方法と比較して、HRNNモデルの優れたパフォーマンスが実証されています。^[102]

一般的に、再帰型多層パーセプトロンネットワーク（RMLPネットワーク）は、それぞれが複数のノード層を含むカスケードサブネットワークで構成されています。各サブネットワークは、フィードバック接続を持つことができる最後の層を除いてフィードフォワードです。これらの各サブネットは、フィードフォワード接続のみで接続されています。^[103]

マルチタイムスケールリカレントニューラルネットワーク（MTRNN）は、ニューロン間の空間接続と、それぞれが異なる時間特性を持つ異なるタイプのニューロン活動に応じて自己組織化することで、脳の機能階層をシミュレートできるニューラルベースの計算モデルです。^{[104] [105]}このような多様なニューロン活動により、任意の一連の動作の連続シーケンスが再利用可能なプリミティブに分割され、それがさまざまな連続動作に柔軟に統合されます。このようなタイプの階層の生物学的承認は、ホーキンスの著書『知性について』の脳機能の記憶予測理論で議論されました。^{[要出典]このような階層は、哲学者}アンリ・ベルクソンが提唱した記憶の理論とも一致しており、MTRNNモデルに組み込まれています。^{[101] [106]}

HP Labsの Greg Snider は、メモリスティブナノデバイスを使用した皮質コンピューティングのシステムについて説明しています。^[107]メモリスタ(メモリ抵抗器)は薄膜材料で実装され、薄膜内のイオンまたは酸素空孔の輸送によって抵抗が電気的に調整されます。DARPAのSyNAPSE プロジェクトは、 IBM Research と HP Labs に資金を提供し、ボストン大学認知神経システム学部 (CNS) と共同で、メモリスティブシステムに基づく可能性のあるニューロモルフィックアーキテクチャを開発しています。 メモリスティブネットワークは、連続ダイナミクス、限られたメモリ容量、およびIsing モデルに漸近する関数の最小化による自然な緩和を備えているため、(リトル)ホップフィールドネットワークと非常によく似た特性を持つ特定の種類の物理ニューラルネットワークです。 この意味で、メモリスティブ回路のダイナミクスは、抵抗器-コンデンサネットワークと比較して、より興味深い非線形動作を持つという利点があります。この観点から、アナログメモリスティブネットワークのエンジニアリングは、デバイスの動作が回路の配線やトポロジーに依存するという特殊なタイプのニューロモルフィックエンジニアリングを説明します。これらのネットワークの進化は、カラヴェッリ-トラヴェルサ-ディヴェントラ方程式のバリエーションを使用して解析的に研究することができます。^[108]

連続時間リカレントニューラルネットワーク（CTRNN）は、常微分方程式のシステムを使用して、入力がニューロンに与える影響をモデル化します。これらは通常、動的システム理論によって分析されます。神経科学における多くのRNNモデルは連続時間です。^[16]

活性化を持つネットワーク内のニューロンの場合、活性化の変化率は次のように表されます。 ${\displaystyle i}$${\displaystyle y_{i}}$

${\displaystyle \tau _{i}{\dot {y}}_{i}=-y_{i}+\sum _{j=1}^{n}w_{ji}\sigma (y_{j}-\Theta _{j})+I_{i}(t)}$

どこ：

• ${\displaystyle \tau _{i}}$ :シナプス後節の時定数
• ${\displaystyle y_{i}}$ : シナプス後節の活性化
• ${\displaystyle {\dot {y}}_{i}}$ : シナプス後節の活性化の変化率
• ${\displaystyle w{}_{ji}}$ : シナプス前節からシナプス後節への接続の重み
• ${\displaystyle \sigma (x)}$ : x のシグモイド、例: 。${\displaystyle \sigma (x)=1/(1+e^{-x})}$
• ${\displaystyle y_{j}}$ : シナプス前節の活性化
• ${\displaystyle \Theta _{j}}$ : シナプス前節の偏り
• ${\displaystyle I_{i}(t)}$ : ノードへの入力（ある場合）

CTRNNは進化型ロボットに応用されており、視覚^[109]、協調^[110]、最小限の認知行動^[111]に対処するために使用されています。

シャノンのサンプリング定理によれば、離散時間リカレントニューラルネットワークは、微分方程式が同等の差分方程式に変換された連続時間リカレントニューラルネットワークと見なすことができることに留意されたい。^[112]この変換は、シナプス後ノード活性化関数がローパスフィルタリングされた後、サンプリングの前に発生すると考えられる。 ${\displaystyle y_{i}(t)}$

これらは実際には、特定の構造、つまり線形チェーンを持つ再帰型ニューラル ネットワークです。再帰型ニューラル ネットワークは任意の階層構造で動作し、子表現を親表現に組み合わせますが、再帰型ニューラル ネットワークは時間の線形進行で動作し、前の時間ステップと非表示の表現を現在の時間ステップの表現に組み合わせます。

時系列の観点から見ると、RNNは有限インパルス応答フィルタと無限インパルス応答フィルタの非線形バージョンとして、また非線形自己回帰外生モデル（NARX）として現れることがあります。^[113] RNNは無限インパルス応答を持ちますが、畳み込みニューラルネットワークは有限インパルス応答を持ちます。どちらのクラスのネットワークも時間的な動的動作を示します。^[114]有限インパルス再帰ネットワークは、展開して厳密なフィードフォワードニューラルネットワークに置き換えることができる有向非巡回グラフですが、無限インパルス再帰ネットワークは展開できない 有向巡回グラフです。

記憶に基づく学習によるシーケンスの認識効果は、比較的高頻度のスパイク活動を示すニューロンに見られるサイレンシングメカニズムを利用する、より生物学的なモデルによっても実現できる。^[115]

追加の保存状態とネットワークによって直接制御されるストレージは、無限インパルス ネットワークと有限インパルスネットワークの両方に追加できます。時間遅延が組み込まれているかフィードバック ループがある場合は、別のネットワークまたはグラフでストレージを置き換えることもできます。このような制御された状態は、ゲート状態またはゲート メモリと呼ばれ、長短期記憶ネットワーク (LSTM) とゲート リカレント ユニットの一部です。これは、フィードバック ニューラル ネットワーク (FNN) とも呼ばれます。

最新のライブラリは、上記の機能の実行時に最適化された実装を提供したり、ジャストインタイムコンパイルによって遅いループを高速化したりすることができます。

• アパッチ・シンガ
• Caffe : Berkeley Vision and Learning Center (BVLC) によって作成されました。CPU と GPU の両方をサポートします。C ++で開発されており、PythonおよびMATLABラッパーがあります。
• Chainer : 完全に Python で書かれており、CPU、GPU、分散トレーニングのプロダクション サポートを備えています。
• Deeplearning4j :マルチ GPU 対応SparkでのJavaとScalaによるディープラーニング。
• Flux : Juliaで記述された GRU や LSTM などの RNN 用のインターフェースが含まれています。
• Keras : 他の多くのディープラーニング ライブラリへのラッパーを提供する高レベル API。
• Microsoft 認知ツールキット
• MXNet : ディープ ニューラル ネットワークのトレーニングと展開に使用されるオープンソースのディープラーニング フレームワーク。
• PyTorch : GPU アクセラレーションを備えた Python のテンソルと動的ニューラル ネットワーク。
• TensorFlow : Apache 2.0ライセンスのTheanoライクなライブラリ。CPU、GPU、Google独自のTPUをサポート。^[116]モバイル
• Theano : NumPyライブラリとほぼ互換性のある API を備えた Python 用のディープラーニング ライブラリ。
• Torch : CとLuaで記述された、機械学習アルゴリズムをサポートする科学計算フレームワーク。

リカレントニューラルネットワークの用途には次のようなものがあります。

• 機械翻訳^[42]
• ロボット制御^[117]
• 時系列予測^{[118] [119] [120]}
• 音声認識^{[121] [39] [122]}
• 音声合成^[123]
• 脳コンピュータインターフェース^[124]
• 時系列異常検出^[125]
• テキストからビデオへのモデル^[126]
• リズム学習^[127]
• 音楽作曲^[128]
• 文法学習^{[129] [58] [130]}
• 手書き認識^{[131] [132]}
• 人間の行動認識^[133]
• タンパク質相同性検出^[134]
• タンパク質の細胞内局在の予測^[135]
• ビジネスプロセス管理分野におけるいくつかの予測タスク^[136]
• 医療ケア経路の予測^[137]
• 原子炉における核融合プラズマの破壊の予測（核融合リカレントニューラルネットワーク（FRNN）コード）^[138]

• Mandic, Danilo P.; Chambers, Jonathon A. (2001)。予測のためのリカレントニューラルネットワーク：学習アルゴリズム、アーキテクチャ、安定性。Wiley。ISBN 978-0-471-49517-8。
• Grossberg, Stephen (2013-02-22). 「リカレントニューラルネットワーク」. Scholarpedia . 8 (2): 1888. Bibcode :2013SchpJ...8.1888G. doi : 10.4249/scholarpedia.1888 . ISSN  1941-6016.
• リカレント ニューラル ネットワーク。Dalle Molle 人工知能研究所のJürgen Schmidhuberのグループによる RNN 論文のリスト。