リカレントニューラルネットワーク

RNN の起源の一つは神経科学です。「再帰的」という言葉は、解剖学におけるループ状の構造を説明するために使われます。1901 年、カハルは平行線維、プルキンエ細胞、顆粒細胞によって形成される小脳皮質の「再帰的な半円」を観察しました。^{[ 7 ] [ 8 ]} 1933 年、ロレンテ・デ・ノはゴルジ法によって「再帰的、相互接続」を発見し、興奮性ループが前庭眼反射の特定の側面を説明すると提唱しました。^{[ 9 ] [ 10 ]} 1940 年代には、複数の人が脳にフィードバックが存在すると提唱しましたが、これは神経系が純粋に順方向の構造であるという以前の理解とは対照的でした。ヘッブは短期記憶の説明として「反響回路」を考えました。^{[ 11 ]}マカロックとピッツの論文（1943年）は、マカロック・ピッツ神経モデルを提案し、サイクルを含むネットワークを検討した。このようなネットワークの現在の活動は、はるか昔の活動によって無限に影響を受ける可能性がある。^{[ 12 ]}彼らは、てんかんや灼熱痛などの説明として、閉ループに興味を持っていた。^{[ 13 ] [ 14 ]}再帰的抑制は、1946年に運動制御における負のフィードバック機構として提案された。神経フィードバックループは、メイシー会議でよく議論されるトピックであった。^{[ 15 ]}神経科学における再帰的神経ネットワークモデルの包括的なレビューについては、^{[ 16 ]}を参照。

フランク・ローゼンブラットは1960年に「閉ループ相互結合パーセプトロン」を発表しました。これは、中間層にヘッブ学習規則に従って変化する再帰的接続を含む3層パーセプトロンネットワークです。^{[ 18 ]： 73-75}その後、『神経力学の原理』（1961年）で、「閉ループ相互結合」および「バック結合」パーセプトロンネットワークについて説明し、これらのネットワークにおけるヘッブ学習に関する理論的および実験的研究を行いました。^{[ 17 ]：第19章、21節}で、完全に相互結合されたパーセプトロンネットワークは無限に深いフィードフォワードネットワークと同等であると指摘しました。^{[ 17 ]：第19.11節}

同様のネットワークは、1971年に中野薫^{[ 19 ] [ 20 ]} 、1972年に甘利俊一^{[ 21 ]}、1974年にウィリアム・A・リトル^{[ 22 ]}によって発表されており、リトルは1982年のホップフィールドの論文で言及されている。

RNNのもう一つの起源は統計力学です。イジングモデルは、1920年代にヴィルヘルム・レンツ^{[ 23 ]}とエルンスト・イジング^{[ 24 ]}によって、平衡状態にある磁石の単純な統計力学モデルとして開発されました^{[ 25 ]} 。1963年にグラウバーは、平衡に向かうプロセス（グラウバーダイナミクス）として、時間とともに変化するイジングモデルを研究し、時間の要素を追加しました^{[ 26 ] 。}

1975 年に発表されたスピン グラスのSherrington–Kirkpatrick モデル[ ^{27 ]は}、ランダム初期化の Hopfield ネットワークです。Sherrington と Kirkpatrick は、SK モデルのエネルギー関数が多くの局所的最小値を持つ可能性が非常に高いことを発見しました。1982 年の論文で、Hopfield はこの最近開発された理論をバイナリ活性化関数を持つ Hopfield ネットワークの研究に適用しました。^{[ 28 ]} 1984 年の論文で、彼はこれを連続活性化関数に拡張しました。^{[ 29 ]}これは、統計力学によるニューラル ネットワークの研究の標準モデルになりました。^{[ 30 ] [ 31 ]}

現代のRNNネットワークは主にLSTMとBRNNの2つのアーキテクチャに基づいています。^{[ 32 ]}

1980年代にニューラルネットワークが再び注目を集めると、リカレントネットワークが再び研究されるようになった。これらは「反復ネットワーク」と呼ばれることもあった。^{[ 33 ]}初期の影響力のある研究としては、 RNNを認知心理学の研究に応用したJordanネットワーク（1986年）とElmanネットワーク（1990年）が挙げられる。1993年には、ニューラル履歴圧縮システムが、時間的に展開されたRNNの1000層を超える後続層を必要とする「非常に深い学習」タスクを解決した。 ^{[ 34 ]}

長短期記憶（LSTM）ネットワークは、1995年にHochreiterとSchmidhuberによって発明され、複数のアプリケーション分野で精度記録を樹立しました。^{[ 35 ] [ 36 ]}これはRNNアーキテクチャのデフォルトの選択肢となりました。

双方向リカレントニューラルネットワーク（BRNN）は、同じ入力を逆方向に処理する2つのRNNを使用します。^{[ 37 ]}これら2つはしばしば組み合わされ、双方向LSTMアーキテクチャになります。

2006 年頃、双方向 LSTM は音声認識に革命を起こし始め、特定の音声アプリケーションで従来のモデルを凌駕しました。^{[ 38 ] [ 39 ]}また、大規模語彙音声認識^{[ 3 ] [ 4 ]}やテキスト音声合成[ ^{40 ]も}改善し、 Google 音声検索やAndroid デバイスの音声入力にも使用されました。^{[ 41 ]}機械翻訳の改善^{[ 42 ]} 、言語モデリング^{[ 43 ] 、多言語処理[ 44} ]の記録を塗り替えました。また、LSTM と畳み込みニューラルネットワーク(CNN) を組み合わせることで、自動画像キャプションも改善され^ました。^{[ 45 ]}

エンコーダー・デコーダーによるシーケンス変換のアイデアは、2010年代初頭に開発されました。seq2seq を生み出したオリジネーターとして最もよく引用される論文は、2014 年の 2 つの論文です。^{[ 46 ] [ 47 ]} seq2seqアーキテクチャは、機械翻訳などのシーケンス変換のために、通常は LSTM である 2 つの RNN を使用し、「エンコーダー」と「デコーダー」として機能します。これらは機械翻訳の最先端となり、アテンションメカニズムやトランスフォーマーの開発に大きく貢献しました。

RNNには多くの種類があります。抽象的に言えば、RNNは関数です。${\displaystyle f_{\theta }}$タイプの${\displaystyle (x_{t},h_{t})\mapsto (y_{t},h_{t+1})}$、 どこ

• ${\displaystyle x_{t}}$: 入力ベクトル;
• ${\displaystyle h_{t}}$: 隠しベクトル;
• $\displaystyle y_t}}$: 出力ベクトル;
• ${\displaystyle \theta }$: ニューラルネットワークのパラメータ。

言い換えれば、入力をマッピングするニューラルネットワークです。${\displaystyle x_{t}}$出力に$\displaystyle y_t}}$隠れベクトル付き${\displaystyle h_{t}}$これは「メモリ」の役割を担い、過去のすべての入出力ペアの部分的な記録を保持します。各ステップで、入力を出力に変換し、将来の処理をより効率的に行うために「メモリ」を修正します。

右側の図は、実際のニューラルネットワークのトポロジーがしばしば「層」状に構成されているため、多くの人にとって誤解を招く可能性があります。図ではそのように表現されていますが、実際には、層のように見えるものは時間的に異なる段階を「展開」して層状に見せているにすぎません。

スタック型RNN、またはディープRNNは、複数のRNNを上下に積み重ねた構造になっています。抽象的に言えば、以下のような構造になっています。

1. レイヤー1には隠れベクトルがあります${\displaystyle h_{1,t}}$パラメータ$\displaystyle \theta _{1}}$、そして地図${\displaystyle f_{\theta _{1}}:(x_{0,t},h_{1,t})\mapsto (x_{1,t},h_{1,t+1})}$。
2. レイヤー2には隠れベクトルがあります${\displaystyle h_{2,t}}$パラメータ$\displaystyle \theta _{2}}$、そして地図${\displaystyle f_{\theta _{2}}:(x_{1,t},h_{2,t})\mapsto (x_{2,t},h_{2,t+1})}$。
3. ...
4. 層${\displaystyle n}$隠しベクトルがあります${\displaystyle h_{n,t}}$パラメータ$\displaystyle \theta _{n}}$、そして地図${\displaystyle f_{\theta _{n}}:(x_{n-1,t},h_{n,t})\mapsto (x_{n,t},h_{n,t+1})}$。

各層は独立したRNNとして機能し、各層の出力シーケンスは上位層への入力シーケンスとして使用されます。スタック型RNNの深さには概念的な制限はありません。

双方向RNN（biRNN）は、入力シーケンスを一方向に処理するRNNと、逆方向に処理するRNNの2つから構成されます。抽象的に言えば、その構造は以下のようになります。

• 順方向RNNは一方向に処理を行います。$${\displaystyle f_{\theta }(x_{0},h_{0})=(y_{0},h_{1}),f_{\theta }(x_{1},h_{1})=(y_{1},h_{2}),\dots }$$
• 逆方向RNNは逆方向に処理を行います。$${\displaystyle f'_{\theta '}(x_{N},h_{N}')=(y'_{N},h_{N-1}'),f'_{\theta '}(x_{N-1},h_{N-1}')=(y'_{N-1},h_{N-2}'),\dots }$$

次に、2つの出力シーケンスを連結して、全体の出力を得ます。${\displaystyle ((y_{0},y_{0}'),(y_{1},y_{1}'),\dots ,(y_{N},y_{N}'))}$。

双方向 RNN は、モデルがトークンをその前後のコンテキストの両方で処理することを可能にします。複数の双方向 RNN を積み重ねることで、モデルはトークンをよりコンテキストに沿って処理できるようになります。ELMoモデル (2018) [ ^{48 ]は}、文字レベルを入力として受け取り、単語レベルの埋め込みを生成するスタック型双方向LSTMです。

エンコーダー・デコーダー構成では、2 つの RNN を前後に実行できます。エンコーダー RNN は入力シーケンスを隠れベクトルのシーケンスに処理し、デコーダー RNN は隠れベクトルのシーケンスを出力シーケンスに処理します。オプションでアテンション メカニズムも使用できます。これは、2014～2017 年の期間に最先端のニューラル機械翻訳機を構築するために使用されました。これは、トランスフォーマーの開発に向けた重要なステップでした。^{[ 49 ]}

RNNは、複数の次元を持つデータを処理できます。PixelRNNは、多くの可能な方向を持つ2次元データを処理します。^{[ 50 ]}たとえば、行ごとの方向は、${\displaystyle n\times n}$ベクトルのグリッド${\displaystyle x_{i,j}}$以下の順序で：$${\displaystyle x_{1,1},x_{1,2},\dots ,x_{1,n},x_{2,1},x_{2,2},\dots ,x_{2,n},\dots ,x_{n,n}}$$対角BiLSTMは、同じグリッドを処理するために2つのLSTMを使用します。1つは左上隅から右下隅に向かって処理し、${\displaystyle x_{i,j}}$上部と左側の隠れ状態とセル状態に応じて：${\displaystyle h_{i-1,j},c_{i-1,j}}$そして${\displaystyle h_{i,j-1},c_{i,j-1}}$もう一方の処理方法は、右上隅から左下隅に向かって処理します。

完全リカレントニューラルネットワーク（FRNN）は、すべてのニューロンの出力をすべてのニューロンの入力に接続します。つまり、完全接続ネットワークです。これは最も一般的なニューラルネットワークのトポロジーであり、他のすべてのトポロジーは、一部の接続重みをゼロに設定して、それらのニューロン間の接続がないことをシミュレートすることで表現できます。

ホップフィールドネットワークは、層間の接続がすべて同じサイズであるRNNです。入力は固定値を必要とするため、パターンシーケンスを処理しない一般的なRNNではありません。しかし、収束は保証されています。接続をヘッブ学習で学習させると、ホップフィールドネットワークは接続の変更に強い、堅牢なコンテンツアドレス指定可能なメモリとして機能します。

エルマンネットワークは、コンテキストユニットのセット（図中のu ）を追加した3 層ネットワーク（図ではx、y、zとして水平方向に配置）です。中間（隠れ）層は、重み 1 で固定されたこれらのコンテキストユニットに接続されています。^{[ 51 ]}各タイム ステップで、入力は順方向にフィードされ、学習ルールが適用されます。固定されたバック接続は、コンテキストユニット内の隠れユニットの以前の値のコピーを保存します（学習ルールが適用される前に接続を介して伝播するため）。したがって、ネットワークは一種の状態を維持できるため、標準的な多層パーセプトロンの能力を超えるシーケンス予測などのタスクを実行できます。

ジョーダンネットワークはエルマンネットワークに似ています。コンテキストユニットは隠れ層ではなく出力層から入力されます。ジョーダンネットワークのコンテキストユニットは状態層とも呼ばれます。それらは自身と再帰的な接続を持っています。 ^{[ 51 ]}

エルマンネットワークとジョーダンネットワークは、「単純再帰ネットワーク」（SRN）とも呼ばれています。

エルマンネットワーク^{[ 52 ]}

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}$

ヨルダンネットワーク^{[ 53 ]}

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}s_{t}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\\s_{t}&=\sigma _{s}(W_{s,s}s_{t-1}+W_{s,y}y_{t-1}+b_{s})\end{aligned}}}$

変数と関数

• ${\displaystyle x_{t}}$: 入力ベクトル
• ${\displaystyle h_{t}}$: 隠れ層ベクトル
• ${\displaystyle s_{t}}$: "状態"ベクトル、
• ${\displaystyle y_{t}}$: 出力ベクトル
• ${\displaystyle W}$、${\displaystyle U}$そして${\displaystyle b}$: パラメータ行列とベクトル
• ${\displaystyle \sigma }$:アクティベーション機能

長短期記憶(LSTM) は、最も広く使用されている RNN アーキテクチャです。これは、勾配消失問題を解決するために設計されました。LSTM は通常、「忘却ゲート」と呼ばれる再帰ゲートによって拡張されます。^{[ 54 ]} LSTM は、逆伝播エラーが消失したり爆発したりするのを防ぎます。^{[ 55 ]}その代わりに、エラーは空間に展開された無数の仮想レイヤーを介して逆方向に流れることができます。つまり、LSTM は、数千または数百万の離散時間ステップ前に発生したイベントの記憶を必要とするタスクを学習できます。問題固有の LSTM のようなトポロジを進化させることができます。^{[ 56 ]} LSTM は、重要なイベント間の長い遅延があっても機能し、低周波成分と高周波成分が混在する信号を処理できます。

多くのアプリケーションではLSTMのスタックを使用しており、^{[ 57 ]}これは「ディープLSTM」と呼ばれています。LSTMは、隠れマルコフモデル（HMM）や同様の概念に基づく従来のモデルとは異なり、文脈依存言語を認識することを学習できます。^{[ 58 ]}

2014 年に導入されたゲート付きリカレントユニット(GRU) は、LSTM の簡略化として設計されました。完全な形式と、さらにいくつかの簡略化されたバリアントで使用されています。^{[ 59 ] [ 60 ]}出力ゲートがないため、LSTM よりもパラメータが少なくなっています。^{[ 61 ]}

多声音楽モデリングと音声信号モデリングにおけるそれらのパフォーマンスは、長短期記憶のそれと似ていることがわかった。^{[ 62 ]} LSTMとGRUの間には、特にパフォーマンスの違いはないようだ。^{[ 62 ] [ 63 ]}

エコー状態ネットワーク（ESN）は、疎に接続されたランダムな隠れ層を持っています。出力ニューロンの重みは、ネットワークの中で唯一変更（学習）できる部分です。ESNは、特定の時系列を再現するのに適しています。 ^{[ 67 ]}スパイクニューロンの変種は、リキッドステートマシンとして知られています。 ^{[ 68 ]}

再帰ニューラルネットワーク^{[ 69 ]}は、微分可能なグラフのような構造をトポロジー順にたどって、同じ重みのセットを再帰的に適用することによって作成されます。このようなネットワークは通常、自動微分逆モードでもトレーニングされます。^{[ 70 ] [ 71 ]}これらは、論理項などの構造の分散表現を処理できます。再帰ニューラルネットワークの特殊なケースは、線形チェーンに対応する構造を持つRNNです。再帰ニューラルネットワークは、自然言語処理に適用されています。^{[ 72 ]}再帰ニューラルテンソルネットワークは、ツリー内のすべてのノードに対してテンソルベースの合成関数を使用します。 ^{[ 73 ]}

ニューラルチューリングマシン（NTM）は、リカレントニューラルネットワークを外部メモリリソースと結合して拡張する方法です。結合されたシステムはチューリングマシンまたはフォンノイマンアーキテクチャに類似していますが、エンドツーエンドで微分可能であるため、勾配降下法で効率的に学習できます。^{[ 74 ]}

微分可能なニューラルコンピュータ（DNC）はニューラルチューリングマシンの拡張であり、各メモリ アドレスの曖昧な量と時系列の記録の使用を可能にする。^{[ 75 ]}

ニューラルネットワークプッシュダウンオートマタ（NNPDA）はNTMに似ていますが、テープが微分可能で学習可能なアナログスタックに置き換えられています。このように、NNPDAは文脈自由文法（CFG）の認識器と複雑さが似ています。^{[ 76 ]}

リカレントニューラルネットワークはチューリング完全であり、任意の入力シーケンスを処理する任意のプログラムを実行できます。^{[ 77 ]}

RNNは、条件付き生成シーケンスモデル、つまり自己回帰モデルとして学習させることができます。

具体的には、機械翻訳の問題を考えてみましょう。つまり、与えられたシーケンスに対して、${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$英語の単語のモデルは、シーケンスを生成することです${\displaystyle (y_{1},\dots ,y_{m})}$フランス語の単語に関する問題です。これはseq2seqモデルで解決されます。

さて、トレーニング中、モデルのエンコーダー側はまず${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$するとデコーダー側がシーケンスの生成を開始する${\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\dots ,{\hat {y}}_{l})}$問題は、モデルが早い段階で、例えば${\displaystyle {\hat {y}}_{2}}$そうなると、後続のトークンも間違いである可能性が高くなります。これは、モデルが主にシフトを学習するため、モデルが学習信号を取得するのに非効率的です。${\displaystyle {\hat {y}}_{2}}$に向かって${\displaystyle y_{2}}$しかし、他のものはそうではない。

ティーチャーフォーシングにより、デコーダーはシーケンス内の次のエントリを生成するために正しい出力シーケンスを使用するようになります。たとえば、次のような出力シーケンスが見つかります。${\displaystyle (y_{1},\dots ,y_{k})}$生成するために${\displaystyle {\hat {y}}_{k+1}}$。

勾配降下法は、関数の最小値を求めるための一次反復最適化アルゴリズムです。ニューラルネットワークでは、非線形活性化関数が微分可能であることを前提として、各重みをその重みに関する誤差の導関数に比例して変化させることで、誤差項を最小化するために使用できます。

勾配降下法による RNN のトレーニングの標準的な方法は、「バックプロパゲーション・スルー・タイム」（BPTT）アルゴリズムであり、これはバックプロパゲーションの一般アルゴリズムの特殊なケースです。計算コストの高いオンライン版は「リアルタイム再帰学習」または RTRL と呼ばれ、^{[ 78 ] [ 79 ]}これはスタックされた接線ベクトルを使用した前方累積モードでの自動微分の一例です。BPTT とは異なり、このアルゴリズムは時間的には局所的ですが、空間的には局所的ではありません。

この文脈では、空間的に局所的とは、ユニットの重みベクトルが、接続されたユニットとユニット自体に格納されている情報のみを使用して更新でき、単一ユニットの更新の複雑さが重みベクトルの次元に対して線形であることを意味します。時間的に局所的とは、更新が継続的に（オンラインで）行われ、BPTT のように特定の時間範囲内の複数の時間ステップではなく、最新の時間ステップのみに依存することを意味します。生物学的ニューラルネットワークは、時間と空間の両方に関して局所的であるように見えます。^{[ 80 ] [ 81 ]}

偏微分を再帰的に計算する場合、RTRL はヤコビ行列を計算するためにタイム ステップごとに O(隠れ層の数 x 重みの数) の時間計算量を必要としますが、BPTT は、与えられた時間範囲内のすべての順方向活性化を保存するというコストをかけて、タイム ステップごとに O(重みの数) しか必要としません。^{[ 82 ]}中間的な複雑さを持つ BPTT と RTRL のオンライン ハイブリッドが存在し、^{[ 83 ] [ 84 ]}連続時間用のバリアントもあります。^{[ 85 ]}

標準的な RNN アーキテクチャの勾配降下法の大きな問題は、重要なイベント間の時間遅延の大きさに応じて誤差勾配が指数関数的に急速に消失することです。 ^{[ 55 ] [ 86 ]} LSTM と BPTT/RTRL ハイブリッド学習法を組み合わせることで、これらの問題を克服しようとしています。^{[ 36 ]}この問題は、独立リカレントニューラルネットワーク (IndRNN) ^{[ 87 ]}でも、ニューロンのコンテキストを自身の過去の状態に縮小することで解決され、クロスニューロン情報は後続の層で探索できます。長期記憶を含むさまざまな範囲の記憶を、勾配消失や勾配爆発の問題なく学習できます。

因果的再帰的バックプロパゲーション（CRBP）と呼ばれるオンラインアルゴリズムは、局所的に再帰的なネットワークに対してBPTTとRTRLのパラダイムを実装し、組み合わせたものです。 ^{[ 88 ]}これは最も一般的な局所的に再帰的なネットワークで機能します。CRBPアルゴリズムは、グローバル誤差項を最小化できます。この事実により、アルゴリズムの安定性が向上し、局所フィードバックを持つ再帰的ネットワークの勾配計算手法の統一的な見解が提供されます。

任意のアーキテクチャを持つ RNN における勾配情報計算のアプローチの 1 つは、信号フローグラフの図式的導出に基づいています。^{[ 89 ]}これは、ネットワーク感度計算のための Lee の定理に基づく BPTT バッチ アルゴリズムを使用します。^{[ 90 ]}これは Wan と Beaufays によって提案され、その高速オンライン バージョンは Campolucci、Uncini、および Piazza によって提案されました。^{[ 90 ]}

コネクショニスト時間分類（CTC）^{[ 91 ]}は、タイミングが可変なシーケンスモデリング問題に対するRNNのトレーニングのための特殊な損失関数である。^{[ 92 ]}

ニューラルネットワークの重みの学習は、非線形グローバル最適化問題としてモデル化できます。特定の重みベクトルの適合度または誤差を評価するための目的関数は、次のように形成できます。まず、重みベクトルに従ってネットワークの重みを設定します。次に、ネットワークを学習シーケンスに対して評価します。通常、予測値と学習シーケンスで指定された目標値との二乗差の合計が、現在の重みベクトルの誤差を表すために使用されます。その後、任意のグローバル最適化手法を使用して、この目的関数を最小化できます。

RNN のトレーニングに最もよく使われるグローバル最適化手法は遺伝的アルゴリズムであり、特に非構造化ネットワークでよく用いられます。^{[ 93 ] [ 94 ] [ 95 ]}

まず、遺伝的アルゴリズムは、ニューラルネットワークの重みをあらかじめ定義された方法で符号化します。染色体内の1つの遺伝子は、1つの重みリンクを表します。ネットワーク全体は、単一の染色体として表現されます。適合度関数は次のように評価されます。

• 染色体に符号化された各重みは、ネットワークのそれぞれの重みリンクに割り当てられる。
• トレーニングセットはネットワークに提示され、ネットワークは入力信号を順方向に伝播させる。
• 平均二乗誤差は適合度関数に返されます。
• この機能が遺伝子選抜プロセスを推進する。

集団は多数の染色体から構成されているため、停止条件が満たされるまで、さまざまなニューラルネットワークが進化する。一般的な停止スキームは次のとおりである。

• ニューラルネットワークがトレーニングデータの一定割合を学習したとき。
• 平均二乗誤差の最小値が満たされた場合。
• トレーニング世代の最大数に達したとき。

適合度関数は、トレーニング中に各ネットワークから平均二乗誤差の逆数を受け取り、停止基準を評価します。したがって、遺伝的アルゴリズムの目標は、適合度関数を最大化し、平均二乗誤差を最小化することです。

適切な重みのセットを見つけるために、シミュレーテッドアニーリングや粒子群最適化などの他のグローバル（および／または進化的）最適化手法を使用することができます。

独立再帰ニューラルネットワーク (IndRNN) ^{[ 87 ]}は、従来の全結合 RNN の勾配消失と勾配爆発の問題に対処します。 1 つの層の各ニューロンは、コンテキスト情報として自身の過去の状態のみを受け取ります (この層の他のすべてのニューロンとの完全な接続ではなく)。したがって、ニューロンは互いの履歴から独立しています。 勾配の逆伝播は、長期または短期の記憶を保持するために、勾配消失と勾配爆発を回避するように調整できます。 ニューロン間の情報は、次の層で探索されます。 IndRNN は、ReLUなどの非飽和非線形関数を使用して頑健にトレーニングできます。 ディープ ネットワークは、スキップ 接続を使用してトレーニングできます。

ニューラル履歴圧縮器は、教師なし学習のRNNスタックです。^{[ 96 ]}入力レベルでは、前の入力から次の入力を予測することを学習します。階層内のいずれかのRNNの予測不可能な入力のみが次の上位レベルのRNNへの入力となり、そのため、そのRNNは内部状態をまれにしか再計算しません。このようにして、各上位レベルのRNNは、下位のRNNの情報の圧縮表現を学習します。これは、入力シーケンスを最上位レベルの表現から正確に再構築できるように行われます。

このシステムは、データの記述長または確率の負の対数を効果的に最小化します。 ^{[ 97 ]}入力データシーケンスに学習可能な予測可能性が多数ある場合、最上位レベルのRNNは、重要なイベント間の間隔が長いディープシーケンスでも教師あり学習を使用して簡単に分類できます。

RNN階層は、「意識的な」チャンカー（高レベル）と「無意識的な」オートマタイザー（低レベル）の2つのRNNに分解できる。^{[ 96 ]}チャンカーがオートマタイザーでは予測できない入力を予測して圧縮することを学習すると、次の学習フェーズでオートマタイザーは、よりゆっくりと変化するチャンカーの隠れユニットを、追加のユニットを介して予測または模倣するように強制される。これにより、オートマタイザーは、長期間にわたって適切でほとんど変化しない記憶を容易に学習できる。その結果、オートマタイザーは、かつて予測できなかった入力の多くを予測可能にすることができ、チャンカーは残りの予測不可能なイベントに集中できる。^{[ 96 ]}

生成モデルは、 1992 年にニューラルネットワークにおける自動微分またはバックプロパゲーションの勾配消失問題^{[ 55 ]}を部分的に克服しました。1993年に、このようなシステムは、時間的に展開された RNN で 1000 層を超える後続層を必要とする「非常に深い学習」タスクを解決しました。^{[ 34 ]}

二次RNNはより高次の重みを使用する${\displaystyle w{}_{ijk}}$標準の代わりに${\displaystyle w{}_{ij}}$重みと状態は積になることができます。これにより、トレーニングと表現の両方で有限状態機械への直接マッピングが可能になります。 ^{[ 98 ] [ 99 ]}長短期記憶はこれの一例ですが、このような形式的なマッピングや安定性の証明はありません。

階層型リカレントニューラルネットワーク（HRNN）は、ニューロンをさまざまな方法で接続して、階層的な動作を有用なサブプログラムに分解します。^{[ 96 ] [ 100 ]}このような認知の階層構造は、哲学者アンリ・ベルクソンが提示した記憶の理論に存在し、彼の哲学的見解は階層モデルに影響を与えています。^{[ 101 ]}

階層型リカレントニューラルネットワークは予測に役立ち、消費者物価指数（CPI）のインフレ構成要素を細分化して予測するのに役立ちます。HRNNモデルは、CPI階層の上位レベルからの情報を活用して、下位レベルの予測を強化します。米国のCPI-U指数からの大規模なデータセットの評価では、HRNNモデルがさまざまな既存のインフレ予測方法と比較して優れたパフォーマンスを示すことが実証されています。^{[ 102 ]}

一般的に、リカレント多層パーセプトロンネットワーク（RMLPN）は、カスケード接続されたサブネットワークで構成され、各サブネットワークは複数のノード層を含んでいます。各サブネットワークはフィードフォワードですが、最後の層はフィードバック接続を持つことができます。これらのサブネットワークはそれぞれフィードフォワード接続のみで接続されています。^{[ 103 ]}

多重時間スケール再帰ニューラルネットワーク (MTRNN) は、ニューロン間の空間的接続と、それぞれ異なる時間特性を持つ異なるタイプのニューロン活動に応じて自己組織化することで脳の機能階層をシミュレートできるニューラルベースの計算モデルです。^{[ 104 ] [ 105 ]}このような多様なニューロン活動により、任意の一連の行動の連続シーケンスは再利用可能なプリミティブに分割され、それが柔軟に統合されて多様な連続行動になります。このような階層の生物学的妥当性は、ホーキンスが著書『知能論』の中で脳機能の記憶予測理論で論じています。このような階層は、哲学者アンリ・ベルクソンが提唱した記憶の理論とも一致しており、MTRNN モデルに組み込まれています。^{[ 101 ] [ 106 ]}

HP Labsの Greg Snider は、メモリスティブ ナノ デバイスを使用した皮質コンピューティング システムについて説明しています。^{[ 107 ]}メモリスティブ(メモリ抵抗器) は、膜内のイオンまたは酸素空孔の輸送によって抵抗が電気的に調整される薄膜材料によって実現されます。DARPAのSyNAPSE プロジェクトは、 IBM Research と HP Labs に資金を提供し、ボストン大学認知神経システム (CNS) 部門と協力して、メモリスティブ システムに基づくニューロモルフィック アーキテクチャを開発しています。 メモリスティブ ネットワークは、(Little-) Hopfield ネットワークと非常によく似た特性を持つ特定のタイプの物理的ニューラル ネットワークです。これは、連続的なダイナミクス、限られたメモリ容量、およびIsing モデルに漸近する関数の最小化による自然な緩和を持つためです。この意味で、メモリスティブ回路のダイナミクスは、抵抗器-コンデンサ ネットワークと比較して、より興味深い非線形動作を持つという利点があります。この観点からすると、アナログメモリスティブネットワークの設計は、デバイスの動作が回路配線またはトポロジーに依存する特殊なタイプのニューロモルフィックエンジニアリングである。これらのネットワークの進化は、Caravelli-Traversa-Di Ventra方程式の変形を使用して解析的に研究することができる。^{[ 108 ]}

連続時間リカレントニューラルネットワーク（CTRNN）は、入力されたニューロンへの影響をモデル化するために常微分方程式系を使用します。これらは通常、力学系理論によって解析されます。神経科学における多くのRNNモデルは連続時間です。^{[ 16 ]}

ニューロンにとって${\displaystyle i}$アクティベーションされたネットワーク内${\displaystyle y_{i}}$活性化の変化率は次式で与えられる。

${\displaystyle \tau _{i}{\dot {y}}_{i}=-y_{i}+\sum _{j=1}^{n}w_{ji}\sigma (y_{j}-\Theta _{j})+I_{i}(t)}$

どこ：

• ${\displaystyle \tau _{i}}$ ：シナプス後節の時定数
• ${\displaystyle y_{i}}$ シナプス後ノードの活性化
• ${\displaystyle {\dot {y}}_{i}}$ シナプス後ノードの活性化の変化率
• ${\displaystyle w{}_{ji}}$ : シナプス前節からシナプス後節への接続の重み
• ${\displaystyle \sigma (x)}$ : x のシグモイド関数${\displaystyle \sigma (x)=1/(1+e^{-x})}$。
• ${\displaystyle y_{j}}$ : シナプス前ノードの活性化
• ${\displaystyle \Theta _{j}}$ : シナプス前ノードのバイアス
• ${\displaystyle I_{i}(t)}$ : ノードへの入力（ある場合）

CTRNNは進化ロボティクスに適用されており、視覚^{[ 109 ]}、協調^{[ 110 ]}、最小限の認知行動^{[ 111 ]}に対処するために使用されています。

シャノン標本化定理によれば、離散時間リカレントニューラルネットワークは、微分方程式が等価な差分方程式に変換された連続時間リカレントニューラルネットワークとみなすことができることに注意されたい。^{[ 112 ]}この変換は、シナプス後ノード活性化関数の後に起こると考えられる。${\displaystyle y_{i}(t)}$サンプリング前にローパスフィルタ処理されている。

実際には、これらは線形連鎖という特定の構造を持つ再帰型ニューラルネットワークです。再帰型ニューラルネットワークは、子表現を親表現に結合するなど、あらゆる階層構造上で動作しますが、リカレントニューラルネットワークは、前のタイムステップと隠れ表現を現在のタイムステップの表現に結合することで、時間の線形的な進行上で動作します。

時系列の観点から見ると、RNN は有限インパルス応答フィルタと無限インパルス応答フィルタの非線形バージョンとして、また非線形自己回帰外生モデル(NARX) として現れることがあります。^{[ 113 ]} RNN は無限インパルス応答を持ち、畳み込みニューラルネットワークは有限インパルス応答を持ちます。どちらのクラスのネットワークも時間的な動的挙動を示します。^{[ 114 ]}有限インパルス再帰ネットワークは、展開して厳密にフィードフォワード ニューラルネットワークに置き換えることができる有向非巡回グラフですが、無限インパルス再帰ネットワークは、展開できない有向巡回グラフです。

シーケンス認識のための記憶に基づく学習の効果は、比較的高い頻度でスパイク活動を示すニューロンに見られるサイレンシング機構を利用する、より生物学的なモデルによっても実現できる。^{[ 115 ]}

無限インパルスネットワークと有限インパルスネットワークの両方に、追加の保存状態とネットワークによる直接制御下のストレージを追加できます。時間遅延やフィードバックループを備えた別のネットワークまたはグラフでストレージを置き換えることも可能です。このような制御された状態は、ゲート状態またはゲートメモリと呼ばれ、長短期記憶ネットワーク（LSTM）やゲート付きリカレントユニットの一部です。これはフィードバックニューラルネットワーク（FNN）とも呼ばれます。