エコーステートネットワーク

エコーステートネットワーク（ESN）^{[1] [2]}は、疎に接続された隠れ層（通常1%の接続性）を持つリカレントニューラルネットワークを使用するリザーバコンピュータの一種です。隠れニューロンの接続性と重みは固定されており、ランダムに割り当てられます。出力ニューロンの重みは、ネットワークが特定の時間パターンを生成または再現できるように学習できます。このネットワークの主な利点は、その動作は非線形であるにもかかわらず、トレーニング中に変更される重みは、隠れニューロンを出力ニューロンに接続するシナプスの重みのみであることです。したがって、誤差関数はパラメータベクトルに関して2次式であり、簡単に線形システムに微分化できます。

あるいは、出力層のノンパラメトリック ベイズ定式化を検討することもできます。この場合、(i) 出力重みに事前分布が適用されます。(ii) トレーニング データが与えられた場合、出力重みは予測生成のコンテキストで周辺化されます。このアイデアは、^[3]でガウス事前分布を使用して実証されており、ESN 駆動カーネル関数を備えたガウス過程モデルが得られます。このようなソリューションは、いくつかのベンチマークでトレーニング可能な (有限の) 重みセットを持つ ESN よりも優れていることが示されました。

公開されている ESN の効率的な実装としては、aureservoir (python/numpy バ​​インディングを備えたさまざまな種類の C++ ライブラリ)、MATLAB 、ReservoirComputing.jl (さまざまなタイプの Julia ベースの実装)、pyESN ( Pythonのシンプルな ESN 用) などがあります。

エコーステートネットワーク（ESN）^[4]は、リカレントニューラルネットワーク（RNN）ファミリーに属し、そのアーキテクチャと教師あり学習の原理を提供します。フィードフォワードニューラルネットワークとは異なり、リカレントニューラルネットワークは動的なシステムであり、関数ではありません。リカレントニューラルネットワークは通常、次の目的で使用されます。

• 動的プロセスの学習: 工学および電気通信における信号処理、振動解析、地震学、エンジンおよび発電機の制御。
• 信号の予測と生成：テキスト、音楽、電気信号、カオス信号。^[5]
• 生物システムのモデリング、神経科学（認知神経力学）、記憶モデリング、脳コンピューターインターフェース（BCI）、フィルタリングとカルマン過程、軍事用途、ボラティリティモデリングなど。

RNNのトレーニングには、時間経過によるバックプロパゲーション、リアルタイム再帰学習など、いくつかの学習アルゴリズムが利用可能です。不安定性と分岐現象のため、収束は保証されません。^[4]  

ESNの主なアプローチは、まず、入力信号を使用してランダムで大規模な固定反復ニューラルネットワークを操作し、この「リザーバー」ネットワーク内の各ニューロンに非線形応答信号を誘導し、次に、これらすべての応答信号のトレーニング可能な線形結合によって目的の出力信号を接続することです。^[2]

ESNのもう一つの特徴は、予測における自律的な動作です。出力をバックシフトした入力でトレーニングすると、前の出力を入力として使用して信号生成/予測に使用できます。^{[4] [5]}

ESNの主なアイデアは、ヴォルフガング・マースによってESNと同時に独立して開発されたリキッドステートマシンと結びついています。 ^[6] ESNと、RNN用に新たに研究されたバックプロパゲーション非相関学習ルール^[7]は、リザーバコンピューティングという名前でますますまとめられています。

Schiller と Steil ^[7]は、出力重みだけでなくすべての重みが適応される従来の RNN のトレーニング アプローチでは、出力重みに主な変化があることも実証しました。認知神経科学では、Peter F. Dominey が、哺乳類の脳、特に人間の脳の音声認識におけるシーケンス処理のモデリングに関連するプロセスを分析しました。^[8]基本的なアイデアには、生物学的ニューロン ネットワークにおける時間的入力弁別のモデルも含まれていました。^[9]リザーバー コンピューティングのアイデアを最初に明確に定式化したのは、K. Kirby によるもので、この概念は、ほとんど忘れ去られた会議の論文で発表されました。^[10]今日知られているリザーバー コンピューティングのアイデアの最初の定式化は、L. Schomaker ^[11]によるもので、ランダムに構成されたスパイク神経発振器のアンサンブルからの信号を組み合わせることを学習することで、RNN から目的のターゲット出力を取得する方法を説明しました。^[2]

エコー状態ネットワークは、さまざまな方法で構築できます。直接トレーニング可能な入力から出力への接続の有無、出力予約フィードバックの有無、さまざまなニューロタイプ、さまざまなリザーバー内部接続パターンなどを設定できます。出力重みは、オンラインかオフラインかに関係なく、すべてのアルゴリズムを使用して線形回帰に対して計算できます。最小の平方によるエラーのソリューションに加えて、マージン最大化基準、いわゆるトレーニングサポートベクターマシンを使用して、出力値を決定します。^[12]エコー状態ネットワークの他のバリエーションは、微分方程式で定義されるような物理システムの一般的なモデルによりよく一致するように定式化を変更しようとします。この方向の研究には、物理​​モデルを部分的に含むエコー状態ネットワーク、^[13]ハイブリッドエコー状態ネットワーク、^[14]および連続時間エコー状態ネットワークが含まれます。^[15]

固定 RNN はランダムな非線形媒体として機能し、その動的応答である「エコー」が信号ベースとして使用されます。このベースの線形結合は、いくつかのエラー基準を最小化することで、目的の出力を再構築するようにトレーニングできます。^[2]

ESNが導入される前は、RNNは接続の調整に伴う複雑さ（例えば、自動微分化の欠如、消失/爆発勾配の影響を受けやすいなど）のため、実際にはほとんど使用されていませんでした。RNNのトレーニングアルゴリズムは遅く、分岐エラーなどの問題に脆弱であることが多かったです。^[16]  そのため、収束は保証されませんでした。一方、ESNのトレーニングでは分岐の問題がなく、実装も簡単です。初期の研究では、ESNは合成データセットからの時系列予測タスクで優れたパフォーマンスを発揮することが示されました。^{[1] [17]}

現在、RNN を遅くし、エラーを起こしやすくしていた問題の多くは、自動微分化 (ディープラーニング) ライブラリや、長期短期記憶やゲート付きリカレントユニットなどのより安定したアーキテクチャの登場によって解決されており、ESN のユニークなセールスポイントは失われています。RNN は、言語処理などのいくつかの実用的な分野でもその実力を発揮しています。リザーバ計算方法を使用して同様の複雑さのタスクに対処するには、過大なサイズのメモリが必要です。

ESN は、信号処理アプリケーションなどのいくつかの分野で使用されています。特に、非デジタル コンピュータ サブストレートとうまく組み合わせられるコンピューティング プリンシパルとして広く使用されています。ESN は RNN のパラメータを変更する必要がないため、さまざまなオブジェクトを非線形「リザーバー」として使用することが可能になります。たとえば、光学マイクロチップ、機械ナノ発振器、ポリマー混合物、人工の柔らかい手足などです。^[2]