アトラクターネットワーク

アトラクターネットワークは、時間の経過とともに安定したパターンに向かって進化する再帰的動的 ネットワークの一種です。アトラクターネットワーク内のノードは、固定点（単一の状態）、周期的（定期的に繰り返される状態）、カオス（局所的には不安定だが全体的には不安定ではない）、またはランダム（確率的）のいずれかのパターンに収束します。^{[1]アトラクターネットワークは}、計算神経科学において、連想記憶^[2]や運動行動などの神経プロセスをモデル化するために広く使用されているほか、生物学に着想を得た機械学習の方法にも使用されています。

アトラクター ネットワークにはn 個のノードのセットが含まれており、これらはn > dのd次元空間内のベクトルとして表すことができます。時間の経過とともに、ネットワークの状態はd多様体上の一連の定義済み状態のいずれかに近づく傾向があり、これらがアトラクターです。

アトラクター ネットワークでは、アトラクター(またはアトラクト セット)は、ノード システムが進化する状態Aの閉じたサブセットです。定常アトラクターは、ネットワークのグローバル ダイナミクスが安定する状態または状態セットです。周期アトラクターは、繰り返し通過するリミット サイクル内の状態セットに向かってネットワークを進化させます。カオス アトラクターは、繰り返し通過しない境界付きアトラクターです。

ネットワーク状態空間は、すべての可能なノード状態の集合です。アトラクター空間は、アトラクター上のノードの集合です。アトラクター ネットワークは、入力パターンに基づいて初期化されます。入力パターンの次元は、ネットワーク ノードの次元とは異なる場合があります。ネットワークの軌跡は、ネットワークがアトラクター状態に向かって収束するにつれて、進化パスに沿った状態の集合で構成されます。アトラクション ベイスンは、特定のアトラクターに向かって移動する結果となる状態の集合です。^[1]

さまざまな種類のアトラクターを使用して、さまざまなタイプのネットワークダイナミクスをモデル化できます。固定点アトラクターネットワークが最も一般的ですが（ホップフィールドネットワーク^[3]に由来）、他のタイプのネットワークも検討されています。

固定点アトラクターはホップフィールドネットワークから自然に導かれます。従来、このモデルの固定点は符号化された記憶を表します。これらのモデルは、連想記憶、分類、パターン補完を説明するために使用されてきました。ホップフィールドネットには、ネットワークが定常状態に漸近的に近づくことを可能にする基礎エネルギー関数^[4]が含まれています。ポイントアトラクターネットワークの1つのクラスは入力で初期化され、その後入力が削除され、ネットワークは安定した状態に向かって動きます。アトラクターネットワークの別のクラスは、異なるタイプの入力によってプローブされる定義済みの重みを備えています。この安定した状態が入力中と入力後に異なる場合、それは連想記憶のモデルとして機能します。ただし、入力中と入力後の状態が異ならない場合は、ネットワークをパターン補完に使用できます。

直線アトラクタと平面アトラクタは、眼球運動制御の研究に使用されます。これらの直線アトラクタ、または神経インテグレータは、刺激に対する眼球の位置を表します。リングアトラクタは、げっ歯類の頭の方向をモデル化するために使用されています。

周期的アトラクターは、咀嚼、歩行、呼吸などの動物の振動活動を制御するニューロンである 中枢パターンジェネレーターをモデル化するのに役立ちます。

カオスアトラクタ（ストレンジアトラクタとも呼ばれる）は匂い認識のパターンを反映していると考えられている。カオスアトラクタはリミットサイクルに素早く収束するという利点があるが、この理論を裏付ける実験的証拠はまだない。^[5]

連続アトラクター (連続アトラクター ニューラル ネットワークとも呼ばれます) の隣接する安定状態 (固定点) は、頭の方向や空間内の実際の位置などの連続変数の隣接する値をコード化します。

ニューロンの特定のトポロジー（1次元の場合はリング、2次元ネットワークの場合はトーラスまたはねじれトーラス）を持つ連続アトラクタのサブタイプ。観察されたグリッド細胞の活動は、内側嗅内皮質にリングアトラクタが存在すると仮定することでうまく説明できます。^{[6]最近、同様のリングアトラクタが嗅内皮質の外側部分に存在し、その役割が新しい}エピソード記憶の登録にまで及ぶことが提案されています。^[7]

アトラクターネットワークは、主に固定小数点アトラクターを使用したメモリモデルとして実装されてきました。しかし、アトラクターランドスケープとネットワーク配線の設計が難しく、偽のアトラクターと条件の悪いアトラクションベイスンが生じるため、計算目的にはほとんど実用的ではありませんでした。さらに、アトラクターネットワークのトレーニングは、k近傍分類器などの他の方法と比較して、一般的に計算コストがかかります。^[8]しかし、運動機能、記憶、意思決定など、さまざまな生物学的機能の一般的な理解におけるそれらの役割は、生物学的に現実的なモデルとしてより魅力的になっています。

ホップフィールド アトラクタ ネットワークは、連想メモリを備えたアトラクタ ネットワークの初期の実装です。これらの再帰ネットワークは入力によって初期化され、固定点アトラクタに向かう傾向があります。離散時間での更新関数はです。ここで、 はネットワーク内のノードのベクトルであり、 はそれらの接続性を表す対称行列です。連続時間の更新は です。 ${\displaystyle x(t+1)=f(Wx(t))}$${\displaystyle x}$${\displaystyle W}$${\displaystyle {\frac {dx}{dt}}=-\lambda x+f(Wx)}$

双方向ネットワークはホップフィールドネットワークに似ていますが、行列がブロック行列であるという特別なケースがあります。 ^[4]${\displaystyle W}$

ZemelとMozer (2001) ^[8]は、ネットワーク内の各接続による複数のアトラクターのエンコードから生じるスプリアスアトラクターの数を減らす方法を提案しました。ローカリストアトラクターネットワークは、アトラクターを表すガウス分布の混合に対して期待値最大化アルゴリズムを実装することで知識をローカルにエンコードし、ネットワーク内の自由エネルギーを最小化し、最も関連性の高いアトラクターのみを収束させます。これにより、次の更新方程式が得られます。

1. アトラクターのアクティビティを決定します。${\displaystyle q_{i}(t)={\frac {\pi _{i}g(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}}$
2. ネットワークの次の状態を決定します。${\displaystyle y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!}$
3. ネットワークを通じてアトラクターの幅を決定します。${\displaystyle \sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}}$

（は流域の強度、は流域の中心を表します。はネットへの入力、 を中心とし、標準偏差が に等しい正規化されていないガウス分布です。） ${\displaystyle \pi_{i}}$${\displaystyle w_{i}}$${\displaystyle \xi}$${\displaystyle g}$${\displaystyle y}$${\displaystyle \sigma}$

その後、ネットワークが再度観察され、収束するまで上記の手順が繰り返されます。このモデルは、生物学的に関連する 2 つの概念も反映しています。モデルの変更により、最近訪れたアトラクターへの収束が速まるため、プライミングが刺激されます。さらに、アトラクターの合計アクティビティにより、ギャング効果が発生し、2 つの近くのアトラクターが互いのベイスンを相互に強化します。 ${\displaystyle \alpha}$

Siegelmann (2008) ^{[9] は、}ローカリストアトラクターネットワークモデルを一般化して、アトラクター自体のチューニングを含めました。このアルゴリズムは、上記の EM 法を使用しますが、次の変更が加えられています。(1) アトラクターのアクティビティが最も分散している場合、またはエントロピーが高いために追加のメモリが必要であることが示唆されている場合、アルゴリズムを早期に終了する、(2) アトラクター自体を更新する機能: 、ここで はの変化のステップサイズパラメータです。このモデルは、動物の記憶の再固定を反映し、記憶実験で見られるものと同じダイナミクスの一部を示します。 ${\displaystyle w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!}$${\displaystyle v}$${\displaystyle w_{i}}$

カーネルベースのアトラクタネットワーク^[10]などのアトラクタネットワークのさらなる開発により、複雑な構成構造に対してパターン補完を実行するための高度な柔軟性を維持しながら、学習アルゴリズムとしてのアトラクタネットワークの計算可能性が向上しました。