ホップフィールドネットワーク

ホップフィールドネットワーク（または連想記憶）は、リカレントニューラルネットワーク、またはスピングラスシステムの一種であり、内容アドレス指定可能なメモリとして機能します。ジョン・ホップフィールドにちなんで名付けられたホップフィールドネットワークは、ニューロンの単一層で構成され、各ニューロンは自身を除く他のすべてのニューロンに接続されています。これらの接続は双方向かつ対称であり、ニューロンiからニューロンjへの接続の重みは、ニューロンjからニューロンiへの接続の重みと同じです。パターンは、特定の入力を固定することによって連想的に想起され、ネットワークは動的に進化してエネルギー関数を最小化し、保存されたパターンに対応する局所的なエネルギー最小状態へと向かいます。パターンは、ヘッブ学習アルゴリズムによって連想的に学習（または「保存」）されます。

ホップフィールドネットワークの重要な特徴の一つは、部分的な入力やノイズの多い入力から完全なパターンを復元できることであり、不完全なデータや破損したデータに対しても頑健である。統計力学、リカレントネットワーク、人間の認知心理学との関連性から、物理学、心理学、神経科学、機械学習の理論と実践など、さまざまな分野で応用されている。しかし、二値ニューロン（±1または0/1）、拡張性の限界、勾配ベースの学習との非互換性といった理由から、古典的なホップフィールドネットワークは現代の機械学習ではほとんど使用されていない。

連想記憶の起源の一つは、人間の認知心理学、特に連想記憶である。フランク・ローゼンブラットは、「閉ループ相互結合パーセプトロン」を研究した。これは、中間層にヘッブ学習規則によって変化する再帰的接続を含む3層パーセプトロンネットワークである。^{[ 1 ]： 73-75 [ 2 ]：第19章、21}

連想記憶の別のモデルは、出力が入力にループバックしないものです。WK Taylor は、1956 年にヘッブ学習によって訓練されたそのようなモデルを提案しました。^{[3] 学習を理解したいと考え、子供たちが学ぶ様子を見てインスピレーションを得た Karl Steinbuch は、1961 年に Lernmatrix を発表しました。[4 ]これは} 1963年に英語に^{翻訳されまし}た。^{[ 7 ]同様}の研究は、1969 年に DJ Willshaw らのコレログラムで行われました^。 [ 8 ^{] Teuvo Kohonen}は、¹⁹⁷⁴年に勾配降下法によって連想記憶を訓練しました^{。[ 9 ]}

連想記憶のもう一つの起源は統計力学である。イジングモデルは1920年代に磁性のモデルとして発表されたが、熱平衡を研究しており、熱平衡は時間とともに変化しない。ロイ・J・グラウバーは1963年に、熱平衡に向かう過程（グラウバー動力学）として時間とともに変化するイジングモデルを研究し、時間の要素を追加した。^{[ 10 ] [ 11 ]}

追加される2番目の要素は刺激への適応でした。この要素は、ローゼンブラット（1960）^{[ 1 ]： 73-75}、中野薫（1971）^{[ 12 ] [ 13 ]}、甘利俊一（1972）^{[ 14 ]}など、さまざまな情報源によって独立して追加されました。彼らは、連想記憶のモデルとして、ヘッブ学習規則によってイジングモデルの重みを修正することを提案しました。同じアイデアは、1974年にウィリアム A. リトルによって発表され^{[ 15 ]} 、ホップフィールドは1982年の論文でリトルを認めています。

連想記憶に関するこれらの初期の研究の技術的な説明については、Carpenter (1989) ^{[ 16 ]}および Cowan (1990) ^{[ 17 ]を参照してください。}

1975 年に発表されたスピン グラスのSherrington –Kirkpatrick モデル^{[ 18 ]}は、ランダム初期化の Hopfield ネットワークです。Sherrington と Kirkpatrick は、SK モデルのエネルギー関数が多くの局所的最小値を持つ可能性が非常に高いことを発見しました。1982 年の論文で、Hopfield はこの最近開発された理論をバイナリ活性化関数を持つ Hopfield ネットワークの研究に適用しました。^{[ 19 ]} 1984 年の論文で、彼はこれを連続活性化関数に拡張しました。^{[ 20 ]}これは、統計力学によるニューラル ネットワークの研究の標準モデルになりました。^{[ 21 ] [ 22 ]}

メモリ記憶容量の大きな進歩は、ネットワークのダイナミクスとエネルギー関数の変更を通じて、 2016 年に Dimitry Krotov と Hopfield によって開発されました^{[ 23 ] 。このアイデアは、2017 年に Demircigil と共同研究者によってさらに拡張されました[ 24 ]。}大容量メモリモデルの連続的なダイナミクスは、2016 年から 2020 年にかけての一連の論文で開発されました^{[ 23 ] [ 25 ] [ 26 ]。} 大容量メモリ記憶ホップフィールドネットワークは現在、高密度連想メモリまたは現代のホップフィールドネットワークと呼ばれています。

2024年、ジョン・J・ホップフィールドとジェフリー・E・ヒントンは、ホップフィールド・ネットワークなどの機械学習への基礎的な貢献により、ノーベル物理学賞を受賞した。

ホップフィールドネットのユニットはバイナリ閾値ユニットであり、つまりユニットの状態は2つの異なる値しか取らず、その値はユニットへの入力が閾値を超えるかどうかによって決定されます。${\displaystyle U_{i}}$離散ホップフィールドネットワークは、バイナリ（発火または非発火）ニューロン間の関係を記述する。${\displaystyle 1,2,\ldots ,i,j,\ldots ,N}$^{[ 19 ]} ある時点におけるニューラルネットワークの状態はベクトルで表されます。${\displaystyle V}$これは、どのニューロンがバイナリワードで発火しているかを記録します。${\displaystyle N}$ビット。

相互作用${\displaystyle w_{ij}}$ニューロン間の相互作用は、通常1または-1の値をとる単位を持ち、この慣例をこの記事全体を通して使用します。ただし、他の文献では0と1の値をとる単位を使用する場合があります。これらの相互作用は、ヘッブの連合法則によって「学習」され、特定の状態に対して、 $\displaystyle V^{s}}$および異なるノード${\displaystyle i,j}$

${\displaystyle w_{ij}=V_{i}^{s}V_{j}^{s}}$

しかし${\displaystyle w_{ii}=0}$。

（ヘッブ学習ルールは次の形式をとることに注意してください）${\displaystyle w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)}$単位が次の値をとるとき${\displaystyle \{0,1\}}$）

ネットワークがトレーニングされると、${\displaystyle w_{ij}}$もはや進化しない。ニューロンの新しい状態${\displaystyle V^{s'}}$ニューラルネットワークに導入されると、ネットワークはニューロンに作用し、

• ${\displaystyle V_{i}^{s'}\rightarrow 1}$もし${\displaystyle \sum _{j}w_{ij}V_{j}^{s'}\geq U_{i}}$
• ${\displaystyle V_{i}^{s'}\rightarrow -1}$もし${\displaystyle \sum _{j}w_{ij}V_{j}^{s'}<U_{i}}$

どこ${\displaystyle U_{i}}$は i 番目のニューロンの閾値です (多くの場合 0 とされます)。^{[ 27 ]}このように、ホップフィールドネットワークは相互作用行列に格納された状態を「記憶」する能力を持っています。なぜなら、新しい状態が${\displaystyle V^{s'}}$相互作用行列に従うと、各ニューロンは元の状態と一致するまで変化する。${\displaystyle V^{s}}$（下記の「アップデート」セクションをご覧ください。）

ホップフィールドネットにおける接続には、通常、以下の制約があります。

• ${\displaystyle w_{ii}=0,\forall i}$（どのユニットも自身とは接続されていません）
• ${\displaystyle w_{ij}=w_{ji},\forall i,j}$（接続は対称です）

重みが対称であるという制約により、活性化ルールに従いながらエネルギー関数が単調に減少することが保証されます。^{[ 28 ]}重みが非対称なネットワークは、周期的またはカオス的な挙動を示す可能性がありますが、Hopfield は、この挙動は位相空間の比較的小さな部分に限定され、内容アドレス指定可能な連想記憶システムとしてのネットワークの能力を損なうことはないことを発見しました。

ホップフィールドは、各ニューロンの電気出力がバイナリではなく0から1の間の値である連続値のためのニューラルネットワークもモデル化した。^{[ 20 ]} 彼は、このタイプのネットワークが記憶された状態を保存および再現できることも発見した。

ホップフィールドネットワークでは、ユニットiとユニットjのペアごとに、接続重みによって記述される接続が存在することに注意してください。${\displaystyle w_{ij}}$この意味で、ホップフィールドネットワークは形式的には完全無向グラフとして記述できる。${\displaystyle G=\langle V,f\rangle }$、 どこ${\displaystyle V}$はマカロック・ピッツニューロンの集合であり、${\displaystyle f:V^{2}\rightarrow \mathbb {R} }$これは、ユニットのペアを実際の値である接続重みにリンクさせる関数です。

ホップフィールドネットワークにおける1つのユニット（人工ニューロンをシミュレートするグラフのノード）の更新は、以下のルールに従って行われます。

${\displaystyle s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{otherwise.}}\end{array}}\right.}$

どこ：

• ${\displaystyle w_{ij}}$は、ユニット j からユニット i への接続重量の強度（接続の重量）です。
• ${\displaystyle s_{i}}$はユニット i の状態です。
• ${\displaystyle \theta _{i}}$はユニット i のしきい値です。

ホップフィールドネットワークの更新は、次の2つの方法で行うことができます。

• 非同期：一度に更新されるのは1つのユニットのみです。このユニットはランダムに選択することも、最初からあらかじめ定義された順序で選択することもできます。
• 同期方式：すべてのユニットが同時に更新されます。同期を維持するためには、システムに中央クロックが必要です。この方式は、類似の生物学的または物理的システムに影響を与えるグローバルクロックが観測されていないことから、現実的ではないと考える人もいます。

Bruck は1990 年の論文^{[ 29 ]}で  離散ホップフィールドネットワークを研究し、ネットワークのダイナミクスと関連するグラフのカットとの関連性に基づく一般化された収束定理を証明しました。この一般化は非同期ダイナミクスと同期ダイナミクスの両方をカバーし、グラフの最大カットに対する貪欲アルゴリズムに基づく基本的な証明を示しました。後続の論文^{[ 30 ]}では、対応するエネルギー関数が最適化プロセス中に最小化されるときに、離散時間と連続時間のホップフィールドネットワークの両方で任意のニューロンの挙動をさらに調査しました。Bruck は^{[ 29 ]}、ニューロンj が次のバイアス付き擬似カットをさらに減少させる場合に限り、その状態が変化することを示しました。離散ホップフィールドネットワークは、ホップフィールドネットのシナプス重み行列に対して次のバイアス付き擬似カット^{[ 30 ]を最小化します。}

${\displaystyle J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}}$

どこ${\displaystyle C_{1}(k)}$そして${\displaystyle C_{2}(k)}$は、時刻 においてそれぞれ −1 と +1 であるニューロンの集合を表す。${\displaystyle k}$詳細については、最近の論文を参照してください。^{[ 30 ]}

離散時間ホップフィールドネットワークは常に次の擬似カットを正確に最小化します^{[ 29 ] [ 30 ]}

${\displaystyle U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)}$

連続時間ホップフィールドネットワークは常に次の重み付きカットの上限を最小化します^{[ 30 ]}

${\displaystyle V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))}$

どこ${\displaystyle f(\cdot )}$これは、中心がゼロのシグモイド関数です。

一方、複雑なホップフィールドネットワークは、一般的に、ネットワークの複素重み行列のいわゆるシャドウカットを最小化する傾向がある。^{[ 31 ]}

ホップフィールドネットでは、ネットワークの各状態に関連付けられたスカラー値があり、これはネットワークの「エネルギー」 Eと呼ばれ、次の式で表されます。

${\displaystyle E=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}+\sum _{i}\theta _{i}s_{i}}$

この量は、ネットワークユニットが更新されると減少するか、または変化しないため、「エネルギー」と呼ばれます。さらに、繰り返し更新すると、ネットワークは最終的にエネルギー関数の局所最小値である状態に収束します（これはリアプノフ関数であると考えられます）。^{[ 19 ]}したがって、状態がエネルギー関数の局所最小値である場合、それはネットワークの安定状態です。このエネルギー関数は、物理学におけるイジングモデルという名の一般的なモデルクラスに属していることに注意してください。これらは、関連する確率測度であるギブス測度がマルコフ性を持つため、マルコフネットワークの特殊なケースです。

ホップフィールドとタンクは、 1985 年に古典的な巡回セールスマン問題の解決にホップフィールド ネットワークの応用を発表しました。 ^{[ 32 ]}それ以来、ホップフィールド ネットワークは最適化に広く使用されています。最適化問題にホップフィールド ネットワークを使用するアイデアは単純です。制約付き/制約なしのコスト関数がホップフィールド エネルギー関数 E の形式で記述できる場合、その均衡点が制約付き/制約なしの最適化問題の解を表すホップフィールド ネットワークが存在します。ホップフィールド エネルギー関数を最小化すると、目的関数が最小化されるだけでなく、制約も満たされます。これは、制約がネットワークのシナプス重みに「埋め込まれている」ためです。シナプス重みに最適化制約を可能な限り最適な方法で組み込むことは困難な作業ですが、さまざまな分野の制約付き最適化問題の多くは、ホップフィールドエネルギー関数に変換されています。例えば、連想記憶システム、アナログ-デジタル変換、ジョブショップスケジューリング問題、二次割り当て、その他の関連するNP完全問題、無線ネットワークのチャネル割り当て問題、モバイルアドホックネットワークルーティング問題、画像復元、システム同定、組み合わせ最適化などです。ただし、困難な最適化問題をホップフィールドエネルギー関数に変換することは可能ですが、解への収束（指数時間であっても）を保証するものではありません。^{[ 33 ]}

ホップフィールドネットワークの初期化は、ユニットの値を目的の開始パターンに設定することによって行われます。その後、ネットワークがアトラクターパターンに収束するまで、繰り返し更新が実行されます。ホップフィールドは、この非線形力学系のアトラクターは安定しており、他のシステムのように周期的でもカオス的でもないことを証明したため、収束は一般的に保証されています。したがって、ホップフィールドネットワークの文脈では、アトラクターパターンは最終的な安定状態であり、更新によってその内部の値が変化することのないパターンです。

ホップフィールドネットワークのトレーニングでは、ネットワークが「記憶」すべき状態のエネルギーを下げます。これにより、ネットワークは内容アドレス指定可能なメモリシステムとして機能します。つまり、ネットワークは状態の一部のみを与えられた場合でも、「記憶」された状態に収束します。このネットワークは、歪んだ入力から、その入力に最も類似したトレーニング済みの状態を復元するために使用できます。これは、類似性に基づいて記憶を復元するため、連想記憶と呼ばれます。たとえば、5つのユニットを持つホップフィールドネットワークをトレーニングして、状態(1, −1, 1, −1, 1)がエネルギー最小値になるようにし、ネットワークに状態(1, −1, −1, −1, 1)を与えると、ネットワークは(1, −1, 1, −1, 1)に収束します。したがって、ネットワークが記憶すべき状態のエネルギーが局所最小値である場合、ネットワークは適切にトレーニングされています。パーセプトロンのトレーニングとは異なり、ニューロンの閾値は更新されないことに注意してください。

最初に反転された10個のランダムなビット

最初に15ビットのランダムなビットが反転される（偽パターンに収束する）

黒色の単一パターン「E」を記憶するように訓練された5×5=25個のニューロンからなるネットワークのホップフィールドダイナミクス

ネットワークがトレーニングに使用するパターン（検索状態と呼ばれる）は、システムの吸引子となる。繰り返し更新すると、最終的には検索状態のいずれかに収束する。しかし、ネットワークは、トレーニングパターンとは異なる偽のパターンに収束することもある。^{[ 37 ]}実際、保存されたパターンが直交している場合でも、偽のパターンの数は保存されたパターンの数に対して指数関数的に増加する可能性がある。^{[ 38 ]}これらの偽のパターンのエネルギーも局所的な最小値である。保存された各パターン x に対して、否定 -x も偽のパターンである。

偽の状態は、奇数個の検索状態の線形結合である場合もあります。たとえば、3つのパターンを使用する場合${\displaystyle \mu _{1},\mu _{2},\mu _{3}}$次のような偽の状態が得られる可能性があります。

${\displaystyle \epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})}$

偶数個の状態を持つ偽のパターンは存在し得ない。なぜなら、それらの合計がゼロになる可能性があるからである^{[ 37 ]。}

ホップフィールド ネットワーク モデルのネットワーク容量は、特定のネットワーク内のニューロン数と接続によって決まります。したがって、保存できる記憶の数は、ニューロンと接続に依存します。さらに、ベクトルとノード間の想起精度は 0.138 であることが示されました (1000 ノードごとに約 138 ベクトルをストレージから想起できます) (Hertz et al., 1991)。したがって、多数のベクトルを保存しようとすると、多くの間違いが発生することは明らかです。ホップフィールド モデルが正しいパターンを想起しない場合、意味的に関連する項目が個人を混乱させ、間違ったパターンを想起する傾向があるため、侵入が発生した可能性があります。したがって、ホップフィールド ネットワーク モデルは、検索時に保存された項目を別の項目と混同することが示されています。Storkey 学習法を使用すると、ネットワークに完全な想起と高い容量 (>0.14) をロードできます。 ETAM、^{[ 39 ] [ 40 ]} ETAM実験も実施された。^{[ 41 ]}ホップフィールドネットワークに触発された後続モデルは、ストレージ制限を引き上げ、検索エラー率を低減するために後に考案され、一部はワンショット学習が可能になった。^{[ 42 ]}

ヘッブの法則を用いた貯蔵容量は次のように表される。${\displaystyle C\cong {\frac {n}{2\ln n}}}$どこ${\displaystyle n}$はネットワーク内のニューロンの数です。^{[ 36 ]}

ストーキーの法則を用いた貯蔵容量は次のように表すことができます。${\displaystyle C\cong {\frac {n}{\sqrt {2\ln n}}}}$どこ${\displaystyle n}$はネットワーク内のニューロンの数です。^{[ 36 ]}

ホップフィールドネットワークは、人間の連想学習と想起のモデルです。^{[ 43 ] [ 44 ]}これは、記憶ベクトルの組み込みによって連想記憶を説明します。記憶ベクトルはわずかに使用することができ、これによりネットワーク内で最も類似したベクトルの検索が引き起こされます。しかし、このプロセスにより、侵入が発生する可能性があることがわかります。ホップフィールドネットワークの連想記憶には、自己連想と異種連想の 2 種類の操作があります。前者はベクトルがそれ自身に関連付けられる場合で、後者は 2 つの異なるベクトルがストレージに関連付けられる場合です。さらに、両方のタイプの操作は単一の記憶マトリックス内に保存できますが、与えられた表現マトリックスがどちらか一方の操作ではなく、2 つの操作の組み合わせ (自己連想と異種連想) である場合に限ります。

ホップフィールドのネットワークモデルは、ヘッブ（1949）の学習規則と同じ学習規則を利用しており、学習は神経活動の場合に重みが強化される結果として特徴づけられる。

RizzutoとKahana（2001）は、確率的学習アルゴリズムを組み込むことで、ニューラルネットワークモデルが想起精度の繰り返しを説明できることを示した。検索プロセス中は学習は起こらない。その結果、ネットワークの重みは固定されたままであり、モデルが学習段階から想起段階に切り替わることができることを示している。文脈ドリフトを追加することで、手がかり付き想起タスク中にホップフィールドモデルで発生する急速な忘却を示すことができた。ネットワーク全体が、任意の単一ノードの活性化の変化に寄与する。

マカロックとピッツ（1943）の動的ルールは、ニューロンの挙動を記述するもので、複数のニューロンの活性化が新しいニューロンの発火率の活性化にどのように対応し、ニューロンの重みが新しく活性化されたニューロン（およびそれを活性化したニューロン）間のシナプス結合をどのように強化するかを示しています。ホップフィールドは、ホップフィールドネットワークでどのように検索が可能かを示すために、マカロックとピッツの動的ルールを使用しました。ただし、ホップフィールドはそれを繰り返し行いました。ホップフィールドは、線形関数の代わりに非線形活性化関数を使用しました。これによりホップフィールドの動的ルールが作成され、ホップフィールドは、非線形活性化関数を使用すると、動的ルールが常に保存されたパターンのいずれかの方向に状態ベクトルの値を変更することを示すことができました。

ホップフィールドネットワーク^{[ 19 ] [ 20 ]}は、固定点アトラクター状態に収束する動的軌道を持つリカレントニューラルネットワークであり、エネルギー関数によって記述されます。各モデルニューロンの状態は${\textstyle i}$時間依存変数によって定義される${\displaystyle V_{i}}$これは、離散的または連続的のいずれかを選択できます。完全なモデルは、各ニューロンの将来の活動状態が、すべてのニューロンの既知の現在または過去の活動にどのように依存するかを数学的に記述します。

ホップフィールドの連想記憶のオリジナルモデル^{[ 19 ]}では、変数はバイナリであり、ダイナミクスはニューロンの状態を一度に1つずつ更新することによって記述されていました。エネルギー関数は、${\displaystyle V_{i}}$が定義され、そのダイナミクスは各ニューロンの活動の変化から成り立っていた。${\displaystyle i}$そうすることでシステム全体のエネルギーが低下する場合に限る。この同じ考え方は、次の場合にも拡張された。${\displaystyle V_{i}}$ニューロンの出力を表す連続変数である${\displaystyle i}$、 そして${\displaystyle V_{i}}$入力電流の単調関数である。ダイナミクスは、システムの「エネルギー」が常に減少する一連の1階微分方程式として表現された。^{[ 20 ]}  連続の場合のエネルギーには、入力電流の2次項が1つある。${\displaystyle V_{i}}$（バイナリモデルと同様）、およびゲイン関数（ニューロンの活性化関数）に依存する第2項。これらの古典的なシステムは、連想記憶の望ましい特性を多く備えているものの、入力特徴の数に比例してメモリ記憶容量が小さいという問題があります。^{[ 19 ]}対照的に、モデルのパラメータ数を増やして、ニューロン間のペアワイズ相互作用だけでなく高次相互作用も考慮に入れることで、メモリ記憶容量を増やすことができます。^{[ 45 ] [ 46 ]}

高密度連想記憶^{[ 23 ]} (現代ホップフィールドネットワーク^{[ 25 ]}とも呼ばれる) は、入力特徴の数と記憶される数の間の線形スケーリング関係を破る古典的なホップフィールドネットワークの一般化です。これは、より強い非線形性 (エネルギー関数またはニューロンの活性化関数のいずれか) を導入することによって実現され、特徴ニューロンの数の関数として超線形^{[ 23 ]} (指数関数^{[ 24 ]}にさえ) の記憶容量をもたらし、結果としてニューロン間の相互作用の次数を増加させます。^{[ 45 ] [ 46 ]}このネットワークには、十分な数の隠れニューロンが依然として必要です。^{[ 26 ]}

高密度連想記憶ネットワークの背後にある重要な理論的アイデアは、古典的なモデルと比較して、ニューロンの構成空間内の記憶の周囲でより鋭くピークを持つエネルギー関数と更新ルールを使用することである^{[ 23 ]。}これは、高次の相互作用とそれに続くエネルギーランドスケープが明示的にモデル化されている場合に実証されている^{[ 46 ] 。}

離散変数

現代のホップフィールドネットワークの簡単な例^{[ 23 ]}は、バイナリ変数を用いて記述することができる。${\displaystyle V_{i}}$アクティブなものを表す${\displaystyle V_{i}=+1}$非アクティブ${\displaystyle V_{i}=-1}$モデルニューロンの状態${\displaystyle i}$。$${\displaystyle E=-\sum \limits _{\mu =1}^{N_{\text{mem}}}F{\Big (}\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}V_{i}{\Big )}}$$この式では、重みは${\textstyle \xi _{\mu i}}$メモリベクトルの行列を表す（インデックス）${\displaystyle \mu =1...N_{\text{mem}}}$さまざまなメモリを列挙し、インデックスを作成します。${\displaystyle i=1...N_{f}}$各メモリの内容を列挙します。${\displaystyle i}$（ 番目の特徴ニューロン）、および関数${\displaystyle F(x)}$は急速に増加する非線形関数である。個々のニューロンの更新規則（非同期の場合）は、次の形式で記述できる。$${\displaystyle V_{i}^{(t+1)}=Sign{\bigg [}\sum \limits _{\mu =1}^{N_{\text{mem}}}{\bigg (}F{\Big (}\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}-F{\Big (}-\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}{\bigg )}{\bigg ]}}$$これは、更新された状態を計算するために、${\textstyle i}$ネットワークは、2 つのエネルギーを比較します。ネットワークのエネルギーと${\displaystyle i}$ON状態の番目のニューロンと、ネットワークのエネルギーは${\displaystyle i}$残りのニューロンの状態が与えられた場合、- 番目のニューロンは OFF 状態になります。${\displaystyle i}$第 1 番目のニューロンは、2 つのエネルギーのうち最も低い状態を選択します。^{[ 23 ]}

非線形エネルギー関数が二次関数である極限の場合${\displaystyle F(x)=x^{2}}$これらの式は、古典的なバイナリホップフィールドネットワークのよく知られたエネルギー関数と更新ルールに帰着する。^{[ 19 ]}

これらのネットワークのメモリ記憶容量は、ランダムなバイナリパターンに対して計算できます。電力エネルギー関数については、${\displaystyle F(x)=x^{n}}$このネットワークからエラーなく保存および取得できるメモリの最大数は^{[ 23 ]で与えられます。}$${\displaystyle N_{\text{mem}}^{max}\approx {\frac {1}{2(2n-3)!!}}{\frac {N_{f}^{n-1}}{\ln(N_{f})}}}$$指数関数的なエネルギー関数の場合${\textstyle F(x)=e^{x}}$記憶容量は特徴ニューロンの数に対して指数関数的に増加する^{[ 24 ]}$${\displaystyle N_{\text{mem}}^{max}\approx 2^{N_{f}/2}}$$

連続変数

現代のホップフィールドネットワークや高密度連想記憶は、連続変数と連続時間で最もよく理解できます。^{[ 25 ] [ 26 ]}図1に示すネットワークアーキテクチャとニューロンの状態変化の式を考えてみましょう^{[ 26 ]}

ここで、特徴ニューロンの電流は、${\textstyle x_{i}}$、記憶ニューロンの電流は で表される。${\displaystyle h_{\mu }}$（${\displaystyle h}$（隠れニューロンを表す）。特徴ニューロンと記憶ニューロンの間にはシナプス結合はない。${\displaystyle \xi _{\mu i}}$特徴ニューロンからのシナプスの強度を表す${\displaystyle i}$記憶ニューロンへ${\displaystyle \mu }$シナプスは対称であると仮定されるため、同じ値が記憶ニューロンの異なる物理的シナプスを特徴づけることになる。${\displaystyle \mu }$特徴ニューロンへ${\displaystyle i}$記憶ニューロンと特徴ニューロンの出力は、${\displaystyle f_{\mu }}$そして${\displaystyle g_{i}}$これらは対応する電流の非線形関数です。一般に、これらの出力はその層のすべてのニューロンの電流に依存するため、${\displaystyle f_{\mu }=f(\{h_{\mu }\})}$そして${\textstyle g_{i}=g(\{x_{i}\})}$これらの活性化関数を、2つのニューロン群に対するラグランジュ関数の導関数として定義すると便利である。

このように、ラグランジュ関数が指定されると、ニューロンの状態を表す方程式の具体的な形式が完全に定義されます。最後に、2つのニューロン群の時定数は次のように表されます。${\displaystyle \tau _{f}}$そして${\displaystyle \tau _{h}}$、${\displaystyle I_{i}}$これは、提示されたデータによって駆動可能なネットワークへの入力電流です。 

非線形微分方程式の一般的なシステムは、非線形性や初期条件の選択によって、多くの複雑な挙動を示す可能性があります。しかし、ホップフィールドネットワークの場合、これは当てはまりません。動的軌道は常に固定点アトラクター状態に収束します。この特性は、これらの方程式が基礎となるエネルギー関数を持つように特別に設計されているため実現されます^{[ 26 ]。}

角括弧で囲まれた項は、ニューロンの状態に関するラグランジュ関数のルジャンドル変換を表します。ラグランジュ関数のヘッセ行列が正半定値であれば、エネルギー関数は動的軌道上で減少することが保証されます^{[ 26 ]。}

この性質により、ニューロンの活動の時間的変化を記述する動的方程式系が、最終的に固定点アトラクター状態に到達することを証明することが可能になる。

特定の状況では、隠れニューロンのダイナミクスは特徴ニューロンに比べてはるかに速い時間スケールで平衡状態に達すると考えられる。${\textstyle \tau _{h}\ll \tau _{f}}$この場合、システム（1）の2番目の方程式の定常状態解を使用して、特徴ニューロンの出力を介して隠れユニットの電流を表現できます。これにより、一般理論（1）を特徴ニューロンのみの有効な理論に縮小することが可能になります。結果として得られる有効な更新ルールと、ラグランジュ関数のさまざまな一般的な選択に対するエネルギーを図2に示します。対数和指数ラグランジュ関数の場合、特徴ニューロンの状態に対する更新ルール（一度適用した場合）は、多くの最新のAIシステムで一般的に使用されているアテンションメカニズム^{[ 25 ]です（この結果を連続時間定式化から導出するには、文献[ 26 ]}を参照）。

現代のホップフィールドネットワークの一般的な定式化

生物学的ニューラルネットワークは、異なる細胞タイプに関して大きな異質性を持っています。このセクションでは、極めて大きな異質性、つまりすべてのニューロンが異なることを前提とした、完全に接続された最新のホップフィールドネットワークの数理モデルについて説明します。^{[ 47 ]}具体的には、各ニューロンが独自の活性化関数と運動時間スケールを持つことを前提としたエネルギー関数と対応する動的方程式について説明します。ネットワークは完全に接続されていると仮定され、すべてのニューロンは対称的な重み行列を使用して他のすべてのニューロンに接続されています。${\displaystyle W_{IJ}}$、インデックス${\displaystyle I}$そして${\displaystyle J}$ネットワーク内のさまざまなニューロンを列挙します（図3参照）。この問題を数学的に定式化する最も簡単な方法は、ラグランジュ関数を用いてアーキテクチャを定義することです。${\displaystyle L(\{x_{I}\})}$これは、ネットワーク内のすべてのニューロンの活動に依存します。各ニューロンの活性化関数は、そのニューロンの活動に関するラグランジアンの偏微分として定義されます。

生物学的観点から考えると、${\displaystyle g_{I}}$ニューロンの軸索出力として${\displaystyle I}$最も単純なケースでは、ラグランジアンが異なるニューロンに対して加算的である場合、この定義により、活性化はニューロンの活動の非線形関数となります。非加算的なラグランジアンの場合、この活性化関数はニューロン群の活動に依存する可能性があります。たとえば、対照的（ソフトマックス）または除算的な正規化が含まれる場合があります。特定のニューロンの時間的変化を記述する動的方程式は、^{[ 47 ]で与えられます。}

この方程式は、神経科学における発火率モデルと呼ばれるモデル群に属します。各ニューロン${\displaystyle I}$軸索出力を収集する${\displaystyle g_{J}}$すべてのニューロンから、シナプス係数で重み付けします。${\displaystyle W_{IJ}}$そして時間依存的な独自の活動を生み出す${\displaystyle x_{I}}$時間的変化には時間定数がある。${\displaystyle \tau _{I}}$これは一般的にニューロンごとに異なる可能性があります。このネットワークはグローバルエネルギー関数を持っています^{[ 47 ]}

ここで、最初の2つの項は、ニューロンの電流に関するラグランジュ関数のルジャンドル変換を表す。${\displaystyle x_{I}}$ このエネルギー関数の時間微分は、(詳細は^{[ 47 ]}を参照)につながる動的軌道上で計算できます。

最後の不等号は、行列が${\displaystyle M_{IK}}$（またはその対称部分）は正半定値です。さらに、エネルギー関数が下から有界である場合、非線形動的方程式は固定点アトラクター状態に収束することが保証されます。このネットワークをラグランジュ関数で定式化する利点は、活性化関数のさまざまな選択やニューロンのさまざまなアーキテクチャ配置を容易に実験できることです。これらの柔軟な選択すべてにおいて、収束条件は行列の特性によって決定されます。${\displaystyle M_{IJ}}$そして、エネルギー関数の下限値の存在。

• 連想記憶（曖昧性解消）
• 自己連想記憶
• ボルツマンマシン– ホップフィールドネットに似ているが、勾配降下法の代わりにアニールギブスサンプリングを使用する
• 認知の動的システムモデル
• イジングモデル
• ヘッブ理論

• Rojas, Raul (1996年7月12日). 「13. ホップフィールドモデル」(PDF) .ニューラルネットワーク ― 体系的入門. Springer. ISBN 978-3-540-60505-8。
• ホップフィールドネットワークのJavaScript
• 巡回セールスマン問題(2015年5月30日アーカイブ、 Wayback Machine) – ホップフィールドニューラルネットワーク JAVAアプレット
• ホップフィールド、ジョン（2007）。「ホップフィールド・ネットワーク」。Scholarpedia。2（5 ）：1977。Bibcode ：2007SchpJ... 2.1977H。doi：10.4249 / scholarpedia.1977。
• 「連想記憶を忘れないでください」。The Gradient。2020年11月7日。 2024年9月27日取得。