双方向連想記憶

双方向連想記憶（BAM ）は、リカレントニューラルネットワークの一種です。BAMは1988年にバート・コスコによって発表されました。 ^{[1]連想記憶には、}自己連想型と異連想型の2種類があります。BAMは異連想型で、パターンが与えられると、潜在的に異なるサイズの別のパターンを返すことができます。どちらも連想記憶の形式であるという点でホップフィールドネットワークに似ています。ただし、ホップフィールドネットは同じサイズのパターンを返します。

入力層と出力層のどちらからの入力にも応答できるため、双方向性があると言われています。^[2]

トポロジー

BAM には 2 つのニューロン層があり、これを X 層と Y 層で表します。X 層と Y 層は完全に相互に接続されています。重みが確立されると、X 層への入力は Y 層のパターンを表し、その逆も同様です。

レイヤーは両方向（双方向）に接続することができ、その結果、XレイヤーからYレイヤーに送信される重み行列は、YレイヤーからXレイヤーに送信される信号の重み行列は、となります。したがって、重み行列は両方向で計算されます。^[2] $W$ $W^{T}$

手順

学ぶ

A1:B1 と A2:B2 という 2 つの関連付けを保存したいとします。

A1 = (1、0、1、0、1、0)、B1 = (1、1、0、0)
A2 = (1、1、1、0、0、0)、B2 = (1、0、1、0)

これらは次に双極性形式に変換されます。

X1 = (1、-1、1、-1、1、-1)、Y1 = (1、1、-1、-1)
X2 = (1、1、1、-1、-1、-1)、Y2 = (1、-1、1、-1)

そこから、転置を表す式を計算します。つまり、 $M=\sum {\!X_{i}^{T}Y_{i}}$ $X_{i}^{T}$

$M=\left[{\begin{array}{*{10}c}2&0&0&-2\\0&-2&2&0\\2&0&0&-2\\-2&0&0&2\\-2&0&0&2\\-2&0&0&2\\\end{array}}\right]$

想起

関連付け A1 を取得するには、これに M を掛けて (4, 2, -2, -4) を取得します。これをしきい値に通すと (1, 1, 0, 0) となり、これが B1 になります。逆の関連付けを見つけるには、これに M の転置を掛けます。

容量

BAMのメモリまたは記憶容量はで表されます。ここで、「」はX層のユニット数、「」はY層のユニット数です。^[3] $\min(m,n)$ $n$ $m$

内部行列には nxp の独立した自由度があり、n は最初のベクトルの次元 (この例では 6)、p は 2 番目のベクトルの次元 (4) です。これにより、BAM は最大で合計 min(n,p) 個の独立したベクトルペアを確実に保存および呼び出すことができます。この例では min(6,4) = 4 です。^[1]信頼性 (出力のビット誤り) を犠牲にすることで、容量を上記の値まで増やすことができます。

安定性

ペアはBAM の状態を定義します。パターンを保存するには、そのパターンのエネルギー関数値がエネルギーランドスケープ内の最小点を占める必要があります。 $(A,B)$

BAM の安定性分析は、各状態を持つリャプノフ関数(エネルギー関数)の定義に基づいています。ペアパターンが BAM に提示されると、ニューロンは双方向に安定した状態に達するまで状態を変更します。これは、Koskoによってエネルギー関数の局所的最小値に対応することが証明されています。離散 BAM は、安定した状態に収束することが証明されています。 $E$ $(A,B)$ $(A,B)$ $(A_{f},B_{f})$

Koskoによって提案されたエネルギー関数は双方向の場合のものであり、特定のケースではホップフィールドの自動連想エネルギー関数に対応します。^[3] (すなわち)。 $E(A,B)=-AMB^{T}$ $A=B$ $E(A,B)=-AMA^{T}$

参照

参考文献

^ ab Kosko, B. (1988). 「双方向連想メモリ」(PDF) . IEEE Transactions on Systems, Man, and Cybernetics . 18 (1): 49–60. doi :10.1109/21.87054.
^ ab 「Principles of Soft Computing, 3ed」。www.wileyindia.com 。 2020年8月15日閲覧。
^ ab RAJASEKARAN, S.; PAI, GA VIJAYALAKSHMI (2003-01-01). ニューラルネットワーク、ファジーロジック、遺伝的アルゴリズム：合成と応用（CD付き）。PHI Learning Pvt. Ltd. ISBN 978-81-203-2186-1。

外部リンク

双方向連想メモリ – Wiki記事のPythonソースコード
双方向連想メモリ – ACM ポータルリファレンス

[Kosko-1] Kosko, B. (1988). 「双方向連想メモリ」(PDF) . IEEE Transactions on Systems, Man, and Cybernetics . 18 (1): 49–60. doi :10.1109/21.87054.

[:0-2] 「Principles of Soft Computing, 3ed」。www.wileyindia.com 。 2020年8月15日閲覧。

[:1-3] RAJASEKARAN, S.; PAI, GA VIJAYALAKSHMI (2003-01-01). ニューラルネットワーク、ファジーロジック、遺伝的アルゴリズム：合成と応用（CD付き）。PHI Learning Pvt. Ltd. ISBN 978-81-203-2186-1。