スパース分散メモリ

スパース分散記憶（SDM ）は、1988年にNASAエイムズ研究センターに在籍していたペンティ・カネルバによって導入された人間の長期記憶の数学的モデルである。^[1]

このメモリは、理論と実験の両方において、これまで機械が実現できなかった動作、例えば顔や匂いの素早い認識、一見無関係なアイデア間の新しいつながりの発見などに似ています。スパース分散メモリは、正確さではなく情報の類似性に焦点を当て、大量（ビット）の情報の保存と取得に使用されます。 ^{[2]最近では、ロボットナビゲーション[3]}や経験に基づくロボット操作にいくつかのアプリケーションがあります。 ^[4]${\displaystyle 2^{1000}}$

これは、長い（例えば、1,000 ビット）バイナリ ワード用の汎用ランダム アクセス メモリ（RAM）です。これらのワードは、メモリへのアドレスとデータの両方として機能します。メモリの主な属性は、類似性に対する感度です。つまり、元の書き込みアドレスを与えるだけでなく、不一致ビットの数（つまり、メモリ アドレス間のハミング距離）で測定されたそれに近いアドレスを与えることで、ワードを読み戻すことができます。^[1]

SDMは、人間の記憶における符号化プロセスと同様に、分散データ表現とストレージを使用して、論理空間から物理空間への変換を実装します。 ^[5]論理アドレスに対応する値は、多くの物理アドレスに格納されます。この格納方法は堅牢であり、決定論的ではありません。メモリセルは直接アドレス指定されません。入力データ（論理アドレス）が部分的に破損した場合でも、正しい出力データを取得できます。^[6]

記憶の理論は数学的に完全であり^{[1] 、}コンピュータシミュレーションによって検証されています。これは、高次元空間の点間の距離が人間の記憶における概念間の近接関係に似ているという観察から生まれました。この理論に基づくメモリは、従来のランダムアクセスメモリ要素を使用して実装できるという点で実用的です。^[7]

人間の記憶は、「消防車は赤い、リンゴは赤い」など、記憶間の類似性（関連性がない場合もある）に基づいて記憶を集約する傾向があります。 ^[8]疎分散メモリは人間の記憶の数学的表現であり、高次元空間を使用して、人間の神経ネットワークを模倣した大量の記憶をモデル化するのに役立ちます。^{[9] [10]}このような高次元空間の重要な特性は、ランダムに選択された2つのベクトルが互いに比較的離れていることです。つまり、相関がないことを意味します。 ^{[11] SDMは、}局所性に敏感なハッシュの実現と考えることができます。

SDM の背後にある基本的な考え方は、巨大なバイナリ メモリを、ハード ロケーションと呼ばれる物理的な場所の小さなセットにマッピングすることです。一般的なガイドラインとして、これらのハード ロケーションは、仮想空間に均一に分散して、より大きな仮想空間の存在を可能な限り正確に模倣する必要があります。すべてのデータは、ハード ロケーションのセットに分散して保存され、それらの場所を平均化して取得されます。したがって、再現率は完璧ではなく、精度はメモリの飽和度によって異なります。

カネルバの提案は4つの基本的な考え方に基づいています。^[12]

1. ブール空間、つまり次元内の点は、概念間の関係に関する人間の直感的な概念に似た特性を示します。つまり、各メモリ項目が n ビットのベクトルとして保存される前述の空間の点としてデータを保存することは理にかなっています。${\displaystyle \{0,1\}^{n}}$${\displaystyle 2^{n}}$${\displaystyle 10^{0}<n<10^{5}}$
2. n入力を持つニューロンはランダムアクセスメモリのアドレスデコーダーとして使用できる。
3. 統一原理: メモリに保存されたデータは、同じメモリへのアドレスとして使用できます。2 つのポイント間の距離は、2 つのメモリ項目間の類似性の尺度です。ポイントが近いほど、保存されているベクトルの類似性が高くなります。
4. データがイベントのシーケンスとして編成されている場合、データはそのデータが格納されている場所の関数としてメモリ内で追跡できます。

SDM は、バイナリ コンポーネントを持つ n 次元ベクトルを扱います。コンテキストに応じて、ベクトルはポイント、パターン、アドレス、ワード、メモリ項目、データ、またはイベントと呼ばれます。このセクションでは、主にベクトル空間 N = の特性について説明します。n を空間の次元数とします。ポイントの数、つまり可能なメモリ項目の数は です。この数を N で表し、N と を空間自体を表すためにも使用します。^[6]${\displaystyle \{0,1\}^{n}}$${\displaystyle 2^{n}}$${\displaystyle 2^{n}}$

空間Nに関連する概念: ${\displaystyle \{0,1\}^{n}}$^[6]

• 原点、0: すべての座標が 0 の点は原点、0 = 000...00 と呼ばれます。
• 補数、'x: 点 x の補数、つまり反対は、x が 0 の場合に 1 が含まれる n 組であり、その逆も同様です。
• ノルム、|x|: 点 x のノルムは、その 2 進表現における 1 の数です。
• 差、x − y: 2 つの点 x と y の差は、x と y が異なる場所では 1 になり、それ以外の場所では 0 になる n 組です。これはビットごとの「排他的論理和」です: x − y = x ⊕ y。差は可換です: x − y = y − x。
• 距離、d(x, y) 2 点 x と y の間の距離は、x と y が異なる次元の数です。これはハミング距離 (その平方根はユークリッド距離) と呼ばれ、ビットで表されます。距離は差のノルムです: d(x, y) = |x − y|
• 媒介性、x:y:z: 点 y が点 x と点 z の間にあるのは、x から z までの距離が x から y までの距離と y から z までの距離の合計である場合のみです。つまり、x:y:z ≡ d(x, z) = d(x, y) + d(y, z) です。間にある点のすべてのビットは、端点の対応するビットのコピーであることが簡単にわかります。
• 直交性、x ⊥ y: 点 x は点 y に直交しているか、または 2 つが垂直または無差別であるためには、2 つの間の距離が次元数の半分である必要があります。つまり、x ⊥ y ≡ d(x, y) = n/2 です。距離 n/2 は空間 N の無差別距離と呼ばれます。x が y に直交している場合、x はその補点である 'y にも直交します (x は y と 'y の中間にあります)。
• 円、O(r,x) 半径 r で中心が x の円は、x から最大 r ビット離れた点の集合です: O(r,x) = {y | d(x, y) ≤ r}。

空間Nの性質: ${\displaystyle \{0,1\}^{n}}$^{[1] [6]}

空間 N は、n 次元ユークリッド空間の単位立方体の頂点で表すことができます。頂点は、(ユークリッド計量) 半径 の n 次元球面の表面上にあります。これにより、球のアナロジーが生まれます。次の場合、空間を球面と呼びます。 ${\displaystyle {\sqrt {n}}/2}$

1. 任意の点xには唯一の反対点'xが存在する。
2. 空間全体は任意の点xとその反対の点'xの間にあり、
3. すべての点は「等しい」 (つまり、任意の 2 つの点 x と y に対して、x を y にマッピングする空間の距離保存自己同型性があり、どの点から見ても空間は同じに見える)。

球面（ユークリッド 3 次元空間）は明らかに球面です。定義によれば、y ⊕ x ⊕ (…) は x を y に写す自己同型なので、N も球面です。N は球面なので、円周2nの球面と考えると分かりやすいです。N のすべての点は原点として等しく適しており、点とその補点は、空間全体がその間にある、互いに n の距離にある 2 つの極のようなものです。極の中間にあり、極に垂直な点は赤道のようなものです。

空間Nの分布

任意の点 x (例えば点 0 から) からちょうど d ビット離れた点の数は、合計 n 個の座標から d 個の座標を選択する方法の数であり、したがって二項係数によって表されます。 ${\displaystyle {\binom {n}{d}}={\frac {n!}{d!(nd)!}}}$

したがって、N の分布は、パラメータ n と p を持つ二項分布であり、p = 1/2 です。二項分布の平均は n/2、分散は n/4 です。この分布関数は N(d) で表されます。平均 n/2、標準偏差を持つ正規分布F は、この分布関数の良い近似値です。N(d) = Pr{d(x, y) ≤ d} ≅ F{(d − n / 2)/ } ${\displaystyle {\sqrt {n}}/2}$${\displaystyle {\sqrt {n/4}}}$

直交性への傾向

N の顕著な特性は、その大部分が、ある点 (およびその補点) からほぼ平均 (無差別) 距離 n/2 に位置することです。言い換えると、空間の大部分は任意の点に対してほぼ直交しており、n が大きいほどこの効果は顕著になります。

SDMは、古典的なランダムアクセスメモリ（RAM）のコンテンツアドレス拡張、または3層フィードフォワードニューラルネットワークの特殊なタイプとして考えることができます。RAMに対するSDMの主な変更点は次のとおりです。^[13]

• SDM は、参照アドレスと各位置アドレス間のハミング距離を計算します。指定された半径以下の各距離に対して、対応する位置が選択されます。
• メモリは、単一ビットのストレージ要素ではなく、カウンター (n は場所の数、m は入力データの長さ) によって表されます。
• 上書きではなくメモリへの書き込みは次のようになります。
  • 入力データのiビットが1の場合、対応するカウンタ（選択された位置（行）とi番目の列のカウンタ）がインクリメントされます。
  • 入力データの i ビットが 0 の場合、対応するカウンターが減算されます。
• メモリからの読み取り（または呼び出し）も同様です。
  • 選択した場所の内容が列ごとに合計されます。
  • 各合計はしきい値で設定されます。合計がしきい値以上の場合は、対応する出力ビットが 1 に設定され、そうでない場合はクリアされます。トレーニング入力ベクトルが直交ベクトルに近い場合は、しきい値が 0 になる可能性があることに注意してください。

ニューロンの理想的な説明は次のとおりです。ニューロンには、樹状突起と軸索という 2 種類の枝を持つ細胞体があります。樹状突起を介して他のニューロンから入力信号を受け取り、それらを統合 (合計) して独自の (電気) 出力信号を生成し、軸索を介して外部のニューロンに送信します。ニューロン間の電気的接触点はシナプスと呼ばれます。

ニューロンが信号を生成すると発火し、発火後は再び発火する前に回復しなければなりません。ニューロンの発火に対するシナプスの相対的な重要性は、シナプス重み（または入力係数）と呼ばれます。シナプスには、ニューロンの発火を誘発する興奮性と発火を妨げる抑制性の2種類があります。ニューロンは、軸索が作るシナプスの種類に応じて興奮性または抑制性になります。^[14]

ニューロンは、入力の合計が特定の閾値を超えると発火します。閾値が高いほど、興奮性シナプスに入力があり、抑制性シナプスには入力がないことが重要になります。^[15]回復したニューロンが実際に発火するかどうかは、一定期間内に十分な興奮性入力（閾値を超える）を受け、抑制性入力が多すぎないかどうかによって決まります。

ニューロンの形式モデルはさらに単純化された仮定を立てる。^[16] n入力ニューロンは次のように線形閾値関数によってモデル化される 。 ${\displaystyle F:\{0,1\}^{n}->\{0,1\}}$

ここで、n は入力数、 は時刻tにおける出力、 は時刻tにおけるi番目の入力です。はi番目の入力の重み、 はしきい値です。 ${\displaystyle i=0,...,n-1}$${\displaystyle F_{t}}$${\displaystyle F_{t}\in \{0,1\}}$${\displaystyle x_{i,t}}$${\displaystyle x_{i,t}\in \{0,1\}}$${\displaystyle w_{i}}$${\displaystyle c}$

時刻tにおける入力の加重和は次のように定義される。${\displaystyle S_{t}=\sum _{i=0}^{n-1}w_{i}x_{i,t}}$

時刻tにおけるニューロン出力はブール関数として定義されます。 ${\displaystyle \mathbf {F} _{t}={\begin{cases}1&{\text{if }}S_{t}>=c,\\0&{\text{otherwise }}.\end{cases}}}$

ここで、F _t =1 はニューロンが時刻tに発火することを意味し、F _t =0 は発火しないことを意味します。つまり、ニューロンが発火するには、加重合計がしきい値に達するか、それを超える必要があります。興奮性入力は合計を増加させ、抑制性入力はそれを減少させます。

Kanervaの重要な論文^[1]は、特定のニューロンは生物の生涯を通じて入力係数と閾値を固定し、アドレスデコーダーとして使用できるというものです。この場合、n組の入力係数（ニューロンが最も反応しやすいパターン）によってnビットのメモリアドレスが決定され、閾値によってニューロンが反応する類似のアドレスパターンの領域のサイズが制御されます。

このメカニズムは、ニューラル ネットワーク (パーセプトロン収束学習) の調整可能なシナプスまたは調整可能な重みを補完するものであり、この固定アクセス メカニズムは、特定の状況下で情報が保存され、そこから取り出されるシナプスを選択 できる永続的な参照フレームになります。さらに、現在の状況のエンコードはアドレスとして機能します。

入力係数wを持つニューロンのアドレスa は、加重和を最大化するnビットの入力パターンとして定義されます。最大値は、抑制入力がゼロで、興奮入力が 1 のときに発生します。アドレスのi番目のビットは次のとおりです。 ${\displaystyle w_{0},...,w_{n_{1}}}$

${\displaystyle \mathbf {a} _{i}={\begin{cases}1&{\text{if }}w_{i}>0,\\0&{\text{if }}w_{i}}} <0.\end{cases}}}$ （重みがゼロでないと仮定）

最大加重合計 は、すべての正の係数の合計になります。 ${\displaystyle S(w)}$${\displaystyle S(w)=\sum _{w_{i}>0}w_{i}}$

そして、最小の加重合計は、 ニューロン アドレス a` の反対側の点に対応します。${\displaystyle s(w)}$${\displaystyle s(w)=\sum _{w_{i}<0}w_{i}}$

しきい値 c が範囲内にある場合、ニューロンの出力は、一部のアドレス (入力パターン) では 0 になり、他のアドレスでは 1 になります。しきい値が S を超える場合、出力は常に 0 になり、s を下回る場合、出力は常に 1 になります。したがって、しきい値を適切に選択すると、ニューロンは 1 つのアドレスにのみ応答します。しきい値が S (加重合計の最大値) の場合、ニューロンは自身のアドレスにのみ応答し、従来のランダム アクセス メモリのアドレス デコーダーのように動作します。 ${\displaystyle s(w)<c<S(w)}$

SDMは、膨大なアドレス空間（ のオーダー）にまたがるアドレスパターンに対応するように設計されています 。SDMでは、実際に関心のある物理的な状況を記述するアドレスパターンが入力空間全体にまばらに散在していると想定しています。考えられる各入力に対応する個別の物理的な場所を予約することは不可能であり、SDMは限られた数の物理的な場所またはハードの場所のみを実装します。物理的な場所はメモリ（またはハード）場所と呼ばれます。^[7]${\displaystyle 2^{1000}}$

すべてのハード ロケーションには、次の 2 つの項目が関連付けられています。

• 固定ハードアドレス、つまり場所のNビットアドレス
• コンテンツ部分は M ビット幅で、その場所に書き込まれた複数の M ビット データ パターンを蓄積できます。コンテンツ部分は固定されておらず、メモリに書き込まれたデータ パターンによって変更されます。

SDM では、単語を空き記憶場所に書き込むと同時に、適切なアドレス デコーダーを使用してその場所を提供することで、単語をメモリに格納できます。アドレス デコーダーとしてのニューロンは、場所のアドレスと検索キューの類似性に基づいて場所を選択します。従来のチューリング マシンとは異なり、SDM はアドレス デコーダーによる並列コンピューティングを活用しています。メモリにアクセスするだけでもコンピューティングと見なされ、その量はメモリ サイズに応じて増加します。^[1]

メモリへの書き込みとメモリからの読み取りに使用される N ビット ベクトル。アドレス パターンは、環境状態をコード化して記述したものです。(例: N = 256)

書き込みおよび読み取り操作の対象となる M ビット ベクトル。アドレス パターンと同様に、環境状態をコード化して記述したものです。(例: M = 256)

書き込みとは、特定のアドレス パターンを使用してデータ パターンをメモリに保存する操作です。書き込み中、メモリへの入力はアドレス パターンとデータ パターンで構成されます。アドレス パターンは、アドレス パターンから一定のカットオフ距離内にあるハード アドレスを持つハードメモリの場所を選択するために使用されます。データ パターンは、選択された各場所に保存されます。

読み取りとは、特定のアドレス パターンを使用してメモリからデータ パターンを取得する操作です。読み取り中は、アドレス パターンを使用して、特定の数のハードメモリ位置を選択します (書き込み中と同様)。選択された位置の内容はビット単位で合計され、しきい値処理されて、M ビットのデータ パターンが生成されます。これが、メモリから読み取られた出力として機能します。

すべての項目は、メモリ位置へのポインターの単一のリスト (または配列) にリンクされ、RAM に格納されます。配列内の各アドレスは、メモリ内の個々の行を指します。その行が他の行と類似している場合は、その行が返されます。ニューロンは、脳内のニューロンの動作と同様に、アドレス デコーダーおよびエンコーダーとして使用され、一致するか類似する配列から項目を返します。

カネルバの記憶モデルには臨界点の概念がある。この点より前では、以前に保存した項目は簡単に取り出せるが、この点を超えると項目を取り出せなくなる。カネルバは、特定の（固定）パラメータセットについてこの点を系統的に計算した。スパース分散メモリの対応する臨界距離は、制約とを伴う次の式を最小化することで近似的に評価できる。証明は、 ^{[17] [18]}に記載されている。${\displaystyle d\in N}$${\displaystyle d\leqslant n}$

${\displaystyle {\tilde {f}}(d)=\left\{{\frac {1}{2}}\cdot \left[1-N\left(z<{\frac {w\cdot shared(d)}{\sqrt {\theta }}}\right)+N\left(z<{\frac {-w\cdot shared(d)}{\sqrt {\theta }}}\right)\right]-{\frac {d}{n}}\right\}}^{2}}$

どこ：

• ${\displaystyle d}$: ターゲットまでの距離です。
• ${\displaystyle n}$: 次元数です。
• ${\displaystyle N}$: 平均 0、分散 1 の正規化正規分布です。
• ${\displaystyle w}$: ターゲットビット文字列がメモリに書き込まれた回数です。
• ${\displaystyle \theta}$: 読み取り操作によってアクティブ化されたすべてのハードロケーション内のランダムビット文字列の合計、つまりセルアセンブリのサイズです。${\displaystyle h}$
• ${\displaystyle 共有(d)}$: は、互いにビット離れた 2 つのビット文字列によってアクティブ化される共有ハードロケーションの平均数です。1000 次元 SDM の値は、Kanerva の本の表 7.1、p. 63 に記載されています。また、同じ本の付録 B、p. 125 には、任意の SDM を計算するための式が記載されています。${\displaystyle d}$

疎な分散表現を使用する連想記憶システムは、ベイズ推論を近似するモンテカルロ法である重要度サンプラーとして再解釈することができます。^{[19] SDMは、多次元}条件付き確率積分 のモンテカルロ近似と見なすことができます。この近似が有効な場合、つまりトレーニングセットに基礎となる結合確率の適切な推定値を提供するのに十分なデータが含まれており、積分の正確な推定値を取得するのに十分なモンテカルロサンプルがある場合、SDMはトレーニングセットから許容できる応答を生成します。^[20]

スパースコーディングは、記憶容量を増強するための神経システムの一般的な戦略である可能性があります。環境に適応するために、動物はどの刺激が報酬または罰と関連しているかを学習し、これらの強化された刺激を類似しているが無関係な刺激と区別する必要があります。このようなタスクには、集団 のうちの少数のニューロンのみが特定の刺激に反応し、各ニューロンがすべての可能性のある刺激のうちの少数の刺激にのみ反応する、刺激固有の連想記憶を実装する必要があります。

KanervaによるSDMの理論的研究は、スパースコーディングが表現間の重複を減らすことで連想記憶の容量を増やすことを示唆している。実験的には、感覚情報のスパース表現は、視覚、^[21]聴覚、^[22]触覚、^[23]嗅覚[ ²⁴ ]など多くのシステムで観察されている。しかし、スパースコーディングの広範な証拠とその重要性に関する理論的議論が蓄積されているにもかかわらず、スパースコーディングが連想記憶の刺激特異性を改善するという実証は最近まで欠けていた。

2014年、オックスフォード大学のゲロ・ミーゼンベック研究室によるショウジョウバエの嗅覚系の解析 で、ある程度の進歩がありました。^[25] ショウジョウバエでは、キノコ体のケニオン細胞によるスパースな匂いコーディングによって、匂い特有の記憶を保存するための正確にアドレス指定可能な場所が大量に生成されると考えられています。リンらは、^{[26]スパース性はケニオン細胞と}GABA作動性前側方対側(APL)ニューロン間の負のフィードバック回路によって制御されることを実証しました。このフィードバック回路の各脚を系統的に活性化および遮断すると、ケニオン細胞がAPLを活性化し、APLがケニオン細胞を抑制することがわかります。ケニオン細胞-APLフィードバックループを破壊すると、ケニオン細胞の匂い応答のスパース性が低下し、匂い間の相関が高まり、ハエが類似した匂いを識別できなくなりますが、異なる匂いは識別できなくなります。これらの結果は、フィードバック抑制がケニオン細胞の活動を抑制し、スパースで相関のない匂いの符号化を維持し、記憶の匂いの特異性を維持することを示唆している。2017年にサイエンス誌に掲載された論文^{[27]では、ハエの嗅覚回路がスパースでランダムな投影を介してバイナリ}局所性に敏感なハッシュの改良版を実装していることが示された。

メモリのアプリケーションでは、ワードは特徴のパターンです。一部の特徴は感覚システムによって生成され、他の特徴はモーターシステムを制御します。現在のパターン(たとえば 1000 ビット) があり、これがシステムのフォーカスの現在の内容です。センサーはフォーカスにデータを供給し、モーターはフォーカスから駆動され、メモリはフォーカスを通じてアクセスされます。

世界で起こっていること、つまりシステムの「主観的な」経験は、フォーカス内の一連のパターンによって内部的に表現されます。メモリはこのシーケンスを保存し、過去に遭遇したものに似たパターンで対処された場合、後でフォーカス内でそれを再現できます。このように、メモリはこれから何が起こるかを予測することを学習します。メモリの幅広い用途は、現実世界の情報をリアルタイムで処理するシステムです。

応用分野としては、視覚 （シーン内の物体を検出・識別し、後続のシーンを予測する）、 ロボット工学、信号検出・検証、適応学習・制御などがある。理論面では、記憶の働きは人間や動物の記憶と学習を理解するのに役立つかもしれない。 ^{[7] [28]}

SDMは、保存された単語のデータセット内でテスト単語に最も一致するものを見つける問題に適用できます。 ^{[1] [29]}言い換えれば、最近傍探索問題です。

である N 個の場所を持つメモリについて考えます。各場所に 1 つのnビット ワード (例: N= 2 ¹⁰⁰ 100 ビット ワード) の容量があり、アドレスのデコードは N 個のアドレス デコーダ ニューロンによって行われるものとします。各ニューロンxのしきい値をその最大加重和に設定し、メモリにアクセスするときに共通のパラメータd を使用してすべてのしきい値を調整します。ニューロンxの有効しきい値は になります。つまり、アドレスxがメモリに提示されたアドレス (つまり、アドレス レジスタによって保持されるアドレス) のdビット以内にあるときはいつでも、場所xにアクセスできます。で、従来のランダム アクセス メモリが得られます。さらに、各場所には、通常のデータ ビットと同じ方法でアクセスできる特別な場所占有ビットがあるとします。場所にワードを書き込むと、この場所占有ビットが設定されます。占有場所のみを読み取ることができるとします。 ${\displaystyle N=2^{n}}$${\displaystyle |x|}$${\displaystyle x-|d|}$${\displaystyle d=0}$

データをメモリにファイルするには、まず位置占有ビットを設定してクリアするコマンドを発行します。この単一の操作により、アドレス レジスタの値に関係なく、すべてのメモリが未使用としてマークされます。次に、データ セットの各ワードy を、 y自体をアドレスとして設定して書き込みます。各書き込み操作は 1 つの場所、つまり場所yにのみ影響することに注意してください。したがって、ファイル時間はデータセット内のワード数に比例します。 ${\displaystyle d=n}$${\displaystyle d=0}$

テストワードzの最適な一致を見つけるには、アドレスレジスタにz を配置し、占有場所がある最小距離d を見つける必要があります。占有場所が見つかるまで、 d を設定して連続的に増分することで検索を開始できます。この方法では、アドレスビットの数に比例する平均検索時間が得られます。または、 ^[1]よりわずかに短くなります。これは、最も近い占有場所はzからビット未満であることが予想されるためです( dのバイナリ検索では、これは O(log(n))。 ${\displaystyle d=0}$${\displaystyle n/2}$${\displaystyle n/2}$

100 ビット ワードの場合、2 ^{100 個}の場所、つまり非常に大きなメモリが必要になります。ただし、データセットのワードを格納するときにメモリを構築すると、データセットの各ワードに必要な場所は 1 つ (およびアドレス デコーダー 1 つ) だけです。未使用の場所は存在する必要はありません。これは、SDM のスパース性の側面を表しています。

SDM は音声の転写に適用でき、トレーニングは音声言語の大規模なコーパスを「聞く」ことで構成される。自然音声に関する 2 つの難しい問題は、単語の境界を検出する方法と、異なる話者に適応する方法である。メモリは両方を処理できなければならない。まず、パターンのシーケンスをポインタ チェーンとして保存する。トレーニング (音声を聞く) では、単語の境界で分岐の発生率が最も高い確率構造を構築する。音声の転写では、これらの分岐点が検出され、ストリームを単語に対応するセグメントに分割する傾向がある。次に、類似性に対するメモリの感度は、異なる話者 (および同じ話者の声の変化) に適応するためのメカニズムである。^[7]

メンフィス大学では、ウマ・ラママーシー、シドニー・K・デメロ、スタン・フランクリンが「忘却の実現」を表現するスパース分散記憶システムの修正版を作成した。このシステムは、データ内の干渉をよりよく示すために減衰方程式を使用している。スパース分散記憶システムは、各パターンを約100分の1の場所に分散するため^{[説明が必要]}、干渉が有害な結果をもたらす可能性がある。^[30]

この修正されたスパース分散メモリからの減衰の2つの例を示します。

指数関数的減少メカニズム:${\displaystyle \!f(x)=1+e^{-ax}}$

反転翻訳シグモイド減衰メカニズム:${\displaystyle f(x)=1-[{\frac {1}{1+e^{-a(xc)}}}]}$

指数関数的減衰関数では、 xが増加するにつれて0に急速に近づき、aは定数（通常3〜9の間）、cはカウンタです。負の変換された シグモイド関数では、 aが4より大きい場合、減衰は指数関数に似ています。^[30]

グラフが 0 に近づくにつれて、減衰メカニズムによって記憶が忘れられていく様子を表します。

メンフィス大学の Ashraf Anwar、Stan Franklin、および Dipankar Dasgupta は、遺伝的アルゴリズムと遺伝的プログラミングを使用した SDM 初期化モデルを提案しました (1999)。

遺伝的記憶は遺伝的アルゴリズムとスパース分散記憶を擬似人工ニューラルネットワークとして利用し、人工生命の創造への利用が検討されている。^[31]

SDMは統計的予測、つまり非常に大きな知覚状態ベクトルを将来の出来事に関連付けるタスクに適用されている。モデルの連想記憶動作が機能しなくなる容量に近いまたは容量を超える状況では、モデルによって実行される処理は統計的予測子の処理として解釈でき、SDM内の各データカウンターは、カウンターのメモリ位置によって定義された活性化セットに等しいバイナリ関数fの条件付き確率の独立した推定値として見ることができる。^[32]

• LIDA は、生物システムにおける認知のモデル化を支援するために、スパース分散メモリを使用します。スパース分散メモリは、空間が他のオブジェクトとの関係でオブジェクトを想起または認識している場所になります。これは、「実現忘却」修正スパース分散メモリ システムの考案者であるスタン フランクリンによって開発されました。 ^{[33]一時的なエピソード記憶と宣言的記憶は、LIDA (SDM の修正バージョンに基づく[34]} )で分散表現を持ち、神経系でもこれが当てはまるという証拠があります。^[35]
• CMatieはメンフィス大学数学科学部のセミナーのアナウンスを管理するために開発された「意識的な」ソフトウェアエージェントです。連想記憶として遺伝的アルゴリズムを使用して強化されたSDMに基づいています。^[36]
• 階層型テンポラルメモリは、データのスパース分散表現を格納するために SDM を利用します。

SDM は線形のローカル関数近似スキームを提供し、非常に大きい/高次元の入力 (アドレス) 空間をはるかに小さい物理メモリにマッピングする必要がある場合に機能するように設計されています。一般に、SDM を含むローカル アーキテクチャは次元の呪いの影響を受ける可能性があります。これは、一部のターゲット関数では、最悪の場合、入力空間全体にわたって正確に近似するために指数関数の数のローカル ユニットが必要になる可能性があるためです。ただし、ほとんどの意思決定システムでは、状態空間の低次元多様体、または重要な状態「ハイウェイ」の周りでのみ高い精度が必要であると広く信じられています。^[37] Ratitch らの研究^[38]では、 SDM メモリ モデルをメモリベース ラーニングのアイデアと組み合わせました。メモリベース ラーニングは、状態空間の「より興味深い」領域を特定し^[39] 、正確にモデル化するために比例して多くのメモリ リソースを割り当てるために、構造と解像度を動的に適応できる近似器を提供します。

ダナ・H・バラードの研究室^[40]は、主成分分析の利点と高次元空間の好ましいマッチング特性を組み合わせて高精度の認識を実現する、コンピュータビジョン用の汎用オブジェクトインデックス作成技術を実証しました。インデックス作成アルゴリズムは、アクティブビジョンシステムと修正されたSDMを組み合わせて使用​​し、オブジェクトの外観とそのアイデンティティとの関連性を学習するためのプラットフォームを提供します。

SDM には多くの拡張と改善が提案されています。例:

• 三元記憶空間：これにより、認知ソフトウェアエージェントで一時エピソード記憶（TEM）としてメモリを使用できるようになります。TEMは、特定の時間と場所の特徴を持つイベントに使用される、特異性が高く保持力が低いメモリです。^{[41] [42]}
• バイナリベクトルではなくモジュラー演算整数ベクトルを使用する整数SDM。この拡張によりメモリの表現能力が向上し、正規化よりも堅牢になります。忘却と信頼性の高いシーケンスストレージをサポートするように拡張することもできます。^[11]
• アドレスベクトルよりも大きいサイズのワードベクトルの使用: この拡張は、自動連想性、コンテンツアドレス可能性、分散ストレージ、ノイズの多い入力に対する堅牢性など、元のSDMの多くの望ましい特性を維持します。さらに、新しい機能が追加され、ベクトルのシーケンスだけでなく、ツリーなどの他のデータ構造の効率的な自動連想ストレージが可能になります。^[43]
• スパイキングニューロンからSDMを構築する: SDMの生物学的類似性にもかかわらず、その能力を実証するためにこれまでに行われた研究のほとんどは、脳内のニューロンの実際の動作を抽象化した高度に人工的なニューロンモデルを使用していました。マンチェスター大学のスティーブ・ファーバー研究室による最近の研究^{[44] [45] [46]では、例えば、}ニューロンの集団が情報をエンコードする方法にN-of-Mランクコード^{[47] [48]}を組み込むなど、SDMへの適応が提案されており、生物学的に妥当なコンポーネントからSDMバリアントを構築できる可能性があります。この研究は、人間の脳プロジェクトのニューロモルフィックコンピューティングプラットフォームとして使用されているSpiNNaker（スパイキングニューラルネットワークアーキテクチャ）に組み込まれています。^[49]
• 場所の非ランダムな分布: ^{[50] [51]}格納場所は最初はバイナリ N アドレス空間にランダムに分散されますが、最終的な場所の分布は提示された入力パターンに依存し、非ランダムになる可能性があり、そのため柔軟性と一般化が向上します。データ パターンは、最初に入力アドレスに最も近い場所に格納されます。次に、信号 (つまり、データ パターン) はメモリ全体に広がり、後続の各場所で信号強度のわずかな割合 (たとえば 5%) が失われます。このように信号を分散させることで、元の SDM の問題のある機能の 1 つである読み取り/書き込み半径の選択が不要になります。書き込み操作で選択されたすべての場所は、元のバイナリ パターンのコピーを同じ強度で受け取ることはありません。代わりに、1.0->0.05 の実数値で重み付けされたパターンのコピーを受け取り、実数値カウンター (Kanerva の SDM のバイナリ カウンターではなく) に格納します。これにより、最も近い場所に高い信号強度が与えられ、SDM の自然なアーキテクチャを使用して信号強度が減衰されます。同様に、メモリからの読み取りでは、最も近い場所からの出力には、より遠い場所からの出力よりも大きな重みが与えられます。新しい信号方式では、場所が受信した合計信号強度を場所の適合性の尺度として使用でき、さまざまな入力に対して柔軟に対応できます (長さの異なる入力パターンに対して損失係数を変更する必要がないため)。
• SDMSCue (小さなキューのためのスパース分散メモリ): メンフィス大学のアシュラフ・アンワルとスタン・フランクリンは、小さなキューを処理できるSDMの変種であるSDMSCueを2002年に発表しました。その鍵となるアイデアは、複数の読み取り/書き込みと空間投影を使用して、連続的に長いキューに到達することです。^[52]

• 疎分散メモリシステムの方法および装置 US 5113507 A、大学宇宙研究協会、1992 ^[53]
• カネルバメモリシステムを実装した情報の保存および呼び出し方法および装置 US 5829009 A、テキサスインスツルメンツ、1998 ^[54]
• デジタルメモリ、ファーバー、スティーブン。US 7512572 B2、2009 ^[55]

• Cバイナリベクトルシンボル（CBVS）：ベクトルシンボリックアーキテクチャの一部としてC言語でSDMを実装したもの^[56]ルレオ工科大学のEISLABによって開発された：http://pendicular.net/cbvs.php 2015年9月25日にWayback Machineにアーカイブ^[57]
• ランカスター大学で開発されたリアルタイムセンサーデータ処理用のCommonSense ToolKit (CSTK)には、C++でのSDMの実装が含まれています: http://cstk.sourceforge.net/ ^[58]
• Brian HayesによるJulia実装: https://github.com/bit-player/sdm-julia ^[59]
• メンフィス大学のStan Franklin研究室で開発されたLearning Intelligent Distribution Agent (LIDA)には、Java での SDM の実装が含まれています: http://ccrg.cs.memphis.edu/framework.html
• Python実装: https://github.com/msbrogli/sdm ^[60]
• PythonとOpenCLの実装: https://github.com/msbrogli/sdm-framework ^[60]
• APLの実装^[61]
• コネクションマシンのLISP実装^[62]
• FPGA実装^[63]
• NASAによって開発されたオリジナルのハードウェア実装^[7]
• NASAエイムズ研究所の先端コンピュータ科学研究所で行われたC言語による実装^[64]

• 自己連想記憶
• 小脳モデル関節コントローラ
• 動的メモリネットワーク
• ホログラフィック連想記憶
• 低密度パリティ検査符号
• メモリネットワーク
• 記憶予測フレームワーク
• 神経コーディング
• ニューラルチューリングマシン
• ランダムインデックス
• 自己組織化マップ
• セマンティックフォールディング
• 意味記憶
• 意味ネットワーク
• スタック型オートエンコーダ
• 視覚的索引理論