適応共鳴理論

適応共鳴理論（ART ）は、スティーブン・グロスバーグとゲイル・カーペンターによって開発された、脳が情報を処理する仕組みに関する理論です。この理論は、教師あり学習と教師なし学習の手法を用いる多数の人工ニューラルネットワークモデルを記述し、パターン認識や予測といった問題に取り組んでいます。

ARTモデルの根底にある基本的な考え方は、物体識別と認識は一般的に、観察者の「トップダウン」的な期待と感覚情報の「ボトムアップ」的な相互作用の結果として生じるというものです。このモデルでは、「トップダウン」的な期待は記憶テンプレートまたはプロトタイプの形をとり、それが感覚によって検出された物体の実際の特徴と比較されると仮定しています。この比較によって、カテゴリーへの帰属度が測定されます。感覚と期待のこの差が「警戒パラメータ」と呼ばれる一定の閾値を超えない限り、感知された物体は期待されたクラスのメンバーとみなされます。このように、このシステムは「可塑性／安定性」の問題、つまり既存の知識を損なうことなく新しい知識を獲得するという問題（増分学習とも呼ばれる）に対する解決策を提供します。

ARTシステムの基本的な構成要素は、教師なし学習モデルです。通常、ニューロンで構成される比較フィールドと認識フィールド、警戒パラメータ（認識閾値）、およびリセットモジュールから構成されます。

• 比較フィールドは入力ベクトル（値の1次元配列）を受け取り、それを認識フィールド内の最も一致するものに転送します。
  • 最もよく一致するのは、重みのセット（重みベクトル）が入力ベクトルに最も近い単一のニューロンです。
• 各認識野ニューロンは、他の認識野ニューロンそれぞれに対して負の信号（入力ベクトルとの一致度合いに比例）を出力し、それによって他の認識野ニューロンの出力を抑制する。
  • このようにして、認識領域は側方抑制を示し、その領域内の各ニューロンが、入力ベクトルが分類されるカテゴリーを表すことを可能にする。

• 入力ベクトルが分類された後、リセットモジュールは認識一致の強度を警戒パラメータと比較します。
  • 警戒パラメータがクリアされた場合（つまり、入力ベクトルが以前の入力ベクトルで見られた正常範囲内にある場合）、トレーニングが開始されます。
    • 勝者となった認識ニューロンの重みは、入力ベクトルの特徴に合わせて調整される。
  • それ以外の場合、一致レベルが警戒パラメータを下回る場合（つまり、入力ベクトルの一致がそのニューロンの通常の期待範囲外である場合）、勝った認識ニューロンは抑制され、探索手順が実行されます。
    • この探索手順では、認識ニューロンは、警戒パラメータが認識一致によって克服されるまで、リセット機能によって一つずつ無効化されていく。
      • 特に、探索手順の各サイクルにおいて、最も活動的な認識ニューロンが選択され、その活動が警戒パラメータを下回っている場合はオフにされる。
      • （これにより、残りの認識ニューロンに対する抑制が解除されることに注意してください。）
  • 認識に関与しているニューロンの一致が警戒パラメータを上回らない場合、関与していないニューロンが関与することになり、その重みは入力ベクトルに一致するように調整される。
• 注意力パラメータはシステムに大きな影響を与える。注意力が高いほど詳細な記憶（多くの細かいカテゴリー）が生成され、注意力が低いほどより一般的な記憶（より少ない一般的なカテゴリー）が生成される。

ARTベースのニューラルネットワークの学習には、低速学習と高速学習という2つの基本的な方法があります。低速学習では、認識ニューロンの重みを入力ベクトルに対して学習させる度合いは、微分方程式を用いて連続値として計算されるため、入力ベクトルが提示される時間の長さに依存します。高速学習では、重み調整の度合いを計算するために代数方程式が用いられ、バイナリ値が使用されます。高速学習は様々なタスクにおいて効果的かつ効率的ですが、低速学習の方が生物学的に妥当であり、連続時間ネットワーク（つまり、入力ベクトルが連続的に変化する場合）にも適用できます。

ART 1 ^{[ 1 ] [ 2 ]}は、バイナリ入力のみを受け入れる最も単純な ART ネットワークです。ART 2 ^{[ 3 ] は}、連続入力をサポートするようにネットワークの機能を拡張します。ART 2-A ^{[ 4 ]}は、ART-2 の合理化された形式で、実行時間が大幅に短縮され、定性的な結果は完全な ART-2 実装に劣ることはまれです。ART 3 ^{[ 5 ]}は、シミュレーションされたナトリウム (Na+) およびカルシウム (Ca2+) イオン濃度をシステムの方程式に組み込むことにより、シナプス活動の基本的な神経伝達物質調節をシミュレートすることで ART-2 を発展させ、ミスマッチリセットを引き起こすカテゴリを部分的に抑制する、より生理学的に現実的な手段を実現します。

ARTMAP ^{[ 6 ]}は、予測ARTとも呼ばれ、わずかに修正された2つのART-1またはART-2ユニットを教師あり学習構造に組み合わせたもので、最初のユニットが入力データを受け取り、2番目のユニットが正しい出力データを受け取り、正しい分類を行うために最初のユニットの警戒パラメータを可能な限り最小限に調整するために使用されます。

Fuzzy ART ^{[ 7 ]}は ART のパターン認識にファジー論理を実装し、汎化性能を向上させています。Fuzzy ART のオプション機能 (非常に有用) として補数符号化があり、これは特徴の欠如をパターン分類に組み込む手段であり、非効率的で不必要なカテゴリの増加を防ぐのに大いに役立ちます。適用される類似度尺度はL1 ノルムに基づいています。Fuzzy ART はノイズに非常に敏感であることが知られています。

ファジーARTMAP ^{[ 8 ]}は、ファジーARTユニットを使用したARTMAPであり、それに応じて有効性が向上します。

簡略化ファジーARTMAP（SFAM）^{[ 9 ]}は、分類タスクに特化したファジーARTMAPの大幅に簡略化されたバリアントです。

Gaussian ART ^{[ 10 ]}とGaussian ARTMAP ^{[ 10 ]}は、ガウス活性化関数と確率論に基づく計算を使用します。そのため、ガウス混合モデルと類似点があります。ファジー ART およびファジー ARTMAP と比較すると、ノイズに対する感度は低くなります。しかし、学習された表現の安定性が低下するため、オープンエンド学習タスクではカテゴリの増殖につながる可能性があります。

Fusion ART および関連ネットワーク^{[ 11 ] [ 12 ] [ 13 ]}は、ART および ARTMAP を複数のパターンチャネルに拡張します。これらは、教師なし学習、教師あり学習、強化学習など、いくつかの学習パラダイムをサポートします。

TopoART ^{[ 14 ]}は、ファジー ART と、成長ニューラルガスなどのトポロジー学習ネットワークを組み合わせたものです。さらに、ノイズ低減メカニズムも追加されています。TopoART を拡張して、さらに学習パラダイムを広げた派生ニューラルネットワークがいくつかあります。

Hypersphere ART ^{[ 15 ]}とHypersphere ARTMAP ^{[ 15 ]}は、それぞれ fuzzy ART と fuzzy ARTMAP に密接に関連しています。しかし、これらは異なるタイプのカテゴリ表現 (すなわちハイパースフィア) を使用するため、入力を区間 [0, 1] に正規化する必要はありません。これらはL2 ノルムに基づく類似度尺度を適用します。

LAPART ^{[ 16 ]}横方向プライミング適応共鳴理論（LAPART）ニューラルネットワークは、2 つのファジー ART アルゴリズムを結合して、学習された関連性に基づいて予測を行うメカニズムを作成します。2 つのファジー ART の結合は独自の安定性を持ち、システムが明確なソリューションに迅速に収束することを可能にします。さらに、ファジー ARTMAP と同様に、論理推論と教師あり学習を実行できます。

Fuzzy ART と ART 1 の結果 (つまり、学習されたカテゴリ) は、トレーニング データの処理順序に大きく依存することが指摘されています。学習速度を遅くすることでその影響をある程度軽減できますが、入力データセットのサイズに関係なく存在します。したがって、Fuzzy ART と ART 1 の推定値は、一貫性という統計的特性を持ちません。^{[ 17 ]}この問題は、両方のネットワークで安定した学習を保証するそれぞれのメカニズムの副作用と考えることができます。

カテゴリをクラスタに要約するTopoARTやHypersphere TopoARTなどのより高度なARTネットワークは、クラスタの形状が関連するカテゴリの作成順序に依存しないため、この問題を解決する可能性があります。（^{[ 18 ]}の図3（g、h）および図4を参照）

ワッサーマン、フィリップ D. (1989)、ニューラルコンピューティング：理論と実践、ニューヨーク：ヴァン・ノストランド・ラインホールド、ISBN 0-442-20743-3

• スティーブン・グロスバーグのウェブサイト
• 教師なし学習のためのARTの実装（ART 1、ART 2A、ART 2A-C、およびART distance）
• LibTopoART — 教師あり学習および教師なし学習のためのTopoART実装（TopoART、TopoART-AM、TopoART-C、TopoART-R、エピソード型TopoART、ハイパースフィアTopoART、およびハイパースフィアTopoART-C）