競争的な学習

競争学習は人工ニューラルネットワークにおける教師なし学習の一種で、ノードが入力データのサブセットに応答する権利を競います。^{[1] [2]}ヘブビアン学習の一種である競争学習は、ネットワーク内の各ノードの特化を高めることで機能します。データ内のクラスターを見つけるのに適しています。

競合学習の原理に基づくモデルとアルゴリズムには、ベクトル量子化と自己組織化マップ(コホーネン マップ) が含まれます。

競争的学習ルールには3つの基本要素がある: ^{[3] [4]}

• ランダムに分布したシナプス重みを除いてすべて同じであり、したがって与えられた入力パターンのセットに対して異なる反応を示すニューロンのセット。
• 各ニューロンの「強さ」に課せられた制限
• 特定の入力サブセットに応答する権利をめぐってニューロンが競争できるようにするメカニズム。一度にアクティブになるのは 1 つの出力ニューロン (またはグループごとに 1 つのニューロン) だけです (つまり、「オン」になります)。競争に勝ったニューロンは、「勝者総取り」ニューロンと呼ばれます。

したがって、ネットワークの個々のニューロンは、類似したパターンの集合に特化することを学習し、そうすることで、異なるクラスの入力パターンの「特徴検出器」になります。

競合ネットワークが相関する入力セットを少数の出力ニューロンの1つに再コード化するという事実は、生物学的感覚システムの処理の重要な部分である表現の冗長性を本質的に除去します。^{[5] [6]}

競合学習は通常、一般に「競合層」と呼ばれる隠れ層を含むニューラルネットワークで実装されます。^[7]すべての競合ニューロンは重みベクトルで記述され、入力データ と重みベクトル間の類似度を計算します。 ${\displaystyle {\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M}$${\displaystyle {\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}}$${\displaystyle {\mathbf {w} }_{i}}$

すべての入力ベクトルに対して、競合ニューロンは互いに「競合」し、どのニューロンがその特定の入力ベクトルに最も類似しているかを確認します。勝者ニューロン m が出力を設定し、他のすべての競合ニューロンは出力 を設定します 。 ${\displaystyle o_{m}=1}$${\displaystyle o_{i}=0,i=1,..,M,i\neq m}$

通常、類似性を測定するには、入力ベクトルと重みベクトル間のユークリッド距離の逆数が使用されます。 ${\displaystyle \left\|{{\mathbf {x} }-{\mathbf {w} }_{i}}\right\|}$${\displaystyle {\mathbf {x} }^{n}}$${\displaystyle {\mathbf {w} }_{i}}$

これは、入力データ内で 3 つのクラスターを見つけるための単純な競合学習アルゴリズムです。

1. (セットアップ) センサーのセットがすべて 3 つの異なるノードに送られ、すべてのノードがすべてのセンサーに接続されるようにします。各ノードがセンサーに与える重みは、0.0 から 1.0 の間でランダムに設定されます。各ノードの出力は、すべてのセンサーの合計となり、各センサーの信号強度に重みが掛けられます。

2. ネットに入力が表示されると、最も高い出力を持つノードが勝者とみなされます。入力は、そのノードに対応するクラスター内にあるものとして分類されます。

3. 勝者はそれぞれの重みを更新し、弱い信号を与えた接続から強い信号を与えた接続に重みを移動します。

したがって、より多くのデータが受信されるにつれて、各ノードはそれが表すようになったクラスターの中心に収束し、このクラスターの入力に対してはより強くアクティブになり、他のクラスターの入力に対してはより弱くアクティブになります。

• アンサンブル学習
• 神経ガス
• パンデモニウム建築

• ドラフトレポート「いくつかの競合学習法」pdf（いくつかの関連アルゴリズムの説明が含まれています）
• DemoGNG - 競争的学習法のための Java シミュレーター