自己組織化マップ

自己組織化マップ( SOM )または自己組織化特徴マップ( SOFM ) は、データの位相構造を維持しながら、高次元データ セットの低次元(通常は 2 次元) 表現を生成するために使用される教師なし機械学習手法です。 たとえば、観測で測定された変数を含むデータ セットは、変数の値が類似している観測のクラスターとして表すことができます。これらのクラスターは、2 次元の「マップ」として視覚化でき、近位クラスターの観測値は遠位クラスターの観測値よりも類似しています。これにより、高次元データの視覚化と分析が容易になります。 ${\displaystyle p}$${\displaystyle n}$

SOM は人工ニューラル ネットワークの一種ですが、他の人工ニューラル ネットワークで使用されるエラー訂正学習 (例:勾配降下法によるバックプロパゲーション) ではなく、競合学習を使用してトレーニングされます。SOM は1980 年代にフィンランドのTeuvo Kohonen教授によって導入されたため、 Kohonen マップまたはKohonen ネットワークと呼ばれることもあります。^{[1] [2]} Kohonen マップまたはネットワークは、1970 年代の神経系の生物学的モデル^[3]と1950 年代のAlan Turingにまで遡る形態形成モデルに基づいて構築された、計算上便利な 抽象化です。 ^{[4] SOM は、人間の}脳が身体のさまざまな部分の感覚機能の処理に専用されている領域と比率の神経学的「マップ」に基づいて、皮質ホムンクルス^{[要出典]を彷彿とさせる内部表現、つまり}人体の歪んだ表現を作成します。

自己組織化マップは、ほとんどの人工ニ​​ューラル ネットワークと同様に、トレーニングとマッピングの 2 つのモードで動作します。まず、トレーニングでは入力データ セット (「入力スペース」) を使用して、入力データの低次元表現 (「マップ スペース」) を生成します。次に、マッピングでは、生成されたマップを使用して追加の入力データを分類します。

ほとんどの場合、トレーニングの目標は、p次元の入力空間を2次元のマップ空間として表現することです。具体的には、p変数を持つ入力空間はp次元を持つと言われています。マップ空間は、「ノード」または「ニューロン」と呼ばれるコンポーネントで構成され、 2次元の六角形または長方形のグリッドとして配置されます。^{[5]ノードの数と配置は、}データの分析と探索のより大きな目標に基づいて事前に指定されます。

マップ空間内の各ノードは、「重み」ベクトルに関連付けられています。これは、入力空間内のノードの位置です。マップ空間内のノードは固定されたままですが、トレーニングでは、マップ空間から誘導されたトポロジを損なうことなく、重みベクトルを入力データに向かって移動します (ユークリッド距離などの距離メトリックを縮小します)。トレーニング後、マップを使用して、入力空間ベクトルに最も近い重みベクトル (最小の距離メトリック) を持つノードを見つけることで、入力空間の追加観測を分類できます。

自己組織化マップにおける学習の目的は、ネットワークの異なる部分が特定の入力パターンに対して同じように反応するようにすることです。これは、視覚、聴覚、その他の感覚情報が人間の脳の大脳皮質の別々の部分でどのように処理されるかに部分的に起因しています。^[6]

ニューロンの重みは、小さなランダムな値に初期化されるか、2つの最大の主成分 固有ベクトルによって張られる部分空間から均等にサンプリングされます。後者の選択肢では、初期の重みがすでにSOMの重みの良い近似値を与えているため、学習ははるかに高速です。^[7]

ネットワークには、マッピング中に予想されるベクトルの種類にできるだけ近い、多数のサンプル ベクトルを入力する必要があります。サンプルは通常、反復処理として複数回実行されます。

トレーニングでは競合学習が利用されます。トレーニング例がネットワークに入力されると、すべての重みベクトルに対するユークリッド距離が計算されます。重みベクトルが入力に最も類似しているニューロンは、ベストマッチングユニット(BMU) と呼ばれます。SOM グリッド内の BMU とそれに近いニューロンの重みは、入力ベクトルに向かって調整されます。変更の程度は、時間と BMU からのグリッド距離とともに減少します。重みベクトルW _v (s) を持つニューロン v の更新式は、次のとおりです。

${\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}$、

ここで、sはステップインデックス、tはトレーニングサンプルのインデックス、uは入力ベクトルD ( t )の BMU のインデックス、α ( s ) は単調減少学習係数、θ ( u、v、s ) はステップsにおけるニューロン u とニューロンvの距離を与える近傍関数です。^[8]実装に応じて、 t はトレーニングデータセットを体系的にスキャンしたり（tは 0、1、2... T -1 で、これを繰り返し、Tはトレーニングサンプルのサイズ）、データセットからランダムに抽出したり（ブートストラップサンプリング）、他のサンプリング方法（ジャックナイフ法など）を実装したりできます。

近傍関数θ ( u , v , s ) (横方向相互作用関数とも呼ばれる) は、BMU (ニューロンu ) とニューロンv間のグリッド距離に依存します。最も単純な形式では、BMU に十分近いすべてのニューロンに対して 1 になり、それ以外では 0 になりますが、ガウス関数やメキシカンハット^[9]関数もよく使用されます。関数形式に関係なく、近傍関数は時間とともに縮小します。^[6]近傍が広い最初のうちは、自己組織化はグローバル スケールで発生します。近傍が数個のニューロンに縮小すると、重みはローカル推定値に収束します。実装によっては、学習係数αと近傍関数θ はs の増加とともに着実に減少しますが、他の実装 (特に、t がトレーニング データ セットをスキャンするもの) では、 Tステップ ごとに段階的に減少します。

このプロセスは、各入力ベクトルに対して（通常は大きな）サイクル数λにわたって繰り返されます。ネットワークは最終的に出力ノードを入力データセット内のグループまたはパターンに関連付けます。これらのパターンに名前を付けることができる場合は、トレーニングされたネット内の関連付けられたノードにその名前を付けることができます。

マッピング中、重みベクトルが入力ベクトルに最も近いニューロンが 1 つだけ勝利します。これは、入力ベクトルと重みベクトル間のユークリッド距離を計算するだけで簡単に判断できます。

この記事では入力データをベクトルとして表現することを強調しましたが、デジタルで表現でき、適切な距離尺度が関連付けられており、トレーニングに必要な操作が可能なあらゆる種類のオブジェクトを使用して、自己組織化マップを構築できます。これには、行列、連続関数、その他の自己組織化マップも含まれます。

1. マップ内のノードの重みベクトルをランダム化する
2. のために${\displaystyle s=0,1,2,...,\lambda }$
   1. 入力ベクトルをランダムに選択する${\displaystyle {D}(t)}$
   2. 入力ベクトルに最も近いマップ上のノードを見つけます。このノードはベストマッチングユニット（BMU）です。これを次のように表記します。${\displaystyle u}$
   3. 各ノードについて、入力ベクトルに近づけることでベクトルを更新します。${\displaystyle v}$$${\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}$$

変数名の意味は以下のとおりです（太字のベクトル）。

• ${\displaystyle s}$現在の反復
• ${\displaystyle \lambda }$反復の限界である
• ${\displaystyle t}$入力データセット内のターゲット入力データベクトルのインデックスです。${\displaystyle \mathbf {D} }$
• ${\displaystyle {D}(t)}$ターゲット入力データベクトルである
• ${\displaystyle v}$マップ内のノードのインデックスです
• ${\displaystyle \mathbf {W} _{v}}$ノードの現在の重みベクトル${\displaystyle v}$
• ${\displaystyle u}$マップ内の最も一致するユニット（BMU）のインデックスです
• ${\displaystyle \theta (u,v,s)}$近傍関数である。
• ${\displaystyle \alpha (s)}$学習率スケジュールです。

重要な設計上の選択は、SOM の形状、近傍関数、学習率スケジュールです。近傍関数の考え方は、BMU が最も多く更新され、そのすぐ近くのものはそれより少し少なく更新される、などというようにすることです。学習率スケジュールの考え方は、マップの更新が最初は大きく、徐々に更新を停止するようにすることです。

たとえば、正方形グリッドを使用して SOM を学習する場合、両方を使用してインデックスを作成できます。近傍関数を使用すると、BMU が完全に更新され、最も近い近傍が半分更新され、その近傍がさらに半分更新されるなどになります。また、単純な線形学習率スケジュールを使用できます。 ${\displaystyle (i,j)}$${\displaystyle i,j\in 1:N}$$${\displaystyle \theta ((i,j),(i',j'),s)={\frac {1}{2^{|i-i'|+|j-j'|}}}={\begin{cases}1&{\text{if }}i=i',j=j'\\1/2&{\text{if }}|i-i'|+|j-j'|=1\\1/4&{\text{if }}|i-i'|+|j-j'|=2\\\cdots &\cdots \end{cases}}}$$${\displaystyle \alpha (s)=1-s/\lambda }$

特に、更新レートは、ポイントがユークリッド空間のどこにあるかには依存せず、SOM 自体のどこにあるかにのみ依存することに注意してください。たとえば、ポイントはSOM 上で近いため、ユークリッド空間上で離れていても、常に同じように更新されます。対照的に、ポイントが互いに重なり合う場合でも(SOM が折りたたまれたタオルのように見える場合など)、同じように更新されることはありません。 ${\displaystyle (1,1),(1,2)}$${\displaystyle (1,1),(1,100)}$

1. マップのノードの重みベクトルをランダム化する
2. 入力データセット内の各入力ベクトルを走査する
   1. マップ内の各ノードをトラバースする
      1. ユークリッド距離の式を使用して、入力ベクトルとマップのノードの重みベクトルの類似性を見つけます。
      2. 最小距離を生成するノードを追跡します（このノードは最適なマッチングユニット、BMUです）
   2. BMUの近傍のノード（BMU自体を含む）を入力ベクトルに近づけて更新する
      1. ${\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}$
3. 増やしながらステップ2から繰り返します${\displaystyle s}$${\displaystyle s<\lambda }$

最終的な重みの近似値として初期重みを選択することは、自己組織化マップを含む人工ニューラルネットワークのすべての反復法においてよく知られた問題です。Kohonen は、重みのランダムな初期化を最初に提案しました。^[10] (このアプローチは、上記のアルゴリズムに反映されています。) 最近では、最初の主成分の空間から初期マップの重みを選択する主成分初期化が、結果の正確な再現性のために人気が高まっています。^[11]

しかし、1次元マップのランダム初期化と主成分初期化を注意深く比較すると、主成分初期化の利点は普遍的ではないことがわかりました。最適な初期化方法は、特定のデータセットのジオメトリによって異なります。データセットを近似する主曲線が最初の主成分（準線形セット）に一価かつ線形に投影できる場合、主成分初期化が（1次元マップの場合）好ましいものでした。ただし、非線形データセットの場合は、ランダム初期化の方がパフォーマンスが優れていました。^[12]

SOM を解釈する方法は 2 つあります。トレーニング フェーズでは、近傍全体の重みが同じ方向に移動するため、類似の項目は隣接するニューロンを刺激する傾向があります。したがって、SOM は、類似のサンプルが近くにマッピングされ、類似しないサンプルが離れているセマンティック マップを形成します。これは、SOM のU マトリックス(隣接するセルの重みベクトル間のユークリッド距離) によって視覚化できます。 ^{[14] [15] [16]}

もう 1 つの方法は、ニューロンの重みを入力空間へのポインターとして考えることです。ニューロンの重みは、トレーニング サンプルの分布の離散的な近似値を形成します。トレーニング サンプルの集中度が高い領域を指すニューロンの数が多くなり、サンプルが少ない領域を指すニューロンの数が少なくなります。

SOMは主成分分析（PCA）の非線形一般化と考えることができる。^[17]人工データと実際の地球物理学的データの両方を使用して、SOMには経験的直交関数（EOF）やPCAなどの従来の特徴抽出方法に比べて多くの利点があることが示された^{[18] [19]}。

もともと、SOMは最適化問題の解として定式化されていませんでした。しかし、SOMの定義を修正し、同様の結果をもたらす最適化問題を定式化する試みがいくつかありました。^[20]たとえば、弾性マップは、弾性の力学的メタファーを使用して主要な多様体を近似します。^[21]このアナロジーは、弾性膜と弾性板です。

• プロジェクトの優先順位付けと選択^[22]
• 石油・天然ガス探査のための地震波解析^[23]
• 故障モード影響分析^[24]
• 大規模なデータセットから代表的なデータを見つける
  • 生態系の代表種^[25]
  • エネルギーシステムモデルの代表日^[26]

• 生成トポグラフィックマップ（GTM）はSOMの潜在的な代替手段です。GTMは入力空間からマップ空間への滑らかで連続的なマッピングを明示的に要求するという意味では、トポロジー保存です。しかし、実用的な意味では、このトポロジー保存の尺度は欠けています。^[27]
• 成長型自己組織化マップ（GSOM）は、自己組織化マップの成長型です。GSOMは、SOMで適切なマップサイズを特定するという問題に対処するために開発されました。最小数のノード（通常は4つ）から始まり、ヒューリスティックに基づいて境界上に新しいノードを成長させます。スプレッドファクターと呼ばれる値を使用することで、データ分析者はGSOMの成長を制御することができます。^[28]
• 等角写像アプローチは、等角写像を使用して、連続面内のグリッドノード間の各トレーニングサンプルを補間する。このアプローチでは、1対1の滑らかなマッピングが可能である。^{[29] [30]}
• 時間適応型自己組織化マップ（TASOM）ネットワークは、基本的なSOMの拡張です。TASOMは、適応学習率と近傍関数を採用しています。また、入力空間のスケーリング、変換、回転に対してネットワークを不変にするためのスケーリングパラメータも含まれています。TASOMとその変種は、適応型クラスタリング、マルチレベルしきい値、入力空間近似、アクティブコンターモデリングなど、いくつかのアプリケーションで使用されています。^[31]さらに、TASOMネットワークで構成されたノードを持つバイナリ自然木に似たバイナリツリーTASOMまたはBTASOMが提案されており、そのレベル数とノード数は環境に適応します。^[32]
• 弾性マップアプローチは、スプライン補間から弾性エネルギーの最小化の考え方を借用しています。学習では、最小二乗 近似誤差で二次曲げエネルギーと伸張エネルギーの合計を最小化します。^[33]
• 有向スケーラブルマップ（OS-Map）は、近傍関数と勝者選択を一般化します。^[34]同次ガウス近傍関数は、行列指数に置き換えられます。したがって、マップ空間またはデータ空間のいずれかで方向を指定できます。SOM には固定スケール（=1）があるため、マップは「観測ドメインを最適に記述します」。しかし、ドメインを 2 倍または n 倍にカバーするマップはどうでしょうか。これにはスケーリングの概念が必要です。OS-Map では、スケールを、入力がマップ内に最もよく一致するノードをいくつ持つかの統計的記述と見なします。

• ディープラーニング
• ハイブリッドコホネン自己組織化マップ
• ベクトル量子化の学習
• 液体状態機械
• ネオコグニトロン
• 神経ガス
• スパースコーディング
• スパース分散メモリ
• トポロジカルデータ分析

• Kohonen , Teuvo (2013 年 1 月)。「自己組織化マップの基本」。ニューラルネットワーク。37 : 52–65。doi :10.1016/j.neunet.2012.09.018。PMID 23067803。S2CID 17289060  。
• Kohonen, Teuvo (2001)。自己組織化マップ: 22 個の表付き。Springer Series in Information Sciences (第 3 版)。ベルリン ハイデルベルク: Springer。ISBN 978-3-540-67921-9。
• コホネン、テウボ( 1988)。「自己組織化と連想記憶」。Springer情報科学シリーズ。8。doi : 10.1007 / 978-3-662-00784-6。ISBN 978-3-540-18314-3. ISSN  0720-678X.
• Kaski、Samuel、Jari Kangas、Teuvo Kohonen。「自己組織化マップ (SOM) 論文の参考文献: 1981 ～ 1997 年」ニューラル コンピューティング調査1.3 および 4 (1998): 1-176。
• オージャ、メルハ、サミュエル・カスキ、テウヴォ・コホネン。 「自己組織化マップ (SOM) 論文の参考文献: 1998 ～ 2001 年の補遺」。ニューラル コンピューティング調査3.1 (2003): 1-156。

• ウィキメディア・コモンズの自己組織化マップに関連するメディア