Loading article…
生成地形マップ（GTM）は、自己組織化マップ（SOM）の確率的対応物である機械学習手法であり、収束性が高く、近傍の縮小やステップサイズの減少を必要としません。これは生成モデルであり、データはまず低次元空間で確率的に点を選択し、その点を観測された高次元入力空間に（滑らかな関数を介して）マッピングし、その空間にノイズを加えることによって生成されると想定されます。低次元確率分布、滑らかなマップ、およびノイズのパラメータはすべて、期待値最大化（EM）アルゴリズムを使用してトレーニングデータから学習されます。GTMは、1996年にChristopher Bishop、Markus Svensen、およびChristopher KI Williamsによる論文で発表されました。
このアプローチは、重点サンプリングと多層パーセプトロンを用いて非線形潜在変数モデルを構築する密度ネットワークと密接に関連しています。GTMでは、潜在空間は離散的な点のグリッドであり、これがデータ空間に非線形に投影されると仮定されます。次に、データ空間にガウスノイズを仮定することで、モデルは制約付きガウス混合モデルとなります。その後、EMアルゴリズムによってモデルの尤度を最大化することができます。
理論的には、任意の非線形パラメトリック変形を用いることができる。最適なパラメータは、勾配降下法などによって求めることができる。
非線形マッピングの提案手法は、放射基底関数（RBF）ネットワークを用いて潜在空間とデータ空間間の非線形マッピングを作成することです。RBFネットワークのノードは特徴空間を形成し、非線形マッピングはこの特徴空間の線形変換として扱うことができます。この手法は、提案されている密度ネットワーク手法に比べて、解析的に最適化できるという利点があります。
データ分析において、GTMは主成分分析の非線形版のようなもので、高次元データを、低次元の潜在空間にあるソースにガウスノイズを加えた結果としてモデル化することができます。例えば、高次元時系列の形状に基づいて、プロット可能な2次元空間に株式の位置を特定する場合などに利用できます。また、混合モデルのように、データポイントよりもソースの数を少なくしたいアプリケーションもあります。
生成変形モデリングでは、潜在空間とデータ空間は同じ次元を持ちます。例えば、2D画像や1D音声波などです。ソース（この形式のモデリングでは「テンプレート」と呼ばれます）には、例えば1D音波を2D空間に配置するなど、余分な「空の」次元が追加されます。次に、元の次元を組み合わせることによって、さらに非線形次元が追加されます。拡大された潜在空間は、1Dデータ空間に投影されます。特定の投影の確率は、これまでと同様に、ガウスノイズモデルの下でのデータの尤度と変形パラメータの事前確率の積によって与えられます。従来のバネベースの変形モデリングとは異なり、この手法は解析的に最適化できるという利点があります。欠点は、「データマイニング」アプローチであることです。つまり、変形事前確率の形状は、非常に高い、人工的かつ恣意的に構築された非線形潜在空間に基づいているため、可能な変形の説明として意味を持つ可能性は低いということです。このため、事前確率は、バネベースのモデルのように人間の専門家によって作成されるのではなく、データから学習される。
自己組織化マップ（SOM）のノードは自由に動き回ることができますが、GTMのノードは許容される変換とその確率によって制約されます。変形が適切に行われれば、潜在空間のトポロジーは維持されます。
SOMはニューロンの生物学的モデルとして作成されたヒューリスティックアルゴリズムです。一方、GTMは神経科学や認知とは全く関係がなく、確率論に基づいたモデルです。そのため、GTMはSOMに比べて以下のような多くの利点があります。
GTMは、1997年にビショップ、スヴェンセン、ウィリアムズによって発表された技術報告書（技術報告書NCRG/96/015、アストン大学、英国）で紹介され、後にNeural Computation誌に掲載された。また、マルクス・スヴェンセンの博士論文（アストン大学、1998年）にも記述されている。