非線形次元削減

非線形次元削減は、多様体学習とも呼ばれ、線形分解法では適切に捕捉できない非線形多様体に潜在的に存在する高次元データを、低次元の潜在多様体に投影することを目的とした様々な関連技術のいずれかであり、低次元空間でのデータの視覚化、またはマッピング自体（高次元空間から低次元埋め込みへ、またはその逆）の学習のいずれかを目的としています。^{[1] [2]以下に説明する技術は、}特異値分解や主成分分析などの次元削減に使用される線形分解法の一般化として理解できます。

高次元データは機械にとって扱いにくく、分析にかなりの時間とスペースが必要になります。また、3 次元を超えるデータを視覚化したり理解したりすることは難しいため、人間にとっても課題となります。データセットの次元を減らし、その本質的な特徴を比較的そのまま維持することで、アルゴリズムの効率を高め、アナリストが傾向やパターンを視覚化できるようになります。

データの次元削減表現は、しばしば「固有変数」と呼ばれます。この説明は、これらがデータが生成された値であることを意味します。たとえば、さまざまな量で拡大縮小および回転された文字「A」の画像を含むデータセットを考えてみましょう。各画像には 32×32 ピクセルがあります。各画像は、1024 ピクセル値のベクトルとして表すことができます。各行は、1024 次元空間 (ハミング空間) の 2 次元多様体上のサンプルです。データを生成するために 2 つの変数 (回転と拡大縮小) が変更されたため、固有次元は2 です。文字「A」の形状または外観に関する情報は、すべてのインスタンスで同じであるため、固有変数の一部ではありません。非線形次元削減では、相関情報 (文字「A」) が破棄され、変化する情報 (回転と拡大縮小) のみが復元されます。右側の画像は、このデータセットのサンプル画像 (スペースを節約するため、すべての入力画像が表示されているわけではありません) と、NLDR アルゴリズム (この場合は Manifold Sculpting を使用) を使用してデータを 2 次元に削減した結果の 2 次元ポイントのプロットを示しています。

比較すると、線形次元削減アルゴリズムである主成分分析を使用してこの同じデータセットを 2 次元に削減すると、結果の値はそれほど整理されません。これは、この多様体をサンプリングする高次元ベクトル (それぞれが文字「A」を表す) が非線形に変化することを示しています。

したがって、NLDR がコンピューター ビジョンの分野でいくつかの用途を持っていることは明らかです。たとえば、カメラを使用して閉じた静的な環境内を移動するロボットを考えてみましょう。そのカメラで取得された画像は、高次元空間の多様体上のサンプルと見なすことができ、その多様体の固有変数はロボットの位置と方向を表します。

不変多様体は、動的システムにおけるモデル次数削減において一般的に興味深いものです。特に、位相空間に吸引不変多様体がある場合、近くの軌道はそれに収束し、そこに無期限に留まるため、動的システムの次元削減の候補となります。このような多様体は一般に存在することが保証されていませんが、スペクトル部分多様体理論 (SSM)は、幅広いクラスの動的システムにおいて、一意の吸引不変オブジェクトが存在するための条件を提供します。^[3] NLDR の活発な研究では、動的システムに関連する観測多様体を解明してモデリング手法を開発することを目指しています。^[4]

最も有名な非線形次元削減手法のいくつかを以下に示します。

Sammon マッピングは、最初で最も人気のある NLDR 手法の 1 つです。

自己組織化マップ（SOM、コホーネンマップとも呼ばれる）とその確率的変形である生成トポグラフィックマッピング（GTM）は、埋め込み空間内の点表現を使用して、埋め込み空間から高次元空間への非線形マッピングに基づく潜在変数モデルを形成します。 ^[6]これらの技術は、同じ確率モデルに基づく密度ネットワークの研究に関連しています。

おそらく次元削減に最も広く使われているアルゴリズムはカーネルPCAである。^[7] PCAは行列の共分散行列を計算することから始まります。${\displaystyle m\times n}$${\displaystyle \mathbf {X} }$

${\displaystyle C={\frac {1}{m}}\sum _{i=1}^{m}{\mathbf {x} _{i}\mathbf {x} _{i}^{\mathsf {T}}}.}$

次に、データをその行列の最初のk個の固有ベクトルに投影します。比較すると、KPCAは、データを高次元空間に変換した後、共分散行列を計算することから始まります。

${\displaystyle C={\frac {1}{m}}\sum _{i=1}^{m}{\Phi (\mathbf {x} _{i})\Phi (\mathbf {x} _{i})^{\mathsf {T}}}.}$

次に、 PCA と同様に、変換されたデータをその行列の最初のk個の固有ベクトルに投影します。カーネル トリックを使用して計算の大部分を因数分解し、実際に を計算しなくてもプロセス全体を実行できるようにします。もちろん、対応するカーネルが既知になるように を選択する必要があります。残念ながら、特定の問題に適したカーネルを見つけることは簡単ではないため、KPCA は、標準カーネルを使用する場合、いくつかの問題で良い結果をもたらさない場合があります。たとえば、スイスロール多様体ではこれらのカーネルのパフォーマンスが低いことが知られています。ただし、そのような設定で優れたパフォーマンスを発揮する他の特定の方法 (ラプラシアン固有マップ、LLE など) は、データ依存カーネル行列を構築することでカーネル PCA の特殊なケースと見なすことができます。^[8]${\displaystyle \Phi (\mathbf {x} )}$${\displaystyle \Phi }$

KPCA には内部モデルがあるため、トレーニング時に利用できなかったポイントを埋め込みにマッピングするために使用できます。

主曲線と多様体は、非線形次元削減のための自然な幾何学的フレームワークを提供し、埋め込まれた多様体を明示的に構築し、多様体への標準的な幾何学的投影を使用してエンコードすることにより、PCA の幾何学的解釈を拡張します。このアプローチは、もともとTrevor Hastieが1984 年の論文^[11]で提案し、 1989 年に正式に発表しました。 ^[12]このアイデアは、多くの著者によってさらに研究されてきました。 ^[13] 多様体の「単純さ」をどのように定義するかは問題によって異なりますが、一般的には、多様体の固有の次元や滑らかさによって測定されます。通常、主多様体は最適化問題の解として定義されます。目的関数には、データ近似の品質と、多様体の曲げに対するペナルティ項が含まれます。一般的な初期近似は、線形 PCA と Kohonen の SOM によって生成されます。

ラプラシアン固有マップは、スペクトル技術を使用して次元削減を実行します。^[14]この技術は、データが高次元空間内の低次元多様体にあるという基本的な仮定に依存しています。^[15] このアルゴリズムはサンプル外のポイントを埋め込むことはできませんが、この機能を追加するための再生カーネルヒルベルト空間正則化に基づく技術が存在します。^[16] このような技術は、他の非線形次元削減アルゴリズムにも適用できます。

主成分分析などの従来の手法では、データの固有の形状は考慮されません。ラプラシアン固有マップは、データ セットの近傍情報からグラフを作成します。各データ ポイントはグラフ上のノードとして機能し、ノード間の接続性は、隣接ポイントの近さによって決まります (たとえば、k 最近傍アルゴリズムを使用)。このようにして生成されたグラフは、高次元空間における低次元多様体の離散近似と見なすことができます。グラフに基づくコスト関数の最小化により、多様体上で互いに近いポイントは、局所距離を維持しながら、低次元空間で互いに近くにマッピングされます。多様体上のラプラス–ベルトラミ演算子の固有関数は埋め込み次元として機能します。これは、穏やかな条件下では、この演算子が多様体上の平方積分可能関数の基礎となる可算スペクトルを持つためです (単位円多様体上のフーリエ級数と比較してください)。ラプラス固有マップを確固たる理論的根拠の上に置こうとする試みはある程度成功しており、ある非制限的な仮定の下では、点の数が無限大に近づくにつれてグラフラプラス行列はラプラス・ベルトラミ演算子に収束することが示されている。^[15]

Isomap ^[17]は、 Floyd-Warshall アルゴリズムと従来の多次元尺度法(MDS)を組み合わせたものです。従来の MDS は、すべてのポイント間のペアワイズ距離の行列を取り、各ポイントの位置を計算します。Isomap は、ペアワイズ距離は隣接するポイント間でのみわかっていると想定し、Floyd-Warshall アルゴリズムを使用して、他のすべてのポイント間のペアワイズ距離を計算します。これにより、すべてのポイント間のペアワイズ測地線距離の完全な行列が効果的に推定されます。次に、Isomap は従来の MDS を使用して、すべてのポイントの次元を削減した位置を計算します。Landmark-Isomap はこのアルゴリズムのバリエーションで、ランドマークを使用して速度を上げますが、精度が多少低下します。

多様体学習では、入力データは、高次元ベクトル空間内に埋め込まれた低次元多様体からサンプリングされたものと想定されます。MVU の背後にある主な直感は、多様体の局所的な線形性を利用し、基礎となる多様体のすべてのポイントで局所近傍を保存するマッピングを作成することです。

局所線形埋め込み (LLE) は、Isomap とほぼ同時期に発表されました。^{[18]局所線形埋め込みには、}疎行列アルゴリズムを利用するように実装した場合の最適化の高速化や、多くの問題でより良い結果など、Isomap よりもいくつかの利点があります。LLE も、各ポイントの最近傍のセットを見つけることから始めます。次に、各ポイントをその近傍の線形結合として最もよく表す重みのセットを計算します。最後に、固有ベクトルベースの最適化手法を使用して、各ポイントが同じ近傍の線形結合で表されるように、ポイントの低次元埋め込みを見つけます。LLE は、さまざまな領域のサンプル密度が異なるときに重みがドリフトするのを防ぐ固定単位がないため、不均一なサンプル密度をうまく処理できない傾向があります。LLE には内部モデルがありません。

元のデータ ポイントはであり、LLE の目標は各ポイントを という低次元のポイントに埋め込むことです。 ${\displaystyle X_{i}\in \mathbb {R} ^{D}}$${\displaystyle X_{i}}$${\displaystyle Y_{i}\in \mathbb {R} ^{d}}$${\displaystyle d\ll D}$

LLE には 2 つのステップがあります。最初のステップでは、各点X _iについて、その近傍点X _jの重心座標に基づいてX _iの最良近似を計算します。元の点は、近傍点の重み行列W _ijで与えられる線形結合によって近似的に再構築されます。再構築誤差は次のようになります。

${\displaystyle E(W)=\sum _{i}\left|\mathbf {X} _{i}-\sum _{j}{\mathbf {W} _{ij}\mathbf {X} _{j}}\right|^{2}}$

重みW _{ij は、}点X _{i を}再構築する際に点X _jが与える寄与の量を指します。コスト関数は、次の 2 つの制約の下で最小化されます。

• 各データ ポイントX _{i は}、その近傍点からのみ再構築されます。つまり、ポイントX _jがポイントX _iの近傍点ではない場合です。${\displaystyle W_{ij}=0}$
• 重み行列の各行の合計は 1 になります。つまり、 です。${\displaystyle \sum _{j}{\mathbf {W} _{ij}}=1}$

これら 2 つの制約により、回転と移動による影響を受けないことが保証されます。 ${\displaystyle W}$

2 番目のステップでは、重みに基づいて近傍保存マップが作成されます。各ポイントは、別のコストを最小化することで ポイントにマッピングされます。${\displaystyle X_{i}\in \mathbb {R} ^{D}}$${\displaystyle Y_{i}\in \mathbb {R} ^{d}}$

${\displaystyle C(Y)=\sum _{i}\left|\mathbf {Y} _{i}-\sum _{j}{\mathbf {W} _{ij}\mathbf {Y} _{j}}\right|^{2}}$

前のコスト関数とは異なり、重み W _ijは固定され、座標を最適化するために点 Y _{iで最小化が行われます。この最小化問題は、スパース}N X N 固有値問題( Nはデータ ポイントの数) を解くことで解決できます。この問題の下部のd個の非ゼロ固有ベクトルは、直交座標セットを提供します。

アルゴリズム内の唯一のハイパーパラメータは、ポイントの「近傍」としてカウントされるものです。通常、データ ポイントは、ユークリッド距離で測定されたK 個の最近傍から再構築されます。この場合、アルゴリズムには、クロス検証によって選択できる 整数値のハイパーパラメータKが 1 つだけあります。

LLEと同様に、ヘッセ行列法も疎行列技術に基づいています。^[19] LLEよりもはるかに高品質の結果が得られる傾向があります。残念ながら、計算コストが非常に高いため、サンプリング頻度の高い多様体には適していません。内部モデルはありません。

修正LLE（MLLE）^[20]は、各近傍に複数の重みを使用して、LLEマップの歪みにつながるローカル重み行列調整問題に対処するもう1つのLLEバリアントです。大まかに言えば、複数の重みは、LLEによって生成された元の重みのローカル直交投影です。この正規化されたバリアントの作成者は、ローカル接線空間アライメント（LTSA）の作者でもあります。これは、各重みベクトルの直交投影のグローバル最適化が、本質的にすべてのデータポイントのローカル接線空間を揃えることを実現するときに、MLLE定式化に暗黙的に組み込まれます。このアルゴリズムを正しく適用することから得られる理論的および経験的影響は広範囲に及びます。^[21]

LTSA ^[22]は、多様体が正しく展開されると、多様体への接線超平面がすべて整列するという直感に基づいています。LTSAは、すべての点のk近傍を計算することから始まります。各局所近傍のd番目の主成分を計算することで、すべての点における接線空間を計算します。次に、接線空間を整列させる埋め込みを見つけるために最適化します。

最大分散展開、Isomap、および局所線形埋め込みは、多様体が適切に展開されると、点の分散が最大化されるという概念に依存する共通の直感を共有しています。Isomap や局所線形埋め込みと同様に、最初のステップは、すべての点のk近傍を見つけることです。次に、隣接点間の距離が保持されるように制約された状態で、隣接しないすべての点間の距離を最大化する問題を解決しようとします。このアルゴリズムの主な貢献は、この問題を半正定値計画問題としてキャストする手法です。残念ながら、半正定値計画ソルバーは計算コストが高くなります。局所線形埋め込みと同様に、内部モデルはありません。

オートエンコーダは、アイデンティティ関数を近似するようにトレーニングされたフィードフォワードニューラルネットワークです。つまり、値のベクトルから同じベクトルにマッピングするようにトレーニングされます。次元削減の目的で使用する場合、ネットワークの隠れ層の 1 つは、少数のネットワークユニットのみを含むように制限されます。したがって、ネットワークは、ベクトルを少数の次元にエンコードし、それを元の空間にデコードすることを学習する必要があります。したがって、ネットワークの前半は、高次元空間から低次元空間にマッピングするモデルであり、後半は低次元空間から高次元空間にマッピングします。オートエンコーダのアイデアはかなり古いものですが、^{[23]ディープオートエンコーダのトレーニングは、}制限付きボルツマンマシンとスタックされたノイズ除去オートエンコーダの使用を通じて最近になって可能になりました。オートエンコーダに関連するのは、多次元スケーリングとサモンマッピング(上記を参照)に触発されたストレス関数を使用して、高次元から埋め込み空間への非線形マッピングを学習する NeuroScale アルゴリズムです。 NeuroScale のマッピングは、ラジアル基底関数ネットワークに基づいています。

ガウス過程潜在変数モデル（GPLVM）^[24]は、ガウス過程（GP）を使用して高次元データの低次元の非線形埋め込みを見つける確率的次元削減手法です。これらは、PCAの確率的定式化の拡張です。モデルは確率的に定義され、潜在変数は周辺化され、尤度を最大化することでパラメータが取得されます。カーネルPCAと同様に、カーネル関数を使用して非線形マッピング（ガウス過程の形式）を形成します。ただし、GPLVMでは、マッピングは埋め込まれた（潜在）空間からデータ空間へ（密度ネットワークやGTMのように）行われるのに対し、カーネルPCAではその逆方向です。これはもともと高次元データの視覚化のために提案されましたが、2つの観測空間間の共有マニフォールドモデルを構築するように拡張されました。 GPLVMとその多くの変種は、人間の動作モデリングのために特別に提案されており、例えば、バック制約GPLVM、GPダイナミックモデル（GPDM）、バランスGPDM（B-GPDM）、トポロジカル制約GPDMなどがある。歩行解析における姿勢と歩行多様体の結合効果を捉えるために、多層関節歩行姿勢多様体が提案された。^[25]

t分布確率的近傍埋め込み（t-SNE）^[26]は広く使用されています。これは確率的近傍埋め込み法の1つです。このアルゴリズムは、高次元空間内のデータポイントのペアが関連している確率を計算し、同様の分布を生成する低次元の埋め込みを選択します。

リレーショナル パースペクティブ マップは、多次元スケーリングアルゴリズムです。このアルゴリズムは、閉じた多様体上の多粒子動的システムをシミュレートすることで、多様体上のデータ ポイントの構成を見つけます。データ ポイントは粒子にマッピングされ、データ ポイント間の距離 (または相違) は反発力を表します。多様体のサイズが徐々に大きくなると、多粒子システムは徐々に冷却され、データ ポイントの距離情報を反映する構成に収束します。

リレーショナル パースペクティブ マップは、正に帯電した粒子がボールの表面上を自由に移動する物理モデルからヒントを得ました。粒子間のクーロン 力によって導かれる粒子の最小エネルギー構成は、粒子間の反発力の強さを反映します。

リレーショナルパースペクティブマップは年に導入されました。^[27] このアルゴリズムは、最初は平面トーラスを画像多様体として使用し、その後、（ソフトウェアVisuMapで）球、射影空間、クラインの壺などの他の種類の閉じた多様体を画像多様体として使用するように拡張されました。

伝染マップは、ネットワーク上の複数の伝染を使用して、ノードをポイントクラウドとしてマッピングします。^[28]グローバルカスケードモデルの場合、拡散速度はしきい値パラメータで調整できます。伝染マップはIsomapアルゴリズムと同等です。 ${\displaystyle t\in [0,1]}$${\displaystyle t=0}$

曲線成分分析（CCA）は、出力空間内の点の配置を探し、元の距離を可能な限り維持しながら、出力空間内の小さな距離に焦点を当てます（元の空間内の小さな距離に焦点を当てるサモンのマッピングとは対照的です）。 ^[29]

CCA は反復学習アルゴリズムとして、実際には最初は大きな距離に焦点を当てて (Sammon アルゴリズムのように)、その後徐々に小さな距離に焦点を移していくことに注意する必要があります。2 つの間で妥協する必要がある場合、小さな距離の情報が大きな距離の情報を上書きします。

CCAのストレス関数は右ブレグマンダイバージェンスの合計と関連している。^[30]

CDA ^[29]は自己組織化ニューラルネットワークを訓練して多様体を適合させ、その埋め込みにおいて測地線距離を保存することを目指します。これは曲線成分分析（サモンのマッピングを拡張したもの）に基づいていますが、代わりに測地線距離を使用します。

微分同相次元削減法またはDiffeomap ^[31]は、データを低次元の線形部分空間に転送する滑らかな微分同相マッピングを学習します。この方法は、データポイントから始まるフィールドに沿ったフローが低次元の線形部分空間で終了するように、滑らかな時間インデックス付きベクトルフィールドを解き、順方向マッピングと逆マッピングの両方でペアワイズ差を保存しようとします。

マニフォールドアラインメントは、類似した生成プロセスによって生成された異なるデータセットは、同様の基礎となるマニフォールド表現を共有するという仮定を利用しています。各元の空間から共有マニフォールドへの投影を学習することで、対応関係が回復され、あるドメインの知識を別のドメインに転送することができます。ほとんどのマニフォールドアラインメント技術は2つのデータセットのみを考慮しますが、この概念は任意の数の初期のデータセットに拡張されます。^[32]

拡散マップは、熱拡散とランダムウォーク（マルコフ連鎖）の関係を利用している。多様体上の拡散演算子と、多様体からサンプリングされたノードを持つグラフ上で定義された関数に作用するマルコフ遷移行列との間に類似性が描かれている。^[33]特に、データセットを で表すとしよう。拡散マップの基本的な仮定は、高次元データが次元 の低次元多様体上にあるということである。Xがデータセットを表し、 がX上のデータポイントの分布を表すものとする。さらに、X内のポイントの親和性の概念を表すカーネルを定義する。カーネルには次の特性がある^[34]${\displaystyle \mathbf {X} =[x_{1},x_{2},\ldots ,x_{n}]\in \Omega \subset \mathbf {R^{D}} }$${\displaystyle \mathbf {d} }$${\displaystyle \mu }$${\displaystyle {\mathit {k}}}$

${\displaystyle k(x,y)=k(y,x),}$

kは対称である

${\displaystyle k(x,y)\geq 0\qquad \forall x,y,k}$

kは正値性を保つ

したがって、個々のデータ ポイントをグラフのノードと考えることができ、カーネルk はそのグラフ上の何らかの類似性を定義するものと考えることができます。カーネルが対称であるため、グラフは構成上対称です。ここで、タプル ( X、k ) から可逆マルコフ連鎖を構築できることは簡単にわかります。この手法はさまざまな分野で一般的であり、グラフ ラプラシアンとして知られています。

たとえば、グラフK = ( X , E ) はガウスカーネルを使用して構築できます。

${\displaystyle K_{ij}={\begin{cases}e^{-\|x_{i}-x_{j}\|_{2}^{2}/\sigma ^{2}}&{\text{if }}x_{i}\sim x_{j}\\0&{\text{otherwise}}\end{cases}}}$

上の式で、 はが の最近傍であることを示します。多様体上の距離を実際に測定するには、測地線距離を使用する必要があります。 多様体の正確な構造は不明なので、最近傍については、測地線距離はユークリッド距離で近似されます。 この選択は、 の場合、 の場合、という意味で、近接性の概念を調整します。 前者は拡散がほとんど起こっていないことを意味し、後者は拡散プロセスがほぼ完了していることを意味します。 選択するためのさまざまな戦略については、 ^[35]を参照してください。${\displaystyle x_{i}\sim x_{j}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle \sigma }$${\displaystyle \|x_{i}-x_{j}\|_{2}\gg \sigma }$${\displaystyle K_{ij}=0}$${\displaystyle \|x_{i}-x_{j}\|_{2}\ll \sigma }$${\displaystyle K_{ij}=1}$${\displaystyle \sigma }$

マルコフ行列を忠実に表現するためには、対応する次数行列で正規化する必要があります。 ${\displaystyle K}$ ${\displaystyle D}$

${\displaystyle P=D^{-1}K.}$

${\displaystyle P}$はマルコフ連鎖を表します。は 1 つのタイム ステップで からに遷移する確率です。 同様に、 tタイム ステップでからに遷移する確率は で与えられます。 ここでは、行列をt回自身に掛け合わせたものです。 ${\displaystyle P(x_{i},x_{j})}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle P^{t}(x_{i},x_{j})}$${\displaystyle P^{t}}$${\displaystyle P}$

マルコフ行列は、データ セットXのローカル ジオメトリの概念を構成します。拡散マップと主成分分析の主な違いは、拡散マップではデータ セット全体の相関関係を取るのではなく、データのローカルな特徴のみが考慮されることです。 ${\displaystyle P}$

${\displaystyle K}$データセット上のランダムウォークを定義する。つまり、カーネルはデータセットの局所的な形状を捉える。マルコフ連鎖はカーネル値を通じて伝播の速い方向と遅い方向を定義する。ウォークが時間的に前方に伝播するにつれて、局所的な形状情報は動的システムの局所的な遷移（微分方程式で定義される）と同じように集約される。^[34]拡散の比喩は、ファミリー拡散距離の定義から生じる。${\displaystyle \{D_{t}\}_{t\in N}}$

${\displaystyle D_{t}^{2}(x,y)=\|p_{t}(x,\cdot )-p_{t}(y,\cdot )\|^{2}}$

t が固定の場合、パスの接続性に基づいてデータ セットの任意の 2 点間の距離を定義します。x と y を接続するパスの数が多いほど、 の値は小さくなり、その逆も同様です。この量は長さ t のすべてのパスの合計を含むため、測地線距離よりもデータ内のノイズに対してはるかに堅牢です。 は、距離を計算する際にポイント x と y の間のすべての関係を考慮し、ユークリッド距離や測地線距離よりも優れた近接性の概念として機能します。 ${\displaystyle D_{t}}$${\displaystyle D_{t}(x,y)}$${\displaystyle D_{t}(x,y)}$${\displaystyle D_{t}}$${\displaystyle D_{t}}$

局所多次元尺度法は局所領域で多次元尺度法を実行し、凸最適化を使用してすべての部分を適合させます。^[36]

非線形PCA（NLPCA）は、バックプロパゲーションを使用して、多様体に適合するように多層パーセプトロン（MLP）をトレーニングします。^[37]重みのみを更新する一般的なMLPトレーニングとは異なり、NLPCAは重みと入力の両方を更新します。つまり、重みと入力の両方が潜在値として扱われます。トレーニング後、潜在入力は観測されたベクトルの低次元表現であり、MLPはその低次元表現から高次元の観測空間にマッピングします。

データ駆動型高次元尺度法（DD-HDS）^[38]は、サモンのマッピングや曲線成分分析と密接に関連しているが、（1）元の空間と出力空間の両方で小さな距離に焦点を当てることで、偽の近傍と裂け目を同時にペナルティにすること、および（2）重み関数を距離分布に適応させることで 測定の集中現象を考慮するという点が異なる。

マニフォールドスカルプティング^[39]は段階的最適化を使用して埋め込みを見つけます。他のアルゴリズムと同様に、k近傍を計算し、局所的な近傍の関係を保存する埋め込みを探します。高次元から分散をゆっくりとスケーリングしながら、同時に低次元のポイントを調整してそれらの関係を保存します。スケーリング率が小さければ、非常に正確な埋め込みを見つけることができます。いくつかの問題を抱えながら、他のアルゴリズムよりも高い経験的精度を誇ります。また、他のマニフォールド学習アルゴリズムの結果を改良するためにも使用できます。ただし、非常に遅いスケーリング率を使用しない限り、一部のマニフォールドを展開するのは困難です。モデルはありません。

RankVisu ^[40]は、距離ではなく近傍のランクを保存するように設計されています。RankVisuは、困難なタスク（距離の保存が満足に達成できない場合）で特に役立ちます。実際、近傍のランクは距離よりも情報量が少なく（ランクは距離から推測できますが、距離はランクから推測できません）、したがって、近傍のランクを保存する方が簡単です。

位相的に制約された等尺性埋め込み（TCIE）^[41]は、ユークリッド距離と矛盾する測地線をフィルタリングした後、測地線距離を近似することに基づくアルゴリズムです。Isomapを使用して本質的に非凸なデータをマッピングするときに発生する歪みを修正することを目的として、TCIEは重み付き最小二乗MDSを使用して、より正確なマッピングを取得します。TCIEアルゴリズムは、最初にデータ内の可能性のある境界点を検出し、測地線の長さの計算中に矛盾する測地線をマークして、後続の 重み付きストレスメジャー化で小さな重みが与えられます。

均一多様体近似および投影（UMAP）は非線形次元削減技術である。^[42]これはt-SNEに似ている。^[43]

近接行列に基づく手法では、データが類似度行列または距離行列の形式でアルゴリズムに提示されます。これらの手法はすべて、より広い意味での計量多次元尺度法に分類されます。これらの手法の違いは、近​​接データの計算方法の違いによる傾向があります。たとえば、等値マップ、局所線形埋め込み、最大分散展開、およびサモン マッピング(実際にはマッピングではありません) は、計量多次元尺度法の例です。

• Waffles は、LLE、Manifold Sculpting、およびその他のいくつかの多様体学習アルゴリズムの実装を含むオープンソースの C++ ライブラリです。
• UMAP.jl は、プログラミング言語Juliaのメソッドを実装します。
• このメソッドはPythonでも実装されています（コードはGitHubで入手可能）

• 多様体仮説
• スペクトル部分多様体
• テイクンの定理
• ホイットニー埋め込み定理
• 判別分析
• 弾性マップ
• 機能学習
• 成長する自己組織化マップ(GSOM)
• 自己組織化マップ(SOM)

• マーフィー、ケビン P. (2022)。「マニフォールド学習」。確率的機械学習。MITプレス。pp. 682–699。ISBN 978-0-262-04682-4。

• アイソマップ
• ジェネレーティブ地形マッピング
• マイク・ティッピングの論文
• ガウス過程潜在変数モデル
• 局所線形埋め込み
• 関係的視点マップ
• DD-HDSホームページ
• RankVisuホームページ
• 拡散マップの簡単なレビュー
• オートエンコーダニューラルネットワークによる非線形PCA