マニホールドアライメント

マニフォールドアラインメントは、元のデータセットが共通のマニフォールド上にあることを前提として、データセット間の投影を生成する機械学習アルゴリズムの一種です。この概念は、2003年にハム、リー、ソールによって初めて導入され、^[1]高次元ベクトルの相関セットの一般的な問題にマニフォールド制約を追加しました。^[2]

マニフォールド アラインメントでは、類似の生成プロセスによって生成された異なるデータ セットが、類似の基になるマニフォールド表現を共有すると想定しています。各元の空間から共有マニフォールドへの投影を学習することで、対応関係が回復され、1 つのドメインの知識を別のドメインに転送できます。ほとんどのマニフォールド アラインメント手法では、2 つのデータ セットのみが考慮されますが、この概念は任意の数の初期のデータ セットにまで拡張されます。

2 つのデータ セット、およびを、およびに揃える場合を考えます。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X_{i}\in \mathbb {R} ^{m}}$${\displaystyle Y_{i}\in \mathbb {R} ^{n}}$

多様体アライメントアルゴリズムは、対応する点間の距離を最小化し、元のデータの局所的な多様体構造を維持するように、とを新しいd次元空間に投影しようとします。投影関数は次のように表されます。 ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \phi _{X}:\,\mathbb {R} ^{m}\rightarrow \mathbb {R} ^{d}}$

${\displaystyle \phi _{Y}:\,\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{d}}$

と の点間の2値対応行列を で表すとします。 ${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$

${\displaystyle W_{i,j}={\begin{cases}1&if\,X_{i}\leftrightarrow Y_{j}\\0&otherwise\end{cases}}}$

と はデータセット内の点ごとの類似性を表します。これは通常、 k最近傍グラフの隣接行列の熱核としてエンコードされます。 ${\displaystyle S_{X}}$${\displaystyle S_{Y}}$

最後に、係数 を導入します。これは、「多様体構造を保持する」目標と「対応する点の距離を最小化する」目標の重みを調整するように調整できます。 ${\displaystyle 0\leq \mu \leq 1}$

これらの定義が整うと、多様体アライメントの損失関数は次のように記述できます。

${\displaystyle \arg \min _{\phi _{X},\phi _{Y}}\mu \sum _{i,j}\left\Vert \phi _{X}\left(X_{i}\right)-\phi _{X}\left(X_{j}\right)\right\Vert ^{2}S_{X,i,j}+\mu \sum _{i,j}\left\Vert \phi _{Y}\left(Y_{i}\right)-\phi _{Y}\left(Y_{j}\right)\right\Vert ^{2}S_{Y,i,j}+\left(1-\mu \right)\sum _{i,j}\Vert \phi _{X}\left(X_{i}\right)-\phi _{Y}\left(Y_{j}\right)\Vert ^{2}W_{i,j}}$

この最適化問題を解くことは、結合行列Gのグラフラプラシアン^[3]を使用して一般化固有値問題を解くことと同等である。

${\displaystyle G=\left[{\begin{array}{cc}\mu S_{X}&\left(1-\mu \right)W\\\left(1-\mu \right)W^{T}&\mu S_{Y}\end{array}}\right]}$

上記のアルゴリズムは、入力データセット間の完全なペアワイズ対応情報、つまり教師あり学習パラダイムを必要とします。しかし、この情報は、現実世界のアプリケーションでは通常、入手が困難または不可能です。最近の研究では、コアマニフォールドアライメントアルゴリズムが、半教師あり ^[4] 、教師なし ^[5] 、および複数インスタンス ^[6] 設定に拡張されました。

上記のアルゴリズムは「1ステップ」のアライメントを実行し、両方のデータセットの埋め込みを同時に見つけます。同様の効果は、 わずかに変更された手順に従う 「2ステップ」のアライメント^{[7] [8]でも達成できます。}

1. さまざまな次元削減アルゴリズムのいずれかを使用して、各入力データ セットを個別に低次元空間に投影します。
2. 最初のデータ セットを固定したまま、追加の各データ セットを最初のデータ セットのマニフォールドにマッピングして、埋め込まれたデータに対して線形マニフォールド アライメントを実行します。このアプローチには、必要な計算を分解できるという利点があり、メモリのオーバーヘッドが削減され、並列実装が可能になります。

マニフォールド アラインメントは、線形 (特徴レベル) 投影、または非線形 (インスタンスレベル) 埋め込みを見つけるために使用できます。インスタンス レベル バージョンは、一般的に、より正確なアラインメントを生成しますが、学習された埋め込みはパラメータ化が難しいことが多いため、柔軟性が大幅に犠牲になります。特徴レベル投影を使用すると、新しいインスタンスをマニフォールド空間に簡単に埋め込むことができ、投影を組み合わせて元のデータ表現間の直接マッピングを形成することができます。これらの特性は、知識転送アプリケーションにとって特に重要です。

マニフォールドアライメントは、各コーパスが異なる次元であっても、共有マニフォールド上に存在する複数のコーパスを持つ問題に適しています。多くの現実の問題がこの説明に当てはまりますが、従来の手法ではすべてのコーパスを同時に活用することはできません。マニフォールドアライメントは転移学習も容易にします。転移学習では、1 つのドメインの知識を使用して相関ドメインでの学習を開始します。

マニホールドアライメントの用途には以下が含まれます。

• 言語間情報検索・自動翻訳^[8]
  • 文書を単語数のベクトルとして表現することにより、マニフォールドアライメントは異なる言語の文書間のマッピングを回復できます。
  • 言語間の文書の対応は、特に欧州連合のような多言語組織からであれば、比較的簡単に入手できます。
• 強化学習のためのポリシーと状態表現の転移学習^[8]
• タンパク質NMR構造のアラインメント^[8]
• 他のロボットが生成したデータを共有することでロボットのモデル学習を加速する^[9]

• 多様体仮説

• Xiong, L.; F. Wang; C. Zhang (2007). 「半正定値多様体アラインメント」。第 18 回ヨーロッパ機械学習会議の議事録。CiteSeerX 10.1.1.91.7346 。
• Wang, Chang、Sridhar Mahadevan (2009)。「マニフォールドアライメントの一般的なフレームワーク」(PDF)。AAAIマニフォールド学習とその応用に関する秋季シンポジウム。
• Wang, Chang; Sridhar Mahadevan (2010) 「マルチスケールマニホールドアライメント」(PDF) .マサチューセッツ大学 TR UM-CS-2010-049 .
• 馬雲雁（2012年4月15日）「多様体学習理論とその応用」テイラー・アンド・フランシス・グループ、p.376。ISBN 978-1-4398-7109-6。
• Chang Wang の Manifold アライメントの概要