類似性学習

類似性学習は、人工知能における教師あり機械学習の分野です。回帰や分類と密接に関連していますが、その目的は、2 つのオブジェクトがどの程度類似しているか、または関連しているかを測定する類似性関数を学習することです。ランキング、推奨システム、視覚的アイデンティティ追跡、顔認証、話者認証 などの用途があります。

類似性およびメトリック距離学習には、4 つの一般的な設定があります。

回帰類似度学習

この設定では、オブジェクトのペアが類似度の尺度とともに与えられます。目標は、ラベル付けされた新しいトリプレットの例ごとに を近似する関数を学習することです。これは通常、正規化された損失を最小化することで実現されます。${\displaystyle (x_{i}^{1},x_{i}^{2})}$${\displaystyle y_{i}\in R}$${\displaystyle f(x_{i}^{1},x_{i}^{2})\sim y_{i}}$${\displaystyle (x_{i}^{1},x_{i}^{2},y_{i})}$${\displaystyle \min_{W}\sum_{i}loss(w;x_{i}^{1},x_{i}^{2},y_{i})+reg(w)}$

分類類似性学習

類似したオブジェクトと類似していないオブジェクトのペアが与えられます。同等の定式化は、すべてのペアが、 2 つのオブジェクトが類似しているかどうかを判断するバイナリ ラベルとともに与えられることです。目標は、新しいオブジェクトのペアが類似しているかどうかを判断できる分類子を学習することです。${\displaystyle (x_{i},x_{i}^{+})}$${\displaystyle (x_{i},x_{i}^{-})}$${\displaystyle (x_{i}^{1},x_{i}^{2})}$${\displaystyle y_{i}\in \{0,1\}}$

ランキング類似性学習

相対的な類似性が定義済みの順序に従う3 つのオブジェクト があるとします。 はよりもに類似していることがわかっています。 目標は、任意の新しい 3 つのオブジェクト に対して が に従うような関数を学習することです(対照学習)。 この設定では、回帰よりも弱い形式の監督を想定しています。これは、類似性の正確な尺度を提供する代わりに、類似性の相対的な順序を提供するだけでよいためです。 このため、ランキングベースの類似性学習は、実際の大規模アプリケーションに適用するのが簡単です。^[1]${\displaystyle (x_{i},x_{i}^{+},x_{i}^{-})}$${\displaystyle x_{i}}$${\displaystyle x_{i}^{+}}$${\displaystyle x_{i}^{-}}$${\displaystyle f}$${\displaystyle (x,x^{+},x^{-})}$${\displaystyle f(x,x^{+})>f(x,x^{-})}$

局所性敏感ハッシュ（LSH）^[2]

入力項目をハッシュ化して、類似項目がメモリ内の同じ「バケット」に高い確率でマップされるようにします（バケットの数は、入力項目の可能な範囲よりもはるかに小さくなります）。これは、画像データベース、ドキュメントコレクション、時系列データベース、ゲノムデータベースなどの大規模な高次元データの近傍検索によく適用されます。^[3]

類似性を学習するための一般的なアプローチは、類似性関数を双線形形式としてモデル化することです。たとえば、ランキング類似性学習の場合、類似性関数をパラメーター化する行列 W を学習することが目的です。データが豊富な場合、一般的なアプローチは、パラメーター共有を備えたディープ ネットワーク モデルであるシャム ネットワークを学習することです。 ${\displaystyle f_{W}(x,z)=x^{T}Wz}$

類似性学習は、距離メトリック学習と密接に関連しています。メトリック学習は、オブジェクト間の距離関数を学習するタスクです。メトリックまたは距離関数は、非負性、識別不能なものの同一性、対称性、劣加法性（または三角不等式）という 4 つの公理に従う必要があります。実際には、メトリック学習アルゴリズムは、識別不能なものの同一性の条件を無視し、疑似メトリックを学習します。

オブジェクトがのベクトルである場合、対称正定値円錐の任意の行列は、形式 を介して x の空間の距離擬似計量を定義します。 が対称正定値行列である場合、は計量です。さらに、任意の対称正定値行列はおよびとして分解できるため、距離関数はと同等に書き直すことができます。距離は、変換された特徴ベクトルと間のユークリッド距離に対応します。 ${\displaystyle x_{i}}$${\displaystyle R^{d}}$${\displaystyle W}$${\displaystyle S_{+}^{d}}$${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }W(x_{1}-x_{2})}$${\displaystyle W}$${\displaystyle D_{W}}$${\displaystyle W\in S_{+}^{d}}$${\displaystyle W=L^{\top }L}$${\displaystyle L\in R^{e\times d}}$${\displaystyle e\geq ランク(W)}$${\displaystyle D_{W}}$${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }L^{\top }L(x_{1}-x_{2})=\|L(x_{1}-x_{2})\|_{2}^{2}}$${\displaystyle D_{W}(x_{1},x_{2})^{2}=\|x_{1}'-x_{2}'\|_{2}^{2}}$ ${\displaystyle x_{1}'=Lx_{1}}$${\displaystyle x_{2}'=Lx_{2}}$

計量学習には多くの定式化が提案されている。^{[4] [5]}計量学習のよく知られたアプローチとしては、トリプレット損失に基づく相対比較からの学習^[6]、大マージン最近傍法^[7]、情報理論的計量学習（ITML）^{[8]などがある。}

統計学では、データの共分散行列が、マハラノビス距離と呼ばれる距離測定基準を定義するために使用されることがあります。

類似性学習は、ランク付け学習のための情報検索、顔認証や顔識別^{[9] [10] 、}推薦システムなどで使用されています。また、多くの機械学習アプローチは、何らかのメトリックに依存しています。これには、近いまたは類似したオブジェクトをグループ化するクラスタリングなどの教師なし学習が含まれます。また、近くにあるオブジェクトのラベルに基づいて新しいオブジェクトのラベルを決定するK近傍アルゴリズムなどの教師ありアプローチも含まれます。メトリック学習は、これらのアプローチの多くで前処理ステップとして提案されています。^[11]

メトリック学習と類似性学習は、学習したメトリックが双線形形式である場合に簡単にわかるように、入力空間の次元に対して単純に2乗的にスケーリングされます。高次元へのスケーリングは、HDSL ^[12]やCOMET ^[13]で行われたように、行列モデルにスパース構造を適用することで実現できます。${\displaystyle f_{W}(x,z)=x^{T}Wz}$

• metric-learn ^{[14]は、いくつかの教師ありおよび弱教師あり類似度および計量学習アルゴリズムの効率的な実装を提供する}フリーソフトウェアPythonライブラリです。metric-learnのAPIはscikit-learnと互換性があります。^[15]

• OpenMetricLearning ^[16]は、高品質の埋め込みを生成するモデルを訓練し検証するためのPythonフレームワークです。

^{このトピックに関する詳細については、Belletら[4]}とKulis ^[5]によるメトリック学習と類似性学習に関する調査を参照してください。

• カーネル法
• 潜在的意味解析
• ランキングの学習