シャムニューラルネットワーク

シャムニューラルネットワーク（ツインニューラルネットワークと呼ばれることもある）は、2つの異なる入力ベクトルを連携して処理しながら同じ重みを使用し、比較可能な出力ベクトルを計算する人工ニューラルネットワークです。 ^{[1] [2] [3] [4]多くの場合、出力ベクトルの1つは事前に計算され、他の出力ベクトルと比較するための基準を形成します。これは}指紋の比較に似ていますが、より技術的には局所性に敏感なハッシュの距離関数として説明できます。^[要出典]

機能的にはツイン ネットワークに似ているが、わずかに異なる機能を実装するアーキテクチャを構築することも可能です。これは通常、異なるタイプ セット内の類似インスタンスを比較するために使用されます。^{[引用が必要]}

ツインネットワークが使用される可能性のある類似性尺度の用途としては、手書きの小切手の認識、カメラ画像内の顔の自動検出、インデックス付きドキュメントとクエリのマッチングなどがあります。 ツインネットワークのおそらく最もよく知られているアプリケーションは顔認識です。顔認識では、既知の人物画像が事前に計算され、改札口などの画像と比較されます。 最初は明らかではありませんが、わずかに異なる2つの問題があります。 1つは、多数の人物の中から1人の人物を認識すること、つまり顔認識の問題です。DeepFaceはそのようなシステムの例です。^[4]最も極端な形は、駅や空港で1人の人物を認識することです。 もう1つは顔検証で、パスの写真が、同一人物であると主張する人物と同じかどうかを検証します。 ツインネットワークは同じかもしれませんが、実装はまったく異なる場合があります。

ツイン ネットワークでの学習は、トリプレット損失または対照損失で実行できます。トリプレット損失による学習では、ベースライン ベクトル (アンカー イメージ) が正のベクトル (真のイメージ) および負のベクトル (偽のイメージ) と比較されます。負のベクトルはネットワークで学習を強制し、正のベクトルは正規化子のように機能します。対照損失による学習では、重みを正規化するための重み減衰、または正規化などの同様の操作が必要です。

損失関数の距離メトリックは次のような特性を持つ可能性がある^[5]

• 非否定性:${\displaystyle \delta (x,y)\geq 0}$
• 識別不能なものの正体:${\displaystyle \delta (x,y)=0\iff x=y}$
• 可換性:${\displaystyle \delta (x,y)=\delta (y,x)}$
• 三角不等式:${\displaystyle \delta (x,z)\leq \delta (x,y)+\delta (y,z)}$

特に、トリプレット損失アルゴリズムは、その中核に 2 乗ユークリッド距離 (ユークリッドとは異なり、三角不等式はありません) を基本として定義されることが多いです。

一般的な学習目標は、類似した物体の距離メトリックを最小化し、異なる物体の距離メトリックを最大化することです。これにより、次のような損失関数が得られます。

${\displaystyle {\begin{aligned}\delta (x^{(i)},x^{(j)})={\begin{cases}\min \ \|\operatorname {f} \left(x^{(i)}\right)-\operatorname {f} \left(x^{(j)}\right)\|\,,i=j\\\max \ \|\operatorname {f} \left(x^{(i)}\right)-\operatorname {f} \left(x^{(j)}\right)\|\,,i\neq j\end{cases}}\end{aligned}}}$

${\displaystyle i,j}$ベクトルの集合へのインデックスである

${\displaystyle \operatorname {f} (\cdot )}$ツインネットワークによって実装される機能

最も一般的に使用される距離メトリックはユークリッド距離であり、この場合、損失関数は行列形式で次のように書き直すことができる。

${\displaystyle \operatorname {\delta } (\mathbf {x} ^{(i)},\mathbf {x} ^{(j)})\approx (\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})^{T}(\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})}$

より一般的なケースとしては、ツイン ネットワークからの出力ベクトルが、非線形距離メトリックを実装する追加のネットワーク レイヤーを通過する場合が挙げられます。

${\displaystyle {\begin{aligned}{\text{if}}\,i=j\,{\text{then}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {f} \left(x^{(j)}\right)\right]\,{\text{小さい}}\\{\text{そうでない場合}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {f} \left(x^{(j)}\right)\right]\,{\text{大きい}}\end{aligned}}}$

${\displaystyle i,j}$ベクトルの集合へのインデックスである

${\displaystyle \operatorname {f} (\cdot )}$ツインネットワークによって実装される機能

${\displaystyle \operatorname {\delta } (\cdot )}$ツインネットワークからの出力を結合するネットワークによって実装される機能

行列形式では、前者は線形空間のマハラノビス距離として近似されることが多い^[6]

${\displaystyle \operatorname {\delta } (\mathbf {x} ^{(i)},\mathbf {x} ^{(j)})\approx (\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})^{T}\mathbf {M} (\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})}$

これは、少なくとも教師なし学習と教師あり学習にさらに細分化できます。

この形式により、ツインネットワークはハーフツインとなり、わずかに異なる機能を実装することも可能になる。

${\displaystyle {\begin{aligned}{\text{if}}\,i=j\,{\text{then}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {g} \left(x^{(j)}\right)\right]\,{\text{小さい}}\\{\text{そうでない場合}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {g} \left(x^{(j)}\right)\right]\,{\text{大きい}}\end{aligned}}}$

${\displaystyle i,j}$ベクトルの集合へのインデックスである

${\displaystyle \operatorname {f} (\cdot ),\operatorname {g} (\cdot )}$ハーフツインネットワークによって実装される機能

${\displaystyle \operatorname {\delta } (\cdot )}$ツインネットワークからの出力を結合するネットワークによって実装される機能

ツインネットワークは、そのユニークな2つのタンデム入力と類似度測定のため、物体追跡に使用されています。物体追跡では、ツインネットワークの1つの入力はユーザーが事前に選択した見本画像で、もう1つの入力はより大きな検索画像です。ツインネットワークの役割は、検索画像内で見本を見つけることです。見本と検索画像の各部分との類似度を測定することで、ツインネットワークによって類似度スコアのマップを作成できます。さらに、完全畳み込みネットワークを使用すると、各セクターの類似度スコアを計算するプロセスを、1つの相互相関レイヤーのみに置き換えることができます。^[7]

2016 年に初めて導入されて以来、Twin 完全畳み込みネットワークは多くの高性能リアルタイム物体追跡ニューラルネットワークで使用されてきました。CFnet、^[8] StructSiam、^[9] SiamFC-tri、^[10] DSiam、^[11] SA-Siam、^[12] SiamRPN、^[13] DaSiamRPN、^[14] Cascaded SiamRPN、^[15] SiamMask、^[16] SiamRPN++、^[17] Deeper and Wider SiamRPN などです。^[18]

• 人工ニューラルネットワーク
• 三つ子の喪失

• Chicco, Davide (2020)、「Siamese neural networks: an outline」、Artificial Neural Networks、Methods in Molecular Biology、vol. 2190 (第 3 版)、ニューヨーク市、ニューヨーク、米国: Springer Protocols、Humana Press、pp.  73– 94、doi :10.1007/978-1-0716-0826-5_3、ISBN 978-1-0716-0826-5、PMID  32804361、S2CID  221144012