ハリスアフィン領域検出器

コンピュータビジョンと画像分析の分野では、ハリスのアフィン領域検出器は特徴検出のカテゴリに属します。特徴検出は、画像間の対応付け、テクスチャの認識、オブジェクトの分類、パノラマの作成などを行うために、 特徴点または関心点を識別するいくつかのアルゴリズムの前処理ステップです。

Harris アフィン検出器は、アフィン変換によって関連付けられ、異なる照明を持つ画像間の類似領域を識別できます。これらのアフィン不変検出器は、スケーリング、回転、およびせん断という単純な幾何学的変換によって関連付けられた、異なる視点から撮影された画像内の類似領域を識別できる必要があります。これらの検出された領域は、不変および共変 の両方と呼ばれています。一方では、領域は画像変換に対して不変に検出されますが、領域は画像変換と共変的に変化します。^[1]これら 2 つの命名規則にあまりこだわる必要はありません。理解すべき重要なことは、これらの関心点の設計により、複数の視点から撮影された画像間で互換性が確保されるということです。アフィン不変であるその他の検出器には、ヘッセアフィン領域検出器、最大安定極値領域、Kadir–Brady 顕著性検出器、エッジベース領域 (EBR)、および強度極値ベース領域 (IBR) があります。

Mikolajczyk と Schmid (2002) は、An Affine Invariant Interest Point Detector で、今日使用されている Harris アフィン検出器を初めて説明しました。^[2]この方向での以前の研究には、 Lindeberg と Garding によるアフィン形状適応を使用したアフィン不変画像記述子の計算と、この方法での透視画像変形の影響の低減、^[3] Baumberg によるアフィン適応された特徴点を使用した広いベースライン マッチング^[4]、Lindeberg によるスケール不変特徴点の最初の使用^{[5 ] などがあります。 [6] [7]}理論的背景の概要については、Harris アフィン検出器は、Harris コーナー検出によって検出されたコーナー ポイント、ガウス スケール空間によるマルチスケール分析、および反復的なアフィン形状適応アルゴリズムを使用したアフィン正規化の組み合わせに依存しています。再帰的で反復的なアルゴリズムは、これらの領域を検出するために反復的なアプローチに従います。

1. スケール不変のハリス・ラプラス検出器を使用して初期領域ポイントを識別します。
2. 各初期点について、アフィン形状適応を使用して領域をアフィン不変になるように正規化します。
3. アフィン領域を反復的に推定します。適切な積分スケール、微分スケールを選択し、関心ポイントを空間的に特定します。
4. これらのスケールと空間ローカリゼーションを使用してアフィン領域を更新します。
5. 停止基準が満たされない場合は、手順 3 を繰り返します。

ハリスのアフィン検出器はハリス測度とガウススケール空間表現の両方に大きく依存しています。したがって、以下では両者について簡単に説明します。より詳細な導出については、コーナー検出とガウススケール空間または関連する論文を参照してください。^{[6] [8]}

Harris コーナー検出器アルゴリズムは、コーナーでは画像強度が複数の方向に大きく変化するという中心原理に基づいています。これは、ローカル ウィンドウのシフトによる強度の変化を調べることによっても定式化できます。コーナー ポイントの周囲では、ウィンドウが任意の方向にシフトされると、画像強度が大きく変化します。この直感に従い、巧みな分解により、Harris 検出器はコーナーの決定の基準として2 番目のモーメント マトリックスを使用します (より完全な導出については、コーナー検出を参照してください)。マトリックス は自己相関マトリックスとも呼ばれ、画像強度 の導関数と密接に関連する値を持ちます。 ${\displaystyle A}$

${\displaystyle A(\mathbf {x} )=\sum _{p,q}w(p,q){\begin{bmatrix}I_{x}^{2}(p,q)&I_{x}I_{y}(p,q)\\I_{x}I_{y}(p,q)&I_{y}^{2}(p,q)\\\end{bmatrix}}}$

ここで、 および は、点 ( , )におけるおよび方向の (ピクセル強度の)それぞれの導関数です。および は、重み関数 w の位置パラメータです。 非対角要素は および の積であり、対角要素はそれぞれの導関数の平方です。 重み関数は均一にすることもできますが、通常は等方性円形ガウス関数です。 ${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle p}$${\displaystyle q}$${\displaystyle p}$${\displaystyle q}$${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle w(x,y)}$

${\displaystyle w(x,y)=g(x,y,\sigma )={\frac {1}{2\pi \sigma ^{2}}}e^{\left(-{\frac {x^{2}+y^{2}}{2\sigma ^{2}}}\right)}}$

中心に近い値に重みを付けながら、局所領域を平均化するように機能します。

結局のところ、この行列は、ウィンドウの位置のシフトによる自己相関測度の形状を として表しています。したがって、 とを の固有値とすると、これらの値は自己相関測度が空間内でどのように変化するかを定量的に表します。つまり、主曲率です。Harris と Stephens (1988) が指摘しているように、コーナー ポイントを中心とする行列には、2 つの大きな正の固有値があります。^[8]特異値分解などの方法を使用してこれらの固有値を抽出する代わりに、トレースと行列式に基づく Harris 測度が使用されます。 ${\displaystyle A}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle A}$${\displaystyle A}$

${\displaystyle R=\det(A)-\alpha \operatorname {trace} ^{2}(A)=\lambda _{1}\lambda _{2}-\alpha (\lambda _{1}+\lambda _{2})^{2}}$

ここで、は定数です。コーナー ポイントは大きな正の固有値を持つため、ハリス測度も大きくなります。したがって、コーナー ポイントは、指定されたしきい値を超えるハリス測度の局所的最大値として識別されます。 ${\displaystyle \alpha }$

${\displaystyle {\begin{aligned}\{x_{c}\}={\big \{}x_{c}\mid R(x_{c})>R(x_{i}),\forall x_{i}\in W(x_{c}){\big \}},\\R(x_{c})>t_{\text{threshold}}\end{aligned}}}$

ここで、はすべてのコーナーポイントの集合、は で計算されたハリス測度、は を中心とする 8 近傍集合、は指定されたしきい値です。 ${\displaystyle \{x_{c}\}}$${\displaystyle R(x)}$${\displaystyle x}$${\displaystyle W(x_{c})}$${\displaystyle x_{c}}$${\displaystyle t_{\text{threshold}}}$

画像のガウススケール空間表現は、さまざまなサイズのガウスカーネルを元の画像と 畳み込んだ結果得られる画像のセットです。一般に、表現は次のように定式化できます。

${\displaystyle L(\mathbf {x} ,s)=G(s)\otimes I(\mathbf {x} )}$

ここで、 は上で定義した等方性円形ガウスカーネルです。ガウスカーネルによる畳み込みは、カーネルのサイズのウィンドウを使用して画像を平滑化します。スケールが大きいほど、結果の画像は滑らかになります。Mikolajczyk と Schmid (2001) は、導関数やその他の測定値はスケール全体で正規化する必要があることを指摘しています。^[9]次数 の導関数は、次の方法で 係数によって正規化する必要があります。${\displaystyle G(s)}$${\displaystyle s}$${\displaystyle m}$${\displaystyle D_{i_{1},...i_{m}}}$${\displaystyle s^{m}}$

${\displaystyle D_{i_{1},\dots ,i_{m}}(\mathbf {x} ,s)=s^{m}L_{i_{1},\dots ,i_{m}}(\mathbf {x} ,s)}$

これらの導関数、または任意の尺度は、番目のスケールがであるスケールのセットを使用してこの尺度を再帰的に計算することにより、スケール空間表現に適合させることができます。より詳細な説明については、 スケール空間を参照してください。${\displaystyle n}$${\displaystyle s_{n}=k^{n}s_{0}}$

ハリス・ラプラス検出器は、従来の 2D ハリスコーナー検出器とガウススケール空間表現の考え方を組み合わせて、スケール不変の検出器を作成します。ハリスコーナーポイントは、画像内の興味深いポイントを識別するだけでなく、回転と照明の不変性が優れていることが示されているため、良い出発点です。^[10]ただし、ポイントはスケール不変ではないため、スケール不変の特性を反映するように 2 次モーメント行列を変更する必要があります。ハリス・ラプラス検出器で使用されるスケール適応 2 次モーメント行列を と表記します。 ${\displaystyle M=\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})}$

${\displaystyle M=\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})=\sigma _{D}^{2}g(\sigma _{I})\otimes {\begin{bmatrix}L_{x}^{2}(\mathbf {x} ,\sigma _{D})&L_{x}L_{y}(\mathbf {x} ,\sigma _{D})\\L_{x}L_{y}(\mathbf {x} ,\sigma _{D})&L_{y}^{2}(\mathbf {x} ,\sigma _{D})\end{bmatrix}}}$^[11]

ここで、はスケール のガウスカーネルで、です。ガウススケール空間と同様に、はガウス平滑化画像です。演算子は畳み込みを表します。 および は、平滑化画像に適用されるそれぞれの方向の導関数で、スケール のガウスカーネルを使用して計算されます。ガウススケール空間フレームワークでは、 パラメータによって、Harris コーナーポイントが検出される現在のスケールが決まります。 ${\displaystyle g(\sigma _{I})}$${\displaystyle \sigma _{I}}$${\displaystyle \mathbf {x} =(x,y)}$${\displaystyle L(\mathbf {x} )}$${\displaystyle \mathbf {\otimes } }$${\displaystyle L_{x}(\mathbf {x} ,\sigma _{D})}$${\displaystyle L_{y}(\mathbf {x} ,\sigma _{D})}$${\displaystyle \sigma _{D}}$${\displaystyle \sigma _{I}}$

このスケール適応型2次モーメント行列に基づいて、ハリス・ラプラス検出器は、ハリスコーナー検出器を複数のスケールに適用し、特性スケールを自動的に選択するという2つのプロセスで構成されます。

アルゴリズムは、事前に定義された一定数のスケールを検索します。このスケールのセットは次のように定義されます。

${\displaystyle {\sigma _{1}\dots \sigma _{n}}={k^{1}\sigma _{0}\dots k^{n}\sigma _{0}}}$

Mikolajczyk と Schmid ( 2004) は を使用しています。このセットから選択された各積分スケール に対して、適切な微分スケールが積分スケールの定数因子として選択されます: 。Mikolajczyk と Schmid (2004) は を使用しました。^[11]これらのスケールを使用して、行列上の Harris 測度を使用して関心点が検出されます。コーナーネスは、一般的な Harris 測度と同様に、次のように定義されます。 ${\displaystyle k=1.4}$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}=s\sigma _{I}}$${\displaystyle s=0.7}$${\displaystyle \mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})}$

${\displaystyle {\mathit {cornerness}}=\det(\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}}))-\alpha \operatorname {trace} ^{2}(\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}}))}$

従来の Harris 検出器と同様に、コーナー ポイントは、指定されたしきい値を超える コーナー性のローカル (8 ポイント近傍) 最大値です。

Lindeberg (1998)に基づく反復アルゴリズムは、コーナーポイントを空間的に特定し、特性スケールを選択します。^[6]反復検索には3つの主要なステップがあり、マルチスケールハリス検出器によってスケールで最初に検出された各ポイントに対して実行されます（反復を示します）。 ${\displaystyle \mathbf {x} }$${\displaystyle \sigma _{I}}$${\displaystyle k}$${\displaystyle kth}$

• 定義済みの近傍スケールの範囲でラプラシアン オブ ガウス (LoG) を最大化するスケールを選択します。 近傍スケールは通常${\displaystyle \sigma _{I}^{(k+1)}}$、2 つのスケール空間の近傍内にある範囲から選択されます。 つまり、元のポイントが連続するスケール間のスケーリング係数 を使って検出された場合、2 つのスケール空間の近傍は範囲 です。 したがって、検査されるガウス スケールは次のようになります。 LoG の測定値は次のように定義されます。${\displaystyle 1.4}$${\displaystyle t\in [0.7,\dots ,1.4]}$${\displaystyle \sigma _{I}^{(k+1)}=t\sigma _{I}^{k}}$

${\displaystyle |\operatorname {LoG} (\mathbf {x} ,\sigma _{I})|=\sigma _{I}^{2}\left|L_{xx}(\mathbf {x} ,\sigma _{I})+L_{yy}(\mathbf {x} ,\sigma _{I})\right|}$

ここで、 および は、それぞれの方向の 2 次導関数です。^[12]係数(上記のガウススケール空間で説明したように) は、スケール全体で LoG を正規化し、これらの測定値を比較できるようにして、最大値を関連性のあるものにするために使用されます。Mikolajczyk と Schmid (2001) は、LoG 測定値が、他のスケール選択測定値と比較して、正しく検出されたコーナーポイントの最高のパーセンテージを達成することを示しています。^[9] 2 つのスケール空間近傍でこの LoG 測定値を最大化するスケールは、特性スケール、と見なされ、後続の反復で使用されます。LoG の極値または最大値が見つからない場合、この点は将来の検索から破棄されます。${\displaystyle L_{xx}}$${\displaystyle L_{yy}}$${\displaystyle \sigma _{I}^{2}}$${\displaystyle \sigma _{I}^{(k+1)}}$

• 特性スケールを使用して、ポイントは空間的に局所化されます。つまり、ポイントは、8×8 のローカル近傍内でハリス コーナー メジャー (上記で定義したコーナーネス)を最大化するように選択されます。${\displaystyle \mathbf {x} ^{(k+1)}}$
• 停止基準:および。${\displaystyle \sigma _{I}^{(k+1)}==\sigma _{I}^{(k)}}$${\displaystyle \mathbf {x} ^{(k+1)}==\mathbf {x} ^{(k)}}$

停止基準が満たされない場合、アルゴリズムは新しいポイントとスケールを使用してステップ 1 から繰り返します。停止基準が満たされると、見つかったポイントは、スケール全体で LoG を最大化し (スケール選択)、ローカル近傍でハリス コーナー メジャーを最大化するポイント (空間選択) を表します。 ${\displaystyle k+1}$

ハリス・ラプラス法で検出された点はスケール不変であり、同じ視野角から見た等方性領域に適しています。任意のアフィン変換 (および視点) に対して不変であるためには、数学的フレームワークを再検討する必要があります。2 次モーメント行列は、異方性領域に対してより一般的に定義されます。 ${\displaystyle \mathbf {\mu } }$

${\displaystyle \mu (\mathbf {x} ,\Sigma _{I},\Sigma _{D})=\det(\Sigma _{D})g(\Sigma _{I})*(\nabla L(\mathbf {x} ,\Sigma _{D})\nabla L(\mathbf {x} ,\Sigma _{D})^{T})}$

ここで、 および は、微分および積分ガウスカーネルスケールを定義する共分散行列です。 これは、ハリス-ラプラス検出器の2次モーメント行列とは大幅に異なっているように見えるかもしれませんが、実際には同一です。 以前の行列は2D等方性バージョンであり、共分散行列およびは、それぞれ係数 および を乗じた2x2単位行列でした。 新しい定式化では、ガウスカーネルを、一様ガウスカーネルではなく、多変量ガウス分布として考えることができます。 一様ガウスカーネルは、等方性の円形領域と考えることができます。 同様に、より一般的なガウスカーネルは楕円体を定義します。 実際、共分散行列の固有ベクトルと固有値は、楕円体の回転とサイズを定義します。 したがって、この表現により、積分または微分する任意の楕円アフィン領域を完全に定義できることが簡単にわかります。 ${\displaystyle \Sigma _{I}}$${\displaystyle \Sigma _{D}}$${\displaystyle \mu }$${\displaystyle \Sigma _{I}}$${\displaystyle \Sigma _{D}}$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}}$

アフィン不変検出器の目的は、アフィン変換を介して関連する画像内の領域を識別することです。したがって、点と変換された点を考えます。ここで、A はアフィン変換です。画像の場合、 と は両方とも空間に存在します。2次モーメント行列は次のように関連しています。^[3]${\displaystyle \mathbf {x} _{L}}$${\displaystyle \mathbf {x} _{R}=A\mathbf {x} _{L}}$${\displaystyle \mathbf {x} _{R}}$${\displaystyle \mathbf {x} _{L}}$${\displaystyle R^{2}}$

${\displaystyle {\begin{aligned}\mu (\mathbf {x} _{L},\Sigma _{I,L},\Sigma _{D,L})&{}=A^{T}\mu (\mathbf {x} _{R},\Sigma _{I,R},\Sigma _{D,R})A\\M_{L}&{}=\mu (\mathbf {x} _{L},\Sigma _{I,L},\Sigma _{D,L})\\M_{R}&{}=\mu (\mathbf {x} _{R},\Sigma _{I,R},\Sigma _{D,R})\\M_{L}&{}=A^{T}M_{R}A\\\Sigma _{I,R}&{}=A\Sigma _{I,L}A^{T}{\text{ and }}\Sigma _{D,R}=A\Sigma _{D,L}A^{T}\end{aligned}}}$

ここで、と は参照フレームの共分散行列である。この定式化を続行し、 ${\displaystyle \Sigma _{I,b}}$${\displaystyle \Sigma _{D,b}}$${\displaystyle b}$

${\displaystyle {\begin{aligned}\Sigma _{I,L}=\sigma _{I}M_{L}^{-1}\\\Sigma _{D,L}=\sigma _{D}M_{L}^{-1}\end{aligned}}}$

ここで、およびはスカラー因子であり、関連する点の共分散行列も同様に関連していることを示すことができる。 ${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}}$

${\displaystyle {\begin{aligned}\Sigma _{I,R}=\sigma _{I}M_{R}^{-1}\\\Sigma _{D,R}=\sigma _{D}M_{R}^{-1}\end{aligned}}}$

共分散行列がこれらの条件を満たすことを要求することにより、いくつかの優れた特性が生じます。これらの特性の 1 つは、2 次モーメント行列の平方根によって、元の異方性領域が、純粋な回転行列 を介して関連付けられる等方性領域に変換されることです。これらの新しい等方性領域は、正規化された参照フレームと考えることができます。次の式は、正規化された点との関係を定式化します。 ${\displaystyle M^{\tfrac {1}{2}}}$${\displaystyle R}$${\displaystyle x_{R}^{'}}$${\displaystyle x_{L}^{'}}$

${\displaystyle {\begin{aligned}A=M_{R}^{-{\tfrac {1}{2}}}RM_{L}^{\tfrac {1}{2}}\\x_{R}^{'}=M_{R}^{\tfrac {1}{2}}x_{R}\\x_{L}^{'}=M_{L}^{\tfrac {1}{2}}x_{L}\\x_{L}^{'}=Rx_{R}^{'}\\\end{aligned}}}$

回転行列は、SIFT記述子のような勾配法を使用して復元できます。Harris 検出器で説明したように、2 次モーメント行列の固有値と固有ベクトルは、ピクセル強度の曲率と形状を特徴付けます。つまり、最大固有値に関連付けられた固有ベクトルは、最大の変化の方向を示し、最小固有値に関連付けられた固有ベクトルは、最小の変化の方向を定義します。2D の場合、固有ベクトルと固有値は楕円を定義します。等方性領域の場合、領域は円形であり、楕円形ではありません。これは、固有値が同じ大きさである場合に当てはまります。したがって、ローカル領域の周囲の等方性の尺度は、次のように定義されます。 ${\displaystyle M=\mu (\mathbf {x} ,\Sigma _{I},\Sigma _{D})}$

${\displaystyle {\mathcal {Q}}={\frac {\lambda _{\min }(M)}{\lambda _{\max }(M)}}}$

ここで、 は固有値を表します。この尺度の範囲は です。 の値は完全な等方性に対応します。 ${\displaystyle \lambda }$${\displaystyle [0\dots 1]}$${\displaystyle 1}$

この数学的枠組みを使用して、ハリス アフィン検出器アルゴリズムは、異方性領域を、等方性測度が 1 に十分近い正規化領域に変換する第 2 モーメント行列を反復的に検出します。アルゴリズムは、この形状適応行列 、 を使用して、画像を正規化参照フレームに変換します。この正規化空間では、関心点のパラメータ (空間位置、積分スケール、微分スケール) が、ハリス–ラプラス検出器に似た方法を使用して調整されます。第 2 モーメント行列はこの正規化参照フレームで計算され、最終反復で等方性測度が 1 に近い必要があります。すべての反復で、各関心領域は、アルゴリズムが検出する必要があるいくつかのパラメータ (行列、位置、積分スケール、微分スケール) によって定義されます。検出器は変換されたドメインで第 2 モーメント行列を計算するため、この変換された位置を として表すと便利です。 ここで です。${\displaystyle U}$${\displaystyle k}$${\displaystyle U^{(k)}}$${\displaystyle \mathbf {x} ^{(k)}}$${\displaystyle \sigma _{I}^{(k)}}$${\displaystyle \sigma _{D}^{(k)}}$${\displaystyle \mathbf {x} _{w}^{(k)}}$${\displaystyle U^{(k)}\mathbf {x} _{w}^{(k)}=\mathbf {x^{(k)}} }$

ハリスアフィン検出器の計算複雑性は、初期点検出とアフィン領域正規化の2つの部分に分かれています。初期点検出アルゴリズムであるハリス・ラプラスの計算複雑性は、画像内のピクセル数です。アフィン領域正規化アルゴリズムは、スケールを自動的に検出し、形状適応行列、を推定します。このプロセスの計算複雑性は で、は初期点の数、 は自動スケール選択のための検索空間のサイズ、 は行列を計算するために必要な反復回数です。^[11]${\displaystyle {\mathcal {O}}(n)}$${\displaystyle n}$${\displaystyle U}$${\displaystyle {\mathcal {O}}((m+k)p)}$${\displaystyle p}$${\displaystyle m}$${\displaystyle k}$${\displaystyle U}$

精度を犠牲にしてアルゴリズムの複雑さを軽減する方法がいくつかあります。 1 つの方法は、微分スケール ステップでの検索をなくすことです。高速化されたアルゴリズムは、一連の因子から 1 つの因子を選択するのではなく、反復とポイント全体で一定となるスケールを選択します。この検索空間の縮小により複雑さは軽減される可能性がありますが、この変更はマトリックスの収束に重大な影響を与える可能性があります。 ${\displaystyle s}$${\displaystyle \sigma _{D}=s\sigma _{I},\;s=constant}$${\displaystyle U}$

このアルゴリズムは、複数のスケールで重複する関心点を識別する可能性があると考えられます。ハリスのアフィンアルゴリズムは、ハリス・ラプラス検出器によって与えられた各初期点を独立して調べるため、同一の点を区別することはありません。実際には、これらの点はすべて最終的に同じ関心点に収束することが示されています。すべての関心点の識別が完了すると、アルゴリズムは空間座標 ( )、積分スケール、等方性尺度、およびスキューを比較して重複を考慮します。^[11]これらの関心点パラメータが指定されたしきい値内で類似している場合、それらは重複としてラベル付けされます。アルゴリズムは、重複の平均に最も近い関心点を除いて、これらの重複点をすべて破棄します。通常、ハリスのアフィン点の 30% は、破棄されないほど明確で類似していません。^[11]${\displaystyle \mathbf {x} }$${\displaystyle \sigma _{I}}$${\displaystyle {\tfrac {\lambda _{\min }(U)}{\lambda _{\max }(U)}}}$

Mikolajczyk と Schmid (2004) は、初期点 (40%) が収束しないことが多いことを示した。アルゴリズムは、等方性測度の逆数が指定されたしきい値より大きい場合に反復アルゴリズムを停止することでこの発散を検出します。Mikolajczykと Schmid (2004) は を使用します。収束したもののうち、必要な反復回数は通常 10 でした。^[2]${\displaystyle {\tfrac {\lambda _{\max }(U)}{\lambda _{\min }(U)}}>t_{\text{diverge}}}$${\displaystyle t_{diverge}=6}$

アフィン領域検出器の定量分析では、点の位置の精度と2つの画像にわたる領域の重なりの両方を考慮します。MioklajcyzkとSchmid（2004）は、 Schmidら（1998）の再現性の尺度を、2つの画像の点の対応と最小検出点の比として拡張しました。^{[11] [13]}

${\displaystyle R_{\text{score}}={\frac {C(A,B)}{\min(n_{A},n_{B})}}}$

ここで、は画像と 内の対応する点の数です。および はそれぞれの画像で検出された点の数です。各画像は 3D 空間を表すため、1 つの画像に 2 番目の画像にはないオブジェクトが含まれており、その関心点が対応する可能性がない場合があります。再現性の測定を有効にするには、これらの点を削除し、両方の画像にある点のみを考慮し、となる点のみをカウントする必要があります。ホモグラフィ行列によって関連付けられた 2 つの画像のペアでは、2 つの点、および は次の場合に対応すると言われます。${\displaystyle C(A,B)}$${\displaystyle A}$${\displaystyle B}$${\displaystyle n_{B}}$${\displaystyle n_{A}}$${\displaystyle n_{A}}$${\displaystyle n_{B}}$${\displaystyle x_{A}=H\cdot x_{B}}$${\displaystyle H}$${\displaystyle \mathbf {x_{a}} }$${\displaystyle \mathbf {x_{b}} }$

Mikolajczyk ら (2005) は、いくつかの最先端のアフィン領域検出器、すなわち Harris アフィン、Hessian アフィン、MSER、^[14] IBR および EBR ^[15]およびsalient ^[16]検出器の徹底的な分析を行いました。^[1] Mikolajczyk らは、評価において構造化画像とテクスチャ画像の両方を分析しました。検出器の Linux バイナリとテスト画像は、彼らの Web ページで無料で入手できます。Mikolajczyk ら (2005) の結果の簡単な要約を以下に示します。より定量的な分析については、アフィン領域検出器の比較を参照してください。

• 視点角度の変更: Harris アフィン検出器は、これらの種類の変更に対して適度な (平均的な) 堅牢性を備えています。検出器は、視点角度が 40 度を超えるまで、50% を超える繰り返しスコアを維持します。検出器は、視点が大きく変更された場合でも、多数の繰り返し可能で一致可能な領域を検出する傾向があります。
• スケール変更: Harris アフィン検出器は、スケール変更下でも非常に安定した状態を維持します。大きなスケール変更 (2.8 以上) ではポイント数が大幅に減少しますが、特にテクスチャ画像では、再現性 (50～60%) とマッチング スコア (25～30%) は非常に一定しています。これは、自動スケール選択反復アルゴリズムの高性能と一致しています。
• ぼやけた画像: Harris アフィン検出器は、画像がぼやけた状態でも非常に安定しています。検出器は画像のセグメンテーションや領域の境界に依存しないため、再現性とマッチング スコアは一定に保たれます。
• JPEG アーティファクト: Harris アフィン検出器は他のアフィン検出器と同様に劣化します。つまり、80% を超える圧縮では再現性と一致スコアが大幅に低下します。
• 照明の変化: Harris アフィン検出器は、他のアフィン検出器と同様に、照明の変化に対して非常に堅牢です。つまり、光が減っても、再現性とマッチング スコアは一定のままです。検出器は絶対強度ではなく相対強度 (導関数) に大きく依存しているため、これは当然の結果です。

• ハリスのアフィン領域ポイントは小さく、数が多い傾向があります。ハリスアフィン検出器とヘッセアンアフィン検出器はどちらも、他のアフィン検出器の2倍の数の繰り返し可能なポイントを一貫して識別します。800x640の画像の場合、約1000の領域です。^[1]小さな領域は遮蔽される可能性が低くなりますが、隣接する領域と重なる可能性も低くなります。
• Harris アフィン検出器は、角のような部分がたくさんあるテクスチャのあるシーンによく反応します。ただし、建物などの構造化されたシーンでは、Harris アフィン検出器のパフォーマンスが非常に優れています。これは、構造化された (セグメント化可能な) シーンでより優れたパフォーマンスを発揮する傾向がある MSER を補完します。
• 全体的に、Harris アフィン検出器のパフォーマンスは非常に優れていますが、ぼやけた画像を除くすべてのケースで MSER および Hessian アフィン検出器にはまだ劣っています。
• Harris アフィン検出器と Hessian アフィン検出器は他の検出器よりも精度が低く、重複しきい値が増加すると再現性スコアが増加します。
• 検出されたアフィン不変領域は、回転と照明がまだ異なる場合があります。これらの領域を使用する記述子は、マッチングやその他の比較に領域を使用するときに、不変性を考慮する必要があります。

• コンテンツベースの画像検索^{[17] [18]}
• モデルベース認識
• ビデオ内の物体検索^[19]
• 視覚データマイニング：ビデオ内の重要なオブジェクト、キャラクター、シーンの識別^[20]
• 物体認識と分類^[21]
• リモートセンシング画像解析：リモートセンシング画像からの物体検出^[22]

• アフィン共変特徴: K. Mikolajczyk は、他の検出器や記述子に加えて、Harris アフィン検出器の Linux バイナリを含む Web ページを管理しています。さまざまな検出器の再現性を図解したり計算したりするために使用できる Matlab コードも利用できます。Mikolajczyk ら (2005) の論文にある結果を再現するためのコードと画像も利用できます。
• lip-vireo – VIREO 研究グループによる Linux、Windows、SunOS 用のバイナリ コード。ホームページから詳細を見る 2017-05-11 にWayback Machineでアーカイブされました

無料辞書『ウィクショナリー』で「異方性」を調べてください。

無料辞書『ウィクショナリー』で「等方性」を調べてください。

無料辞書『ウィクショナリー』で「affine」を調べてください。

• [1] – Mikolajczykらによる2005年の論文のプレゼンテーションスライド。
• [2] – コーデリア・シュミットのコンピュータビジョンラボ
• [3] – オックスフォード大学ロボティクスグループのKrystian MikolajczykとVisual Geometry Groupが管理するアフィン共変特徴のコード、テスト画像、参考文献。
• [4] – USCロボティクス・知能システム研究所が管理する特徴検出器（およびブロブ検出器）の参考文献
• [5] – ガウス分布のラプラシアンのデジタル実装

• ヘッセ行列アフィン
• ＭＳＥＲ
• カディール・ブレイディ顕著性検出器
• スケールスペース
• 等方性
• コーナー検出
• 関心ポイント検出
• アフィン形状適応
• 画像の派生
• コンピュータービジョン
• ASIFT -> アフィンシフト（完全にアフィン不変な画像マッチングアルゴリズム）