コーナー検出

コーナー検出は、コンピュータ ビジョンシステム内で使用される手法で、特定の種類の特徴を抽出し、画像の内容を推測します。コーナー検出は、モーション検出、画像登録、ビデオ追跡、画像モザイク、パノラマ ステッチ、 3D 再構築、およびオブジェクト認識で頻繁に使用されます。コーナー検出は、関心点検出のトピックと重複しています。

コーナーは、2 つのエッジの交差点として定義できます。また、コーナーは、ポイントのローカル近傍に 2 つの支配的で異なるエッジ方向があるポイントとして定義することもできます。

関心点とは、位置が明確に定義され、確実に検出できる画像内の点のことです。つまり、関心点はコーナーになることもありますが、たとえば、局所的な強度が最大または最小の孤立した点、線の端、曲率が局所的に最大となる曲線上の点などになることもあります。

実際には、コーナー検出法と呼ばれる方法のほとんどは、一般的に関心点を検出します。実際、「コーナー」と「関心点」という用語は、文献では多かれ少なかれ同じ意味で使用されています。^[1]結果として、コーナーのみを検出する場合は、検出された関心点のローカル分析を行って、どれが実際のコーナーであるかを判断する必要があります。後処理でコーナーを検出するために使用できるエッジ検出の例としては、キルシュ演算子とフライチェン マスキング セットがあります。^[2]

「コーナー」、「関心点」、および「特徴」は文献では互換的に使用されているため、問題が混乱しています。具体的には、 「関心点演算子」と呼ばれるブロブ検出器がいくつかありますが、誤って「コーナー検出器」と呼ばれることもあります。さらに、細長いオブジェクトの存在を捉えるため のリッジ検出の概念も存在します。

コーナー検出器は通常、それほど堅牢ではなく、個々のエラーの影響が認識タスクを支配しないようにするために、大きな冗長性を導入する必要があることがよくあります。

コーナー検出器の品質を判断する基準の 1 つは、照明、平行移動、回転、その他の変換が異なる条件下で、複数の類似画像内の同じコーナーを検出できるかどうかです。

画像のコーナー検出の簡単な方法は相関を使用することですが、これは計算コストが非常に高く、最適ではありません。頻繁に使用される代替アプローチは、Harris と Stephens (以下) によって提案された方法に基づいており、これは Moravec による方法を改良したものです。

これは最も初期のコーナー検出アルゴリズムの 1 つで、コーナーを自己相似性の低い点として定義しています。^[3]このアルゴリズムは、画像内の各ピクセルをテストしてコーナーが存在するかどうかを確認します。その際、ピクセルを中心とするパッチが近くの大部分が重なり合うパッチとどの程度類似しているかを考慮します。類似性は、2 つのパッチの対応するピクセル間の差の二乗和 (SSD) を取ることで測定されます。数値が低いほど類似性が高いことを示します。

ピクセルが均一な強度の領域にある場合、近くのパッチは同様に見えます。ピクセルがエッジ上にある場合、エッジに垂直な方向にある近くのパッチはまったく異なって見えますが、エッジに平行な方向にある近くのパッチはわずかな変化しか生じません。ピクセルがすべての方向に変化のあるフィーチャ上にある場合、近くのパッチはどれも同様に見えません。

コーナー強度は、パッチとその隣接パッチ (水平、垂直、および 2 つの対角線) 間の最小 SSD として定義されます。この数値が高い場合、すべてのシフトに沿った変動がそれに等しいかそれよりも大きくなるため、近くのすべてのパッチが異なって見えることが分かります。

コーナー強度の数値がすべての位置に対して計算され、それが 1 つの位置に対して局所的に最大になる場合、その位置に関心のある特徴が存在することを示します。

モラベックが指摘したように、この演算子の主な問題の一つは、等方性ではないことです。つまり、隣接するエッジの方向（水平、垂直、または対角）にないエッジが存在する場合、最小のSSDは大きくなり、エッジは誤って関心点として選択されます。^[4]

ハリスとスティーブンス^[5]は、シフトされたパッチを使用する代わりに、方向に対するコーナースコアの微分を直接考慮することで、モラベックのコーナー検出器を改良しました。（このコーナースコアは、この検出器が説明されている論文で使用されているため、自己相関と呼ばれることがよくあります。ただし、論文の数式では、差の二乗の合計が使用されていることが明確に示されています。）

一般性を損なうことなく、グレースケールの 2 次元画像が使用されていると仮定します。この画像を で表します。領域上の画像パッチを だけシフトすることを検討します。これら 2 つのパッチ間の加重二乗差 (SSD) の合計は で表され、次のように表されます。 ${\displaystyle I}$${\displaystyle (u,v)}$${\displaystyle (x,y)}$${\displaystyle S}$

${\displaystyle S(x,y)=\sum _{u}\sum _{v}w(u,v)\,\left(I(u+x,v+y)-I(u,v)\right)^{2}}$

${\displaystyle I(u+x,v+y)}$はテイラー展開で近似できる。およびを の偏微分とすると、 ${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle I}$

${\displaystyle I(u+x,v+y)\approx I(u,v)+I_{x}(u,v)x+I_{y}(u,v)y}$

これにより、近似値が得られる。

${\displaystyle S(x,y)\approx \sum _{u}\sum _{v}w(u,v)\,\left(I_{x}(u,v)x+I_{y}(u,v)y\right)^{2},}$

これは行列形式で書くことができます:

${\displaystyle S(x,y)\approx {\begin{bmatrix}x&y\end{bmatrix}}A{\begin{bmatrix}x\\y\end{bmatrix}},}$

ここでAは構造テンソルであり、

${\displaystyle A=\sum _{u}\sum _{v}w(u,v){\begin{bmatrix}I_{x}(u,v)^{2}&I_{x}(u,v)I_{y}(u,v)\\I_{x}(u,v)I_{y}(u,v)&I_{y}(u,v)^{2}\end{bmatrix}}={\begin{bmatrix}\langle I_{x}^{2}\rangle &\langle I_{x}I_{y}\rangle \\\langle I_{x}I_{y}\rangle &\langle I_{y}^{2}\rangle \end{bmatrix}}}$

言葉で言えば、軸と軸に対する画像強度の偏微分の共分散を求めます。 ${\displaystyle I}$${\displaystyle x}$${\displaystyle y}$

山括弧は平均化（つまり、 の合計）を表します。は画像上をスライドするウィンドウの種類を表します。ボックス フィルタを使用すると応答は異方性 になりますが、ガウス フィルタを使用すると応答は等方性になります。 ${\displaystyle (u,v)}$${\displaystyle w(u,v)}$

コーナー (または一般に関心点) は、ベクトル のすべての方向におけるの大きな変化によって特徴付けられます。 の固有値を分析すると、この特徴付けは次のように表現できます。は、関心点に対して 2 つの「大きな」固有値を持つ必要があります。 固有値の大きさに基づいて、この議論に基づいて次の推論を行うことができます。 ${\displaystyle S}$${\displaystyle {\begin{bmatrix}x&y\end{bmatrix}}}$${\displaystyle A}$${\displaystyle A}$

1. の場合、このピクセルには注目する特徴はありません。${\displaystyle \lambda _{1}\approx 0}$${\displaystyle \lambda _{2}\approx 0}$${\displaystyle (x,y)}$
2. と が何らかの大きな正の値を持つ場合、エッジが見つかります。${\displaystyle \lambda _{1}\approx 0}$${\displaystyle \lambda _{2}}$
3. と が大きな正の値を持つ場合、コーナーが見つかります。${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

Harris と Stephens は、固有値の正確な計算には平方根の計算が必要になるため計算コストが高くつくことを指摘し、代わりに次の関数 を提案しています。ここで、は調整可能な感度パラメータです。 ${\displaystyle M_{c}}$${\displaystyle \kappa }$

${\displaystyle M_{c}=\lambda _{1}\lambda _{2}-\kappa \left(\lambda _{1}+\lambda _{2}\right)^{2}=\det(A)-\kappa \operatorname {trace} ^{2}(A)}$

したがって、アルゴリズム^[6]は行列の固有値分解を実際に計算する必要はなく、代わりに行列式とトレースを評価してコーナー、または一般的な関心点を見つけるだけで 十分です。${\displaystyle A}$${\displaystyle A}$

Shi-Tomasi ^[7]コーナー検出器は、特定の仮定の下ではコーナーが追跡にとってより安定するため、直接計算を行います。この方法はKanade-Tomasiコーナー検出器と呼ばれることもあります。 ${\displaystyle \min(\lambda _{1},\lambda _{2})}$

の値は経験的に決定する必要があり、文献では 0.04 ～ 0.15 の範囲の値が実現可能であると報告されています。 ${\displaystyle \kappa }$

ノーブル^[8]のコーナー測度（固有値の 調和平均に相当する）を使用することでパラメータの設定を避けることができる。${\displaystyle \kappa }$${\displaystyle M_{c}'}$

${\displaystyle M_{c}'=2{\frac {\det(A)}{\operatorname {trace} (A)+\epsilon }},}$

${\displaystyle \epsilon }$小さな正の定数です。

がコーナー位置の精度行列として解釈できる場合、コーナー位置の共分散行列は、すなわち ${\displaystyle A}$${\displaystyle A^{-1}}$

${\displaystyle {\frac {1}{\langle I_{x}^{2}\rangle \langle I_{y}^{2}\rangle -\langle I_{x}I_{y}\rangle ^{2}}}{\begin{bmatrix}\langle I_{y}^{2}\rangle &-\langle I_{x}I_{y}\rangle \\-\langle I_{x}I_{y}\rangle &\langle I_{x}^{2}\rangle \end{bmatrix}}.}$

の固有値の合計は、その場合、コーナー位置の一般化された分散（または「総不確実性」）として解釈することができ、次の式によって ノーブルのコーナー測度に関連付けられます。${\displaystyle A^{-1}}$${\displaystyle M_{c}'}$

${\displaystyle \lambda _{1}(A^{-1})+\lambda _{2}(A^{-1})={\frac {\operatorname {trace} (A)}{\det(A)}}\approx {\frac {2}{M_{c}'}}.}$

場合によっては、コーナーの位置をサブピクセル精度で計算したいことがあります。近似解を得るために、Förstner ^[9]アルゴリズムは、指定されたウィンドウ内のすべてのコーナーの接線に最も近い点を求める最小二乗解法です。このアルゴリズムは、理想的なコーナーでは接線が 1 点で交差するという事実に基づいています。

ピクセルにおける接線の方程式は次のように表されます。 ${\displaystyle T_{\mathbf {x} '}(\mathbf {x} )}$${\displaystyle \mathbf {x} '}$

${\displaystyle T_{\mathbf {x'} }(\mathbf {x} )=\nabla I(\mathbf {x'} )^{\top }(\mathbf {x} -\mathbf {x'} )=0}$

ここで、 は画像 の勾配ベクトルです。${\displaystyle \nabla I(\mathbf {x'} )={\begin{bmatrix}I_{\mathbf {x} }&I_{\mathbf {y} }\end{bmatrix}}^{\top }}$${\displaystyle I}$${\displaystyle \mathbf {x'} }$

ウィンドウ内のすべての接線に最も近い点は次のとおりです。 ${\displaystyle \mathbf {x} _{0}}$${\displaystyle N}$

${\displaystyle \mathbf {x} _{0}={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}T_{\mathbf {x'} }(\mathbf {x} )^{2}d\mathbf {x'} }$

から接線までの距離は勾配の大きさによって重み付けされるため、強い勾配を持つピクセルを通過する接線がより重要視されます。 ${\displaystyle \mathbf {x} _{0}}$${\displaystyle T_{\mathbf {x'} }}$

を解く： ${\displaystyle \mathbf {x} _{0}}$

${\displaystyle {\begin{aligned}\mathbf {x} _{0}&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}\left(\nabla I\left(\mathbf {x'} \right)^{\top }\left(\mathbf {x} -\mathbf {x'} \right)\right)^{2}d\mathbf {x'} \\&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}(\mathbf {x} -\mathbf {x'} )^{\top }\nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }(\mathbf {x} -\mathbf {x'} )d\mathbf {x'} \\&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\left(\mathbf {x} ^{\top }A\mathbf {x} -2\mathbf {x} ^{\top }\mathbf {b} +c\right)\end{aligned}}}$

${\displaystyle A\in \mathbb {R} ^{2\times 2},{\textbf {b}}\in \mathbb {R} ^{2\times 1},c\in \mathbb {R} }$次のように定義されます。

${\displaystyle {\begin{aligned}A&=\int \nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }d\mathbf {x'} \\\mathbf {b} &=\int \nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }\mathbf {x'} d\mathbf {x'} \\c&=\int \mathbf {x'} ^{\top }\nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }\mathbf {x'} d\mathbf {x'} \\\end{aligned}}}$

この方程式を最小化するには、 について微分し、それを 0 に設定することで実行できます。 ${\displaystyle x}$

${\displaystyle 2A\mathbf {x} -2\mathbf {b} =0\Rightarrow A\mathbf {x} =\mathbf {b} }$

は構造テンソルであることに注意してください。方程式が解を持つためには、は可逆でなければなりません。つまり、はフルランク（ランク2）でなければなりません。したがって、解は ${\displaystyle A\in \mathbb {R} ^{2\times 2}}$${\displaystyle A}$${\displaystyle A}$

${\displaystyle x_{0}=A^{-1}\mathbf {b} }$

ウィンドウ内に実際のコーナーが存在する場合にのみ存在します。 ${\displaystyle N}$

このコーナーローカリゼーション法の自動スケール選択を実行するための手法は、正規化残差を最小化することによって Lindeberg ^{[10] [11]}によって提案されている。

${\displaystyle {\tilde {d}}_{\min }={\frac {c-b^{T}A^{-1}b}{\operatorname {trace} A}}}$

スケールにわたって。これにより、この方法は、ノイズの多い画像データには粗いスケール レベルを選択し、ほぼ理想的なコーナーのような構造には細かいスケール レベルを選択することにより、画像データのノイズ レベルに合わせて画像勾配を計算するためのスケール レベルを自動的に適応させることができます。

注:

• ${\displaystyle c}$は最小二乗解の計算における残差として見ることができます。 の場合、エラーはありませんでした。${\displaystyle c=0}$
• このアルゴリズムは、接線を法線に変更することで円形の特徴の中心を計算するように変更できます。

ハリス演算子における第 2 モーメント行列 (構造テンソルと呼ばれることもある)の計算には、画像領域での画像微分係数の計算と、局所近傍でのこれらの微分の非線形結合の合計が必要です。微分係数の計算には通常、スケール空間平滑化の段階が含まれるため、ハリス演算子の操作的定義には、(i)画像微分係数の計算前の平滑化のための局所スケールと、(ii)微分演算子に対する非線形演算を積分画像記述子に蓄積するための積分スケールという 2 つのスケール パラメータが必要です。 ${\displaystyle A}$ ${\displaystyle I_{x},I_{y}}$

元の画像の強度を表すと、ガウスカーネルとの畳み込みによって得られる スケール空間表現を表すものとする。${\displaystyle I}$${\displaystyle L}$${\displaystyle I}$

${\displaystyle g(x,y,t)={\frac {1}{2{\pi }t}}e^{-\left(x^{2}+y^{2}\right)/2t}}$

ローカルスケールパラメータ: ${\displaystyle t}$

${\displaystyle L(x,y,t)\ =g(x,y,t)*I(x,y)}$

とを の偏微分とする。さらに、積分スケールパラメータ を持つガウス窓関数を導入する。すると、マルチスケール2次​​モーメント行列^{[12] [13] [14]}は次のように定義される。 ${\displaystyle L_{x}=\partial _{x}L}$${\displaystyle L_{y}=\partial _{y}L}$${\displaystyle L}$${\displaystyle g(x,y,s)}$${\displaystyle s}$

${\displaystyle \mu (x,y;t,s)=\int _{\xi =-\infty }^{\infty }\int _{\eta =-\infty }^{\infty }{\begin{bmatrix}L_{x}^{2}(x-\xi ,y-\eta ;t)&L_{x}(x-\xi ,y-\eta ;t)\,L_{y}(x-\xi ,y-\eta ;t)\\L_{x}(x-\xi ,y-\eta ;t)\,L_{y}(x-\xi ,y-\eta ;t)&L_{y}^{2}(x-\xi ,y-\eta ;t)\end{bmatrix}}g(\xi ,\eta ;s)\,d\xi \,d\eta .}$

次に、の固有値をの固有値と同様の方法で計算し、マルチスケールハリスコーナー測度を次のように 定義します。${\displaystyle \mu }$${\displaystyle A}$

${\displaystyle M_{c}(x,y;t,s)=\det(\mu (x,y;t,s))-\kappa \,\operatorname {trace} ^{2}(\mu (x,y;t,s)).}$

局所スケールパラメータと積分スケールパラメータの選択に関しては、これらのスケールパラメータは通常、となる相対積分スケールパラメータによって結合されており、 は通常、区間 内で選択されます。^{[12] [13]}したがって、スケール空間内の任意のスケールでマルチスケールハリスコーナー測度を計算して、画像領域内のさまざまなサイズのコーナー構造に応答するマルチスケールコーナー検出器を取得できます。 ${\displaystyle t}$${\displaystyle s}$${\displaystyle \gamma }$${\displaystyle s=\gamma ^{2}t}$${\displaystyle \gamma }$${\displaystyle [1,2]}$${\displaystyle M_{c}(x,y;t,\gamma ^{2}t)}$${\displaystyle t}$

実際には、このマルチスケールコーナー検出器は、スケール選択ステップによって補完されることが多く、スケール正規化ラプラシアン演算子^{[11] [12]}

${\displaystyle \nabla _{\mathrm {norm} }^{2}L(x,y;t)\ =t\nabla ^{2}L(x,y,t)=t(L_{xx}(x,y,t)+L_{yy}(x,y,t))}$

スケール空間内のあらゆるスケールで計算され、スケール適応コーナーポイントは、自動スケール選択（「ハリス・ラプラス演算子」）によって同時に次のポイントから計算されます。^[15]

• マルチスケールコーナー測度の空間最大値${\displaystyle M_{c}(x,y;t,\gamma ^{2}t)}$

  ${\displaystyle ({\hat {x}},{\hat {y}};t)=\operatorname {argmaxlocal} _{(x,y)}M_{c}\left(x,y;t,\gamma ^{2}t\right)}$

• スケール正規化ラプラシアン演算子のスケール上の局所的最大値または最小値^[11] ： ${\displaystyle \nabla _{\mathrm {norm} }^{2}(x,y,t)}$

  ${\displaystyle {\hat {t}}=\operatorname {argmaxminlocal} _{t}\nabla _{\mathrm {norm} }^{2}L({\hat {x}},{\hat {y}};t)}$

コーナー検出の従来のアプローチは、レベル曲線の曲率と勾配の大きさが同時に高い点を検出することである。^{[16] [17]} このような点を検出する微分的な方法は、レベル曲線の曲率（レベル曲線の曲率と勾配の大きさの3乗の積） を計算することである。

${\displaystyle {\tilde {\kappa }}(x,y;t)=L_{x}^{2}L_{yy}+L_{y}^{2}L_{xx}-2L_{x}L_{y}L_{xy}}$

そして、元の画像のスケール空間表現の特定のスケールで、この微分表現の正の最大値と負の最小値を検出する。 ^{[10] [11]} しかし、単一のスケールで再スケールされたレベル曲線の曲率エンティティを計算する際の主な問題は、ノイズやスケールレベルの選択に敏感である可能性があることです。より良い方法は、正規化された再スケールされたレベル曲線の曲率を計算することです。${\displaystyle t}$ ${\displaystyle L}$${\displaystyle \gamma }$

${\displaystyle {\tilde {\kappa }}_{\mathrm {norm} }(x,y;t)=t^{2\gamma }(L_{x}^{2}L_{yy}+L_{y}^{2}L_{xx}-2L_{x}L_{y}L_{xy})}$

と、この式の符号付きスケール空間極値を検出する。これは、空間とスケールの両方に関して正の最大値と負の最小値となる点とスケールである。 ${\displaystyle \gamma =7/8}$

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}{\tilde {\kappa }}_{\mathrm {norm} }(x,y;t)}$

粗いスケールでの位置特定誤差の増加に対処するために、補完的な位置特定ステップと組み合わせて使用​​します。^{[10] [11] [12]}この方法では、大きなスケールの値は大きな空間範囲の丸いコーナーに関連付けられ、小さなスケールの値は小さな空間範囲の鋭いコーナーに関連付けられます。このアプローチは、自動スケール選択を備えた最初のコーナー検出器（上記の「ハリス-ラプラス演算子」より前）であり、画像領域での大規模な変化の下でのコーナーの追跡に使用されました^{[18]およびコーナー応答をエッジに一致させて、} geonベースのオブジェクト認識の構造画像特徴を計算するために使用されました。^[19]

LoG ^{[11] [12] [15]は}ガウス分布のラプラシアンの略語、DoG ^[20]はガウス分布の差の略語（DoGはLoGの近似値）、DoHはヘッセ行列式の略語です。^[11]これらのスケール不変の関心点はすべて、スケール正規化微分表現のスケール空間極値、つまり、対応するスケール正規化微分表現が空間とスケールの両方に関して局所的極値をとるスケール空間内の点を検出することによって抽出されます^[11]

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}(D_{\mathrm {norm} }L)(x,y;t)}$

ここで、適切なスケール正規化された微分エンティティ（以下で定義）を表します。 ${\displaystyle D_{norm}L}$

これらの検出器はブロブ検出でより詳細に説明されている。ガウス分布のスケール正規化ラプラシアンとガウス分布の差の特徴（Lindeberg 1994, 1998; Lowe 2004）^{[11] [12] [20]}

${\displaystyle {\begin{aligned}\nabla _{\mathrm {norm} }^{2}L(x,y;t)&=t\,(L_{xx}+L_{yy})\\&\approx {\frac {t\left(L(x,y;t+\Delta t)-L(x,y;t)\right)}{\Delta t}}\end{aligned}}}$

これらの演算子はエッジ付近の応答も引き起こす可能性があるため、必ずしも高度に選択的な特徴を作成するわけではありません。ガウス差検出器のコーナー検出能力を向上させるために、SIFT ^[20]システムで使用される特徴検出器は、追加の後処理段階を使用します。この段階では、検出スケールでの画像のヘッセ行列の固有値が、ハリス演算子と同様の方法で調べられます。固有値の比率が高すぎる場合、ローカル画像はエッジに似すぎていると見なされ、特徴は拒否されます。また、ガウス特徴検出器の Lindeberg のラプラシアンは、エッジ付近の応答を抑制するために、補完微分不変量に対する補完しきい値処理を含むように定義できます。^[21]

ヘッセ行列式のスケール正規化行列式（Lindeberg 1994, 1998）^{[11] [12]}

${\displaystyle \det H_{\mathrm {norm} }L=t^{2}(L_{xx}L_{yy}-L_{xy}^{2})}$

一方、よく局所化された画像特徴に対しては選択性が高く、2つの画像方向に有意なグレーレベルの変化がある場合にのみ反応します^{[11] [14]。}この点と他の点において、ガウスのラプラシアンよりも優れた関心点検出器です。ヘッセ行列の行列式はアフィン共変微分表現であり、アフィン画像変換下でのスケール選択特性はラプラシアン演算子よりも優れています（Lindeberg 2013、2015）。^{[21] [22]実験的に、これはヘッセ行列の行列式の関心点はラプラシアン関心点よりも局所画像変形下での再現性が優れていることを意味し、その結果、効率スコアが高く、1−}精度スコアが低いという点で、画像ベースのマッチングのパフォーマンスが向上します。^[21]

これらおよびその他のスケール空間関心点検出器のスケール選択特性、アフィン変換特性、実験特性については、（Lindeberg 2013、2015）で詳細に分析されています。^{[21] [22]}

関数のヘッセ行列と2次モーメント行列（構造テンソル）の構造的に類似した性質に触発され、例えばアフィン画像変形における類似した変換特性の観点から明らかにすることができる^{[13] [21]}${\displaystyle Hf}$${\displaystyle f}$${\displaystyle \mu }$

${\displaystyle (Hf')=A^{-T}\,(Hf)\,A^{-1}}$、

${\displaystyle \mu '=A^{-T}\,\mu \,A^{-1}}$、

Lindeberg (2013, 2015) ^{[21] [22]は}、Harris演算子とShi-and-Tomasi演算子が構造テンソル（2次モーメント行列）から定義されるのと関連して、ヘッセ行列から4つの特徴強度尺度を定義することを提案した。具体的には、次の符号なしおよび符号付きヘッセ行列の特徴強度尺度を定義した。

• 符号なしヘッセ行列の特徴強度の測度I:

  ${\displaystyle D_{1,\mathrm {norm} }L={\begin{cases}t^{2}\,(\det HL-k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL-k\,\operatorname {trace} ^{2}HL>0\\0&{\mbox{otherwise}}\end{cases}}}$

• 符号付きヘッセ行列の特徴強度測度I:

  ${\displaystyle {\tilde {D}}_{1,\mathrm {norm} }L={\begin{cases}t^{2}\,(\det HL-k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL-k\,\operatorname {trace} ^{2}HL>0\\t^{2}\,(\det HL+k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL+k\,\operatorname {trace} ^{2}HL<0\\0&{\mbox{otherwise}}\end{cases}}}$

• 符号なしヘッセ行列の特徴強度測度II:

  ${\displaystyle D_{2,\mathrm {norm} }L=t\,\min(|\lambda _{1}(HL)|,|\lambda _{2}(HL)|)}$

• 符号付きヘッセ行列の特徴強度測度II:

  ${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L={\begin{cases}t\,\lambda _{1}(HL)&{\mbox{if}}\,|\lambda _{1}(HL)|<|\lambda _{2}(HL)|\\t\,\lambda _{2}(HL)&{\mbox{if}}\,|\lambda _{2}(HL)|<|\lambda _{1}(HL)|\\t\,(\lambda _{1}(HL)+\lambda _{2}(HL))/2&{\mbox{otherwise}}\end{cases}}}$

ここで、およびは、任意のスケールにおけるスケール空間表現の ヘッセ行列のトレースおよび行列式を表す。一方、 ${\displaystyle \operatorname {trace} HL=L_{xx}+L_{yy}}$${\displaystyle \det HL=L_{xx}L_{yy}-L_{xy}^{2}}$${\displaystyle HL}$${\displaystyle L}$${\displaystyle t}$

${\displaystyle \lambda _{1}(HL)=L_{pp}={\frac {1}{2}}\left(L_{xx}+L_{yy}-{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

${\displaystyle \lambda _{2}(HL)=L_{qq}={\frac {1}{2}}\left(L_{xx}+L_{yy}+{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

ヘッセ行列の固有値を表す。^[23]

符号なしヘッセ行列の特徴強度の尺度は、正の値で局所的極値に応答し、鞍点には敏感ではありませんが、符号付きヘッセ行列の特徴強度の尺度は、さらに負の値で鞍点に応答します。符号なしヘッセ行列の特徴強度の尺度は、信号の局所的極性には鈍感ですが、符号付きヘッセ行列の特徴強度の尺度は、出力の符号で信号の局所的極性に応答します。 ${\displaystyle D_{1,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{1,\mathrm {norm} }L}$${\displaystyle D_{2,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$

Lindeberg (2015) ^[21]では、これら4つの微分実体はスケール空間極値検出に基づく局所スケール選択と組み合わされた。

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}(D_{\mathrm {norm} }L)(x,y;t)}$

またはスケールリンク。さらに、符号付きおよび符号なしヘッセ行列の特徴強度の尺度とが、補完的な閾値設定と組み合わされました。 ${\displaystyle D_{2,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$${\displaystyle D_{1,\mathrm {norm} }L>0}$

12 枚のポスターを含むポスター データセットで、最大 6 倍のスケーリング係数でのマルチビュー マッチングと最大 45 度の傾斜角までの視線方向の変化を伴うスケーリング変換による画像マッチングの実験により、画像ピラミッドから定義された元の SIFT や Haar ウェーブレットから定義された元の SURF の代わりに、 SIFTおよびSURF演算子の純粋な画像記述子をガウス導関数演算子 (Gauss-SIFT および Gauss-SURF) による画像測定に再定式化して定義されたローカル画像記述子を使用して、符号なしヘッセ行列特徴強度測度に基づくスケール空間関心点検出により、ヘッセ行列の行列式から取得されるスケール空間関心点よりも最高のパフォーマンスと優れたパフォーマンスが得られることが示されました。符号なしヘッセ行列特徴強度測度、符号付きヘッセ行列特徴強度測度、およびヘッセ行列の行列式はいずれも、ガウスのラプラシアンよりも優れたパフォーマンスが得られました。スケールリンクと補完しきい値設定と組み合わせると、符号付きヘッセ行列の特徴強度の測度は、ガウス行列のラプラシアンよりも優れたパフォーマンスをさらに実現できます。 ${\displaystyle D_{1,\mathrm {norm} }L}$${\displaystyle \det H_{\mathrm {norm} }L=t^{2}\left(L_{xx}L_{yy}-L_{xy}^{2}\right)}$${\displaystyle D_{1,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{1,norm}L}$${\displaystyle \det H_{norm}L}$${\displaystyle \nabla _{\mathrm {norm} }^{2}L=t\,(L_{xx}+L_{yy})}$${\displaystyle D_{1,\mathrm {norm} }L>0}$${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$${\displaystyle \nabla _{\mathrm {norm} }^{2}L}$

さらに、ヘッセ行列から定義されたこれらすべての微分スケール空間関心点検出器は、構造テンソル（2 次モーメント行列）から定義された Harris 演算子や Shi-and-Tomasi 演算子と比較して、より多くの関心点を検出し、より優れたマッチング パフォーマンスを実現することが示されました。

ガウスのラプラシアンやヘッセ行列式など、スケール空間の関心点を検出するためのこれら4つのヘッセ行列の特徴強度尺度とその他の微分実体のスケール選択特性の理論的分析は、Lindeberg (2013) ^[22]で示されており、アフィン変換特性と実験特性の分析は、Lindeberg (2015) ^{[21]で示されています。}

自動スケール選択機能を備えたマルチスケール Harris 演算子から取得される関心点は、空間領域における平行移動、回転、均一な再スケーリングに対して不変です。ただし、コンピューター ビジョン システムへの入力を構成する画像は、遠近法の歪みの影響を受けます。遠近法の変換に対してより堅牢な関心点演算子を取得するには、アフィン変換に対して不変な特徴検出器を考案するのが自然な方法です。実際には、アフィン不変の関心点は、アフィン形状適応を適用することによって取得できます。アフィン形状適応では、平滑化カーネルの形状が関心点の周囲のローカル画像構造と一致するように反復的にワープされるか、または同等に、平滑化カーネルの形状が回転対称のままでローカル画像パッチが反復的にワープされます (Lindeberg 1993、2008、Lindeberg および Garding 1997、Mikolajzcyk および Schmid 2004)。^{[12] [13] [14] [15]}したがって、一般的に使用されるマルチスケールハリス演算子の他に、アフィン形状適応は、この記事に記載されている他のコーナー検出器や、ラプラシアン/ガウスの差演算子、ヘッセ行列式^{[14] 、ヘッセ-ラプラス演算子などの}微分ブロブ検出器にも適用できます。

WangとBrady ^[24]の検出器は、画像を表面とみなし、画像のエッジに沿って大きな曲率がある場所を探します。言い換えれば、このアルゴリズムはエッジの方向が急激に変わる場所を探します。コーナースコアは次のように与えられます。 ${\displaystyle C}$

${\displaystyle C=\left({\frac {\delta ^{2}I}{\delta \mathbf {t} ^{2}}}\right)^{2}-c|\nabla I|^{2},}$

ここで、は勾配に垂直な単位ベクトルであり、検出器がエッジをどの程度嫌うかを決定します。著者らはまた、ノイズを減らすために平滑化（ガウスが推奨）が必要であると指摘しています。 ${\displaystyle {\bf {t}}}$${\displaystyle c}$

スムージングによってコーナーの変位も発生するため、著者らは 90 度のコーナーの変位を表す式を導き出し、これを検出されたコーナーの補正係数として適用します。

SUSAN ^[25]は、最小の単一値セグメント同化核の頭字語です。この方法は、現在は無効となっている1994年の英国特許の対象となっています。^[26]

特徴検出のために、SUSAN はテストするピクセル (核) の上に円形のマスクを配置します。マスクの領域は で、このマスク内のピクセルは で表されます。核は にあります。比較関数を使用して、すべてのピクセルが核と比較されます。 ${\displaystyle M}$${\displaystyle {\vec {m}}\in M}$${\displaystyle {\vec {m}}_{0}}$

${\displaystyle c({\vec {m}})=e^{-\left({\frac {I({\vec {m}})-I({\vec {m}}_{0})}{t}}\right)^{6}}}$

ここで、は輝度差閾値、^[27]はピクセルの輝度であり、指数のべき乗は経験的に決定されている。この関数は、滑らかなトップハット関数または長方形関数のように見える。SUSANの面積は次のように与えられる。 ${\displaystyle t}$ ${\displaystyle I}$

${\displaystyle n(M)=\sum _{{\vec {m}}\in M}c({\vec {m}})}$

が長方形関数の場合、 は核内に あるマスク内のピクセルの数です。SUSAN 演算子の応答は次のように表されます。${\displaystyle c}$${\displaystyle n}$${\displaystyle t}$

${\displaystyle R(M)={\begin{cases}g-n(M)&{\mbox{if}}\ n(M)<g\\0&{\mbox{otherwise,}}\end{cases}}}$

ここで、 は「幾何学的閾値」と呼ばれます。言い換えると、SUSAN 演算子は、領域が十分に小さい場合にのみ正のスコアを持ちます。最小の SUSAN は、非最大抑制を使用して局所的に見つけることができ、これが完全な SUSAN 演算子です。 ${\displaystyle g}$

値は、点が単値セグメントの一部であるとみなされる前に、核とどの程度類似している必要があるかを決定します。 の値は、単値セグメントの最小サイズを決定します。が十分に大きい場合、これはエッジ検出器になります。 ${\displaystyle t}$${\displaystyle g}$${\displaystyle g}$

コーナー検出には、さらに 2 つの手順が使用されます。まず、 SUSAN の重心を見つけます。適切なコーナーでは、重心は核から遠く離れています。2 番目の手順では、核から重心を通ってマスクの端までの線上のすべての点が SUSAN 内にあることを確認します。

SUSANと同様の方法で、この検出器^[28]は、近くのピクセルを調べることによって、ピクセルの下のパッチが自己相似であるかどうかを直接テストします。 は検討対象のピクセルであり、を中心とする円上の点です。 点は直径に沿った の反対側の点です。${\displaystyle {\vec {c}}}$${\displaystyle {\vec {p}}\in P}$${\displaystyle P}$${\displaystyle {\vec {c}}}$${\displaystyle {\vec {p}}'}$${\displaystyle {\vec {p}}}$

応答関数は次のように定義されます。

${\displaystyle r({\vec {c}})=\min _{{\vec {p}}\in P}\left(\left(I({\vec {p}})-I({\vec {c}})\right)^{2}+\left(I({\vec {p}}')-I({\vec {c}})\right)^{2}\right)}$

中心のピクセルが直径に沿った 2 つの近くのピクセルと類似する方向がない場合、この値は大きくなります。は離散化された円 (ブレゼンハム円) なので、中間の直径には補間を使用して、より等方的な応答を得ます。 の計算では上限が得られるため、の完全な計算を進める価値があるかどうかを確認するために、まず水平方向と垂直方向がチェックされます。 ${\displaystyle P}$${\displaystyle \min }$${\displaystyle c}$

ASTは、 accelerated segment testの頭字語です。このテストは、SUSANコーナー基準の緩和版です。円形ディスクを評価する代わりに、候補点の周りの半径 のブレゼンハム円内のピクセルのみが考慮されます。連続するピクセルがすべて核よりも少なくとも 明るいか、すべて核よりも 暗い場合、核の下のピクセルは特徴とみなされます。このテストは非常に安定した特徴を生成すると報告されています。^[29]ピクセルをテストする順序の選択は、いわゆる20の質問問題です。この問題に対して短い決定木を構築することで、最も計算効率の高い特徴検出器が得られます。 ${\displaystyle r}$${\displaystyle n}$${\displaystyle t}$${\displaystyle t}$

ASTに基づく最初のコーナー検出アルゴリズムはFAST（features from accelerated segment test）です。^[29]原理的には任意の値を取ることができますが、FASTは値3（円周16ピクセルの円に相当）のみを使用し、テストでは9のときに最良の結果が得られることがわかっています。この値は、エッジが検出されない最低のものです。ピクセルがテストされる順序は、画像のトレーニングセットからID3アルゴリズムによって決定されます。紛らわしいことに、検出器の名前はTrajkovicとHedleyの検出器を説明する論文の名前に少し似ています。 ${\displaystyle r}$${\displaystyle n}$${\displaystyle n}$

Trujillo と Olague ^[30]は、遺伝的プログラミングを使用して、関心点を検出できる画像演算子を自動的に合成する方法を紹介しました。ターミナルと関数セットには、以前に提案された多くの人工設計で一般的な基本操作が含まれています。適合度は、繰り返し率を通じて各演算子の安定性を測定し、検出された点が画像平面全体に均一に分散するようにします。進化した演算子のパフォーマンスは、段階的に変換された画像のトレーニングおよびテストシーケンスを使用して実験的に確認されています。したがって、提案された GP アルゴリズムは、関心点検出の問題に対して人間と競合できると考えられています。

ハリス作用素はラプテフとリンデバーグによって時空に拡張された。^[31]で定義される時空間2次モーメント行列を次のように表す 。${\displaystyle \mu }$

${\displaystyle A=\sum _{u}\sum _{v}\sum _{w}h(u,v,w){\begin{bmatrix}L_{x}(u,v,w)^{2}&L_{x}(u,v,w)L_{y}(u,v,w)&L_{x}(u,v,w)L_{t}(u,v,w)\\L_{x}(u,v,w)L_{y}(u,v,w)&L_{y}(u,v,w)^{2}&L_{y}(u,v,w)L_{t}(u,v,w)\\L_{x}(u,v,w)L_{t}(u,v,w)&L_{y}(u,v,w)L_{t}(u,v,w)&L_{t}(u,v,w)^{2}\\\end{bmatrix}}={\begin{bmatrix}\langle L_{x}^{2}\rangle &\langle L_{x}L_{y}\rangle &\langle L_{x}L_{t}\rangle \\\langle L_{x}L_{y}\rangle &\langle L_{y}^{2}\rangle &\langle L_{y}L_{t}\rangle \\\langle L_{x}L_{t}\rangle &\langle L_{y}L_{t}\rangle &\langle L_{t}^{2}\rangle \\\end{bmatrix}}}$

次に、 を適切に選択すると、次の時空間ハリス測度の時空間極値から時空間関心点が検出されます。 ${\displaystyle k<1/27}$

${\displaystyle H=\det(\mu )-\kappa \,\operatorname {trace} ^{2}(\mu ).}$

^{ヘッセ行列式の行列式はウィレムスら[32]}とリンデバーグ^[33]によって時空結合に拡張され、次のスケール正規化微分表現が得られる。

${\displaystyle \det(H_{(x,y,t),\mathrm {norm} }L)=\,s^{2\gamma _{s}}\tau ^{\gamma _{\tau }}\left(L_{xx}L_{yy}L_{tt}+2L_{xy}L_{xt}L_{yt}-L_{xx}L_{yt}^{2}-L_{yy}L_{xt}^{2}-L_{tt}L_{xy}^{2}\right).}$

^{Willemsら[32]}の研究においては、およびに対応するより単純な表現が使用されました。Lindeberg ^[33]では、およびは、空間的広がりおよび時間的広がりを持つ時空間ガウスブロブから得られる選択されたスケールレベルがブロブの空間的広がりおよび時間的持続時間に完全に一致するという意味で、より優れたスケール選択特性を意味し、スケール選択は微分表現の時空間スケール空間極値を検出することによって実行されることが示されました。 ${\displaystyle \gamma _{s}=1}$${\displaystyle \gamma _{\tau }=1}$${\displaystyle \gamma _{s}=5/4}$${\displaystyle \gamma _{\tau }=5/4}$${\displaystyle s=s_{0}}$${\displaystyle \tau =\tau _{0}}$

^{ラプラシアン演算子はリンデバーグ[33]}によって時空間ビデオデータに拡張され、次の2つの時空間演算子が導かれ、これもLGNの非遅延ニューロンと遅延ニューロンの受容野モデルを構成します。

${\displaystyle \partial _{t,\mathrm {norm} }(\nabla _{(x,y),\mathrm {norm} }^{2}L)=s^{\gamma _{s}}\tau ^{\gamma _{\tau }/2}(L_{xxt}+L_{yyt}),}$

${\displaystyle \partial _{tt,\mathrm {norm} }(\nabla _{(x,y),\mathrm {norm} }^{2}L)=s^{\gamma _{s}}\tau ^{\gamma _{\tau }}(L_{xxtt}+L_{yytt}).}$

最初の演算子については、空間的範囲と開始ガウス ブロブの時間的継続時間を反映する時空間スケール レベルで、この演算子が時空間スケールにわたって最大値をとるようにしたい場合、スケール選択プロパティでとを使用する必要があります。 2 番目の演算子については、空間的範囲と点滅ガウス ブロブの時間的継続時間を反映する時空間スケール レベルで、この演算子が時空間スケールにわたって最大値をとるようにしたい場合、スケール選択プロパティで と を使用する必要があります。 ${\displaystyle \gamma _{s}=1}$${\displaystyle \gamma _{\tau }=1/2}$${\displaystyle \gamma _{s}=1}$${\displaystyle \gamma _{\tau }=3/4}$

時空間関心点検出器のカラー拡張はEvertsらによって研究されている^[34]

このセクションでは、上で説明した検出器の一部の参照実装への外部リンクを示します。これらの参照実装は、検出器が最初に説明された論文の著者によって提供されています。これらには、機能について説明している論文には記載されていない、または明示されていない詳細が含まれている場合があります。

• DoG 検出 ( SIFTシステムの一部)、Windowsおよびx86 Linux実行ファイル
• Harris-Laplace、静的Linux実行可能ファイル。DoG および LoG 検出器と、含まれるすべての検出器に対するアフィン適応も含まれています。
• さまざまなオペレーティング システムおよびアーキテクチャ用の FAST 検出器、C、C++、MATLAB ソース コードおよび実行可能ファイル。
• lip-vireo 2017-05-11 にWayback Machineにアーカイブされました、[LoG、DoG、Harris-Laplacian、Hessian および Hessian-Laplacian]、[SIFT、flip invariant SIFT、PCA-SIFT、PSIFT、Steerable Filters、SPIN][Linux、Windows および SunOS] 実行可能ファイル。
• SUSAN 低レベル画像処理、C ソースコード。
• ハリスコーナー検出器のオンライン実装 - IPOL

• ブロブ検出
• アフィン形状適応
• スケールスペース
• 尾根検出
• 関心点検出
• 特徴検出（コンピュータビジョン）
• 画像の派生

• リンデバーグ、トニー (2001) [1994]、「コーナー検出」、数学百科事典、EMS プレス
• Brostow、「コーナー検出 -- UCL コンピュータサイエンス」