構造テンソル

数学において、構造テンソルは、 2次モーメント行列とも呼ばれ、関数の勾配から導かれる行列です。これは、点の周りの指定された近傍における勾配の分布を記述し、情報を観測​​座標に対して不変にします。構造テンソルは、画像処理やコンピュータービジョンでよく使用されます。^{[1] [2] [3]}

2変数関数p = ( x , y )の場合、構造テンソルは2×2行列である。 ${\displaystyle I}$

$${\displaystyle S_{w}(p)={\begin{bmatrix}\int w(r)(I_{x}(pr))^{2}\,dr&\int w(r)I_{x}(pr)I_{y}(pr)\,dr\\[10pt]\int w(r)I_{x}(pr)I_{y}(pr)\,dr&\int w(r)(I_{y}(pr))^{2}\,dr\end{bmatrix}}}$$ ここで、 および はxおよびyに関するの偏微分です。積分は平面 の範囲にわたります。また、w は、2 つの変数の分布である、固定された「ウィンドウ関数」（ガウスぼかしなど）です。行列自体はp = ( x , y )の関数であることに注意してください。 ${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle I}$${\displaystyle \mathbb {R} ^{2}}$${\displaystyle S_{w}}$

上記の式は とも書くことができ、ここで は次のように定義される行列値関数である。 ${\textstyle S_{w}(p)=\int w(r)S_{0}(pr)\,dr}$${\displaystyle S_{0}}$$${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}\end{bmatrix}}}$$

の勾配を 2×1（1 列）行列と見なすと、 は転置演算を表し、行ベクトルを列ベクトルに変換するため、行列は行列積またはテンソル または外積として表すことができます。ただし、 がディラックのデルタ関数である場合を除いて、一般に構造テンソルをこのように因数分解することはできないことに注意してください。 ${\displaystyle \nabla I=(I_{x},I_{y})^{\text{T}}}$${\displaystyle I}$${\displaystyle (\cdot )^{\text{T}}}$${\displaystyle S_{0}}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ ${\displaystyle \nabla I\otimes \nabla I}$${\displaystyle S_{w}(p)}$${\displaystyle w}$

画像処理やその他の類似のアプリケーションでは、関数は通常、サンプルの離散配列として与えられ、pは整数インデックスのペアです。特定のピクセルにおける2D構造テンソルは、通常、離散和として取られます 。${\displaystyle I}$${\displaystyle I[p]}$

$${\displaystyle S_{w}[p]={\begin{bmatrix}\sum _{r}w[r](I_{x}[p-r])^{2}&\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]\\[10pt]\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]&\sum _{r}w[r](I_{y}[p-r])^{2}\end{bmatrix}}}$$

ここで、合計インデックスr は、インデックス ペアの有限セット (通常は何らかのmに対する「ウィンドウ」 ) の範囲にあり、w [ r ] は、すべての重みの合計が 1 になるようにrに依存する固定の「ウィンドウ重み」です。値は、ピクセルpでサンプリングされた偏導関数です。これは、たとえば、有限差分式によってから推定できます。 ${\displaystyle \{-m\ldots +m\}\times \{-m\ldots +m\}}$${\displaystyle I_{x}[p],I_{y}[p]}$${\displaystyle I}$

構造テンソルの式は とも書くことができ、ここで は次のような行列値配列である。 ${\textstyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$${\displaystyle S_{0}}$$${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}\end{bmatrix}}}$$

2D構造テンソルの重要性は、固有値（ となるように並べることができる）とそれに対応する固有ベクトルがを中心とするで定義されるウィンドウ内の の勾配の分布を要約するという事実に由来する。^{[1] [2] [3]}${\displaystyle S_{w}}$ ${\displaystyle \lambda _{1},\lambda _{2}}$${\displaystyle \lambda _{1}\geq \lambda _{2}\geq 0}$ ${\displaystyle e_{1},e_{2}}$ ${\displaystyle \nabla I=(I_{x},I_{y})}$${\displaystyle I}$${\displaystyle w}$${\displaystyle p}$

つまり、の場合、(または) はウィンドウ内の勾配と最大限に一致する方向です。 ${\displaystyle \lambda _{1}>\lambda _{2}}$${\displaystyle e_{1}}$${\displaystyle -e_{1}}$

特に、の場合、勾配は常に の倍数（正、負、またはゼロ）です。これは、ウィンドウ内で が 方向に沿って変化するが に沿って一定である場合に限ります。この固有値の条件は、 の等値曲線が平行線で構成されるため、線形対称条件とも呼ばれます。つまり、ある定数ベクトルと座標に対して2 次元関数 を生成できる1 次元関数が存在することになります。 ${\displaystyle \lambda _{1}>0,\lambda _{2}=0}$${\displaystyle e_{1}}$${\displaystyle I}$${\displaystyle e_{1}}$${\displaystyle e_{2}}$${\displaystyle I}$${\displaystyle g}$${\displaystyle I}$${\displaystyle I(x,y)=g(d^{\text{T}}p)}$${\displaystyle d=(d_{x},d_{y})^{T}}$${\displaystyle p=(x,y)^{T}}$

一方、 の場合、ウィンドウ内の勾配には優勢な方向がありません。これは、たとえば、画像がそのウィンドウ内で回転対称性を持つ場合に発生します。この固有値の条件は、ウィンドウ内のすべての勾配方向が等しく頻繁/確率である場合に成立するため、平衡体または方向平衡条件とも呼ばれます。 ${\displaystyle \lambda _{1}=\lambda _{2}}$

さらに、条件は、関数が 内で定数 ( ) である場合にのみ発生します。 ${\displaystyle \lambda _{1}=\lambda _{2}=0}$${\displaystyle I}$${\displaystyle \nabla I=(0,0)}$${\displaystyle W}$

より一般的には、 k =1 またはk =2の場合のの値は、の方向微分の二乗のp近傍における -加重平均です。 の 2 つの固有値間の相対的な差異は、ウィンドウ内の勾配の異方性の程度、つまり特定の方向（およびその反対方向）にどれだけ強く偏っているかを示す指標です。^{[4] [5]}この属性は、次のように定義される コヒーレンスによって定量化できます。${\displaystyle \lambda _{k}}$${\displaystyle w}$${\displaystyle I}$${\displaystyle e_{k}}$${\displaystyle S_{w}}$

$${\displaystyle c_{w}=\left({\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}+\lambda _{2}}}\right)^{2}}$$

の場合。この量は、勾配が完全に揃っている場合は 1、優先方向がない場合は 0 になります。画像がウィンドウ ( ) 内で一定である場合、限界であっても式は定義されません。その場合、これを 0 と定義する著者もいます。 ${\displaystyle \lambda _{2}>0}$${\displaystyle \lambda _{1}=\lambda _{2}=0}$

ウィンドウ内の勾配の平均は異方性の良い指標ではないことに注意してください。整列しているが反対方向の勾配ベクトルはこの平均では打ち消されますが、構造テンソルではそれらは適切に加算されます。 ^[6]これが、構造テンソルの平均化で方向を最適化するために ではなく が使用される理由です。 ${\displaystyle \nabla I}$${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$${\displaystyle \nabla I}$

ウィンドウ関数の有効半径を拡大する（つまり、分散を増やす）ことで、空間解像度が低下するという代償を払って、構造テンソルをノイズに対してより堅牢にすることができます。^{[5] [7]}この特性の正式な根拠については以下で詳しく説明します。ここでは、マルチスケール構造テンソルと呼ばれる構造テンソルのマルチスケール定式化が、ウィンドウ関数の空間範囲の変化下での方向データの真のマルチスケール表現を構成することが示されています。 ${\displaystyle w}$

2次元構造テンソルの解釈と実装は、複素数を使用することで特に容易になります。^[2]構造テンソルは3つの実数で構成されています。

$${\displaystyle S_{w}(p)={\begin{bmatrix}\mu _{20}&\mu _{11}\\[10pt]\mu _{11}&\mu _{02}\end{bmatrix}}}$$

ここで、積分は離散表現の総和に置き換えることができる。パーセバルの恒等式を用いると、3つの実数は のパワースペクトルの2次モーメントであることは明らかである。 のパワースペクトルの次の2次複素モーメントは次のように書くことができる。 ${\textstyle \mu _{20}=\int (w(r)(I_{x}(p-r))^{2}\,dr}$${\textstyle \mu _{02}=\int (w(r)(I_{y}(p-r))^{2}\,dr}$${\textstyle \mu _{11}=\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr}$${\displaystyle I}$${\displaystyle I}$

$${\displaystyle \kappa _{20}=\mu _{20}-\mu _{02}+i2\mu _{11}=\int w(r)(I_{x}(p-r)+iI_{y}(p-r))^{2}\,dr=(\lambda _{1}-\lambda _{2})\exp(i2\phi )}$$

ここで、 と は構造テンソルの最重要固有ベクトルの方向角であり、とは最重要および最重要でない固有値です。このことから、は 2 つの実数からなる複素数であるため、確実性と 2 倍角表現での最適方向の両方を含むことがわかります。また、勾配が複素数として表され、2 乗によって再マップされる場合 (つまり、複素勾配の引数角が 2 倍になる場合)、平均化はマップされた領域で最適化機能として機能します。これは、平均化によって最適方向 (2 倍角表現) と関連する確実性の両方が直接得られるためです。したがって、複素数は、イメージ にどれだけの線形構造 (線形対称性) があるかを表し、複素数は、固有値と固有ベクトルを明示的に計算せずに、勾配をその (複素) 2 倍角表現で平均化することによって直接取得されます。 ${\displaystyle i={\sqrt {-1}}}$${\displaystyle \phi }$${\displaystyle \phi =\angle {e_{1}}}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle \kappa _{20}}$${\displaystyle |\kappa _{20}|=\lambda _{1}-\lambda _{2}}$${\displaystyle I}$

同様に、 のパワースペクトルの次の2次複素モーメントは、 が実数であるため常に実数となる。 ${\displaystyle I}$${\displaystyle I}$

$${\displaystyle \kappa _{11}=\mu _{20}+\mu _{02}=\int w(r)|I_{x}(p-r)+iI_{y}(p-r)|^{2}\,dr=\lambda _{1}+\lambda _{2}}$$

が得られます。 とは前と同じように固有値です。 今回は複素勾配の大きさが 2 乗されていることに注意してください (これは常に実数です)。 ${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

しかし、構造テンソルを固有ベクトルに分解すると、そのテンソル成分は次のようになる。

$${\displaystyle S_{w}(p)=\lambda _{1}e_{1}e_{1}^{\text{T}}+\lambda _{2}e_{2}e_{2}^{\text{T}}=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}(e_{1}e_{1}^{\text{T}}+e_{2}e_{2}^{\text{T}})=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}E}$$

ここで、は 2D の単位行列です。これは、2 つの固有ベクトルが常に直交し (合計すると 1 になる) ためです。分解の最後の式の最初の項 は、すべての方向情報を含む構造テンソルの線形対称成分 (ランク 1 行列として) を表します。一方、2 番目の項は、方向情報がまったくないテンソルの平衡ボディ成分 (単位行列 を含む) を表します。 にどれだけの方向情報が含まれているかを知ることは、と比較して がどれだけ大きいかを調べることと同じです。 ${\displaystyle E}$${\displaystyle (\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}}$${\displaystyle E}$${\displaystyle I}$${\displaystyle \lambda _{1}-\lambda _{2}}$${\displaystyle \lambda _{2}}$

明らかに、はテンソル分解の最初の項の複素数に相当し、は2番目の項に相当します。したがって、3つの実数からなる2つのスカラーは、 ${\displaystyle \kappa _{20}}$$${\displaystyle {\tfrac {1}{2}}(|\kappa _{20}|-\kappa _{11})=\lambda _{2}}$$

$${\displaystyle {\begin{aligned}\kappa _{20}&=&(\lambda _{1}-\lambda _{2})\exp(i2\phi )&=w*(h*I)^{2}\\\kappa _{11}&=&\lambda _{1}+\lambda _{2}&=w*|h*I|^{2}\\\end{aligned}}}$$ ここで、は (複素) 勾配フィルタ、 は畳み込みであり、2D 構造テンソルの複素表現を構成します。ここで、また他の箇所でも説明したように、は通常ガウス分布 (一定の分散が外側のスケールを定義する) であるローカル イメージを定義し、 は方向を推定する有効周波数範囲を決定する (内側のスケール) パラメータです。 ${\displaystyle h(x,y)=(x+iy)\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))}$${\displaystyle *}$${\displaystyle w}$${\displaystyle \sigma }$${\displaystyle 2\phi }$

複素表現の簡潔さは、構造テンソルの 2 つの成分を平均と独立に得ることができることに由来します。つまり、スケール空間表現でと を使用することで、固有ベクトルと固有値を計算することなしに、一意の方向の存在の証拠と、対立仮説である複数のバランスのとれた方向の存在の証拠を記述できます。複素数の 2 乗などの関数は、2 次元を超える構造テンソルに対しては、現在まで存在が示されていません。Bigun 91 では、複素数が可換代数であるのに対し、 によってそのような関数を構築する候補となる四元数は非可換代数を構成するためであるという正当な議論が提示されています。^[8]${\displaystyle \kappa _{20}}$${\displaystyle \kappa _{11}}$

構造テンソルの複素表現は、指紋分析で頻繁に使用され、確実性を含む方向マップを取得します。方向マップは、指紋を強化し、グローバル (コアとデルタ) およびローカル (細目) 特異点の位置を見つけ、指紋の品質を自動的に評価するために使用されます。

構造テンソルは、3 つの変数p =( x , y , z ) の関数に対してもまったく同様の方法で定義できます。つまり、連続バージョンでは となります。ここで 、 はの 3 つの偏導関数であり、 上の積分範囲です。 ${\displaystyle I}$${\textstyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$$${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)&I_{x}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}&I_{y}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{z}(p)&I_{y}(p)I_{z}(p)&(I_{z}(p))^{2}\end{bmatrix}}}$$${\displaystyle I_{x},I_{y},I_{z}}$${\displaystyle I}$${\displaystyle \mathbb {R} ^{3}}$

離散バージョンでは、であり、 和は有限の 3D インデックス セットにわたって範囲を持ち、通常はいくつかのmに対して範囲が設定されます。 ${\textstyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$$${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]&I_{x}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}&I_{y}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{z}[p]&I_{y}[p]I_{z}[p]&(I_{z}[p])^{2}\end{bmatrix}}}$$${\displaystyle \{-m\ldots +m\}\times \{-m\ldots +m\}\times \{-m\ldots +m\}}$

2次元の場合と同様に、の固有値とそれに対応する固有ベクトルは、ウィンドウ によって定義されるpの近傍内の勾配方向の分布を要約する。この情報は、半軸が固有値に等しく、それに対応する固有ベクトルに沿った楕円体として視覚化できる。 ^{[9] [10]}${\displaystyle \lambda _{1},\lambda _{2},\lambda _{3}}$${\displaystyle S_{w}[p]}$${\displaystyle {\hat {e}}_{1},{\hat {e}}_{2},{\hat {e}}_{3}}$${\displaystyle w}$

特に、楕円体が葉巻のように 1 つの軸に沿ってのみ引き伸ばされている場合 (つまり、がと の両方よりもかなり大きい場合)、ウィンドウ内の勾配は主に の方向に揃うため、 の等値面は平坦でそのベクトルに垂直になる傾向があります。この状況は、たとえば、 p が薄いプレート状のフィーチャ上にある場合、または対照的な値を持つ 2 つの領域間の滑らかな境界上にある場合に発生します。 ${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle \lambda _{3}}$${\displaystyle e_{1}}$${\displaystyle I}$

楕円体がパンケーキのように一方向のみに平坦化されている場合（つまり、が と の両方よりはるかに小さい場合）、勾配方向は に垂直に広がっていることを意味します。そのため、等値面はそのベクトルに平行なチューブのようになります。この状況は、たとえば、p が細い線状のフィーチャ上にある場合、または対照的な値を持つ 2 つの領域間の境界の鋭い角上にある場合に発生します。 ${\displaystyle \lambda _{3}}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle e_{3}}$

最後に、楕円体がほぼ球状である場合（つまり、 の場合）、ウィンドウ内の勾配方向は、顕著な好みがなく、多かれ少なかれ均等に分布していることを意味します。そのため、関数はその近傍でほぼ等方性です。これは、たとえば、関数がpの近傍で球対称性を持つ場合に発生します。特に、楕円体が点に退化する場合（つまり、3 つの固有値がゼロの場合）、ウィンドウ内で が一定である（勾配がゼロである） ことを意味します。${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$${\displaystyle I}$${\displaystyle I}$

構造テンソルは、スケール空間解析における重要なツールです。関数のマルチスケール構造テンソル（またはマルチスケール第 2 モーメント行列）は、他の 1 パラメータ スケール空間機能とは対照的に、2 つのスケール パラメータで定義される画像記述子です。ローカル スケールと呼ばれる 1 つのスケール パラメータは、画像勾配を計算するときに事前平滑化の量を決定するために必要です。積分スケールと呼ばれるもう 1 つのスケール パラメータは、勾配自体の外積の成分が累積される空間領域の重みを決定するウィンドウ関数の空間範囲を指定するために必要です。 ${\displaystyle I}$ ${\displaystyle t}$${\displaystyle (\nabla I)(x;t)}$ ${\displaystyle s}$${\displaystyle w(\xi ;s)}$${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$

より正確には、 が上で定義される実数値信号であるとします。任意のローカルスケール に対して、この信号のマルチスケール表現はによって与えられ、ここで は事前平滑化カーネルを表します。さらに、 はスケール空間表現の勾配を表します。すると、マルチスケール構造テンソル/2 次モーメント行列は次のように定義されます。 ^{[7] [11] [12]} 概念的には、任意の自己相似な平滑化関数およびの族を使用すれば十分かどうか疑問に思うかもしれません。ただし、単純に、たとえばボックスフィルタを適用すると、望ましくないアーティファクトが簡単に発生する可能性があります。マルチスケール構造テンソルが、増加するローカルスケールと増加する積分スケール の両方で適切に動作することを望む場合、平滑化関数とウィンドウ関数の両方がガウス関数でなければならないことが示されます。^[7]この一意性を規定する条件は、画像強度の正規ガウススケール空間に対するガウスカーネルの一意性を導出するために使用されるスケール空間公理に類似している。 ${\displaystyle I}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle t>0}$${\displaystyle I(x;t)}$${\displaystyle I(x;t)=h(x;t)*I(x)}$${\displaystyle h(x;t)}$${\displaystyle (\nabla I)(x;t)}$ $${\displaystyle \mu (x;t,s)=\int _{\xi \in \mathbb {R} ^{k}}(\nabla I)(x-\xi ;t)\,(\nabla I)^{\text{T}}(x-\xi ;t)\,w(\xi ;s)\,d\xi }$$${\displaystyle h(x;t)}$${\displaystyle w(\xi ;s)}$${\displaystyle t}$${\displaystyle s}$

この画像記述子ファミリーでは、2 パラメータのスケール変動を処理するさまざまな方法があります。ローカルスケールパラメータを固定したまま、積分スケールパラメータのみを増やすことによってウィンドウ関数のますます広がるバージョンを適用すると、特定のローカルスケール で計算された方向データの真の正式なスケール空間表現が得られます。^[7]ローカルスケールと積分スケールを相対積分スケールで結合すると、 の任意の固定値に対して、縮小された自己相似な 1 パラメータ変動が得られます。これは、コーナー検出、関心点検出、テクスチャ分析、画像マッチングなどの計算アルゴリズムを簡素化するために頻繁に使用されます。このような自己相似なスケール変動で相対積分スケールを変化させることにより、積分スケールを増やすことによって得られる方向データのマルチスケール特性をパラメータ化する別の方法が得られます。 ${\displaystyle t}$${\displaystyle s}$ ${\displaystyle t}$ ${\displaystyle r\geq 1}$${\displaystyle s=rt}$${\displaystyle r}$${\displaystyle r\geq 1}$

概念的に同様の構築を離散信号に対して実行できます。畳み込み積分を畳み込み和に置き換え、連続ガウスカーネルを離散ガウスカーネルに置き換えます。 スケールパラメータを量子化する場合、および実際の実装では、 iが0 から最大スケールインデックスmまでの範囲の有限幾何級数を使用するのが通常です。したがって、離散スケールレベルは画像ピラミッドとある程度類似していますが、後続の処理段階でより正確なデータを保持するために、空間サブサンプリングが必ずしも使用されるとは限りません。 ${\displaystyle g(x;t)}$ ${\displaystyle T(n;t)}$$${\displaystyle \mu (x;t,s)=\sum _{n\in \mathbb {Z} ^{k}}(\nabla I)(x-n;t)\,(\nabla I)^{\text{T}}(x-n;t)\,w(n;s)}$$${\displaystyle t}$${\displaystyle s}$${\displaystyle \alpha ^{i}}$

構造テンソルの固有値は、コーナー検出、関心点検出、特徴追跡などの問題において、多くの画像処理アルゴリズムで重要な役割を果たします。^{[9] [13] [14] [15] [16] [17] [18]}構造テンソルは、ルーカス-カナデのオプティカルフローアルゴリズムや、アフィン形状適応を推定するためのその拡張においても中心的な役割を果たします。^[11]ここで、 の大きさは、計算結果の信頼性の指標です。このテンソルは、スケールスペース解析、^[7]単眼または両眼の手がかりからの局所表面方向の推定、^[12]非線形指紋強調、^[19]拡散ベースの画像処理、^{[20] [21] [22] [23]}などのさまざまな画像処理問題に使用されています。構造テンソルは、地質学において地震データをフィルタリングするためにも適用できます。^[24]${\displaystyle \lambda _{2}}$

3 次元構造テンソルは、 3 次元ビデオ データ ( x、y、および時間tの関数として表示) を分析するために使用されています。^{[4]この文脈で、}ガリレイ変換に対して不変な 画像記述子を目指す場合、事前に未知の画像速度の変化の下で得られた画像測定値を比較できるようにするためには、計算の観点から、ガリレイ対角化の概念を使用して 構造テンソル/2次モーメント行列の成分をパラメータ化することが望ましい。^[25] ここで、は時空のガリレイ変換と空間領域上の2次元回転を表し、これは前述の3次元構造テンソルの固有値の使用（固有値分解と（非物理的な）時空の3次元回転に対応）と比較される 。ただし、真のガリレイ不変性を得るには、時空間ウィンドウ関数の形状も適応させる必要があり、^{[25] [26]これは、}アフィン形状適応^[11]を空間画像データから時空間画像データに転送することに対応している。これらの概念は、局所的な時空間ヒストグラム記述子と組み合わせることで、^[27] 時空間イベントのガリレイ不変認識を可能にする。^[28]${\displaystyle v=(v_{x},v_{y})^{\text{T}}}$ $${\displaystyle {\begin{bmatrix}x'\\y'\\t'\end{bmatrix}}=G{\begin{bmatrix}x\\y\\t\end{bmatrix}}={\begin{bmatrix}x-v_{x}\,t\\y-v_{y}\,t\\t\end{bmatrix}},}$$${\displaystyle S}$ $${\displaystyle S'=R_{\text{space}}^{-{\text{T}}}\,G^{-{\text{T}}}\,S\,G^{-1}\,R_{\text{space}}^{-1}={\begin{bmatrix}\nu _{1}&\,&\,\\\,&\nu _{2}&\,\\\,&\,&\nu _{3}\end{bmatrix}}}$$${\displaystyle G}$${\displaystyle R_{\text{space}}}$$${\displaystyle S''=R_{\text{spacetime}}^{-{\text{T}}}\,S\,R_{\text{spacetime}}^{-1}={\begin{bmatrix}\lambda _{1}&&\\&\lambda _{2}&\\&&\lambda _{3}\end{bmatrix}}.}$$

• テンソル
• テンソル演算子
• 方向微分
• ガウス
• コーナー検出
• エッジ検出
• ルーカス・カナデ法
• アフィン形状適応
• 一般化構造テンソル

• MATLAB ソースをダウンロード
• 構造テンソルチュートリアル（オリジナル）