三焦点テンソル

コンピュータ ビジョンにおいて、三焦点テンソル(trifocus tensor、またはtritensor ) は、3 つのビュー間のすべての射影幾何学的関係を組み込んだ3×3×3 の数値配列 (テンソル) です。これは、シーン構造とは独立しており、3 つのビュー間の相対的な動き (ポーズ) とそれらの固有のキャリブレーション パラメーターのみに依存して、3 つのビュー内の対応する点または線の座標を関連付けます。したがって、三焦点テンソルは、3 つのビューの基本行列の一般化と見なすことができます。テンソルは 27 個の要素で構成されていますが、実際に独立しているのはそのうちの 18 個だけであることに注意してください。

また、いわゆる較正された三焦点テンソルもあり、これは、3つのビュー内の点と線の座標をそれらの固有パラメータと関連付け、カメラの相対的な姿勢をグローバルスケールまでエンコードし、合計11の独立した要素または自由度を持ちます。自由度が減ると、モデルに適合する対応が少なくなりますが、非線形性が増すという代償があります。^[1]

テンソルは、相関スライスと呼ばれる3 つの階数 2 の 3 x 3 行列の集合として見ることもできます。3つのビューの投影行列が、、 であると仮定すると、対応するテンソルの相関スライスは という閉じた形式で表現できます。ここで、 は それぞれカメラ行列のi^番目の列です。ただし、実際には、テンソルは 3 つのビューにわたる点と線の一致から推定されます。 ${\displaystyle {\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}}$${\displaystyle {\mathbf {P} }=[{\mathbf {I} }\;|\;{\mathbf {0} }]}$${\displaystyle {\mathbf {P} }'=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]}$${\displaystyle {\mathbf {P} ''}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]}$${\displaystyle {\mathbf {T} }_{i}={\mathbf {a} }_{i}{\mathbf {b} }_{4}^{t}-{\mathbf {a} }_{4}{\mathbf {b} }_{i}^{t},\;i=1\ldots 3}$${\displaystyle {\mathbf {a} }_{i},\;{\mathbf {b} }_{i}}$

三焦点テンソルの最も重要な特性の 1 つは、3 つの画像内の線と点の間に線形関係が生じることです。より具体的には、対応する点のトリプレットとそれらを通る対応する線に対して、次の三線制約が成立します。 ${\displaystyle {\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''}$${\displaystyle {\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''}$

${\displaystyle ({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}}$

${\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''=0}$

${\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }^{t}}$

${\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''={\mathbf {0} }}$

${\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }_{3\times 3}}$

ここで、 は歪対称クロス積行列を表します。 ${\displaystyle [\cdot ]_{\times }}$

3 つのビューの三焦点テンソルと 2 つのビュー内の一致する点のペアが与えられれば、それ以上の情報なしで 3 番目のビューの点の位置を決定することができます。これは点の転送として知られており、直線と円錐曲線についても同様の結果が得られます。一般的な曲線の場合、転送は接触円 (つまり曲率) の局所微分曲線モデルを通じて実現でき、その後円錐曲線として転送できます。^[2]較正された三焦点テンソルを使用して空間ねじれを反映する 3 次モデルの転送が研究されていますが、^[3]較正されていない三焦点テンソルについては未解決の問題のままです。

古典的なケースは6点対応^{[4] [5]}で3つの解が得られる。

9本の直線対応から三焦点テンソルを推定するケースは、つい最近解決されました。^[6]

較正された三焦点テンソルの推定は非常に困難であるとされており、4点の対応が必要である。^[7]

最近、3点の対応のみを使用するケースが解決されました。この場合、点には接線方向または入射線が付与されます。2点のみが入射線を持つため、これは312次の最小問題です（したがって、最大312の解があります）。これは、一般的な曲線（点に接線がある）や、方向が付与された特徴点（SIFT方向など）の場合に当てはまります。^[8]同じ手法で、3点の対応と1本の線対応が混在するケースも解決されましたが、これも216次の最小問題であることが示されています。

• Hartley, Richard I. (1997). 「3 つのビューの線と点、およびTrifocal Tensor」。International Journal of Computer Vision。22 ( 2): 125– 140。doi : 10.1023 /A:1007936012022。S2CID  8979544。
• Torr, PHS; Zisserman, A. (1997). 「三焦点テンソルの堅牢なパラメータ化と計算」.画像とビジョンコンピューティング. 15 (8): 591– 607. CiteSeerX  10.1.1.41.3172 . doi :10.1016/S0262-8856(97)00010-3.

• 三焦点ジオメトリの視覚化 (元はINRIA Robotvis の Sylvain Bougnoux によるもので、Javaが必要です)

• 未較正三焦点テンソル推定とペアワイズ基本行列との比較の Matlab 実装
• 最適化されたホモトピー継続コードを使用した、較正された三焦点テンソル推定の C++ 実装。現在、3 つの対応点とそれらの点における線 (特徴の位置と方向、または接線を持つ曲線点など) のケース、および 3 つの対応点と 1 つの線対応のケースが含まれています。