必須マトリックス

コンピュータビジョンにおいて、必須行列は、カメラがピンホールカメラモデルを満たしていると仮定して、ステレオ画像内の対応する点を関連付ける行列です。 ${\displaystyle 3\times 3}$ ${\displaystyle \mathbf {E} }$

より具体的には、およびがそれぞれ画像1と2の同 次正規化画像座標である場合、${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} '}$

${\displaystyle (\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0}$

シーン内の同じ 3D ポイントに対応している場合(最初の画像で同じエピポーラ線上にあるポイントは、2 番目の画像でも同じエピポーラ線にマッピングされるため、「if and only if」ではありません)。 ${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} '}$

必須行列を定義する上記の関係は、1981 年にH. Christopher Longuet-Higginsによって発表され、この概念がコンピューター ビジョン コミュニティに紹介されました。Richard HartleyとAndrew Zissermanの著書によると、それよりずっと前に写真測量法で類似の行列が登場していました。Longuet-Higgins の論文には、対応する正規化された画像座標のセットから推定するアルゴリズムと、がわかっている場合に 2 台のカメラの相対的な位置と方向を決定するアルゴリズムが含まれています。最後に、必須行列を使用して画像ポイントの 3D 座標を決定する方法を示しています。 ${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$

必須行列は、基本行列 、の前身と見ることができます。両方の行列は、一致する画像ポイント間の制約を確立するために使用できますが、基本行列は、正規化を実現するためにカメラの内部パラメータ (行列および) がわかっている必要があるため、キャリブレーションされたカメラに関連してのみ使用できます。ただし、カメラがキャリブレーションされている場合、必須行列は、カメラ間の相対的な位置と方向、および対応する画像ポイントの 3D 位置の両方を決定するのに役立ちます。必須行列は、基本行列と次の式で関連しています。 ${\displaystyle \mathbf {F} }$${\displaystyle \mathbf {K} }$${\displaystyle \mathbf {K} '}$

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} .}$

この導出は Longuet-Higgins の論文に従っています。

2台の正規化されたカメラが3Dの世界をそれぞれの画像平面に投影します。点Pの3D座標を各カメラの座標系に対してとします。カメラは正規化されているため、対応する画像座標は ${\displaystyle (x_{1},x_{2},x_{3})}$${\displaystyle (x'_{1},x'_{2},x'_{3})}$

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$   そして   ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}$

2つの画像座標の同次表現は次のように表される。

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$   そして   ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

これは次のように簡潔に書くこともできる。

${\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}$   そして   ${\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}$

ここで、 および は2D 画像座標の同次表現であり、および は適切な 3D 座標ですが、2 つの異なる座標系にあります。 ${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} '}$${\displaystyle {\tilde {\mathbf {x} }}}$${\displaystyle {\tilde {\mathbf {x} }}'}$

正規化されたカメラのもう1つの結果は、それぞれの座標系が平行移動と回転によって関連していることです。これは、2つの3D座標セットが次のように関連していることを意味します。

${\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}$

ここで、は回転行列であり、は 3 次元の並進ベクトルです。 ${\displaystyle \mathbf {R} }$${\displaystyle 3\times 3}$${\displaystyle \mathbf {t} }$

必須行列は次のように定義されます。

ここで、 はとのクロス積の行列表現です。注: ここで、変換により、2 番目のビューの点が 1 番目のビューに変換されます。 ${\displaystyle [\mathbf {t} ]_{\times }}$${\displaystyle \mathbf {t} }$${\displaystyle [\mathbf {R} ^{T}|\mathbf {t} ]}$

の定義では、正規化された画像座標の方向のみに関心があります^[1] (三重積も参照)。そのため、画像座標を基本方程式に代入するときには、平行移動コンポーネントは必要ありません。 のこの定義が、対応する画像座標に対する制約を記述していることを確認するには、2つの異なる座標系における 点Pの3D座標を左と右から乗算します。${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$

${\displaystyle {\tilde {\mathbf {x} }}'^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}$

1. との間の上記の関係と および の定義をおよびに関して挿入します。${\displaystyle {\tilde {\mathbf {x} }}'}$${\displaystyle {\tilde {\mathbf {x} }}}$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$
2. ${\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }$は回転行列だからです。${\displaystyle \mathbf {R} }$
3. 外積の行列表現の特性。

最後に、との両方が0より大きいと仮定できます。そうでない場合は、両方のカメラで見えません。これは次のようになります。 ${\displaystyle x_{3}}$${\displaystyle x'_{3}}$

${\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

これは、対応する画像ポイント間で必須マトリックスが定義する制約です。

一部のステレオ カメラでは、すべての任意の行列が必須行列になるわけではありません。これを確認するには、必須行列が 1 つの回転行列と 1 つの歪対称行列(両方とも )の行列積として定義されていることに注意してください。歪対称行列には、等しい 2 つの特異値と 0 の特異値がなければなりません。回転行列を乗算しても特異値は変化しません。つまり、必須行列にも等しい 2 つの特異値と 0 の 1 つの特異値があるということです。ここで説明するプロパティは、必須行列の 内部制約と呼ばれることもあります。${\displaystyle 3\times 3}$${\displaystyle 3\times 3}$

基本行列に非ゼロのスカラーを掛けると、その結果は再び基本行列となり、 とまったく同じ制約を定義します。これは、 を射影空間の要素として見ることができることを意味します。つまり、2 つのこのような行列は、一方が他方の非ゼロのスカラー乗算である場合に同等であると見なされます。これは、たとえば が画像データから推定される場合に適切な立場です。ただし、次のように定義される 立場を取ることもできます。${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }$

ここで、 は明確に定義された「スケーリング」を持ちます。 どの位置がより適切であるかは、アプリケーションによって異なります。 ${\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }$${\displaystyle \mathbf {E} }$

制約は次のように表現することもできる。

${\displaystyle \det \mathbf {E} =0}$

そして

${\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}$

ここで、最後の方程式は行列制約であり、各行列要素に 1 つずつ、計 9 つの制約として考えることができます。これらの制約は、対応する 5 つの点のペアから基本的な行列を決定するためによく使用されます。

基本行列は、射影要素として見るかどうかによって、5 または 6 の自由度を持ちます。回転行列と変換ベクトルはそれぞれ 3 つの自由度を持ち、合計で 6 つです。ただし、基本行列を射影要素として考える場合は、スカラー乗算に関連する 1 つの自由度を減算して、合計で 5 つの自由度を残す必要があります。 ${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

対応する画像ポイントのセットが与えられれば、セット内のすべてのポイントの定義エピポーラ制約を満たす必須行列を推定することができます。ただし、画像ポイントがノイズの影響を受ける場合 (これは実際の状況ではよくあることです)、すべての制約を正確に満たす必須行列を見つけることはできません。

各制約に関連する誤差の測定方法に応じて、対応する画像ポイントの特定のセットの制約を最適に満たす必須マトリックスを決定または推定することができます。最も簡単な方法は、一般に8 ポイント アルゴリズムと呼ばれる合計最小二乗問題を設定することです。

ステレオ カメラ ペアの基本行列が決定されている場合 (たとえば、上記の推定方法を使用)、この情報を使用して、2 つのカメラの座標系間の回転と移動(スケーリングまで) を決定することもできます。これらの導出では、適切に決定されたスケーリングではなく、射影要素として扱われます。 ${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$

とを決定するための以下の方法は、のSVD を実行することに基づいています。Hartley と Zisserman の本を参照してください。^[2]また、たとえば Longuet-Higgins の論文に従って、SVD を使用せずに と を決定することも可能です。${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

のSVDは ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}}$

ここで、およびは直交行列であり、は対角行列で あり、${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$${\displaystyle 3\times 3}$${\displaystyle \mathbf {\Sigma } }$${\displaystyle 3\times 3}$

${\displaystyle \mathbf {\Sigma } ={\begin{pmatrix}s&0&0\\0&s&0\\0&0&0\end{pmatrix}}}$

の対角要素は、本質的な行列の内部制約に従って、2つの同一の値と1つのゼロ値で構成される 特異値です。定義${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {W} ={\begin{pmatrix}0&-1&0\\1&0&0\\0&0&1\end{pmatrix}}}$   と   ${\displaystyle \mathbf {W} ^{-1}=\mathbf {W} ^{T}={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}}$

そして次の仮定を立てる

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}}$

${\displaystyle \mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}}$

現実世界のデータ（カメラ画像など）を扱う場合、制約を完全に満たすことができない可能性が あるため、代替案として${\displaystyle \mathbf {\Sigma } }$

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}}$   と   ${\displaystyle \mathbf {Z} ={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&0\end{pmatrix}}}$

役に立つかもしれません。

まず、およびのこれらの式は、本質的な行列の定義式を満たしている。 ${\displaystyle \mathbf {R} }$${\displaystyle [\mathbf {t} ]_{\times }}$

${\displaystyle [\mathbf {t} ]_{\times }\,\mathbf {R} =\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}=\mathbf {E} }$

第二に、これは何らかの に対する外積の行列表現であることを示す必要がある。 ${\displaystyle [\mathbf {t} ]_{\times }}$${\displaystyle \mathbf {t} }$

${\displaystyle \mathbf {W} \,\mathbf {\Sigma } ={\begin{pmatrix}0&-s&0\\s&0&0\\0&0&0\end{pmatrix}}}$

は歪対称な場合、すなわち である。これは の場合にも当てはまる。 ${\displaystyle \mathbf {W} \,\mathbf {\Sigma } }$${\displaystyle (\mathbf {W} \,\mathbf {\Sigma } )^{T}=-\mathbf {W} \,\mathbf {\Sigma } }$${\displaystyle [\mathbf {t} ]_{\times }}$

${\displaystyle ([\mathbf {t} ]_{\times })^{T}=\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma } )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\times }}$

外積の行列表現の一般的な特性によれば、 は正確に 1 つのベクトルの外積演算子でなければならないことがわかります。 ${\displaystyle [\mathbf {t} ]_{\times }}$${\displaystyle \mathbf {t} }$

3 番目に、 に対する上記の式が回転行列であることも示さなければなりません。これは、すべて直交する 3 つの行列の積であり、つまり も直交するか であることを意味します。適切な回転行列であるためには、 も満たす必要があります。この場合、は射影要素と見なされるため、これは必要に応じて の符号を反転することで実現できます。 ${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {R} }$${\displaystyle \det(\mathbf {R} )=\pm 1}$${\displaystyle \det(\mathbf {R} )=1}$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$

これまでのところ、との1つの可能な解がを前提として確立されています。しかし、それは唯一の可能な解ではなく、実用的な観点からは有効な解ではないかもしれません。まず、 のスケーリングは定義されていないため、 のスケーリングも定義されていません。は のヌル空間に存在する必要があります。${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} \,\mathbf {t} =\mathbf {R} \,[\mathbf {t} ]_{\times }\,\mathbf {t} =\mathbf {0} }$

しかし、その後の解の解析では、 の正確なスケーリングは、その「符号」、つまりそれがどの方向を向いているかほど重要ではありません。を のヌル空間内の正規化されたベクトルとします。このとき、と は両方とも に対する有効な並進ベクトルとなります。および上の導出でを に変更することも可能です。並進ベクトルの場合、これによって生じるのは符号の変更のみであり、これはすでに可能性として説明しました。一方、回転の場合、少なくとも一般的な場合には、異なる変換が行われます。 ${\displaystyle \mathbf {t} }$${\displaystyle {\hat {\mathbf {t} }}}$${\displaystyle \mathbf {E} }$${\displaystyle {\hat {\mathbf {t} }}}$${\displaystyle -{\hat {\mathbf {t} }}}$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {W} ^{-1}}$${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

要約すると、この基本マトリックスには2 つの反対方向と 2 つの異なる回転が可能であり、この基本マトリックスと互換性があります。合計で、2 つのカメラ座標系間の回転と変換のソリューションのクラスは 4 つあります。さらに、選択した変換方向のスケーリングも不明です。 ${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {t} }$${\displaystyle s>0}$

しかし、実際には 4 つのソリューション クラスのうち 1 つしか実現できないことが判明しました。対応する画像座標のペアが与えられると、3 つのソリューションでは常に2 台のカメラのうち少なくとも 1 台の背後にある 3D ポイントが生成され、そのため見えなくなります。4 つのクラスのうち 1 つだけが、常に両方のカメラの前にある 3D ポイントを生成します。これが正しいソリューションであるはずです。ただし、それでも、変換コンポーネントに関連する正のスケーリングは未確定です。

上記のおよびの決定は、 が基本行列の内部制約を満たすことを前提としています。 が実際の（ノイズの多い）画像データから推定された場合など、これが当てはまらない場合は、 が内部制約をほぼ満たしていると想定する必要があります。次に、最小の特異値に対応する の右特異ベクトルとしてベクトルが選択されます。 ${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle {\hat {\mathbf {t} }}}$${\displaystyle \mathbf {E} }$

基本的な行列がわかっていて、対応する回転変換と平行移動変換が決定されている場合、 対応する正規化された画像座標とを計算する方法は多数存在します。${\displaystyle (x_{1},x_{2},x_{3})}$${\displaystyle (y_{1},y_{2})}$${\displaystyle (y'_{1},y'_{2})}$

• バンドル調整
• エピポーラ幾何学
• 基本行列
• 幾何学的カメラキャリブレーション
• 三角測量（コンピュータービジョン）
• 三焦点テンソル

• MATLAB での必須行列推定 (Manolis Lourakis)。

• RI ハートリーによるエッセンシャル マトリックスの調査