カメラマトリックス

コンピューター ビジョンでは、カメラマトリックスまたは(カメラ) 投影マトリックスは、ピンホール カメラによる世界の 3D ポイントから画像内の 2D ポイントへ のマッピングを記述するマトリックスです。${\displaystyle 3\times 4}$

を同次座標系での3D点の表現（4次元ベクトル）とし、をピンホールカメラでのこの点の像の表現（3次元ベクトル）とします。すると、次の関係が成り立ちます。 ${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$

${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

ここで はカメラ行列であり、符号は、非ゼロのスカラーによる乗算を除いて、左辺と右辺が等しいことを意味します。 ${\displaystyle \mathbf {C} }$${\displaystyle \,\sim}$${\displaystyle k\neq 0}$

${\displaystyle \mathbf {y} =k\,\mathbf {C} \,\mathbf {x} .}$

カメラ行列は 2 つの射影空間 の要素間のマッピングに関係するため、これも射影要素と見なすことができます。つまり、非ゼロのスカラーによる乗算は同等のカメラ行列となるため、カメラ行列の自由度は 11 しかありません。 ${\displaystyle \mathbf {C} }$

ピンホールカメラモデルによれば、3D点Pの座標から画像平面への点の投影の2D画像座標へのマッピングは次のように表される。

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$

ここで、はカメラ中心の座標系に対するPの 3D 座標、は結果として得られる画像の座標、f はカメラの焦点距離であり、f > 0 と仮定します。さらに、x ₃ > 0であるとも仮定します。 ${\displaystyle (x_{1},x_{2},x_{3})}$${\displaystyle (y_{1},y_{2})}$

カメラ行列を導出するには、上記の式を同次座標で書き直します。2D ベクトルの代わりに射影要素 (3D ベクトル) を考慮し、等式の代わりに で示される非ゼロ数によるスケーリングまでの等式を考慮します。まず、同次画像座標を通常の 3D 座標の式として記述します。 ${\displaystyle (y_{1},y_{2})}$${\displaystyle \mathbf {y} =(y_{1},y_{2},1)}$${\displaystyle \,\sim }$

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\begin{pmatrix}{\frac {f}{x_{3}}}x_{1}\\{\frac {f}{x_{3}}}x_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}}$

最後に、3D 座標も同次表現で表現され、カメラ マトリックスは次のようになります。 ${\displaystyle \mathbf {x} }$

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\,{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\1\end{pmatrix}}}$   または   ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

ここでカメラ行列は次のように与えられる。 ${\displaystyle \mathbf {C} }$

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}}$、

そして対応するカメラ行列は

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\sim {\begin{pmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{pmatrix}}}$

最後のステップは、それ自体が投影要素であること の結果です。${\displaystyle \mathbf {C} }$

ここで導出されたカメラ マトリックスは、非ゼロ要素がほとんど含まれていないという意味で、自明であるように見えるかもしれません。これは、3D および 2D ポイントに選択された特定の座標系に大きく依存します。ただし、実際には、以下に示すように、他の形式のカメラ マトリックスが一般的です。

前のセクションで導出されたカメラ行列は、ベクトルによって張られる ヌル空間を持っています${\displaystyle \mathbf {C} }$

${\displaystyle \mathbf {n} ={\begin{pmatrix}0\\0\\0\\1\end{pmatrix}}}$

これは、座標 (0,0,0) を持つ 3D ポイントの同次表現でもあります。つまり、「カメラの中心」(入射瞳、ピンホール カメラのピンホールの位置とも呼ばれます) はOにあります。つまり、カメラの中心 (この点のみ) は、カメラによって画像平面内の点にマッピングすることはできません (または、画像上のすべての光線がこの点を通過するため、画像上のすべての点にマッピングされます)。

となる他の任意の 3D 点については、結果は明確に定義され、形式は となります。これは、射影画像平面内の無限遠点に対応します(画像平面がユークリッド平面とされる場合、対応する交点は存在しません)。 ${\displaystyle x_{3}=0}$${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$${\displaystyle \mathbf {y} =(y_{1}\,y_{2}\,0)^{\top }}$

上記で導出されたカメラ行列は、 f = 1と仮定するとさらに簡略化できます。

${\displaystyle \mathbf {C} _{0}={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{pmatrix}}=\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)}$

ここで は単位行列を表します。ここでの行列は行列と 3 次元ベクトルの連結に分割されることに注意してください。カメラ行列は標準形式と呼ばれることもあります。 ${\displaystyle \mathbf {I} }$${\displaystyle 3\times 3}$${\displaystyle 3\times 4}$${\displaystyle \mathbf {C} }$${\displaystyle 3\times 3}$${\displaystyle \mathbf {C} _{0}}$

これまで、3D ワールドのすべてのポイントは、カメラ中心の座標系、つまりカメラの中心 (ピンホール カメラのピンホールの位置) を原点とする座標系で表現されてきました。ただし、実際には、3D ポイントは、任意の座標系 (X1'、X2'、X3') に対する相対座標で表現される場合があります。カメラ座標軸 (X1、X2、X3) と軸 (X1'、X2'、X3') がユークリッド型 (直交および等方性) であると仮定すると、2 つの座標系の間には一意のユークリッド 3D 変換 (回転および平行移動) が存在します。つまり、カメラは必ずしもZ軸に沿って原点にあるとは限りません。

3D座標の回転と平行移動の2つの操作は、2つの行列 として表すことができます。${\displaystyle 4\times 4}$

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {0} \\\hline \mathbf {0} &1\end{array}}\right)}$そして${\displaystyle \left({\begin{array}{c|c}\mathbf {I} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

ここで、は回転行列、は 3 次元の並進ベクトルです。最初の行列を 3D ポイントの同次表現に掛けると、結果は回転されたポイントの同次表現となり、2 番目の行列は代わりに並進を実行します。2 つの操作を順番に実行すると、つまり最初に回転、次に並進 (既に回転された座標系で与えられた並進ベクトルを使用) すると、回転と並進を組み合わせた行列が得られます。 ${\displaystyle \mathbf {R} }$${\displaystyle 3\times 3}$ ${\displaystyle \mathbf {t} }$

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

とが、上記の2つの座標系(X1,X2,X3)と(X1',X2',X3')を関連付ける回転と平行移動であると 仮定すると、これは次のことを意味する。${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

${\displaystyle \mathbf {x} =\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '}$

ここで、座標系 (X1',X2',X3') における 点Pの同次表現です。${\displaystyle \mathbf {x} '}$

また、カメラ行列が で与えられると仮定すると、(X1,X2,X3)系の座標から同次画像座標へのマッピングは次のように表される。 ${\displaystyle \mathbf {C} _{0}}$

${\displaystyle \mathbf {y} \sim \mathbf {C} _{0}\,\mathbf {x} =\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)\,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)\,\mathbf {x} '}$

その結果、座標系（X1'、X2'、X3'）の点と画像座標を関連付けるカメラ行列は、

${\displaystyle \mathbf {C} _{N}=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

3D 回転行列と 3 次元変換ベクトルの連結。

このタイプのカメラ マトリックスは正規化カメラ マトリックスと呼ばれ、焦点距離 = 1 と想定され、画像座標は、原点が軸 X3 と画像平面の交点にあり、3D 座標系と同じ単位を持つ座標系で測定されます。結果として得られる画像座標は、正規化画像座標と呼ばれます。

再び、上で説明した正規化されたカメラ行列のヌル空間は、4次元ベクトルによって張られる。 ${\displaystyle \mathbf {C} _{N}}$

${\displaystyle \mathbf {n} ={\begin{pmatrix}-\mathbf {R} ^{-1}\,\mathbf {t} \\1\end{pmatrix}}={\begin{pmatrix}{\tilde {\mathbf {n} }}\\1\end{pmatrix}}}$

これもカメラの中心の座標で、今度は (X1',X2',X3') システムに相対的です。これは、最初に回転を適用し、次に 3 次元ベクトルに平行移動を適用することで確認でき、結果は 3D 座標 (0,0,0) の同次表現になります。 ${\displaystyle {\tilde {\mathbf {n} }}}$

これは、カメラ マトリックスが参照するのと同じ座標系を基準とした 3D 座標で表現されている場合、カメラの中心 (その同次表現) がカメラ マトリックスのヌル空間にあることを意味します。

正規化されたカメラ行列は次のように書ける。 ${\displaystyle \mathbf {C} _{N}}$

${\displaystyle \mathbf {C} _{N}=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &\mathbf {R} ^{-1}\,\mathbf {t} \end{array}}\right)=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &-{\tilde {\mathbf {n} }}\end{array}}\right)}$

ここで、(X1'、X2'、X3') システムを基準としたカメラの 3D 座標です。 ${\displaystyle {\tilde {\mathbf {n} }}}$

正規化されたカメラ行列によって生成されたマッピングが与えられると、結果として得られる正規化された画像座標は、任意の 2Dホモグラフィによって変換できます。これには、2D 変換と回転、スケーリング (等方性と異方性) だけでなく、一般的な 2D透視変換も含まれます。このような変換は、同次正規化画像座標を同次変換された画像座標にマッピングする行列として表すことができます。 ${\displaystyle 3\times 3}$${\displaystyle \mathbf {H} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} '}$

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {y} }$

上記の正規化された画像座標の式を3D座標に代入すると、次の式が得られます。

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {C} _{N}\,\mathbf {x} '}$

これは最も一般的なカメラマトリックスを生成する。

${\displaystyle \mathbf {C} =\mathbf {H} \,\mathbf {C} _{N}=\mathbf {H} \,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

• 3D投影
• カメラによる切除

• リチャード・ハートリー、アンドリュー・ジッサーマン (2003)。『コンピュータビジョンにおけるマルチビュージオメトリ』ケンブリッジ大学出版局。ISBN 0-521-54051-8。