カメラによる切除

カメラ再断面化は、特定の写真やビデオを作成したカメラを近似するピンホール カメラ モデルのパラメータを推定するプロセスです。これにより、結果として得られる画像の各ピクセルに関連付けられている入射光線が決定されます。基本的に、このプロセスではピンホール カメラの 姿勢が決定されます。

通常、カメラ パラメータは、カメラ マトリックスと呼ばれる3 × 4 の投影マトリックスで表されます。外部パラメータはカメラのポーズ(位置と方向) を定義し、内部パラメータはカメラの画像形式 (焦点距離、ピクセル サイズ、画像の原点) を指定します。

このプロセスは、幾何学的カメラ キャリブレーションまたは単にカメラ キャリブレーションと呼ばれることがよくありますが、この用語は測光カメラ キャリブレーションを指す場合や、内部パラメータの推定のみに限定される場合もあります。外部標定と内部標定は、それぞれ外部パラメータと内部パラメータのみの決定を指します。

従来のカメラ キャリブレーションでは、シーン内に特別なオブジェクトが必要ですが、カメラの自動キャリブレーションでは必要ありません。カメラの再分割は、2 台のカメラのカメラ投影マトリックスを使用して両方のカメラから見た点の 3D ワールド座標を計算する ステレオ ビジョンのアプリケーションでよく使用されます。

カメラ投影行列は、カメラの固有パラメータと外部パラメータから導出され、多くの場合、一連の変換（カメラの固有パラメータの行列、3 × 3回転行列、および変換ベクトルなど）によって表されます。カメラ投影行列は、カメラの画像空間内の点を 3D ワールド空間内の位置と関連付けるために使用できます。

このコンテキストでは、ピクセル座標で 2D ポイントの位置を表すためにを使用し、ワールド座標で 3D ポイントの位置を表すために を使用します。どちらの場合も、それらは同次座標で表されます (つまり、慣例により、最初は 1 である追加の最後のコンポーネントがあります)。これは、ロボット工学と剛体変換で最も一般的な表記法です。 ${\displaystyle [u\ v\ 1]^{T}}$${\displaystyle [x_{w}\ y_{w}\ z_{w}\ 1]^{T}}$

ピンホール カメラ モデルを参照すると、カメラ マトリックスは、 ワールド座標からピクセル座標への投影マッピングを表すために使用されます。 ${\displaystyle M}$

${\displaystyle {\begin{bmatrix}wu\\wv\\w\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}}$

ここで、慣例により、はカメラのピクセルの x 座標と y 座標であり、は以下に説明する内部行列であり、は以下に説明する外部行列を形成します。は、ワールド座標でカメラ センサーに当たる光線のソースの座標で、ワールドの原点を基準としています。行列積を で割ると、ピクセル座標の理論値が求められます。 ${\displaystyle M=K\,{\begin{bmatrix}R&T\end{bmatrix}}}$${\displaystyle u,v}$${\displaystyle K}$${\displaystyle R\,T}$${\displaystyle x_{w},y_{w},z_{w}}$${\displaystyle w}$

${\displaystyle K={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}}$

には、特定のカメラ モデルの 5 つの固有パラメータが含まれています。これらのパラメータには、焦点距離、イメージ センサー フォーマット、カメラの主点が含まれます。パラメータとはピクセル単位での焦点距離を表します。ここで、 と は投影面上のピクセルの幅と高さの逆数であり、は距離単位での 焦点距離です。 ^{[1] は} x 軸と y 軸の間のスキュー係数を表し、多くの場合 0 です。 と は主点を表し、理想的には画像の中心にあります。 ${\displaystyle K}$${\displaystyle \alpha _{x}=f\cdot m_{x}}$${\displaystyle \alpha_{y}=f\cdotm_{y}}$${\displaystyle m_{x}}$${\displaystyle m_{y}}$${\displaystyle f}$ ${\displaystyle \gamma}$${\displaystyle u_{0}}$${\displaystyle v_{0}}$

レンズ歪みなどの非線形固有パラメータも重要ですが、固有パラメータ マトリックスによって記述される線形カメラ モデルに含めることはできません。多くの最新のカメラ キャリブレーション アルゴリズムでは、これらの固有パラメータも非線形最適化手法の形で推定します。これは、一般にバンドル調整と呼ばれる形でカメラと歪みパラメータを最適化する形で行われます。

${\displaystyle {}{\begin{bmatrix}R_{3\times 3}&T_{3\times 1}\\0_{1\times 3}&1\end{bmatrix}}_{4\times 4}}$

${\displaystyle R,T}$は、3D ワールド座標から 3D カメラ座標への座標系変換を表す外部パラメータです。同様に、外部パラメータは、ワールド座標におけるカメラの中心の位置とカメラの向きを定義します。は、カメラ中心の座標系の座標で表されたワールド座標系の原点の位置です。は、誤ってカメラの位置であると考えられることがよくあります。ワールド座標で表されたカメラの位置 は、 ( は回転行列であるため) です。${\displaystyle T}$${\displaystyle T}$${\displaystyle C}$${\displaystyle C=-R^{-1}T=-R^{T}T}$${\displaystyle R}$

カメラのキャリブレーションは、コンピューター ビジョンの初期段階でよく使用されます。

カメラを使用すると、環境からの光が画像平面上に焦点を合わせて撮影されます。このプロセスにより、カメラが取り込むデータの次元が 3 次元から 2 次元に削減されます (3D シーンからの光は 2D 画像に保存されます)。したがって、画像平面上の各ピクセルは、元のシーンからの光の束に対応します。

特定のカメラ設定の固有パラメータと外部パラメータを計算するには、さまざまな方法があります。最も一般的な方法は次のとおりです。

1. 直接線形変換（DLT）法
2. 張氏の方法
3. 蔡氏の方法
4. セルビー法（X線カメラ用）

Zhang 法^{[2] [3]}は、従来のキャリブレーション手法 (既知のキャリブレーション ポイント) と自己キャリブレーション手法 (異なる位置にあるキャリブレーション ポイント間の対応) を使用するカメラ キャリブレーション手法です。Zhang 法で完全なキャリブレーションを実行するには、ゲージまたはカメラ自体を移動して、キャリブレーション ターゲット/ゲージの少なくとも 3 つの異なる画像が必要です。一部の固有パラメータがデータとして与えられている場合 (画像の直交性または光学中心座標)、必要な画像の数は 2 つに減らすことができます。

最初のステップでは、DLT法を使用して、キャリブレーションターゲットと画像平面間の推定投影行列の近似値を決定します。^[4]次に、自己キャリブレーション技術を適用して、絶対円錐行列の画像を取得します。^[5] Zhangの方法の主な貢献は、キャリブレーションターゲットのポーズが与えられた場合に、制約付き固有行列を、インスタンスとキャリブレーションパラメータとともに抽出する方法です。 ${\displaystyle H}$${\displaystyle n}$${\displaystyle K}$${\displaystyle n}$${\displaystyle R}$${\displaystyle T}$

「プローブ平面」上の点を画像上の 点にマッピングするホモグラフィが あると仮定します。${\displaystyle {\textbf {H}}}$${\displaystyle x_{\pi }}$${\displaystyle \pi }$${\displaystyle x}$

円形の点は、プローブ平面と絶対円錐 の両方にあります。 上にあるということは、もちろん、絶対円錐 (IAC) の像にも投影されることを意味します。したがって、および です。円形の点は次のように投影されます。 ${\displaystyle I,J={\begin{bmatrix}1&\pm j&0\end{bmatrix}}^{\mathrm {T} }}$${\displaystyle \pi }$${\displaystyle \Omega _{\infty }}$${\displaystyle \Omega _{\infty }}$${\displaystyle \omega }$${\displaystyle x_{1}^{T}\omega x_{1}=0}$${\displaystyle x_{2}^{T}\omega x_{2}=0}$

${\displaystyle {\begin{aligned}x_{1}&={\textbf {H}}I={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\end{aligned}}}$。

実際には、次のように新しい式を代入しながら無視することができます。 ${\displaystyle x_{2}}$${\displaystyle x_{1}}$

${\displaystyle {\begin{aligned}x_{1}^{T}\omega x_{1}&=\left(h_{1}+jh_{2}\right)^{T}\omega \left(h_{1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right)\omega \left(h_{1}+jh_{2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\omega h_{2}\right)\\&=0\end{aligned}}}$

カメラのキャリブレーションにおける重要な方法である Tsai のアルゴリズムには、3D 空間におけるカメラの向きと位置を正確に判断するための詳細な手順がいくつか含まれています。この手順は技術的ではありますが、一般的に 3 つの主要な段階に分けることができます。

このプロセスは、一連の画像がカメラで撮影される初期キャリブレーション段階から始まります。これらの画像には、チェッカーボードのような既知のキャリブレーションパターンが含まれていることが多く、焦点距離や光学中心などのカメラの固有パラメータを推定するために使用されます。 ^[6]

初期キャリブレーションに続いて、アルゴリズムは姿勢推定を実行します。これには、シーン内の既知のオブジェクトに対するカメラの位置と方向の計算が含まれます。このプロセスでは通常、キャリブレーション パターン内の特定のポイントを識別し、カメラの回転ベクトルと移動ベクトルを解く必要があります。

最後の段階はパラメータの改良です。この段階では、アルゴリズムはレンズ歪み係数を改良し、放射状および接線方向の歪みに対処します。さらに、内部および外部のカメラパラメータの最適化を実行して、キャリブレーションの精度を高めます。

この構造化されたアプローチにより、Tsai のアルゴリズムは、ロボット工学および産業計測学における学術研究と実用化の両方において極めて重要な技術として位置付けられています。

セルビーのカメラキャリブレーション法^[7]は、X線カメラシステムの自動キャリブレーションを扱っています。X線発生管と固体検出器で構成されるX線カメラシステムは、9つの内在的および外在的なカメラパラメータを含むピンホールカメラシステムとしてモデル化できます。任意のX線画像と参照モデル（断層データセットとして）に基づく強度ベースの登録は、特別なキャリブレーションボディやグラウンドトゥルースデータを必要とせずに、相対的なカメラパラメータを決定するために使用できます。

• 3D姿勢推定
• 拡張現実
• 拡張仮想世界
• 8点アルゴリズム
• 複合現実
• ピンホールカメラモデル
• パースペクティブ・アンド・ポイント
• 有理多項式の係数

• ソフトウェアによる張氏のカメラキャリブレーション法
• カメラキャリブレーション - ドイツ、ミュンヘン工科大学での拡張現実講義