画像補正

画像補正は、画像を共通の画像平面に投影するために使用される変換プロセスです。このプロセスにはいくつかの自由度があり、画像を共通の平面に変換する戦略は多数あります。画像補正は、コンピューターのステレオビジョンで、画像間の一致するポイントを見つける問題 (つまり、対応問題) を簡素化するために使用され、地理情報システム(GIS) では、複数の視点から撮影された画像を共通のマップ座標系に結合するために使用されます。

コンピュータ ステレオ ビジョンは、カメラの相対位置がわかっている 2 枚以上の画像を取り込み、異なる視点からオブジェクトを表示します。次に、各ピクセルについて、対応するシーン ポイントの深度 (カメラからの距離) を決定します。まず、他の画像で一致するピクセル (つまり、同じシーン ポイントを示すピクセル) を見つけ、次に見つかった一致に三角測量を適用して深度を決定します。ステレオ ビジョンでの一致の検索は、エピポーラ幾何学によって制限されます。別の画像の各ピクセルの一致は、エピポーラ線と呼ばれる線上でのみ見つけることができます。2 つの画像が共面である場合、つまり、右カメラが左カメラと比較して水平方向にのみオフセットされるように撮影された場合 (オブジェクトに向かって移動したり回転したりしていない)、各ピクセルのエピポーラ線は水平で、そのピクセルと同じ垂直位置にあります。ただし、一般的な設定 (カメラがオブジェクトに向かって移動したり回転したりする) では、エピポーラ線は斜めになっています。画像補正により、両方の画像が歪んで、水平方向の変位のみで撮影されたように見え、その結果、すべてのエピポーラ線が水平になり、ステレオ マッチング プロセスが若干簡素化されます。ただし、補正によってステレオ マッチング プロセスが根本的に変わるわけではないことに注意してください。補正前は斜めの線、補正後は水平の線を検索します。

画像補正もカメラの完全な共平面性と同等の（そしてより頻繁に使用される^[1]）代替手段です。高精度の機器であっても、カメラ間の完全な共平面性を維持することは非現実的である可能性があるため、通常は画像補正が実行されます。

画像の補正は一度に2枚の画像に対してのみ実行でき、2枚以上の画像を同時に補正することは通常不可能である。^[2]

補正する画像が幾何学的歪みのないカメラペアから撮影された場合、この計算は線形変換で簡単に行うことができます。XとYの回転により、画像は同じ平面に配置され、スケーリングにより画像フレームは同じサイズになり、Z回転と傾斜調整により、画像ピクセル行が直接整列します^[要出典]。カメラの厳密な配置は（キャリブレーションによって）知る必要があり、キャリブレーション係数が変換によって使用されます。^[3]

変換を実行する際に、カメラ自体が内部パラメータに対してキャリブレーションされている場合、基本行列がカメラ間の関係を提供します。より一般的なケース（カメラのキャリブレーションなし）は、基本行列によって表されます。基本行列が不明な場合は、ステレオ画像間の予備的な点の対応を見つけて、その抽出を容易にする必要があります。^[3]

^{画像補正アルゴリズムには、平面補正、 [4]、}円筒補正^[1]、極補正^{[5]、 [ 6] 、[7]}の3つの主要なカテゴリがあります。

すべての補正画像は以下の2つの特性を満たす: ^[8]

• すべてのエピポーラ線は水平軸に平行です。
• 対応する点は同一の垂直座標を持ちます。

元の画像ペアを補正された画像ペアに変換するには、射影変換 H を見つける必要があります。上記の 2 つの特性を満たすために、 Hに制約が課されます。たとえば、エピポーラ線が水平軸と平行になるように制約することは、エピポーラを同次座標の無限遠点[1,0,0] ^Tにマッピングする必要があることを意味します。これらの制約があっても、H には 4 つの自由度が残っています。^[9]また、画像ペアの 2 番目の画像を修正するために、一致するH' を見つける必要があります。HとH 'の選択が適切でないと、修正された画像のサイズが大幅に変更されたり、ひどく歪んだりする可能性があります。

各画像の射影変換H をすべての可能な解から選択するためのさまざまな戦略があります。 1 つの高度な方法は、補正された画像ペアの水平軸上の対応する点の視差または最小二乗差を最小化することです。^[9]別の方法は、H を特殊な射影変換、相似変換、およびせん断変換に分離して、画像の歪みを最小限に抑えることです。^[8] 1 つの簡単な方法は、両方の画像を回転させて、それらの集合的な光学中心を結ぶ線に対して垂直に見えるようにし、各画像の水平軸が他の画像の光学中心の方向を指すように光軸をねじり、最後に小さい方の画像を拡大縮小して線間の対応を一致させることです。^[2]このプロセスは、次の例で示されています。

この例のモデルは、各画像のピクセル座標のpとp'に対応する3D ポイントPを観測する画像のペアに基づいています。OとO ' は、既知のカメラ マトリックスを持つ各カメラの光学中心を表します(世界原点は最初のカメラにあると想定します)。ここでは、サンプル シーンから画像ペアを補正するHおよびH'射影変換を見つけるためのシンプルなアプローチについて簡単に説明し、その結果を示します。 ${\displaystyle M=K[I~0]}$${\displaystyle M'=K'[R~T]}$

まず、各画像の エピポールeとe'を計算します。

${\displaystyle e=M{\begin{bmatrix}O'\\1\end{bmatrix}}=M{\begin{bmatrix}-R^{T}T\\1\end{bmatrix}}=K[I~0]{\begin{bmatrix}-R^{T}T\\1\end{bmatrix}}=-KR^{T}T}$

${\displaystyle e'=M'{\begin{bmatrix}O\\1\end{bmatrix}}=M'{\begin{bmatrix}0\\1\end{bmatrix}}=K'[R~T]{\begin{bmatrix}0\\1\end{bmatrix}}=K'T}$

次に、最初の画像を回転させて、 OとO' を結ぶベースラインと平行にする射影変換H _{1 を}見つけます(2D 画像セットの行 2、列 1)。この回転は、元の光軸と目的の光軸の外積を使用して見つけることができます。^[2]次に、回転した画像をねじって水平軸がベースラインと揃うようにする射影変換H _{2 を}見つけます。正しく計算されていれば、この 2 番目の変換によって、 e がx 軸上の無限大にマッピングされるはずです (2D 画像セットの行 3、列 1)。最後に、を最初の画像を修正するための射影変換として 定義します。${\displaystyle H=H_{2}H_{1}}$

3番目に、同等の操作を通じて、2番目の画像（2D画像セットの列2）を修正するためのH'を見つけることができます。H ' ₁は、2番目の画像の光軸を最初の画像の変換された光軸と平行になるように回転させる必要があることに注意してください。1つの戦略は、2つの元の光軸が交差する線に平行な平面を選択して、再投影プロセスによる歪みを最小限に抑えることです。^[10]この例では、回転行列Rと初期射影変換Hを使用して、 H'を次のように定義します。 ${\displaystyle H'=HR^{T}}$

最後に、両方の画像をほぼ同じ解像度に拡大縮小し、水平になったエピポールを揃えて、対応部分の水平スキャンを容易にします (2D 画像セットの 4 行目)。

なお、このアルゴリズムや類似のアルゴリズムは、カメラパラメータ行列MとM'がなくても実行できます。必要なのは、基本行列とエピポールを計算するための7つ以上の画像間対応のセットだけです。^[9]

GISにおける画像の補正は、画像を標準的な地図座標系に変換します。これは、マッピングシステム内の地上コントロールポイント（GCP）を画像内のポイントに一致させることによって行われます。これらのGCPは必要な画像変換を計算します。^[11]

プロセスの主な困難は

• 地図上の点の正確さがよくわからない場合
• 画像に地図に対応する明確に識別可能な点がない場合。

補正画像で使用される地図は地形的ではありません。しかし、使用される画像には地形による歪みが含まれている可能性があります。画像のオルソ補正により、これらの影響も除去されます。^[11]

画像補正は、GIS ソフトウェア パッケージで利用できる標準機能です。

• Hartley, RI (1999). 「射影補正の理論と実践」.国際コンピュータビジョンジャーナル. 35 (2): 115–127. doi :10.1023/A:1008115206617. S2CID  406463.
• Pollefeys, Marc. 「極座標修正」2007-06-09閲覧。
• Shapiro, Linda G. ; Stockman, George C. (2001).コンピュータビジョン. Prentice Hall. pp. 580. ISBN 978-0-13-030796-5。

• ステレオビジョンのためのホモグラフィ修正の計算 (Charles Loop およびZhengyou Zhang著、1999 年 4 月 8 日) Microsoft Research
• コンピュータビジョン：アルゴリズムとアプリケーション、セクション 11.1.1「修正」、Richard Szeliski 著 (2010 年 9 月 3 日) Springer