エピポーラ幾何学

エピポーラ幾何学は、ステレオビジョンの幾何学です。2 台のカメラが 2 つの異なる位置から 3D シーンを見ると、3D ポイントと 2D 画像への投影の間には、画像ポイント間の制約につながるいくつかの幾何学的関係があります。これらの関係は、カメラをピンホール カメラ モデルで近似できるという仮定に基づいて導出されます。

下の図は、点Xを見ている 2 台のピンホール カメラを示しています。実際のカメラでは、画像平面は実際には焦点中心の後ろにあり、レンズの焦点中心に対して対称な画像を生成します。ただし、ここでは、焦点中心、つまり各カメラ レンズの光学中心の前に仮想画像平面を配置することで問題を簡略化し、対称性によって変形されていない画像を生成します。O _LとO _{R は、} 2 台のカメラ レンズの対称中心を表します。Xは、両方のカメラの関心点を表します。点x _Lと点x _{R は、点}Xを画像平面に 投影したものです。

各カメラは、3D 世界の 2D 画像を撮影します。この 3D から 2D への変換は透視投影と呼ばれ、ピンホール カメラ モデルで説明されます。この投影操作は、カメラから発せられ、その焦点の中心を通過する光線によってモデル化するのが一般的です。発せられる各光線は、画像内の 1 つの点に対応します。

カメラ レンズの光学中心は異なるため、各中心は他のカメラの画像平面内の異なる点に投影されます。e _Lとe _{Rで示されるこれらの 2 つの画像点は、}エピポールまたはエピポーラ点と呼ばれます。それぞれの画像平面内の両方のエピポールe _Lとe _Rと、両方の光学中心O _LとO _Rは、単一の 3D 線上にあります。

線O _L – Xは、カメラのレンズの光学中心と一直線上にあるため、左カメラでは点として見えます。しかし、右カメラでは、この線は画像平面上の線として見えます。右カメラの線 ( e _R – x _{R ) は}エピポーラ線と呼ばれます。対称的に、線O _R – Xは右カメラでは点として見え、左カメラでは エピポーラ線e _L – x _{Lとして見えます。}

エピポーラ線は、3D 空間における点Xの位置の関数です。つまり、 X が変化すると、両方の画像にエピポーラ線のセットが生成されます。3D 線 O _L – XはレンズO _Lの光学中心を通過するため、右側の画像の対応するエピポーラ線はエピポールe _Rを通過する必要があります(左側の画像のエピポーラ線も同様です)。1 つの画像内のすべてのエピポーラ線には、その画像のエピポーラ点が含まれます。実際、エピポーラ点を含む線はどれも、3D 点Xから導出できるため、エピポーラ線です。

別の視覚化として、エピポーラ平面と呼ばれる平面を形成する点X、O _{L 、}およびO _{R を}考えてみましょう。エピポーラ平面は各カメラの画像平面と交差し、線（エピポーラ線）を形成します。エピポーラ平面とすべてのエピポーラ線は、Xの位置に関係なく、エピポールと交差します。

2 台のカメラの相対的な位置がわかれば、次の 2 つの重要な観察結果が得られます。

• 投影点x _Lが既知で、エピポーラ線e _R - x _Rが既知であり、点X が右画像の点 x R に投影され、点x _Rはこの特定のエピポーラ線上にあると仮定します。これは、1 つの画像で観測される各点について、同じ点が別の画像の既知のエピポーラ線上に観測される必要があることを意味します。これにより、エピポーラ制約が提供されます。つまり、右カメラ平面x _Rへの X の投影は、e _R - x _Rエピポーラ線に含まれている必要があります。O L - X _L線上のすべての点 X、たとえばX ₁、X ₂、X ₃は、この制約を検証します。つまり、2 つの点が同じ 3D 点に対応するかどうかをテストできます。エピポーラ制約は_{、 2 台のカメラ間の}必須行列または基本行列によって記述することもできます。
• 点x _Lとx _Rが分かっている場合、それらの投影線も分かっています。2 つの画像点が同じ 3D 点Xに対応する場合、投影線はXで正確に交差する必要があります。つまり、2 つの画像点の座標からX を計算でき、このプロセスは三角測量と呼ばれます。

2 台のカメラ画像平面が一致する場合、エピポーラ幾何学は簡略化されます。この場合、エピポーラ線も一致します ( e _L – X _L = e _R – X _R )。さらに、エピポーラ線は投影の中心を結ぶ線O _L – O _Rに平行であり、実際には 2 つの画像の水平軸に揃えることができます。つまり、一方の画像の各点について、もう一方の画像内の対応する点は、水平線に沿って見るだけで見つけることができます。カメラをこのように配置できない場合は、カメラからの画像座標を変換して、共通の画像平面を持つようにエミュレートすることができます。このプロセスは、画像平行化と呼ばれます。

2次元CCDを使用する従来のフレームカメラとは対照的に、プッシュブルームカメラは1次元CCDの配列を採用し、「イメージカーペット」と呼ばれる長い連続画像ストリップを生成します。このセンサーのエピポーラ幾何学は、ピンホール投影カメラのエピポーラ幾何学とはまったく異なります。まず、プッシュブルームセンサーのエピポーラ線は直線ではなく、双曲線のような曲線です。次に、エピポーラ「曲線」ペアは存在しません。^[1]ただし、特定の条件下では、衛星画像のエピポーラ幾何学は線形モデルと見なすことができます。^[2]

• 3D再構築
• 複数の画像からの3D再構築
• 3Dスキャナー
• 両眼視差
• 共線性方程式
• 写真測量
• 必須行列、基本行列
• 三焦点テンソル

• リチャード・ハートリー、アンドリュー・ジッサーマン (2003)。『コンピュータビジョンにおけるマルチビュージオメトリ』ケンブリッジ大学出版局。ISBN 0-521-54051-8。

• Quang-Tuan Luong. 「エピポーラ幾何学の学習」。人工知能センター。SRIインターナショナル。2021年6月28日時点のオリジナルよりアーカイブ。 2007年3月4日閲覧。

• Robyn Owens . 「エピポーラ幾何学」. 2007-03-04閲覧。

• Linda G. Shapiroおよび George C. Stockman (2001)。コンピュータビジョン。Prentice Hall。pp. 395–403。ISBN 0-13-030796-3。

• Vishvjit S. Nalwa (1993)。コンピュータビジョンのガイドツアー。Addison Wesley。pp. 216–240。ISBN 0-201-54853-4。

• Roberto CipollaおよびPeter Giblin (2000)。曲線と表面の視覚的動き。ケンブリッジ大学出版局、ケンブリッジ。ISBN 0-521-63251-X。