ホモグラフィ（コンピュータービジョン）

コンピューター ビジョンの分野では、空間内の同じ平面の任意の 2 つの画像は、ホモグラフィによって関連付けられます(ピンホール カメラ モデルを想定)。これは、画像修正、画像登録、または 2 つの画像間のカメラ モーション (回転と移動)など、多くの実用的なアプリケーションに使用されます。推定されたホモグラフィ マトリックスからカメラの再切除が行われると、この情報はナビゲーションに使用したり、3D オブジェクトのモデルを画像やビデオに挿入して、正しい視点でレンダリングし、元のシーンの一部であるように見せたりするために使用できます (拡張現実を参照)。

平面上の点を観測する2 台のカメラaとb があります。 bの投影からaの投影に移ると次のようになります。 ${\displaystyle P_{i}}$${\displaystyle {}^{b}p_{i}=\left({}^{b}u_{i};{}^{b}v_{i};1\right)}$${\displaystyle P_{i}}$${\displaystyle {}^{a}p_{i}=\left({}^{a}u_{i};{}^{a}v_{i};1\right)}$${\displaystyle P_{i}}$

${\displaystyle {}^{a}p_{i}={\frac {{}^{b}z_{i}}{{}^{a}z_{i}}}K_{a}\cdot H_{ab}\cdot K_{b}^{-1}\cdot {}^{b}p_{i}}$

ここで、およびは各カメラフレームにおけるPのz座標であり、ホモグラフィ行列は次のように与えられる。 ${\displaystyle {}^{a}z_{i}}$${\displaystyle {}^{b}z_{i}}$${\displaystyle H_{ab}}$

${\displaystyle H_{ab}=R-{\frac {tn^{T}}{d}}}$。

${\displaystyle R}$は、 b がaに対して回転する回転行列です。tは、aからbへの変換ベクトルです。nとd は、それぞれ平面の法線ベクトルと原点から平面までの距離です。K aとK _{b は、}カメラの固有パラメータ行列です。

この図は、カメラb が距離dにある平面を見ているところを示しています。注: 上の図から、平面モデルとして、が に沿ったベクトルの投影であり、 に等しいと仮定します。したがって、となります。また、となります。 ${\displaystyle n^{T}P_{i}+d=0}$${\displaystyle n^{T}P_{i}}$${\displaystyle P_{i}}$${\displaystyle n}$${\displaystyle -d}$${\displaystyle t=t\cdot 1=t\left(-{\frac {n^{T}P_{i}}{d}}\right)}$${\displaystyle H_{ab}P_{i}=RP_{i}+t}$${\displaystyle H_{ab}=R-{\frac {tn^{T}}{d}}}$

この式は、カメラb が回転も平行移動もしない場合にのみ有効です。一般的なケースでは、と はそれぞれカメラaとbの回転と平行移動であり、ホモグラフィ行列は次のようになります。 ${\displaystyle R_{a},R_{b}}$${\displaystyle t_{a},t_{b}}$${\displaystyle R=R_{a}R_{b}^{T}}$${\displaystyle H_{ab}}$

${\displaystyle H_{ab}=R_{a}R_{b}^{T}-{\frac {(-R_{a}*R_{b}^{T}*t_{b}+t_{a})n^{T}}{d}}}$

ここで、d はカメラbから平面まで の距離です。

ホモグラフィが計算される画像領域が小さい場合や、画像が大きな焦点距離で取得された場合、アフィンホモグラフィは画像変位のより適切なモデルです。アフィンホモグラフィは、最後の行が固定されている一般的なホモグラフィの特別なタイプです。

${\displaystyle h_{31}=h_{32}=0,\;h_{33}=1.}$

• 直接線形変換
• エピポーラ幾何学
• 機能（コンピュータビジョン）
• 基本マトリックス（コンピュータビジョン）
• ポーズ（コンピュータビジョン）
• 写真測量

• O. Chum、T. Pajdla、P. Sturm (2005)。「ホモグラフィの幾何学的誤差」(PDF)。コンピュータビジョンと画像理解。97 (1): 86–102。doi :10.1016/j.cviu.2004.03.004。

• homest は、マッチしたポイントペア (Manolis Lourakis) からの堅牢な非線形 ( Levenberg–Marquardt アルゴリズムに基づく) ホモグラフィ推定を行うGPL C / C++ライブラリです。
• OpenCVは、ホモグラフィ推定 (cvFindHomography) と再投影 (cvPerspectiveTransform) に関連する多くのルーチンを備えた完全な (オープンで無料の) コンピューター ビジョン ソフトウェア ライブラリです。

• Serge Belongie および David Kriegman (2007)「ホモグラフィ推定の説明」、カリフォルニア大学サンディエゴ校コンピューターサイエンスおよびエンジニアリング学部。
• A. Criminisi、I. Reid、A. Zisserman (1997)「平面測定装置」、§3 平面間のホモグラフィの計算、オックスフォード大学工学部ビジュアル幾何学グループより。
• Elan Dubrofsky (2009)「ホモグラフィ推定」、ブリティッシュコロンビア大学コンピューターサイエンス学部修士論文。
• Richard Hartley および Andrew Zisserman (2004)「Multiple View Geometry」(オックスフォードの Visual Geometry Group より)。ホモグラフィと基本行列を計算するためのMatlab関数が含まれています(コンピューター ビジョン)。
• YouTubeの Billy Kerr による「GIMP チュートリアル - パースペクティブ ツールの使用」 。GIMPを使用してパースペクティブ変換を行う方法を示します。
• Allan Jepson (2010) 平面ホモグラフィ、トロント大学コンピューターサイエンス学部。4 組の対応する点からの 2D ホモグラフィ、画像処理におけるモザイク、コンピューター ビジョンにおける遠近法の歪みの除去、コンピューター グラフィックスにおけるテクスチャのレンダリング、平面シャドウの計算などが含まれます。
• 平面転送ホモグラフィ シアトルのワシントン大学でのCSE576のコースノート。
• Etienne Vincent & Robert Laganiere (2000) 「画像ペアの平面ホモグラフィの検出」は、Wayback Machineで 2016-03-04 にアーカイブされています。オタワ大学情報技術工学部から 提供された画像内の平面を検出するためのアルゴリズムについて説明し、ランダム サンプル コンセンサス ( RANSAC ) 法を使用し、ヒューリスティックと反復処理について説明します。