対応の問題

対応問題とは、ある画像のどの部分が別の画像のどの部分に対応しているかを確認する問題を指します。^[1]ここでの違いは、カメラの動き、時間の経過、および/または写真内の物体の動きによるものです。

対応はコンピュータビジョンにおける基本的な問題です。影響力のあるコンピュータビジョン研究者である武雄金出氏は、コンピュータビジョンの3つの基本的な問題は「対応、対応、そして対応だ！」という有名な言葉を残しています。^{[2]実際、対応は、}オプティカルフロー（2つの画像が時間的に連続している）、高密度ステレオビジョン（2つの画像がステレオカメラペアから取得されている）、動きからの構造（SfM）とビジュアルSLAM（画像はシーンの異なるが部分的に重なり合うビューから取得されている）、シーン間対応（画像がまったく異なるシーンから取得されている）など、多くの関連アプリケーションにおける重要な構成要素であると言えます。

対応問題とは、異なる視点から撮影された同じ 3D シーンの 2 枚以上の画像がある場合、1 つの画像内の点の集合を別の画像内で同じ点として識別するタスクを指します。これを行うには、 1 つの画像内の点または特徴を別の画像内の点または特徴と一致させ、対応する点または対応する特徴(相同点または相同特徴とも呼ばれます) を確立します。画像は、異なる視点から、異なる時間に、またはシーン内のオブジェクトがカメラに対して一般的に動いている状態で撮影される場合があります。

対応問題は、同じシーンの 2 つの画像が使用されるステレオ状況で発生する可能性がありますが、N ビュー対応問題に一般化することもできます。後者の場合、画像は、同時に撮影する N 台の異なるカメラから取得されるか、シーンに対して移動する 1 台のカメラから取得されます。シーン内のオブジェクトがカメラに対して移動している場合、問題はさらに困難になります。

対応問題の典型的な応用例は、パノラマの作成や画像のつなぎ合わせ、つまり、重なりが小さい 2 枚以上の画像をつなぎ合わせて、より大きな合成画像を作成する場合です。この場合、1 つの画像を他の画像につなぎ合わせるために、画像の変換を計算するために、2 枚の画像内の対応する点のセットを識別できる必要があります。

2 つの画像間の対応関係を見つけるには、基本的に 2 つの方法があります。

相関ベース – ある画像内のある場所が別の画像内の別の場所のように見えるかどうかを確認します。

特徴ベース – 画像内の特徴を検出し、特徴のサブセットのレイアウトが 2 つの画像で類似しているかどうかを確認します。アパーチャの問題を回避するには、優れた特徴には 2 つの方向でローカルな変化が必要です。

コンピュータ ビジョンでは、対応問題は、コンピュータが画像のみを入力として自動的に解決する必要がある場合について研究されています。対応問題が解決され、対応する画像ポイントのセットが生成されると、このセットに他の方法を適用して、シーン内の対応する 3D ポイントの位置、動き、および/または回転を 再構築できます。

対応問題は、粒子画像速度測定技術の基礎でもあり、今日では流体力学の分野で流体の動きを定量的に測定するために広く使用されています。

セット A [1,2,3,4,5] とセット B [3,4,5,6,7] の対応関係を見つけるには、それらの重なり合う場所と、一方のセットがもう一方のセットからどれだけ離れているかを調べます。ここでは、セット A の最後の 3 つの数字がセット B の最初の 3 つの数字に対応していることがわかります。これは、B が A の左側に 2 オフセットされていることを示しています。

簡単な方法は、補正された画像間で小さなパッチを比較することです。これは、ほぼ同じ視点で同時に撮影された画像、またはステレオ画像のように画像キャプチャ間でシーンの動きがほとんどまたはまったくない画像に最適です。

小さなウィンドウが 1 つの画像内の複数の位置を通過します。各位置がチェックされ、他の画像の同じ位置とどの程度よく比較されるかが調べられます。1 つの画像内のオブジェクトが他の画像とまったく同じ画像位置にあるとは限らない場合、近くの複数の位置が比較されます。十分に適合しない可能性があります。これは、その特徴が両方の画像に存在しない、検索で考慮されたよりも遠くに移動した、変化が大きすぎる、または画像の他の部分によって隠れている、ということを意味している可能性があります。

• 立体視
• 視差
• 写真測量
• 奥行き知覚
• 立体視
• コンピュータービジョン
• 基本行列
• ジョイント互換性分岐限定アルゴリズム
• エピポーラ幾何学
• 画像登録
• バーチフィールド・トマジ類似度
• スケール不変特徴変換(SIFT)

• D. Scharstein および R. Szeliski。高密度 2 フレーム ステレオ対応アルゴリズムの分類と評価。(PDF)

• ミドルベリーステレオビジョンページ