Correspondence problem

立体視対応判定における最も重大なエラーの原因の一つは、シーン内に片方のカメラ視点からしか見えない領域が存在することです。これらのシーン領域がマッピングされる画像領域には、もう一方のステレオ画像に対応する要素が存在しません。これらの画像領域はオクルージョンと呼ばれます。対応判定中にオクルージョンが適切に考慮されない場合、アプローチに応じて多かれ少なかれ顕著な補正誤差が生じ、深度再構成が不正確になります。したがって、オクルージョンはステレオ画像処理における深刻な問題となります。^{[ 6 ]}

平行な光軸を持つステレオジオメトリでは、ステレオ画像ペア内の対応する画像点の変位は常にステレオベースに平行です。カメラジオメトリを正確に把握することで、視差の方向を事前に決定できるため、対応する画像点の探索が大幅に簡素化されます。ただし、ステレオベースの方向に構造や輝度変化がない画像領域は問題となります。この場合、対応する画像点の変位を検出できません。ステレオスコピーにおける変位の検出は通常、シーンの残りの部分を無視して局所的なオペレータによって行われるため、この問題は、モーション解析（オプティカルフロー）において特に重要な、いわゆるアパーチャ問題の特殊なケースとみなされます。^{[ 7 ]}

対応問題は、その特殊性から、他の多くの不適切問題と同様に、適切な事前知識を利用することによってのみ一意に解決できます。この事前知識を利用することで、解空間が適切に縮小され、問題は「適切」な問題に変換されます。^{[ 4 ]}解空間の制約は、一方では、使用されるカメラの画像処理と幾何学（エピポーラ制約と一意性制約）に関係し、他方では、観測シーンの想定される特性（連続性、順序、勾配制約）に関係します。

領域ベースの方法では、ステレオ画像の個々の画像領域は、グレースケール値またはピクセルの局所環境に基づいて割り当てられます。画像領域の対応関係は、通常、局所的な相互相関などの類似度尺度を計算することによって決定されます。最も単純なケースでは、左右の画像間で対応関係が最も高い画像領域のずれによって視差が生じます。これらの方法の中には、対応関係を決定する前に、各画像から特定の特性を持つ領域を最初に選択するために関心演算子を使用するものがあり、これらの領域はその後結合されます。^{[ 8 ]}

既存の立体視手法のほとんどは、特徴ベースの手法に分類できます。この手法では、まず画像データから、より抽象的なレベルで画像を記述する特徴を抽出します。次に、特徴レベルで対応分析を実行します。一般的に使用される特徴は、エッジ、線または頂点、エッジまたは線分です。画像信号からエッジや線などのグレースケールの変化を抽出する微分フィルタは、これらの手法において非常に重要な役割を果たします。^{[ 9 ]}

視差を測定するためのいわゆる位相ベースの方法の基礎は、フーリエ変換の変位定理です。しかし、ステレオ画像処理では、カメラシステムから異なる距離にある物体はステレオ画像で異なる視差値を示すため、画像間の純粋なグローバルシフトは一般的に不可能です。したがって、ステレオ画像ペアの対応する画像領域のシフトは、ローカル演算子を使用して決定する必要があり、位相相関は一般的に、より小さな画像領域に限定されたフーリエ変換と組み合わせてのみ意味を持ちます。位相ベースの方法の中で最も重要なのは、いわゆる位相差法です。これらの手法では、入力画像をフィルタリングするために使用される複素フィルタペアの応答から位相情報が導出されます。この方法の重要な要件は、フィルタ応答の位相が位置のほぼ線形関数であることです。この特性は、フィルタ伝達関数にオフセットがなく、負の周波数でゼロになる場合に実現できます。この特性は直交性と呼ばれます。^{[ 10 ]}位相情報はフィルタ応答の振幅に対して不変であるため、位相ベースの方法は両眼照明やコントラストの違いに対しても比較的頑健です。ただし、位相計算の曖昧さのため、使用するフィルタの変調波長の半分までの視差値しか測定できません。他の多くのアプローチと同様に、位相ベースの方法も遮蔽に対して非常に敏感です。^{[ 6 ]}

一意性制約によれば、各ピクセルには 1 つの視差しか割り当てられず、したがって考慮される空間内の位置は最大で 1 つしか割り当てられません (半透明の表面は除外されます)。ただし、どの局所的または特徴ベースの方法でも曖昧さを排除することはできません (ステレオ画像で最も類似した領域が必ずしも一緒に属するとは限りません)。この問題を解決するために、アプローチに応じてさまざまな方法が使用されます。いわゆる正則化法では、制約 (基本事項を参照) を考慮してコスト関数またはエネルギー関数が定式化され、これらの関数内でグローバル最小値が求められます。もう 1 つのアプローチは緩和法です。ステレオスコピーでこの方法を適用するほとんどのアプローチでは、まず画像データから特徴または特別な特性を持つ画像領域が抽出されます。次に、これらの要素が存在する画像座標にいわゆるノードが割り当てられます。これらの各ノードには、さらに一連の変数が備わり、それぞれが対応するノードと他の画像のさまざまな要素との対応関係を表します。これらの変数は、アプローチに応じて、確率^{[ 1 ]}またはニューロン活動^{[ 4 ]} (ニューラルネットワーク) として解釈されます。実際の緩和プロセスの開始時に、変数は対応する特徴またはピクセル値の類似性に基づいて初期化されます。その後、変数の値は動的なプロセスで反復的に更新され、制約違反は抑制または減少効果をもたらし、制約への準拠は強化効果をもたらします。定常状態に達すると、明確な視差マップが得られます。適切な結合を使用することで、オクルージョンによって引き起こされる誤帰属もこの方法で抑制できます。^{[ 5 ]}