コンピュータステレオビジョン

コンピュータ ステレオ ビジョンは、 CCD カメラで取得した画像などのデジタル画像から 3D 情報を抽出する技術です。2 つの視点からシーンに関する情報を比較し、2 つのパネル内のオブジェクトの相対的な位置を調べることで 3D 情報を抽出できます。これは、生物学的な立体視のプロセスに似ています。

従来のステレオ ビジョンでは、人間の両眼視に似た方法で、水平方向に互いにずれた 2 台のカメラを使用して、シーンの 2 つの異なるビューを取得します。これらの 2 つの画像を比較すると、対応する画像ポイントの水平座標の差をエンコードする視差マップの形式で相対的な奥行き情報を取得できます。この視差マップの値は、対応するピクセル位置でのシーンの奥行きに反比例します。

人間が 2 つの画像を比較するには、立体視装置で 2 つの画像を重ね合わせ、右カメラからの画像が観察者の右目に表示され、左カメラからの画像が左目に表示されなければなりません。

コンピュータビジョンシステムでは、いくつかの前処理手順が必要です。^[1]

1. まず、樽型歪みと接線方向歪みを除去して、画像を歪みのない状態にする必要があります。これにより、観察される画像が理想的なピンホール カメラの投影と一致することが保証されます。
2. 画像ペアの比較を可能にするには、画像を共通の平面に投影し直す必要があります。これを画像補正と呼びます。
3. 2 つの画像を比較する情報測定が最小化されます。これにより、2 つの画像内の特徴の位置の最適な推定値が得られ、視差マップが作成されます。
4. オプションとして、受信した視差マップを3D ポイント クラウドに投影します。カメラの投影パラメータを利用することで、ポイント クラウドを計算し、既知のスケールで測定値を提供できます。

アクティブ ステレオ ビジョンは、レーザーや構造化光などの光を積極的に使用してステレオ マッチングの問題を簡素化するステレオ ビジョンの一種です。これと対比される用語はパッシブ ステレオ ビジョンです。

• 従来の構造化光ビジョン（SLV）は、構造化光またはレーザーを使用し、プロジェクターとカメラの対応関係を見つけます。^{[2] [3]}
• 従来のアクティブステレオビジョン (ASV) では、構造化光またはレーザーが使用されますが、ステレオマッチングはパッシブステレオビジョンと同様に、カメラ間の対応に対してのみ実行されます。
• 構造化光ステレオ（SLS）は、カメラとカメラの対応とプロジェクターとカメラの対応の両方を利用するハイブリッド技術です。^[4]

3Dステレオディスプレイは、エンターテイメント、情報転送、自動化システムなど、さまざまな分野で応用されています。ステレオビジョンは、ロボット工学などの分野で、自律システムの近くにある3Dオブジェクトの相対位置に関する情報を抽出するために非常に重要です。ロボット工学の他の用途には、オブジェクト認識^[5]があります。オブジェクト認識では、奥行き情報によって、ロボットが他の基準では別々のオブジェクトとして区別できない、1つの椅子が別の椅子の前にあるなど、システムが遮蔽する画像コンポーネントを分離できます。

デジタルステレオビジョンの科学的応用には、航空調査からの情報抽出、等高線図の計算、さらには3D建物マッピング、写真測量衛星マッピング、 NASA STEREOプロジェクトで得られるような3D太陽測量情報の計算のための形状抽出などがあります。

ピクセルは位置の色を記録します。位置はピクセルのグリッド内の位置 (x, y) とピクセルの深さz によって識別されます。

立体視では、同じシーンを異なる位置から 2 つの画像で見ることができます。次の図では、点Aからの光がピンホール カメラの入口点BとDを通過して、画像スクリーンEとHに表示されます。

添付の図では、2つのカメラレンズの中心間の距離はBD = BC + CDです。三角形は相似であり、

• ACBとBFE
• ACDとDGH

${\displaystyle {\begin{aligned}{\text{したがって変位}}d&=EF+GH\\&=BF({\frac {EF}{BF}}+{\frac {GH}{BF}})\\&=BF({\frac {EF}{BF}}+{\frac {GH}{DG}})\\&=BF({\frac {BC+CD}{AC}})\\&=BF{\frac {BD}{AC}}\\&={\frac {k}{z}}{\text{、ここで}}\\\end{aligned}}}$

• k = BD BF
• z = AC はカメラ面から物体までの距離です。

したがって、カメラが水平で、画像平面が同じ平面上にあると仮定すると、2つの画像の同じピクセル間のy軸の変位は、

${\displaystyle d={\frac {k}{z}}}$

ここで、kは 2 台のカメラ間の距離にレンズから画像までの距離を掛けた値です。

2つの画像の奥行き成分はと で、次のように表される。 ${\displaystyle z_{1}}$${\displaystyle z_{2}}$

${\displaystyle z_{2}(x,y)=\min \left\{v:v=z_{1}(x,y-{\frac {k}{z_{1}(x,y)}})\right\}}$

${\displaystyle z_{1}(x,y)=\min \left\{v:v=z_{2}(x,y+{\frac {k}{z_{2}(x,y)}})\right\}}$

これらの式により、オブジェクトの表面上の 1 つの画像に見られるボクセルが、オブジェクトの表面上の別の画像に見られるより近いボクセルによって 遮られることが可能になります。

画像平面が同一平面でない場合は、画像が同一平面であるかのように調整するために、 画像補正が必要です。これは線形変換によって実現できます。

また、各画像を平面に投影したピンホール カメラから撮影した画像と同等にするために、画像の補正が必要になる場合もあります。

滑らかさは、色の類似性の尺度です。個別のオブジェクトには少数の色があるという仮定のもと、類似した色のピクセルは複数のオブジェクトに属するよりも、単一のオブジェクトに属する可能性が高くなります。

上で説明した滑らかさを評価する方法は、情報理論と、点間の距離の正規分布に従って、ボクセルの色の影響が近くのボクセルの色に影響を与えるという仮定に基づいています。このモデルは、世界に関する近似的な仮定に基づいています。

滑らかさに関する事前の仮定に基づく別の方法は、自己相関です。

滑らかさは、画像の固有の特性ではなく、世界の特性です。ランダムなドットで構成された画像には滑らかさがなく、隣接する点に関する推論は役に立ちません。

原理的には、滑らかさは、世界の他の特性と同様に、学習されるべきものです。これは、人間の視覚システムが行っていることのようです。^{[引用が必要]}

正規分布は

${\displaystyle P(x,\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$

確率はメッセージの長さ Lで表される情報量と関係があり、

${\displaystyle P(x)=2^{-L(x)}}$

${\displaystyle L(x)=-\log _{2}{P(x)}}$

それで、

${\displaystyle L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\log _{2}e}$

立体画像を比較する目的においては、相対的なメッセージ長のみが重要です。これに基づいて、差の二乗和（SSD）と呼ばれる 情報尺度Iは、

${\displaystyle I(x,\mu ,\sigma )={\frac {(x-\mu )^{2}}{\sigma ^{2}}}}$

どこ、

${\displaystyle L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+I(x,\mu ,\sigma ){\frac {\log _{2}e}{2}}}$

SSD では数値を二乗する処理に時間がかかることから、多くの実装では情報測定を計算する基準として絶対差の合計 (SAD) を使用します。その他の方法では正規化相互相関 (NCC) を使用します。

最小二乗法は、各点の深さが与えられた場合、立体画像の情報量を測定するために使用できます^[6]。まず、1つの画像を他の画像で表現するために必要な情報が導出されます。これはと呼ばれます。 ${\displaystyle z(x,y)}$${\displaystyle I_{m}}$

色の違いを公平に測定するには、色差関数を使用する必要があります。色差関数は、次のようにcdと表記されます。2つの画像間の色合わせを記録するために必要な情報の尺度は、

${\displaystyle I_{m}(z_{1},z_{2})={\frac {1}{\sigma _{m}^{2}}}\sum _{x,y}\operatorname {cd} (\operatorname {color} _{1}(x,y+{\frac {k}{z_{1}(x,y)}}),\operatorname {color} _{2}(x,y))^{2}}$

画像の滑らかさについて仮定が立てられています。2 つのピクセルが同じ色である可能性が高いと仮定すると、それらが表すボクセルが近いほど、この仮定はより正確になります。この尺度は、類似した色が同じ深度にグループ化されることを優先することを目的としています。たとえば、前方のオブジェクトが後方の空の領域を遮っている場合、滑らかさの尺度は、青いピクセルがすべて同じ深度にグループ化されることを優先します。

滑らかさの総合的な尺度は、ボクセル間の距離を色差の期待標準偏差の推定値として使用します。

${\displaystyle I_{s}(z_{1},z_{2})={\frac {1}{2\sigma _{h}^{2}}}\sum _{i:\{1,2\}}\sum _{x_{1},y_{1}}\sum _{x_{2},y_{2}}{\frac {\operatorname {cd} (\operatorname {color} _{i}(x_{1},y_{1}),\operatorname {color} _{i}(x_{2},y_{2}))^{2}}{(x_{1}-x_{2})^{2}+(y_{1}-y_{2})^{2}+(z_{i}(x_{1},y_{1})-z_{i}(x_{2},y_{2}))^{2}}}}$

総情報量は、

${\displaystyle I_{t}(z_{1},z_{2})=I_{m}(z_{1},z_{2})+I_{s}(z_{1},z_{2})}$

各ピクセルのZ成分は、情報量の最小値を与えるように選択する必要があります。これにより、各ピクセルの最も可能性の高い深度が得られます。最小の総情報量は、

${\displaystyle I_{\operatorname {min} }=\min {\{i:i=I_{t}(z_{1},z_{2})\}}}$

左画像と右画像の深度関数は、

${\displaystyle (z_{1},z_{2})\in \{(z_{1},z_{2}):I_{t}(z_{1},z_{2})=I_{\operatorname {min} }\}}$

最小化問題はNP完全です。つまり、この問題の一般的な解決法に到達するには長い時間がかかります。しかし、ヒューリスティックに基づいて妥当な時間で結果を近似するコンピュータ用の方法が存在します。また、ニューラルネットワークに基づく方法も存在します。^[7] 立体視の効率的な実装は、活発に研究されている分野です。

• 複数の画像からの3D再構築
• 3Dスキャナー
• 自動立体視
• コンピュータービジョン
• エピポーラ幾何学
• セミグローバルマッチング
• 動きからの構造
• ステレオカメラ
• 立体写真測量
• 立体視
• 立体的な奥行き表現
• スティクセル
• トリフォーカルテンソル- トリフォーカル立体視用（2 枚ではなく 3 枚の画像を使用）

• 非較正ステレオビジョンのチュートリアル
• MATLABでステレオビジョンについて学ぶ
• 惑星探査のためのステレオビジョンとローバーナビゲーションソフトウェア