距離イメージング

ステレオ三角測量は、ステレオカメラまたはマルチカメラシステムを使用して取得したデータからピクセルの深度データを決定するステレオ写真測量の応用です。この方法により、例えば焦点間の線の中心点から、シーン内の点の深度を決定することが可能です。ステレオカメラシステムを使用して深度測定問題を解決するには、まず異なる画像間で対応する点を見つける必要があります。この対応付け問題の解決は、この種の技術を使用する際の主要な問題の一つです。例えば、均一な強度または色の領域内にある画像点の対応付け問題を解決するのは困難です。その結果、ステレオ三角測量に基づく距離イメージングでは、通常、マルチカメラで見えるすべての点のうちのごく一部についてのみ、信頼性の高い深度推定値が得られます。

この手法の利点は、測定がほぼ受動的であることです。つまり、シーンの照明に関して特別な条件を必要としません。ここで述べた他の手法は、対応関係の問題を解決する必要はありませんが、特定のシーン照明条件に依存します。

シーンを光のシートで照らすと、光源から見ると反射線が生成されます。シートの平面外の任意の点から見ると、線は通常曲線に見え、その正確な形状は、観察者と光源との距離、および光源と反射点との距離の両方に依存します。カメラ（多くの場合、高解像度カメラ）を使用して反射した光のシートを観察し、カメラと光源の両方の位置と向きを知ることで、反射点と光源またはカメラとの距離を決定することができます。

光源（通常はカメラも）またはカメラの前の被写体を移動させることで、被写体の深度プロファイルのシーケンスを生成できます。これらは2次元の距離画像として表現できます。

特殊な光パターン（構造化光）でシーンを照らすことで、反射光の単一画像のみを使用して奥行きを判定できます。構造化光は、水平線、垂直線、点、または市松模様のパターンで表現できます。ライトステージは基本的に、反射光の取得を目的として開発された汎用的な構造化光測距装置です。

深度は、レーダーとほぼ同じように、標準的な飛行時間（ToF）技術を使用して測定することもできます。これは、RFパルスの代わりに光パルスを使用する点を除けば、レーダー画像に似た距離画像を生成するという点で共通しています。また、回転レーザービームで点ごとにスキャンするのではなく、単一の光パルスでシーン全体をキャプチャするという点で、 LIDARと似ています。飛行時間カメラは、専用のイメージセンサーでシーン全体を3次元でキャプチャする比較的新しいデバイスであり、可動部品は必要ありません。高速ゲーティング強化CCDカメラを備えた飛行時間レーザーレーダーは、サブミリメートル深度分解能を実現します。この技術では、短いレーザーパルスがシーンを照射し、強化CCDカメラは数百ピコ秒だけ高速シャッターを開きます。3D情報は、レーザーパルスとシャッターの開閉の間の遅延を増加させながら収集された2D画像シリーズから計算されます。^{[ 1 ]}

コヒーレント光で特定の点を照射し、光源に対する反射光の位相シフトを測定することで、深度を決定することが可能です。真距離画像が画像座標のほぼ連続関数であるという仮定の下では、位相アンラッピングと呼ばれる手法を用いて正確な深度を得ることができます。地上SAR干渉法を参照してください。

深度情報は、入射光が通過または遮断される特定の複雑な穴配置を持つ特殊なコード化開口パターンで撮影された画像の逆畳み込みによって、強度情報とともに部分的または全体的に推測されることがあります。開口部の複雑な形状により、レンズの焦点面にないシーンの部分の画像に不均一なぼかしが生じます。焦点面からのずれに関連するシーン全体のぼかしの程度を使用して、深度を推測することができます。^{[ 2 ]}

撮影した画像内のぼかしのサイズ（深度情報をデコードするために必要なもの）を特定するには、2つのアプローチが使用できます。1)撮影した画像をさまざまなぼかしでぼかし除去する、または 2) ぼかしの種類を識別する線形フィルタを学習する。

最初のアプローチでは、既知の開口設計パターンを考慮した正しい数学的逆畳み込みを使用します。この逆畳み込みにより、焦点外の光が選択的にキャプチャ面に当たることでシーンがどこでどの程度畳み込まれたかを特定し、そのプロセスを逆転させることができます。^{[ 3 ]}これにより、ぼやけのないシーンとぼやけの大きさを取得できます。

2番目のアプローチでは、ぼやけのない画像の復元をスキップしてぼやけの範囲を抽出するため、逆畳み込みは実行されません。主成分分析（PCA）ベースの手法を使用して、この方法はオフラインで、各サイズのぼやけを一意に識別するフィルタのバンクを学習します。これらのフィルタは、通常の畳み込みとして、キャプチャされた画像に直接適用されます。^{[ 4 ]}このアプローチの最も重要な利点は、符号化された開口パターンに関する情報が不要であることです。その効率性から、このアルゴリズムは、動いたり変形したりするオブジェクトを含むビデオシーケンスにも拡張されています。^{[ 5 ]}

ある点の奥行きは、シーン内の対応する点から発せられた光が開口部の表面全体に広がり、その広がりに応じて歪むことで生じるぼけの程度から推測されるため、これは複雑なステレオ三角測量の一種です。画像内の各点は、実質的に開口部の幅全体にわたって空間的にサンプリングされます。

この技術は最近、 iPhone Xに採用されました。サムスンの他の多くのスマートフォンやマイクロソフトのコンピューターもこの技術の採用を試みていますが、3Dマッピングは使用していません。