レンジイメージング

レンジイメージングは​​、通常は何らかのタイプのセンサーデバイスに関連付けられた特定のポイントから シーン内のポイントまでの距離を示す 2D 画像を生成するために使用される一連の技術の名前です。

結果として得られる距離画像には、距離に対応するピクセル値が含まれます。距離画像を生成するために使用されるセンサーが適切に調整されている場合、ピクセル値はメートルなどの物理単位で直接指定できます。

距離画像を生成するために使用されるセンサー デバイスは、距離カメラまたは深度カメラと呼ばれることもあります。距離カメラはさまざまな技術に従って動作することができ、そのいくつかをここで紹介します。

ステレオ三角測量は、ステレオまたは複数カメラのセットアップシステムを使用して取得したデータからピクセルの深度データを決定するステレオ写真測量のアプリケーションです。この方法では、たとえば、焦点間の線の中心点からシーン内のポイントまでの深度を決定できます。ステレオ カメラ システムを使用して深度測定の問題を解決するには、まず異なる画像内の対応するポイントを見つける必要があります。対応問題を解決することは、この種の技術を使用する際の主な問題の 1 つです。たとえば、均一な強度または色の領域内にある画像ポイントの対応問題を解決するのは困難です。その結果、ステレオ三角測量に基づく距離イメージングでは、通常、複数のカメラで見えるすべてのポイントのサブセットに対してのみ信頼性の高い深度推定を生成できます。

この技術の利点は、測定が多かれ少なかれ受動的であり、シーンの照明に関して特別な条件を必要としないことです。ここで説明する他の技術は、対応問題を解決する必要はなく、代わりに特定のシーンの照明条件に依存します。

シーンが光のシートで照らされると、光源から見た反射線が作成されます。シートの平面のどの点から見ても、線は通常は曲線として現れ、その正確な形状は、観察者と光源の間の距離と、光源と反射点の間の距離の両方によって決まります。カメラ (多くの場合、高解像度カメラ) を使用して反射光のシートを観察し、カメラと光源の両方の位置と方向を知ることで、反射点と光源またはカメラの間の距離を判定できます。

光源 (通常はカメラも) またはカメラの前のシーンを移動することで、シーンの深度プロファイルのシーケンスを生成できます。これらは 2D 距離画像として表すことができます。

特別に設計された光パターン、構造化光でシーンを照らすと、反射光の単一の画像のみを使用して深度を判定できます。構造化光は、水平線、垂直線、点、またはチェッカーボードパターンの形をとることができます。ライトステージは基本的に、反射率キャプチャのジョブ用に作成された汎用構造化光範囲イメージングデバイスです。

深さは、標準的な飛行時間 (ToF) 技術を使用して測定することもできます。これは、RF パルスの代わりに光パルスが使用される点を除けば、レーダー画像に似た距離画像が生成される点で、多かれ少なかれレーダーに似ています。また、ToF はスキャナーレスである点を除けば、 LIDARと似ていません。つまり、回転するレーザー ビームでポイントごとに撮影するのではなく、シーン全体を 1 つの光パルスで撮影します。飛行時間カメラは、専用の画像センサーを使用してシーン全体を 3 次元で撮影する比較的新しいデバイスであるため、可動部品は必要ありません。高速ゲーティングの増倍 CCD カメラを備えた飛行時間レーザー レーダーは、サブ ミリメートルの深さ解像度を実現します。この技術では、短いレーザー パルスがシーンを照らし、増倍 CCD カメラが数百ピコ秒だけ高速シャッターを開きます。3D 情報は、レーザー パルスとシャッターの開閉の間の遅延が増加するにつれて収集された 2D 画像シリーズから計算されます。^[1]

コヒーレント光で点を照らし、光源に対する反射光の位相シフトを測定することで、深度を判定できます。実際の距離画像は画像座標の連続関数であるという仮定の下で、位相アンラッピングと呼ばれる手法を使用して正しい深度を取得できます。地上 SAR 干渉法を参照してください。

奥行き情報は、入射光を通過させたり遮断したりする穴の特定の複雑な配置を持つ特別に設計されたコード化された絞りパターンで撮影された画像の逆畳み込みによって、強度とともに部分的または全体的に推測することができます。絞りの複雑な形状により、レンズの焦点面以外のシーンの部分では画像が不均一にぼやけます。焦点面からの変位に関連するシーン全体のぼやけの程度を使用して、奥行きを推測することができます。^[2]

キャプチャされた画像内のぼかしのサイズ（深度情報をデコードするために必要なもの）を識別するには、1)さまざまなぼかしを使用してキャプチャされた画像のぼかしを除去する、または 2) ぼかしの種類を識別するいくつかの線形フィルターを学習するという 2 つの方法を使用できます。

最初のアプローチは、既知の絞り設計パターンを考慮した正しい数学的デコンボリューションを使用します。このデコンボリューションは、キャプチャ面に選択的に当たる焦点外の光によってシーンがどこでどの程度複雑になっているかを特定し、そのプロセスを逆転させることができます。^[3]したがって、ぼやけていないシーンをぼやけの大きさとともに取得できます。

2 番目のアプローチでは、ぼかしのない画像の復元を回避して、逆畳み込みを実行せずにぼかしの範囲を抽出します。主成分分析(PCA) ベースの技術を使用して、この方法では、ぼかしの各サイズを一意に識別するフィルター バンクをオフラインで学習します。これらのフィルターは、通常の畳み込みとして、キャプチャされた画像に直接適用されます。^[4]このアプローチの最も重要な利点は、コード化されたアパーチャ パターンに関する情報が不要であることです。その効率性により、このアルゴリズムは、移動して変形可能なオブジェクトを含むビデオ シーケンスにも拡張されています。^[5]

ポイントの深度は、シーン内の対応するポイントからの光が開口部の表面全体に広がり、この広がりに応じて歪むことで生じるぼかしの程度から推測されるため、これは複雑な形式のステレオ三角測量です。画像内の各ポイントは、開口部の幅全体にわたって空間的に効果的にサンプリングされます。

この技術は最近iPhone Xで使用されています。Samsung の他の多くの携帯電話やMicrosoftのコンピューターでもこの技術の使用が試みられていますが、3D マッピングは使用されていません。

• 3Dスキャナー
• 深度マップ
• 強化CCDカメラ
• キネクト
• レーザーダイナミックレンジイメージャー
• レーザー距離計
• ライダー
• ライトフィールドカメラ（プレノプティックカメラ）
• マトリックス シリーズのために開発されたオプティカル フロー技術は、対応問題に対する効果的なソリューションを提供し、仮想映画撮影を可能にします。
• 写真測量
• 動きからの構造
• 飛行時間カメラ

• Bernd Jähne (1997)。科学的応用のための画像処理の実践ハンドブック。CRC Press。ISBN 0-8493-8906-2。
• Linda G. Shapiroおよび George C. Stockman (2001)。コンピュータビジョン。Prentice Hall。ISBN 0-13-030796-3。
• David A. Forsyth および Jean Ponce (2003)。『コンピュータビジョン、現代的アプローチ』。Prentice Hall。ISBN 0-12-379777-2。