飛行時間カメラ

飛行時間型カメラ（ToFカメラ）は、飛行時間型センサー（ToFセンサー）とも呼ばれ、レーザーやLEDによって提供される人工光信号の往復時間である飛行時間に基づいて、画像の各ポイントについてカメラと被写体との間の距離を測定する距離画像 カメラシステムです。レーザーベースの飛行時間型カメラは、スキャナーレスLIDARのより広いクラスの一部であり、スキャン型LIDARシステムのようにレーザービームでポイントごとにキャプチャするのとは対照的に、シーン全体が各レーザーパルスでキャプチャされます。^[1] 民生用の飛行時間型カメラ製品は、半導体プロセスによってこのようなデバイスに十分な速さでコンポーネントを製造できるようになったため、2000年頃に登場し始めました。 ^[2]このシステムは、数センチメートルから数キロメートルまでの範囲をカバーします。

飛行時間型カメラ向けにいくつかの異なる技術が開発されています。

Photonic Mixer Devices (PMD) ^[3] 、 Swiss Ranger、およびCanestaVision ^[4]は、送信ビームをRFキャリアで変調し、受信側でそのキャリアの位相シフトを測定することによって機能します。このアプローチには、モジュール誤差の課題があります。測定された範囲は、RFキャリア波長を法とします。Swiss Rangerはコンパクトな短距離デバイスで、範囲は5メートルまたは10メートル、解像度は176 x 144ピクセルです。位相アンラッピングアルゴリズムを使用すると、最大の一意の範囲を増やすことができます。PMDは最大60メートルの範囲を提供できます。照明はレーザーではなくパルスLEDです。^[5] CanestaVisionの開発元であるCanestaは、2010年にMicrosoftに買収されました。Xbox One用のKinect2は、CanestaのToFテクノロジに基づいていました。

これらのデバイスには、イメージセンサーにシャッターが組み込まれており、光パルスが送信されるのと同じ速度で開閉します。ほとんどの飛行時間型 3D センサーは、メディナが発明したこの原理に基づいています。^[6]戻ってくるパルスの一部は、到着時間に応じてシャッターによってブロックされるため、受信される光の量はパルスが移動した距離に関係します。理想的なカメラの場合、距離は、z = R ( S ₂ − S ₁ ) / 2( S ₁ + S ₂ ) + R / 2 という式を使用して計算できます。Rはカメラの範囲で、光パルスの往復によって決まります。S 1_は受信される光パルスの量、S _{2 は}ブロックされる光パルスの量です。^{[6] [7]}

3DV SystemsのZCam ^[1]はレンジゲートシステムです。マイクロソフトは2009年に3DVを買収しました。マイクロソフトの第2世代Kinectセンサーは、Canestaと3DV Systemsから得た知識を活用して開発されました。^[8]

同様の原理は、フラウンホーファーマイクロ電子回路・システム研究所と TriDiCamが開発した ToF カメラ ラインでも使用されています。これらのカメラは、高速電子シャッターを備えた光検出器を採用しています。

ToFカメラの深度解像度は、超高速ゲーティング強化CCDカメラによって向上できます。これらのカメラは、200psまでのゲーティング時間を提供し、サブミリメートル深度解像度でのToFセットアップを可能にします。^[9]

レンジゲートイメージャーは、霧を通して見るなど、指定された距離範囲外のものを抑制するために2Dイメージングに使用することもできます。パルスレーザーが照明を提供し、光ゲートによって、必要な期間のみ光がイメージャーに到達します。^[10]

これらのデバイスは、単一のレーザーパルスがカメラから出て焦点面アレイに反射するのに必要な直接飛行時間を測定します。「トリガーモード」とも呼ばれるこの方法論を使用してキャプチャされた 3D 画像は、完全な空間および時間データを画像化し、単一のレーザーパルスで完全な 3D シーンを記録します。これにより、シーン情報の迅速な取得と迅速なリアルタイム処理が可能になります。時間に敏感な自律操作の場合、このアプローチは自律宇宙テスト^[11]や、 OSIRIS-RExベンヌ小惑星サンプルおよび帰還ミッション^[12]や自律ヘリコプター着陸で使用されている操作で実証されています。^{[13] [14]}

Advanced Scientific Concepts社は、3DフラッシュLIDARカメラとして知られる特定用途向け（航空、自動車、宇宙など）ダイレクトTOFビジョンシステム^[15]を提供しています。同社のアプローチでは、980nm～1600nmの波長のレーザーパルスを画像化できるInGaAsアバランシェフォトダイオード（APD）またはPIN光検出器アレイを利用しています。

飛行時間型カメラは次のコンポーネントで構成されています。

• 照明ユニット:シーンを照らします。位相検出器イメージャーを備えた RF 変調光源の場合、光は最大 100 MHz の高速で変調する必要があり、LEDまたはレーザー ダイオードのみ使用できます。ダイレクト TOF イメージャーの場合、フレームごとに 1 つのパルス (例: 30 Hz) が使用されます。照明は通常、目立たないように赤外線を使用します。
• 光学系:レンズは反射光を集め、周囲の環境をイメージセンサー (焦点面アレイ) に映し出します。光学バンドパス フィルターは、照明ユニットと同じ波長の光のみを通過させます。これにより、不要な光が抑制され、ノイズが低減されます。
• 画像センサー:これは TOF カメラの心臓部です。各ピクセルは、光が照明ユニット (レーザーまたは LED) から物体まで移動し、焦点面アレイに戻るまでにかかった時間を測定します。タイミングにはいくつかの異なるアプローチが使用されます。上記のデバイスの種類を参照してください。
• ドライバ エレクトロニクス:照明ユニットとイメージ センサーの両方を高速信号で制御し、同期させる必要があります。高解像度を得るには、これらの信号が非常に正確である必要があります。たとえば、照明ユニットとセンサー間の信号が 10ピコ秒だけずれると、距離は 1.5 mm 変化します。比較すると、現在のCPU は最大 3  GHzの周波数に達し、これは約 300 ps のクロック サイクルに相当します。これに対応する「解像度」はわずか 45 mm です。
• 計算/インターフェース:距離はカメラ内で直接計算されます。良好なパフォーマンスを得るために、いくつかのキャリブレーション データも使用されます。その後、カメラはUSBやEthernetなどのインターフェースを介して距離画像を提供します。

最もシンプルなタイムオブフライトカメラは、光パルスまたは単一の光パルスを使用します。照明は非常に短い時間オンにされ、その結果生じる光パルスがシーンを照らし、視野内の物体によって反射されます。カメラレンズは反射光を集め、それをセンサーまたは焦点面アレイに画像化します。距離に応じて、入射光は遅延を経験します。光の速度はおよそ c = 300,000,000 メートル/秒であるため、この遅延は非常に短く、2.5 メートル離れた物体は光を次のように遅延させます。^[17]

${\displaystyle t_{D}=2\cdot {\frac {D}{c}}=2\cdot {\frac {2.5\;\mathrm {m} }{300\;000\;000\;{\ frac {\mathrm {m} }{\mathrm {s} }}}}=0.000\;000\;016\;66\;\mathrm {s} =16.66\;\mathrm {ns} }$

振幅変調アレイの場合、照明のパルス幅によってカメラが処理できる最大範囲が決まります。たとえばパルス幅が50nsの場合、範囲は

${\displaystyle D_{\mathrm {max} }={\frac {1}{2}}\cdot c\cdot t_{0}={\frac {1}{2}}\cdot 300\;000\; 000\;{\frac {\mathrm {m} }{\mathrm {s} }}\cdot 0.000\;000\;05\;\mathrm {s} =\!\ 7.5\;\mathrm {m} }$

この短い時間は、照明ユニットがシステムの重要な部分であることを示しています。このような短いパルスを生成できるのは、特殊な LED またはレーザーだけです。

単一のピクセルは、光感知素子（例：フォトダイオード）で構成されます。これは、入射光を電流に変換します。アナログタイミングイメージャーでは、フォトダイオードに接続された高速スイッチが、合計要素として機能する2つ（または複数）のメモリ要素（例：コンデンサ）の1つに電流を導きます。デジタルタイミングイメージャーでは、数ギガヘルツで動作できる時間カウンタが各光検出器ピクセルに接続され、光が感知されるとカウントを停止します。

振幅変調アレイアナログタイマーの図では、ピクセルは2つのスイッチ（G1とG2）と2つのメモリ要素（S1とS2）を使用しています。スイッチは光パルスと同じ長さのパルスによって制御され、スイッチG2の制御信号は正確にパルス幅だけ遅延されます。遅延に応じて、光パルスの一部のみがG1を介してS1にサンプリングされ、他の部分はS2に格納されます。距離に応じて、S1とS2の比率は図に示すように変化します。^[4] 50 ns以内にセンサーに当たる光量はわずかであるため、1つだけでなく数千のパルスが送信され（繰り返し率tR）、収集され、信号対雑音比が向上します。

露光後、ピクセルが読み出され、次の段階で信号 S1 と S2 が測定されます。光パルスの長さが定義されているため、距離は次の式で計算できます。

${\displaystyle D={\frac {1}{2}}\cdot c\cdot t_{0}\cdot {\frac {S2}{S1+S2}}}$

この例では、信号の値は次のようになります: S1 = 0.66、S2 = 0.33。したがって、距離は次のようになります:

${\displaystyle D=7.5\;\mathrm {m} \cdot {\frac {0.33}{0.33+0.66}}=2.5\;\mathrm {m} }$

背景光がある場合、メモリ要素は信号の追加部分を受信します。これは距離測定を妨害します。信号の背景部分を除去するには、照明をオフにして測定全体をもう一度実行します。対象物が距離範囲よりも遠い場合、結果も間違っています。この場合、制御信号を追加のパルス幅で遅延させて 2 回目の測定を行うと、そのような対象物を抑制するのに役立ちます。他のシステムは、パルス光源の代わりに正弦波変調光源で動作します。

3D フラッシュ LIDAR などの直接 TOF イメージャーの場合、レーザーから 5 ～ 10 ns の単一の短いパルスが放射されます。T-zero イベント (パルスがカメラから出る時間) は、パルスを直接キャプチャし、このタイミングを焦点面アレイにルーティングすることによって確立されます。T-zero は、焦点面アレイのさまざまなピクセルで反射パルスが戻ってくる時間を比較するために使用されます。T-zero とキャプチャされた戻りパルスを比較し、時間差を比較することで、各ピクセルは直接飛行時間測定値を正確に出力します。単一パルスの 100 メートルの往復は 660 ns です。10 ns パルスを使用すると、シーンが照らされ、距離と強度が 1 マイクロ秒未満でキャプチャされます。

ステレオビジョンや三角測量システムとは対照的に、システム全体は非常にコンパクトです。照明はレンズのすぐ隣に配置されますが、他のシステムでは一定の最小ベースラインが必要です。レーザースキャンシステムとは対照的に、機械的な可動部品は必要ありません。

これは、TOFセンサーの出力信号から距離情報を抽出する直接的なプロセスです。その結果、このタスクは、複雑な相関アルゴリズムが実装されているステレオビジョンとは対照的に、わずかな処理能力しか使用しません。距離データが抽出された後、たとえば物体検出も、アルゴリズムが物体のパターンによって妨げられないため、実行するのが簡単なプロセスです。精度は通常、測定距離の1％と推定されます。^{[18] [19]}

飛行時間型カメラは、1 回の撮影でシーン全体の距離を測定できます。カメラは最大 160 フレーム/秒に達するため、リアルタイム アプリケーションでの使用に最適です。

CMOS または可視光や近赤外光 (400 nm - 700 nm) を使用するその他の統合検出器やセンサーを使用する場合、人工照明や太陽からの背景光の大部分は抑制されますが、ピクセルは依然として高いダイナミック レンジを提供する必要があります。背景光も電子を生成するため、これを蓄積する必要があります。たとえば、今日の多くの TOF カメラの照明ユニットは、約 1 ワットの照明レベルを提供できます。太陽の照明パワーは1 平方メートルあたり約 1050 ワットで、光学バンドパス フィルター通過後は 50 ワットです。したがって、照明されたシーンのサイズが 1 平方メートルの場合、太陽からの光は変調信号の 50 倍の強さになります。非積分型TOFセンサーは、光を時間とともに積分せず、近赤外線検出器（InGaAs）を使用して短いレーザーパルスを捕捉します。画像は時間とともに積分されるのではなく、通常1マイクロ秒未満の短い取得サイクル内で捕捉されるため、太陽を直接観察することは問題になりません。このようなTOFセンサーは、宇宙用途^[12]で使用され、自動車用途でも検討されています。^[20]

特定の種類の TOF デバイス (すべてではありません) では、複数の飛行時間カメラが同時に動作している場合、TOF カメラが互いの測定を妨害する可能性があります。この問題に対処するには、いくつかの方法があります。

• 時間多重化:制御システムは個々のカメラの測定を連続的に開始するため、一度にアクティブになる照明ユニットは 1 つだけです。
• 異なる変調周波数:カメラが異なる変調周波数で光を変調する場合、その光は他のシステムでは背景照明としてのみ収集され、距離測定を妨げることはありません。

照明に単一のレーザー パルスを使用する Direct TOF タイプのカメラの場合、単一のレーザー パルスが短い (例: 10 ナノ秒) ため、視野内のオブジェクトとの往復 TOF もそれに応じて短くなります (例: 100 メートル = 往復 TOF 660 ナノ秒)。30 Hz で撮影するイメージャーの場合、干渉相互作用の確率は、カメラ取得ゲートが開いている時間をレーザー パルス間の時間で割った値、つまり約 50,000 分の 1 (0.66 μs を 33 ミリ秒で割った値) になります。

レーザースキャンシステムでは一点が照射されるのに対し、飛行時間型カメラはシーン全体を照射します。位相差装置（振幅変調アレイ）では、反射が複数回あるため、光は複数の経路を通って物体に到達することがあります。そのため、測定された距離は実際の距離よりも長くなることがあります。直接TOFイメージング装置は、光が鏡面反射している場合に脆弱です。さまざまなTOF装置やアプローチの長所と短所を概説した論文が公開されています。^[21]

飛行時間型カメラは、アクティブ歩行者安全、衝突前検知、アウトオブポジション（OOP）検知などの屋内用途など、先進的な自動車用途の支援機能や安全機能に使用されています。^{[22] [23]}

飛行時間型カメラは距離画像をリアルタイムで提供するため、人間の動きを追跡することが容易です。これにより、テレビなどの消費者向けデバイスとの新しいインタラクションが可能になります。もう 1 つのトピックは、このタイプのカメラを使用してビデオ ゲーム コンソールのゲームを操作することです。^[24] Xbox Oneコンソールに最初に含まれていた第 2 世代Kinectセンサーは、距離画像化に飛行時間型カメラを使用していました。^[25]コンピューター ビジョンとジェスチャー認識技術を使用して、自然なユーザー インターフェイスとゲーム アプリケーションを実現しました。CreativeとIntelも、ゲーム用に同様のタイプのインタラクティブ ジェスチャー飛行時間型カメラ、Softkineticの DepthSense 325 カメラをベースにした Senz3D を提供しています。^[26] InfineonとPMD Technologies は、オールインワン PC やラップトップなどの消費者向けデバイスの近距離ジェスチャー コントロール用の小型統合 3D 深度カメラを実現しています (Picco flexx カメラと Picco monstar カメラ)。^[27]

多くのスマートフォンには飛行時間型カメラが搭載されています。これらは主に、カメラソフトウェアに前景と背景に関する情報を提供することで写真の品質を向上させるために使用されます。^[28]

このような技術を搭載して発売された最初の携帯電話は、2014年初頭のLG G3でした。 ^[29] BlackBerry PassportとLG G Flex 2もToFセンサーを搭載して発売されました。^[30]

その他の用途としては、サイロの充填高さなどの測定タスクがあります。産業用マシン ビジョンでは、飛行時間型カメラは、コンベア上を通過するアイテムなど、ロボットが使用する物体を分類して特定するのに役立ちます。ドア コントロールは、ドアに近づく動物と人間を簡単に区別できます。

これらのカメラのもう 1 つの用途はロボット工学の分野です。移動ロボットは周囲の地図を非常に迅速に作成できるため、障害物を回避したり、先導する人物を追跡したりできます。距離の計算は簡単なので、使用する計算能力はわずかです。これらのカメラは距離の測定にも使用できるため、FIRST Robotics Competition のチームは自律ルーチンにこのデバイスを使用することが知られています。

ToFカメラは地形学の研究のために地球表面の地形の数値標高モデルを取得するために使用されてきました^[31]。

• Orbbec - 物流、ロボット工学、ヘルスケア、小売、フィットネス、3D コンテンツの作成とアニメーションの分野で世界的に使用されている、Microsoft の iTOF テクノロジに基づく高性能 Femto シリーズ iTOF RGB 深度カメラ
• ESPROS - 自動車、ロボット、産業、IoT アプリケーション向けの 3D TOF イメージャー チップ、TOF カメラ、モジュール
• Advanced Scientific Concepts, Inc. による航空、自動車、宇宙アプリケーション向けの 3D フラッシュ LIDAR カメラとビジョン システム
• DepthSense - SoftKineticの RGB センサーとマイクを含む TOF カメラとモジュール
• IRMA MATRIX - TOF カメラ、iris-GmbH のモバイルおよび固定アプリケーションでの自動乗客カウント用
• Kinect -マイクロソフトのビデオゲーム機とPC向けのハンズフリーユーザーインターフェースプラットフォーム。第2世代のセンサーデバイスで飛行時間型カメラを使用しています。^[25]
• Azure Kinect DK 深度カメラ - Azure Kinect DK 深度カメラは、振幅変調連続波 (AMCW) 飛行時間 (ToF) 原理を実装しています。Azure Kineck DK
• pmd - PMD Technologiesのカメラ リファレンス デザインとソフトウェア (pmd[vision]、TOF モジュール [CamBoard] を含む) および TOF イメージャー (PhotonIC)
• real.IZ 2+3D -スタートアップ企業odos Imagingが開発した高解像度SXGA（1280×1024）TOFカメラ。従来の画像キャプチャとTOF測距を同じセンサーに統合しています。Siemensで開発された技術に基づいています。
• Senz3D - SoftkineticのDepthSense 325カメラをベースにしたCreativeとIntelのTOFカメラ。ゲーム用。^[26]
• SICK - 産業用アプリケーションおよびソフトウェア向け3D産業用TOFカメラ（Visionary-T）^[32]
• 3D MLI センサー - IEE (International Electronics & Engineering) による、変調光強度 (MLI) に基づく TOF イメージャー、モジュール、カメラ、ソフトウェア
• TOFCam Stanley - Stanley Electric の TOF カメラ
• TriDiCam - TOF モジュールとソフトウェア。元々はFraunhoferマイクロ電子回路システム研究所によって開発された TOF イメージャーで、現在はスピンアウト企業 TriDiCam によって開発されています。
• Hakvision - TOFステレオカメラ
• Cube eye - ToF カメラおよびモジュール、VGA 解像度、Web サイト: www.cube-eye.co.kr
• Basler AG - 産業用アプリケーション向け3Dイメージング [1]
• LILIN - ToF監視カメラ [2]

• CanestaVision ^{[33] -} Canesta社（2010年にマイクロソフト社に買収された企業）のTOFモジュールとソフトウェア
• D-IMager -パナソニック電工のTOFカメラ
• OptriCam - Optrima の TOF カメラとモジュール (2011 年の SoftKinetic との合併前に DepthSense にブランド変更)
• ZCam - 3DV Systems の TOF カメラ製品。フルカラー ビデオと深度情報を統合します (2009 年に Microsoft に資産が売却されました)
• SwissRanger - 元々は Centre Suisse d'Electronique et Microtechnique, SA ( CSEM ) が開発した産業用 TOF 専用カメラ ラインで、現在はMesa Imagingが開発しています(Mesa Imaging は 2014 年に Heptagon に買収されました)。
• Fotonic - パナソニックの CMOS チップを搭載した TOF カメラとソフトウェア (Fotonic は 2018 年に Autoliv に買収されました)
• S.Cube - Cube eye の ToF カメラとモジュール

• 
  パナソニックのD-IMager
• 
  pmd[vision] PMD TechnologiesのCamCube
• 
  MESA Imaging の SwissRanger 4000
• 
  Fotonic の FOTONIC-B70
• 
  IEE SA の 3D MLI センサー
• 
  ARTTS カメラプロトタイプ
• 
  pmd[vision] PMD Technologiesの CamBoard
• 
  Microsoft のXbox One用Kinect

• レーザーダイナミックレンジイメージャー
• 構造化光3Dスキャナー
• キネクト

• Hansard, Miles; Lee, Seungkyu; Choi, Ouk; Horaud, Radu (2012). 「飛行時間型カメラ: 原理、方法、およびアプリケーション」(PDF) . SpringerBriefs in Computer Science (PDF) . doi :10.1007/978-1-4471-4658-2. ISBN 978-1-4471-4657-5S2CID  5494636。この本では、飛行時間イメージングに関するさまざまな最近の研究について説明しています。[…] 基本的な測定原理、[…] 関連するエラーとあいまいさの原因、[…] 通常のカラー カメラと組み合わせて使用​​する場合の飛行時間カメラの幾何学的キャリブレーション、[…] 従来のステレオ マッチング技術と組み合わせて飛行時間データを使用するなどです。5 つの章で、完全な深度とカラーの 3D 再構築パイプラインについて説明します。
• Horaud, Radu; Hansard, Miles; Evangelidis, Georgios; Ménier, Clément (2016)。「飛行時間技術に基づく深度カメラと距離スキャナの概要」Machine Vision and Applications 27、1005-1029。