Loading article…
3Dヒューマンコンピュータインタラクションにおいて、3Dトラッキング（ポーズトラッキングまたは位置トラッキングとも呼ばれる）は、ヘッドマウントディスプレイ、コントローラ、またはその他の入力デバイスの位置および/または向きをユークリッド空間内で追跡するプロセスです。ポーズトラッキングは、オブジェクトが追跡される6つの自由度にちなんで、6DOFトラッキングと呼ばれることがよくあります。 [ 1 ]
一部の民生用GPSシステムでは、磁力計を使用して方位データが追加されます。これは部分的な方位情報を提供しますが、姿勢追跡が提供するような完全な方位情報ではありません。
仮想現実（VR）では、仮想世界に存在するという錯覚を損なわないために、姿勢追跡が正確かつ精密であることが極めて重要です。これを実現するために、ディスプレイおよび関連するオブジェクトやデバイスの位置と向き（ピッチ、ヨー、ロール）を追跡するいくつかの方法が開発されてきました。多くの方法では、追跡対象オブジェクト上またはその近くにある送信機からの信号を繰り返し記録するセンサーを使用し、そのデータをコンピュータに送信して、それらの物理的な位置の近似値を維持します。よく使われる追跡方法の1つは、ライトハウス追跡です。概して、これらの物理的な位置は、直交座標系、球面極座標系、円筒座標系の3つの座標系の1つ以上を使用して識別および定義されます。仮想3D空間内でのユーザーの動きや操作を監視および制御するためのインターフェースも多数設計されています。このようなインターフェースは、シームレスなユーザーエクスペリエンスを提供するために、位置追跡システムと密接に連携する必要があります。[ 2 ]
近年のシステムでより頻繁に使用されている姿勢追跡方式には、インサイドアウト追跡と呼ばれるものがあり、これには同時位置推定と地図作成（SLAM）や視覚慣性オドメトリ（VIO）などが含まれます。インサイドアウト位置追跡を採用しているデバイスの例としては、Oculus Quest 2が挙げられます。
磁気追跡は、電磁センサーを用いて不均一な磁場の強度を測定することに基づいています。基地局（システムの送信機または磁場発生器と呼ばれることが多い）は、システムのアーキテクチャに応じて、交流または静磁場を生成します。
三次元空間のあらゆる方向をカバーするために、3つの磁場が順次生成されます。これらの磁場は、互いに直交する3つの電磁コイルによって生成されます。これらのコイルは、位置を追跡する必要のある移動ターゲットに取り付けられた小型の筐体内に配置する必要があります。コイルに順次流れる電流によってコイルは電磁石となり、空間における位置と向きを特定できるようになります。
電磁追跡は3D手術ナビゲーションに使用されます。[ 3 ]
磁気トラッキングは、仮想現実でよく使われるヘッドマウントディスプレイを必要としないため、完全没入型の仮想現実ディスプレイで使用されるトラッキングシステムとしてよく用いられます。[ 4 ]ヘッドマウントディスプレイなどの従来の機器は、完全に閉じた仮想現実体験ではユーザーにとって邪魔になるため、磁気トラッキングで使用されるような代替機器が好まれます。磁気トラッキングは、Polhemus やSixense の Razer Hydraに実装されています。このシステムは、電磁場に影響を与える可能性のある金属物体やデバイスなどの電気伝導性物質の近くではうまく機能しません。磁気トラッキングは、ユーザーがベースエミッターから離れるにつれて悪化し、[ 4 ]拡張可能な領域は限られており、5 メートルを超えることはできません。
長所：
短所：
カメラベースのトラッキング（光学式トラッキングとも呼ばれる）は、ヘッドセット上または周囲に配置されたカメラを使用して、コンピュータビジョンアルゴリズムに基づいて位置と向きを特定します。カメラベースの3Dトラッキングシステムは、遮蔽物のない直射光を必要とします。そうでない場合、誤ったデータを受信することになります。
光学的トラッキングは、マーカーの有無にかかわらず実行できます。マーカーを使用したトラッキングでは、既知のパターンを持つターゲットを基準点として使用し、カメラはこれらのマーカーを常に探し、さまざまなアルゴリズム（たとえば、POSIT アルゴリズム）を使用してオブジェクトの位置を抽出します。マーカーは、印刷されたQR コードのように目に見えるものもありますが、多くはカメラでしか検出できない赤外線(IR) 光を使用します。アクティブ実装では、カメラと同期してオン/オフできる内蔵 IR LED ライトを備えたマーカーが使用され、トラッキング領域内の他の IR ライトを遮断しやすくなります。[ 6 ]パッシブ実装では、 IR 光を散乱をほとんどせずに光源に向かって反射する再帰反射器が使用されます。マーカーレス トラッキングでは、事前に配置されたターゲットは必要なく、代わりに周囲の環境の自然な特徴を使用して位置と向きを決定します。[ 7 ]
この方法では、カメラを環境内の固定位置に配置し、ヘッドマウントディスプレイやコントローラーなどの追跡対象デバイス上のマーカーの位置を追跡します。複数のカメラを使用することで、同じマーカーの異なる視点が得られ、この重なりによってデバイスの位置を正確に読み取ることができます。[ 6 ] Oculus Rift CV1 はこの技術を利用しており、ヘッドセットとコントローラーに赤外線 LED の集合を配置して、環境内の外部カメラがその位置を読み取れるようにしています。[ 8 ]この方法は最も成熟しており、VR だけでなく映画のモーションキャプチャ技術にも応用されています。[ 9 ]ただし、このソリューションはスペースに制限があり、デバイスを常に視界に捉える外部センサーが必要です。
長所：
短所:
この方法では、カメラは追跡対象デバイスに配置され、外側を向いて環境内での位置を特定します。この技術を使用するヘッドセットには、周囲全体を見渡せるように、異なる方向を向いた複数のカメラが搭載されています。この方法は、マーカーの有無にかかわらず機能します。HTC Viveで使用されている Lighthouse システムは、アクティブ マーカーの一例です。各外部 Lighthouse モジュールには、IR LED と水平方向および垂直方向に走査するレーザー アレイが含まれており、ヘッドセットとコントローラーのセンサーがこれらの走査を検出し、タイミングを使用して位置を特定できます。[ 11 ] [ 12 ] Oculus Questなどのマーカーレス トラッキングでは、外部環境にマウントするものは必要ありません。ヘッドセットのカメラを使用して、 SLAM（同時位置特定とマッピング）と呼ばれるプロセスを実行し、環境の 3D マップをリアルタイムで生成します。[ 7 ]次に、機械学習アルゴリズムが特徴検出を使用して周囲を再構築および分析し、その 3D マップ内でヘッドセットがどこに配置されているかを特定します。[ 13 ] [ 14 ]この技術により、 Microsoft HoloLensのようなハイエンドのヘッドセットは自己完結型になりますが、外部のコンピュータやセンサーに接続する必要のない、より安価なモバイル ヘッドセットへの道も開かれます。[ 15 ]
長所：
短所:
センサーフュージョンは、複数のトラッキングアルゴリズムからのデータを組み合わせることで、単一の技術よりも優れた出力を得ることができます。センサーフュージョンのバリエーションの1つは、慣性トラッキングと光学トラッキングを統合することです。慣性センサーは高速な動きのトラッキングに最適ですが、エラーがすぐに蓄積されるため、これらの2つの技術はよく一緒に使用されます。光学センサーは、慣性の弱点を補う絶対的な基準を提供します。[ 16 ]さらに、慣性トラッキングは光学トラッキングのいくつかの欠点を補うことができます。たとえば、光学トラッキングをメインのトラッキング方法にすることができますが、遮蔽が発生した場合は、オブジェクトが光学カメラから再び見えるようになるまで、慣性トラッキングが位置を推定します。慣性トラッキングは更新レートが高いため、光学トラッキングの位置データの間に位置データを生成することもできます。光学トラッキングは、慣性トラッキングのドリフトに対処するのにも役立ちます。光学トラッキングと慣性トラッキングを組み合わせることで、ユーザーが頭を速く動かしすぎたときによく発生する位置ずれエラーを減らすことができることが示されています。[ 4 ]マイクロ電気磁気システムの進歩により、小型で低コストになったため、磁気/電気トラッキングがより一般的になっています。[ 5 ]
無線追跡では、追跡空間の周囲に配置された一連のアンカーと、追跡される1つ以上のタグを使用します。このシステムは、概念的にはGPSに似ていますが、屋内と屋外の両方で機能します。屋内GPSと呼ばれることもあります。タグは、周囲に配置されたアンカーを使用して3D位置を三角測量します。超広帯域無線技術により、位置追跡の精度は100mm未満にまで達しています。センサーフュージョンと高速アルゴリズムを使用することで、追跡精度は5mmレベルに達し、更新速度は200Hz、レイテンシは5msになります。
長所：
短所：
慣性追跡は、回転追跡のネイティブな方法です。加速度計とジャイロスコープ、場合によっては磁力計からのデータを使用します。加速度計は線形加速度を測定します。位置の時間微分は速度であり、速度の微分は加速度であるため、加速度計の出力は理論的に積分して速度を求め、さらに積分してある初期点に対する位置を求めることができます。ジャイロスコープは角速度を測定します。角速度も積分して、初期点に対する角度位置を決定できます。磁力計は磁場と磁気双極子モーメントを測定します。地球の磁場の方向を積分して絶対的な方向基準を取得し、ジャイロスコープのドリフトを補償することができます。[ 19 ]最新の慣性計測ユニットシステム（IMU）は、 MEMS技術に基づいており、高い更新レートと最小限の遅延で空間の方向（ロール、ピッチ、ヨー）を追跡できます。回転追跡には常にジャイロスコープが使用されますが、位置追跡にはコスト、セットアップの容易さ、追跡範囲などの要因に基づいてさまざまな技術が使用されます。[ 16 ]
デッドレコニングは位置データを追跡するために使用され、ユーザーの動きの変化を更新することで仮想環境を変更します。[ 20 ]仮想現実システムで使用されるデッドレコニングの更新レートと予測アルゴリズムはユーザーエクスペリエンスに影響しますが、さまざまな手法が使用されているため、ベストプラクティスに関する合意はありません。[ 20 ]デッドレコニングはドリフトを引き起こすため、正確な位置を決定するために慣性追跡だけに頼ることは難しく、このタイプの追跡は仮想現実では単独で使用されません。[ 21 ]ユーザーの動きと仮想現実の表示の間に100msを超える遅延があると、吐き気を引き起こすことがわかりました。[ 22 ]
慣性センサーは、回転運動（ロール、ピッチ、ヨー）だけでなく、並進運動も追跡できます。これら 2 種類の動きを合わせて、6 自由度として知られています。仮想現実の多くのアプリケーションでは、ユーザーの頭の回転だけでなく、それに伴う体の動き（左右、前後、上下）も追跡する必要があります。[ 23 ] 6 自由度の機能は、すべての仮想現実体験に必要ではありませんが、ユーザーが頭以外のものを動かす必要がある場合には役立ちます。
長所：
短所：
音響追跡システムは、エコーロケーションを使用する動物に自然に存在する技術と同様の技術を使用して、物体またはデバイスの位置を特定します。コウモリが両耳への音波の戻り時間の差を使用して物体の位置を特定するのと同様に、VR の音響追跡システムは、デバイス上の少なくとも 3 つの超音波センサーと少なくとも 3 つの超音波送信機のセットを使用して、物体 (ハンドヘルド コントローラーなど) の位置と向きを計算する場合があります。[ 24 ]物体の位置を決定するには、送信機から受信機までの音波の飛行時間を測定するか、送信を受信して正弦波音波の位相コヒーレンスを測定するという 2 つの方法があります。
距離が d 1と d 2 である、一直線上にない 3 つのセンサー (または受信機) のセットと、送信機からこれら 3 つの受信機までの超音波 (周波数が 20 kHz を超える波) の伝搬時間が与えられた場合、送信機の相対的なデカルト座標位置は次のように計算できます。
ここで、各l i は送信機から 3 つの受信機までの距離を表し、l = ct usの式を用いて超音波の伝搬時間に基づいて計算されます。定数c は音速を表し、20 °C の乾燥空気中では 343.2 m/s です。少なくとも 3 つの受信機が必要なため、これらの計算は一般に三角測量として知られています。
位置に加えて、デバイスの向き（つまり、あらゆる方向への回転角度）を決定するには、追跡対象物上の少なくとも 3 つの非共線点を知る必要があり、前述の 3 つの受信機に加えて、追跡対象デバイスごとに少なくとも 3 つの超音波送信機が必要となります。送信機は 3 つの受信機に向かって順番に超音波を発信し、それによって上記の方法を使用して 3 つの送信機の空間データを導出できます。その後、デバイス上の送信機の既知の位置と、それらの空間的な相対位置に基づいて、デバイスの向きを導出できます。[ 25 ]
TOF方式とは対照的に、位相コヒーレント（PC）トラッキング方式も音響的に物体の位置を特定するために使用されてきました。PCトラッキングでは、センサーが受信した現在の音波の位相を以前の参照信号の位相と比較することで、送信機の位置の前回の測定値からの相対的な変化を決定できます。この方法は、Ivan Sutherlandのヘッドマウント3Dディスプレイで使用されました。[ 26 ]この方法は、位置値の観測された変化のみに基づいて動作し、絶対的な測定値に基づいて動作しないため、測定の誤差は、より多くの観測で累積する傾向があります。その結果、この方法は時間の経過とともに開発者の間で人気を失っています。
長所：
短所：
要約すると、音響追跡の実装は、フライトシミュレーターのように、VRまたはARシステムが存在する環境を完全に制御できる場合に最適です。[ 2 ] [ 27 ] [ 28 ]
機械式トラッキングは、物理的に接続されたリンク機構を使用して物体の姿勢を決定します。これは、Fakespace Labs の BOOM などの製品で使用されています。[ 29 ]
