ポーズトラッキング

仮想現実（VR）と拡張現実（AR）では、ポーズトラッキングシステムがヘッドマウントディスプレイ、コントローラー、その他の物体や体の部分のユークリッド空間内での正確なポーズを検出します。ポーズトラッキングは、ポーズが追跡されることが多い6つの自由度にちなんで、6DOFトラッキングと呼ばれることがよくあります。^[1]

ポーズ トラッキングは位置トラッキングと呼ばれることもありますが、この 2 つは別物です。ポーズ トラッキングは方向を含みますが、位置トラッキングには方向が含まれないため、ポーズ トラッキングは位置トラッキングとは異なります。一部のコンシューマ GPS システムでは、磁力計を使用して方向データが追加されます。磁力計は部分的な方向情報を提供しますが、ポーズ トラッキングが提供する完全な方向は提供しません。

VR では、仮想世界にいるという幻想を壊さないように、ポーズ トラッキングが正確かつ精密であることが最も重要です。これを実現するために、ディスプレイおよび関連するオブジェクトやデバイスの位置と方向 (ピッチ、ヨー、ロール) をトラッキングするいくつかの方法が開発されています。多くの方法では、トラッキング対象のオブジェクト上またはその近くにある送信機からの信号を繰り返し記録するセンサーを使用し、そのデータをコンピューターに送信して、オブジェクトの物理的な位置のおおよその位置を維持します。一般的なトラッキング方法は、Lighthouse トラッキングです。概して、これらの物理的な位置は、直交直線座標系、球面極座標系、円筒座標系の 3 つの座標系のうちの 1 つ以上を使用して識別および定義されます。多くのインターフェイスは、仮想 3D 空間内での動きや仮想 3D 空間とのやり取りを監視および制御するように設計されており、このようなインターフェイスは、位置トラッキング システムと密接に連携して、シームレスなユーザー エクスペリエンスを提供する必要があります。^[2]

新しいシステムでよく使用される別のタイプのポーズ トラッキングは、同時位置推定とマッピング(SLAM) や視覚慣性オドメトリ(VIO) などのインサイド アウト トラッキングと呼ばれます。インサイド アウト ポーズ トラッキングを使用するデバイスの例としては、Oculus Quest 2があります。

ワイヤレス トラッキングでは、トラッキング スペースの周囲に配置された一連のアンカーと、追跡される 1 つ以上のタグを使用します。このシステムは概念的には GPS に似ていますが、屋内と屋外の両方で機能します。屋内 GPS と呼ばれることもあります。タグは、周囲に配置されたアンカーを使用して 3D 位置を三角測量します。超広帯域と呼ばれるワイヤレス テクノロジにより、位置トラッキングの精度は 100 mm 未満に達します。センサー フュージョンと高速アルゴリズムを使用することで、トラッキング精度は 200 Hz の更新速度または 5 ms の遅延で 5 mm レベルに達します。

長所:

• ユーザーは制約のない動きを体験する^[3]
• より広い可動範囲を実現
• 相対的な位置だけでなく絶対的な位置も提供する^[4]

短所:

• サンプリングレートが低いと精度が低下する可能性がある
• 他のセンサーに比べてレイテンシ（定義）率が低い

光学トラッキングでは、ヘッドセット上または周囲に設置されたカメラを使用して、コンピューター ビジョン アルゴリズムに基づいて位置と方向を決定します。この方法は、人間の立体視と同じ原理に基づいています。人が両眼視を使用して物体を見ると、2 つの目の遠近感の違いにより、物体がどのくらいの距離に配置されているかを大まかに定義できます。光学トラッキングでは、カメラを較正して物体までの距離と空間内の位置を決定します。光学システムは信頼性が高く、比較的安価ですが、較正が難しい場合があります。さらに、このシステムには遮蔽物のない直線光線が必要であり、そうでないと間違ったデータを受信します。

光学追跡は、マーカーの有無にかかわらず行うことができます。マーカーを使用した追跡では、既知のパターンを持つターゲットが参照ポイントとして使用され、カメラはこれらのマーカーを常に探し、さまざまなアルゴリズム（POSITアルゴリズムなど）を使用してオブジェクトの位置を抽出します。マーカーは、印刷されたQRコードなどの目に見えるものもありますが、多くはカメラでしか拾えない赤外線（IR）光を使用しています。アクティブ実装では、カメラと同期してオン/オフできるIR LEDライトが組み込まれたマーカーが特徴で、追跡エリア内の他のIRライトをブロックしやすくなります。^[5]パッシブ実装は、 IR光をほとんど散乱せずにソースに向かって反射する再帰反射器です。マーカーレス追跡では、事前に配置されたターゲットは必要なく、代わりに周囲の環境の自然な特徴を使用して位置と方向を決定します。^[6]

この方法では、カメラを環境内の固定された場所に設置し、ヘッドマウントディスプレイやコントローラーなどの追跡対象デバイス上のマーカーの位置を追跡します。カメラを複数設置することで、同じマーカーを異なる角度から撮影することができ、この重なりによってデバイスの位置を正確に読み取ることができます。^[5]オリジナルのOculus Riftはこの技術を利用しており、ヘッドセットとコントローラーに赤外線LEDの集合体を配置して、環境内の外部カメラがその位置を読み取れるようにしています。^[7]この方法は最も成熟しており、VRだけでなく映画のモーションキャプチャ技術にも応用されています。^[8]ただし、このソリューションはスペースが限られており、デバイスを常に監視できる外部センサーが必要です。

長所:

• より正確な読み取りは、カメラを追加することで改善できます
• インサイドアウトトラッキングよりも低遅延^[9]

短所:

• 遮蔽、カメラは直接視線を必要とし、そうでなければ追跡は機能しません
• 屋外センサーが必要なため、プレイスペースが限られる

この方法では、カメラは追跡対象デバイス上に配置され、外を向いて環境内での位置を決定します。この技術を使用するヘッドセットには、周囲全体を見るためにさまざまな方向を向いた複数のカメラがあります。この方法は、マーカーの有無にかかわらず機能します。HTC Viveで使用されている Lighthouse システムは、アクティブマーカーの例です。各外部 Lighthouse モジュールには、IR LED と水平方向と垂直方向にスイープするレーザーアレイが含まれており、ヘッドセットとコントローラーのセンサーはこれらのスイープを検出し、タイミングを使用して位置を特定できます。^{[10] [11]} Oculus Questなどのマーカーレストラッキングでは、外部環境に何も取り付ける必要はありません。ヘッドセットのカメラを使用して、SLAM (同時位置推定とマッピング) と呼ばれるプロセスを実行し、環境の 3D マップをリアルタイムで生成します。^[6]次に、機械学習アルゴリズムが、特徴検出を使用して周囲を再構築および分析し、ヘッドセットがその 3D マップ内でどこに配置されているかを判断します。^{[12] [13]}この技術により、Microsoft HoloLensのようなハイエンドのヘッドセットを自己完結型にすることができるようになるだけでなく、外部のコンピュータやセンサーに接続する必要のない、より安価なモバイルヘッドセットの実現も可能になる。^[14]

長所:

• より広いプレイスペースを実現し、部屋に合わせて拡張可能
• 新しい環境に適応可能

短所:

• オンボード処理がさらに必要
• レイテンシーは高くなる可能性がある^[9]

慣性追跡では、加速度計とジャイロスコープ、そして時には磁力計からのデータを使用します。加速度計は直線加速度を測定します。時間に対する位置の微分は速度であり、速度の微分は加速度であるため、加速度計の出力を積分して速度を求め、次に再度積分してある初期点に対する位置を求めることができます。ジャイロスコープは角速度を測定します。角速度を積分して、初期点に対する角度位置を決定することもできます。磁力計は磁場と磁気双極子モーメントを測定します。地球の磁場の方向を積分して絶対的な方向基準を持ち、ジャイロスコープのドリフトを補正することができます。^[15]現代の慣性測定ユニットシステム (IMU)はMEMS 技術に基づいており、高い更新レートと最小限の遅延で空間内の方向 (ロール、ピッチ、ヨー) を追跡できます。ジャイロスコープは常に回転追跡に使用されますが、コスト、セットアップの容易さ、追跡量などの要因に基づいて、位置追跡にはさまざまな手法が使用されます。^[16]

推測航法は位置データを追跡するために使用され、ユーザーの動きの変化を更新することで仮想環境を変更します。^[17]仮想現実システムで使用される推測航法の更新レートと予測アルゴリズムはユーザーエクスペリエンスに影響を与えますが、さまざまな手法が使用されているため、ベストプラクティスに関するコンセンサスはありません。^[17]推測航法はドリフトにつながるため、慣性追跡のみに頼って正確な位置を決定することは困難であり、このタイプの追跡は仮想現実では単独で使用されません。^[18]ユーザーの動きと仮想現実の表示の間に100ミリ秒を超える遅延があると、吐き気を引き起こすことがわかっています。^[19]

慣性センサーは、回転運動（ロール、ピッチ、ヨー）だけでなく、並進運動も追跡できます。これら2種類の動きは合わせて6自由度として知られています。バーチャルリアリティの多くのアプリケーションでは、ユーザーの頭の回転だけでなく、それに合わせて体がどのように動くか（左右、前後、上下）も追跡する必要があります。^[20] 6自由度の機能はすべてのバーチャルリアリティ体験に必要なわけではありませんが、ユーザーが頭以外のものを動かす必要がある場合に便利です。

長所:

• 他のセンサーに比べて高速な動きをうまく追跡でき、特に他のセンサーと組み合わせるとより優れた追跡が可能です。
• 高い更新レートが可能

短所:

• 推測航法による誤差が生じやすく、誤差はすぐに蓄積される
• 位置を決定する際の遅れや誤算は、使用者に吐き気や頭痛などの症状を引き起こす可能性がある^[21]
• 動きが速すぎるユーザーに追いつけない可能性がある^[21]
• 慣性センサーは通常、屋内や実験室環境でのみ使用できるため、屋外での使用は限られています^[22]

センサーフュージョンは、複数の追跡アルゴリズムからのデータを組み合わせて、1つの技術だけよりも優れた出力を生み出すことができます。センサーフュージョンのバリエーションの1つは、慣性追跡と光学追跡を統合することです。慣性センサーは高速な動きを追跡するのに最適ですが、エラーもすぐに蓄積し、光学センサーは慣性の弱点を補う絶対参照を提供するため、これら2つの技術はしばしば一緒に使用されます。^[16]さらに、慣性追跡は光学追跡のいくつかの欠点を補うことができます。たとえば、光学追跡は主要な追跡方法である可能性がありますが、オクルージョンが発生すると、慣性追跡はオブジェクトが光学カメラに再び見えるようになるまで位置を推定します。慣性追跡は更新レートが高いため、光学追跡位置データの間に位置データを生成することもできます。光学追跡は、慣性追跡のドリフトに対処するのにも役立ちます。光学追跡と慣性追跡を組み合わせると、ユーザーが頭を速く動かしたときによく発生する位置ずれエラーが軽減されることが示されています。^[21]マイクロ電気磁気システムの進歩により、磁気/電気追跡はサイズが小さくコストが低いため、より一般的になっています。^[22]

音響追跡システムは、エコーロケーションを使用する動物に自然に見られる技術と同様の技術を使用して、物体またはデバイスの位置を特定します。コウモリが2つの耳への音波の戻り時間の違いを使用して物体の位置を特定するのと同様に、VRの音響追跡システムは、物体（ハンドヘルドコントローラーなど）の位置と方向を計算するために、デバイス上で少なくとも3つの超音波センサーと少なくとも3つの超音波送信機のセットを使用します。^{[23]物体の位置を決定するには、}送信機から受信機までの音波の飛行時間を測定するか、転送を受信して​​正弦波音波の位相コヒーレンスを測定するという2つの方法があります。

3 つの非共線センサー (または受信機) のセット (それらの間の距離は d ₁と d _{2 )}、および送信機からこれら 3 つの受信機までの超音波 (周波数が 20 kHz を超える波) の移動時間を考えると、送信機の相対的な直交位置は次のように計算できます。

${\displaystyle x_{0}={l_{1}^{2}+d_{1}^{2}-l_{2}^{2} \over 2d_{1}}}$

${\displaystyle y_{0}={l_{1}^{2}+d_{2}^{2}-l_{3}^{2} \over 2d_{2}}}$

${\displaystyle z_{0}={\sqrt {l_{1}^{2}-x_{0}^{2}-y_{0}^{2}}}}$

ここで、各l _{i は}送信機から 3 つの受信機までの距離を表し、方程式l = ct _{us を}使用して超音波の移動時間に基づいて計算されます。定数c は音速を表し、温度 20°C の乾燥空気中では 343.2 m/s に相当します。少なくとも 3 つの受信機が必要なため、これらの計算は一般に三角測量と呼ばれます。

位置以外にも、デバイスの向き（つまり、全方向の回転角度）を決定するには、追跡対象物上の少なくとも 3 つの非共線点がわかっている必要があり、前述の 3 つの受信機に加えて、追跡対象デバイスごとに少なくとも 3 つの超音波送信機が必要になります。送信機は 3 つの受信機に向かって順番に超音波を発し、その受信機を使用して、上記の方法を使用して 3 つの送信機の空間データを導き出すことができます。デバイスの向きは、デバイス上の送信機の既知の位置と、それらの相対的な空間位置に基づいて導き出すことができます。^[24]

TOF 方式とは対照的に、位相コヒーレント (PC) 追跡方式も、音響的に物体の位置を特定するために使用されています。PC 追跡では、センサーが受信した現在の音波の位相を以前の参照信号の位相と比較し、送信機の最後の測定からの相対的な位置の変化を判断できます。この方法は、絶対的な測定ではなく、位置値の観測された変化のみに基づいて動作するため、測定の誤差は、より多くの観測を行うほど大きくなる傾向があります。その結果、この方法は時間の経過とともに開発者の間で人気を失っています。

長所:

• 座標と角度の正確な測定
• センサーは小型で軽量なので、設計に組み込む際の柔軟性が高まります。
• デバイスは安価で製造も簡単です。
• 電磁干渉なし

短所:

• 周囲の温度、気圧、湿度によって音速が変化すると、距離の計算に誤差が生じる可能性があります。
• 範囲は限られており、送信機と受信機の間に直接の見通し線が必要です。
• 他の方法と比較すると、空気中の音速が比較的遅いため、最大サンプリング周波数はやや低くなります（数十Hz程度）。これにより、センサーフュージョンを使用して超音波測定を補強しない限り、数十ミリ秒もの測定遅延が発生する可能性があります。
• 音響干渉（周囲の環境における他の音など）により読み取りが妨げられる場合があります。

要約すると、音響トラッキングの実装は、フライトシミュレータなど、VRまたはARシステムが存在する周囲の環境を完全に制御できる場合に最適です。^{[2] [25] [26]}

磁気追跡は、電磁センサーを使用して不均一な磁場の強度を測定することに依存しています。システムの送信機または磁場発生器と呼ばれることが多いベース ステーションは、システムのアーキテクチャに応じて、交流または静的な電磁場を生成します。

3 次元空間のすべての方向をカバーするために、3 つの磁場が順番に生成されます。磁場は、互いに垂直な 3 つの電磁コイルによって生成されます。これらのコイルは、位置を追跡する必要がある移動ターゲットに取り付けられた小さなハウジング内に配置する必要があります。コイルを順番に流れる電流によってコイルが電磁石に変わり、空間内での位置と方向を決定できるようになります。

磁気トラッキングは、バーチャルリアリティで頻繁に使用されるヘッドマウントディスプレイを必要としないため、完全没入型バーチャルリアリティディスプレイで使用されるトラッキングシステムであることがよくあります。^[21]ヘッドマウントディスプレイなどの従来の機器は、完全に密閉されたバーチャルリアリティ体験ではユーザーの邪魔になるため、磁気トラッキングで使用されるような代替機器が好まれます。 磁気トラッキングは、Polhemusによって実装され、SixenseによってRazer Hydraに実装されています。 このシステムは、電磁場に影響を与える可能性のある金属の物体やデバイスなど、導電性の材料の近くではうまく機能しません。 磁気トラッキングは、ユーザーがベースエミッターから離れると悪化し、^[21]拡張可能な領域が制限されており、5メートルより大きくすることはできません。

長所:

• ユーザーが装着する必要がなく、仮想現実体験を妨げない目立たない機器を使用します。
• 完全没入型バーチャルリアリティディスプレイに最適

短所:

• ユーザーはベースエミッターの近くにいる必要がある
• 追跡は金属や電磁場を妨害する物体の近くでは悪化する
• 頻繁な校正が必要なため、誤差やジッタが多くなる傾向がある^[22]

• 3D姿勢推定
• ヘッドマウントディスプレイ
• 屋内測位システム
• 指の追跡
• フリートラック
• モーションキャプチャ
• 同時位置特定とマッピング
• 追跡システム

• Jannick P. Rolland、Yohan Baillot、Alexei A. Goon。仮想環境の追跡技術に関する調査(PDF)。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)
• Vikas Kumar N. カルマンフィルタリングを使用した慣性航法システムと全地球測位システムの統合(PDF)。
• JD Hol、TB Schon、F. Gustafsson、PJ Slycke。拡張現実のためのセンサー フュージョン(PDF)。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)