指の追跡

ジェスチャ認識と画像処理の分野において、指トラッキングは1969年に開発された高解像度技術であり、ユーザーの指の連続的な位置を認識し、オブジェクトを3Dで表現するために使用されます。さらに、指トラッキング技術はコンピューターのツールとして使用され、キーボードやマウスと同様に、コンピューターの外部デバイスとして機能します。

指追跡システムは、ユーザーとデータのインタラクションに重点を置いています。ユーザーは、指を使って、表現したい 3D オブジェクトの体積を操作し、仮想データとインタラクションします。このシステムは、人間とコンピューターのインタラクションの問題に基づいて生まれました。その目的は、人間とコンピューターの間のコミュニケーションと、ジェスチャーや手の動きをより直感的に使用できるようにすることです。指追跡システムが作成されました。これらのシステムは、各マーカーの指の向きの 3D および 2D の位置をリアルタイムで追跡し、直感的な手の動きとジェスチャーを使用してインタラクションします。

指トラッキングの実装には、主にインターフェースの有無にかかわらず使用されるオプションが多数あります。

このシステムでは、主に慣性および光学モーション キャプチャシステムが使用されます。

慣性モーションキャプチャシステムは、3D空間で各指セグメントの回転を読み取ることによって、指の動きをキャプチャできます。これらの回転を運動学チェーンに適用すると、人間の手全体を、遮蔽なしでワイヤレスでリアルタイムに追跡できます。

Synertial mocap グローブなどの手の慣性モーションキャプチャシステムは、各指セグメントにある小さなIMU ベースのセンサーを使用します。正確なキャプチャには、少なくとも 16 個のセンサーを使用する必要があります。センサーが少ない (13/7 個のセンサー) モーションキャプチャグローブモデルもあり、その場合は残りの指セグメントが補間 (近位セグメント) または外挿 (遠位セグメント) されます。センサーは通常、テキスタイルグローブに挿入されるため、センサーの使用がより快適になります。

慣性センサーは 3 方向すべての動きをキャプチャできるため、指と親指の屈曲、伸展、外転を検出できます。

慣性センサーは回転のみを追跡するため、適切な出力を得るには、回転を何らかの手の骨格に適用する必要があります。正確な出力を得るには (たとえば、指先に触れることができるように)、手の骨格を実際の手に合わせて適切にスケーリングする必要があります。この目的のために、手の手動測定または自動測定抽出を使用できます。

指の追跡に加えて、多くのユーザーは空間内での手全体の位置追跡を必要としています。この目的には複数の方法を使用できます。

• 慣性モーションキャプチャシステムを使用して全身をキャプチャします（手のスケルトンは、体のスケルトンの運動連鎖の最後に接続されます）。手のひらの位置は体から決定されます。
• 光学モーションキャプチャシステムを使用して手のひら（前腕）の位置をキャプチャします。
• VR ヘッドセット (HTC Vive Lighthouse など) で広く使用されている他の位置追跡方法を使用して、手のひら (前腕) の位置をキャプチャします。

慣性センサーには、指の追跡に関連する 2 つの主な欠点があります。

• 空間内での手の絶対位置を捉える際の問題。
• 磁気干渉
• 金属素材はセンサーに干渉します。この問題は、主に手がさまざまな物、多くの場合金属製の物と接触するため顕著になります。現在の世代のモーション キャプチャ グローブは、磁気干渉に耐えることができます。磁気干渉に対する耐性の程度は、メーカー、価格帯、およびモーション キャプチャ グローブで使用されるセンサーの数によって異なります。特に、ストレッチ センサーはシリコン ベースのコンデンサであり、磁気干渉の影響をまったく受けません。

3D でのマーカーとパターンの位置の追跡が実行され、システムはそれらを識別し、ユーザーの指の位置に応じて各マーカーにラベルを付けます。これらのマーカーのラベルの 3D座標は、他のアプリケーションを使用してリアルタイムで生成されます。

Vicon や ART などの一部の光学システムは、マーカーを通じて手の動きを捉えることができます。それぞれの手には、それぞれの「動作」指ごとにマーカーがあります。3 台の高解像度カメラが各マーカーを捉え、その位置を測定します。これは、カメラがマーカーを認識できる場合にのみ生成されます。通常、リングまたはブレスレットと呼ばれる視覚マーカーは、3D でユーザーのジェスチャーを認識するために使用されます。さらに、分類が示すように、これらのリングは2Dでインターフェイスとして機能します。

視覚的オクルージョンは、3 次元の仮想情報のよりリアルな視点を提供する非常に直感的な方法です。インターフェイスは、6 進数よりも 自然な3D インタラクションテクニックを提供します。

マーカーは、通常はすでに設定されていて、その領域についての知識がある相互作用ポイントを介して動作します。そのため、各マーカーを常に追跡する必要はありません。動作中のポインタが 1 つしかない場合は、マルチポインタを同じように扱うことができます。相互作用を通じてこのようなポインタを検出するために、超音波 赤外線センサーを有効にします。多くのポインタを 1 つとして扱うことができるため、問題が解決されます。照明不良、モーション ブラー、マーカーの変形、または遮蔽などの困難な状況で動作する必要がある場合でも、システムは一部のマーカーが見えなくてもオブジェクトを追跡できます。すべてのマーカーの空間関係がわかっているため、見えないマーカーの位置は、わかっているマーカーを使用して計算できます。境界マーカーや推定マーカー方式など、マーカー検出にはいくつかの方法があります。

• Homer テクニックには、直接処理によるレイ選択が含まれます。オブジェクトが選択され、その位置と方向が、直接手に接続されているかのように処理されます。
• Conner テクニックは、仲介役として機能する仮想ウィジェットを介して仮想オブジェクトとの間接的な対話を可能にする3Dウィジェットのセットを提供します。

キャプチャ中のマーカーの遮蔽のため、指のトラッキングは光学式モーション キャプチャ システム (Vicon、Optitrack、ART など) にとって最も難しい部分です。光学式モーション キャプチャ システムのユーザーは、通常、ポストプロセス作業の大部分は指のキャプチャによるものだと主張しています。慣性モーション キャプチャ システム (適切に調整されている場合) はポストプロセスの必要がないため、ハイエンドのモーション キャプチャ ユーザーは、慣性モーション キャプチャ システム (指) のデータを光学式モーション キャプチャ システム (ボディ + 空間内の位置) と融合するのが一般的です。
モーション キャプチャ データを融合するプロセスは、慣性および光学式モーション キャプチャ システム データ ソースの各フレームのタイム コードを一致させることに基づいています。この方法により、サードパーティ ソフトウェア (MotionBuilder、Blender など) は、使用するモーション キャプチャ方法に関係なく、2 つのソースからモーションを適用できます。

ストレッチセンサー対応のモーションキャプチャーシステムは、柔軟な平行板コンデンサーを使用して、センサーが伸びたり、曲がったり、ずれたり、圧力を受けたりしたときに静電容量の違いを検出します。ストレッチセンサーは一般的にシリコンベースであるため、磁気干渉、閉塞、位置ドリフト（慣性システムによく見られる）の影響を受けません。これらのセンサーの堅牢性と柔軟性により、高忠実度の指追跡が可能になり、StretchSense 社製のモーションキャプチャーグローブに採用されています。^[2]

多関節ハンドトラッキングは、必要なカメラが 1 台だけなので、多くの方法よりもシンプルで安価です。このシンプルさにより、精度は低くなります。モデリング、アニメーションの制御、およびリアリズムの向上における新しいインタラクションのための新しい基盤を提供します。指の位置に応じて割り当てられた一連の色で構成された手袋を使用します。この色テストは、コンピューターの視覚システムに限定され、キャプチャ機能と色の位置に基づいて、手の位置がわかります。

視覚的知覚の観点から、脚と手は、1 つ以上の自由度を持つ関節で連結された剛体のシステムである関節機構としてモデル化できます。このモデルは、手の動きを説明するために縮小スケールに適用することも、完全な体の動きを説明するために広いスケールに基づいて適用することもできます。たとえば、特定の指の動きは、通常の角度から認識でき、カメラに対する手の位置に依存しません。

多くの追跡システムは、シーケンス推定の問題に重点を置いたモデルに基づいています。シーケンスの画像が与えられ、モデルが変化することから、各写真の 3D 構成を推定します。考えられるすべての手の構成は、状態空間上のベクトルで表され、手の位置と指の関節の角度をコード化します。各手の構成は、指の関節の閉塞の境界を検出することで画像のセットを生成します。各画像の推定は、測定された特性により適合する状態ベクトルを見つけることで計算されます。指の関節には、手のひらの剛体運動よりも 21 多い状態が追加されています。つまり、推定の計算コストが増大します。この手法では、各指の関節リンクにラベルを付け、それを円柱としてモデル化します。各関節に軸を設定し、この軸の二等分線が関節の投影となります。動きは 3 度しかないため、3 DOF を使用します。

この場合、この主題に関する展開論文は多種多様であるため、前の類型と同じです。したがって、この手法を使用する人の目的とニーズに応じて、手順と処理手法は異なります。とにかく、非常に一般的な方法であり、ほとんどのシステムでは、次の手順を実行する必要があると言えます。

• 背景減算: 5x5 のガウス フィルターを使用してキャプチャされたすべての画像を畳み込み、その後、これらの画像をスケーリングしてノイズの多いピクセル データを削減するという考え方です。
• セグメンテーション: バイナリ マスク アプリケーションを使用して、手に属するピクセルを白色で表し、前景の皮膚画像に黒色を適用します。
• 領域抽出: 左手と右手の比較に基づいて検出します。
• 特徴抽出: 指先の位置と、それがピークか谷かを検出します。ポイント、ピーク、谷を分類するために、これらは通常 xy 平面の疑似ベクトルと呼ばれる 3D ベクトルに変換され、クロス積を計算します。クロス積の z 成分の符号が正の場合、ポイントはピークであるとみなされ、クロス積の結果が負の場合、谷になります。
• ポイントおよびピンチ ジェスチャの認識: 目に見える参照ポイント (指先) を考慮して、特定のジェスチャが関連付けられます。
• 姿勢推定: 位置間の距離を計算するアルゴリズムを使用して手の位置を識別する手順。

指のアクティブ トラッキングも実行できます。スマート レーザー スキャナは、2003 ～ 2004 年に東京大学で開発された、改良型レーザー スキャナ/プロジェクターを使用したマーカーレスの指トラッキング システムです。画像処理をまったく必要とせずに、3 次元座標をリアルタイムで取得できます (基本的には、視野全体を連続的にスキャンするのではなく、スキャン領域をターゲットのサイズと同じ非常に狭いウィンドウに制限するレンジファインダー スキャナです)。このシステムでは、ジェスチャ認識が実証されています。サンプリング レートは非常に高く (500 Hz)、フィルタリング (カルマンなど) を必要とせずに滑らかな軌跡を取得できます。

確かに、指トラッキング システムは仮想現実を表現するために使用されます。ただし、その応用はプロレベルの3D モデリングに移行しており、この場合、企業やプロジェクトは直接覆されています。したがって、このようなシステムは、その高価格と複雑さのため、消費者向けアプリケーションで使用されることはほとんどありません。いずれにせよ、主な目的は、自然言語または対話型ジェスチャーを介してコンピューターにコマンドを実行するタスクを容易にすることです。

この目標は、自然言語やジェスチャーによるインタラクションで操作できれば、コンピューターの使用がもっと簡単になるはずだというアイデアに基づいています。この技術の主な用途は、3D デザインとアニメーションを強調することです。Maya や 3D StudioMax などのソフトウェアでは、こうしたツールが使用されています。その理由は、実行したい命令をより正確かつ簡単に制御できるようにするためです。このテクノロジーは多くの可能性を提供しますが、コンピューターを使用してリアルタイムで 3D で彫刻、構築、モデリングを行うことが最も重要です。

• 3Dデータの取得とオブジェクトの再構築
• 複数の画像からの3D再構築
• 一般的な3D ポーズ推定と、特に人間の肖像を捉えることに関連する関節体のポーズ推定。
• 4D再構築

• Anderson, D., Yedidia, J., Frankel, J., Marks, J., Agarwala, A., Beardsley, P., Hodgins, J., Leigh, D., Ryall, K., & Sullivan, E. (2000)。「タンジブルインタラクション + グラフィカル解釈: 3D モデリングへの新しいアプローチ」SIGGRAPH。p. 393-402。
• Angelidis, A., Cani, M.-P., Wyvill, G., & King, S. (2004). Swirling-Sweepers: 定体積モデリング. Pacific Graphics. p. 10-15.
• Grossman, T.、Wigdor, D.、Balakrishnan, R. (2004)。3D ボリューム ディスプレイを使用したマルチ フィンガー ジェスチャ インタラクション。UIST。p. 61-70。
• Freeman, W. & Weissman, C. (1995)。「手のジェスチャーによるテレビ操作」自動顔・ジェスチャー認識に関する国際ワークショップ。p. 179-183。
• Ringel, M., Berg, H., Jin, Y., & Winograd, T. (2001). 「Barehands: 壁掛けディスプレイとの道具を使わないインタラクション」CHI Extended Abstracts. p. 367-368.
• Cao, X. & Balakrishnan, R. (2003). VisionWand: 3D で追跡されるパッシブ ワンドを使用した大型ディスプレイのインタラクション テクニック。UIST。p. 173-182。
• A. Cassinelli、S. Perrin、M. Ishikawa、「3D ヒューマンマシンインターフェース向けスマートレーザースキャナー」、ACM SIGCHI 2005 (CHI '05) 国際コンピューティングシステム人間工学会議、オレゴン州ポートランド、2005 年 4 月 2 日～7 日、pp. 1138 ～ 1139 (2005)。

• http://www.synertial.com/
• http://www.vicon.com/
• https://stretchsense.com
• http://www.dgp.toronto.edu/~ravin/videos/graphite2006_proxy.mov ^{[リンク切れ]}
• https://web.archive.org/web/20091211043000/http://actuality-medical.com/Home.html
• カナダ
• http://www.k2.tu-tokyo.ac.jp/perception/SmartLaserTracking/
• マーカーを使用した指の追跡またはマーカーを使用しない指の追跡
• 3Dハンドトラッキング