フリートラック

フリートラック

安定版リリース	v2.2 / 2008年10月7日
オペレーティング·システム	マイクロソフトウィンドウズ
タイプ	光学モーショントラッキング
ライセンス	GNU 一般公衆利用許諾書
Webサイト	フリートラック

FreeTrackは、 Microsoft Windows用の汎用光学モーション トラッキングアプリケーションで、GNU General Public Licenseに基づいてリリースされており、一般的な安価なカメラで使用できます。主な焦点は、バーチャル リアリティ、シミュレーション、ビデオ ゲーム、3D モデリング、コンピューター支援設計、およびコンピューターのアクセシビリティを向上させる一般的なハンズフリー コンピューティングで使用されるヘッドトラッキングです。トラッキングは、わずかな頭の動きだけで十分な感度にできるため、ユーザーの目が画面から離れることはありません。

カメラは、ユーザーが装着する剛体ポイント モデルを観察するように配置されます。剛体のポイントは、物理的フィルタリングとソフトウェア フィルタリングによって背景光から分離される必要があります。動きは、ヨー、ピッチ、ロール、左右、上下、前後の最大6 自由度(6DOF) で追跡されます。Webカメラなどの Windows 互換ビデオ デバイスがサポートされるほか、特別なNintendo Wii リモートカメラ、Eyeware Beam を備えた iPhone Truedepth カメラ、NaturalPoint カメラ ( TrackIR、SmartNav、OptiTrack) もサポートされます。

FreeTrack は、独自のオープン インターフェイスのほか、TrackIR、SimConnect、FSUIPC インターフェイスを使用して、ヘッド トラッキング データをプログラムに直接出力できます。これらのインターフェイスをサポートするプログラムは、FreeTrack 互換であると見なされます。プログラムが直接インターフェイスをサポートしていない場合、 FreeTrack はマウス、キーボード、ジョイスティック(PPJoy 経由)をエミュレートすることもできます。

FreeTrackはDelphi 7でコーディングされており、DirectShowとDirectXを使用しています。ヘッドトラッキングは、DeMenthonの4点反復姿勢推定アルゴリズム（POSIT）^[1]とAlterの3点幾何学アルゴリズム^[2]の実装を使用して実現されています。

FreeTrack は、カメラを使用して、ユーザーが装着したポイント モデルに関するリアルタイム情報を収集します。具体的には、モデル ポイントの画像座標がカメラから直接受信されるか、ビデオ ストリームから抽出されます。これらの座標は、実際の頭部の姿勢の推定値を生成するために使用されます。ユーザーは、この座標をさまざまな方法で変換して仮想の姿勢を作成できます。最も基本的な変換の 1 つは、回転を増幅して頭部の動きを小さくすることです。最後に、仮想の姿勢が、ユーザーが選択した出力に送信されます。これはすべてバックグラウンドで実行され、追跡ステータスがシステム トレイに表示されます。

3D プレビューでは、実際の頭部のポーズに対する仮想の頭部の位置と向きが表示され、一人称視点を含む複数の視点から表示できます。これはテストに非常に役立ち、さまざまな設定を試しやすくなります。

各自由度(軸) には応答曲線があり、これを修正することで、実際の頭部の動きに応じて仮想頭部の動きを変えることができます。これは通常、中央のデッドゾーン領域を作成し、ユーザーの頭部をその部分でよりリラックスさせるために使用されます。

キーボード、マウス、ジョイスティックのボタンを使用して、仮想中心位置（車の座席位置を調整するようなもの）を含むトラッキング設定を切り替えたり、軸と出力を個別に切り替えることができます。

NaturalPoint カメラの場合、FreeTrack は、公式ソフトウェアでは利用できない高度な機能とカスタマイズ レベルを提供できます。

ほとんどの場合、320×240 の解像度で十分です。これにより、高解像度モニターで正確なカーソル制御を可能にするのに十分な、はるかに高いサブピクセル解像度を実現できます。640×480 以上の解像度では、コンピューターに到達する前に十分に圧縮されていない場合、CPU 使用率が指数関数的に^増加し^ます。カメラからの距離が長いほど、高解像度がより重要になります。Wii は低解像度の 128×96 センサーを使用していますが、これは一部の人からは、トラッキングがぎくしゃくする原因となり、応答性が低下する代わりに、安定性を向上させるためにスムージングが必要になる場合があります。^[15]

同じ解像度の場合、モノクロ センサーはカラーフィルターアレイがないため、カラーセンサーよりも細かいディテールをはるかに正確に解像できます。

FreeTrack は、低フレーム レートのビデオ デバイスで補間を使用して、パンの滑らかさを向上させます。ただし、応答性は基本的にフレーム レートに制限されます。30 フレーム/秒の Web カメラの最大応答遅延は 33.3 ミリ秒ですが、120 フレーム/秒のカメラでは 8.33 ミリ秒です。これを比較すると、人間の視覚刺激に対する反応時間 (指の反射) は通常約 200 ミリ秒です。30 ミリ秒は、反射神経を駆使するオンライン ゲームでの競争力のあるpingとみなされ、LCD モニターのリフレッシュ レートは通常 17 ミリ秒です。

応答性が高いほど、制御感が高まりますが、仮想的な頭の動きが増幅されるため、非現実的なほど速く動くこともあります。このため、一部のプログラムでは頭の動きの速度を制限し、高フレーム レートのカメラの応答性をある程度無駄にしています。

視野角が広いほど、カメラに近いときに追跡領域が広くなります。距離が離れると、広い視野角は望ましくありません。フレームの未使用部分が増え、有効解像度が急速に低下します。周辺光も増え、追跡を妨げる可能性があります。解像度を犠牲にして デジタルズームを使用すると、視野角を狭めることができます。

Nintendo Wii リモコンは実質的に CPU を使用しません。NaturalPoint カメラは CPU を少ししか使用しません。一般的なビデオ デバイスは、ブランドや使用しているカメラの設定によっては、かなりの CPU を使用する場合があります。TrackIR 4 と同じ解像度とフレーム レートで動作する PlayStation Eye は、シングル コア CPU に非常に負荷がかかります。ただし、最近のマルチ コア CPU では、この問題はそれほど問題になりません。解像度とフレーム レートは、CPU リソースを節約するためにいつでも下げることができます。

FreeTrack では、追跡ポイントを他のすべての光から分離する必要があります。これは、カメラの前に赤外線 LED と可視光遮断フィルターを使用することで最適に実現できます。写真フィルムやフロッピー ディスク内の磁気記憶媒体は、安価な可視光フィルターとして使用できます。露出としきい値を調整することで、ソフトウェアでさらにフィルタリングできます。

ウェブカメラなどのすべてのビデオ デバイスには赤外線遮断フィルターが組み込まれており、これを取り外すと赤外線に対する感度が向上し、ポイント分離が向上し、反射追跡が可能になります。これは通常、ほとんどのウェブカメラで簡単で元に戻せる手順です。

Wii リモコンと NaturalPoint カメラは赤外線ポイント追跡用に設計されているため、可視光を遮断するフィルターがすでに備わっています。

• 単一ポイント: 単一のトラッキング ポイント。たとえば、野球帽や頭の前方に伸びるワイヤーに取り付けられます。ペンライトなどの小さな光源で簡単に実現できます。他の構成とは異なり、これは 2 つの自由度 (ヨーとピッチ) に制限されており、回転よりも平行移動に対して敏感です。
• 3 点クリップ:ヘッドフォンにクリップして頭の側面に配置できる、ポイントの非対称三角形配置。
• 3 ポイント キャップ: 対称的な三角形のポイントの配置で、通常は野球帽の縁に取り付けられます。
• 4 ポイント キャップ: 対称的で非同一平面上のポイントの配置。野球帽の縁にも取り付けられます。

モデルは、簡単に入手できる電子部品を使用して、最小限の費用でDIY方式で作成できます。コンポーネント キットと完全に組み立てられたモデルも、FreeTrack コミュニティの一部のメンバーから購入できます。

アクティブ ポイント モデルは、可視 LED または赤外線 LED (5 mm 以上) を使用して追跡ポイントを表します。電源はバッテリー、変圧器 (プラグ パック)、またはUSB です。電気回路は非常に基本的なもので、電子工学の経験がほとんどまたはまったくない人でも作ることができます。

リモコンに見られるような一般的な LED は、狭く焦点が絞られたビームを発するため、光学的なモーション トラッキングには適していません。レンズの先端をやすりで削って平らにすれば、簡単に広角 LED に変えることができます。また、半角が 40 度の赤外線 Siemens/Osram SFH485P などの広角 LED は、専門の電気製品販売店で購入できます。

反射素材を使用すると、赤外線光源で照らすことで追跡ポイントを表すことができます。この構成では、ユーザーにワイヤーやバッテリーを接続する必要はありませんが、背景光による干渉を受けやすくなります。ほとんどの場合、追跡ポイントで反射された赤外線が見えるほど感度を上げるには、ウェブカメラの内部赤外線ブロック フィルターを取り外す必要があります。

FreeTrack にはシンプルなインターフェースがあり、Eyeware Beam などのサードパーティ プログラムで自由に使用して、実際の生の測定値と仮想の 6DOF トラッキング データにアクセスできます。ハードウェアに依存しないため、特定のブランドやハードウェアのバージョンに依存せず、制限なく使用できます。Bohemia Interactive の ARMA 2は FreeTrack インターフェースをサポートする最初のゲームであり^[16]、GP Bikes は独占的にサポートする最初のゲームです。^[17]

FreeTrackは、シミュレーションゲームで広くサポートされているNaturalPointのヘッドトラッキングTrackIRインターフェースの暗号化されていないバージョンと互換性があります。NaturalPointは2008年後半から、人気の高いタイトル向けにインターフェースの暗号化バージョンをゲーム開発者に提供してきましたが、これらはTrackIRソフトウェアバージョン4.1.036以上を必要とし、FreeTrackと互換性がありません。[ ^{18]影響を受けた最初のゲームである}DCS: Black Shark ^[19] の開発者は、独自のヘッドトラッキングインターフェースをリリースしようとしましたが、すぐにNaturalPointの要求によりキャンセルされました。^[20] FreeTrackとの互換性は、ゲームの暗号化要件を削除するTrackIRFixerを使用することでまだ可能です。^[21]

TIRViews.dllは、TrackIRソフトウェアとともに配布されるダイナミックリンクライブラリファイルであり、ビュー制御を容易にするための特別なインターフェースやメモリハックを使用して、少数の主に古いゲームに合わせたサポートを提供します。 ^{[22] TrackIRソフトウェアの}EULA に違反しますが、^[23] FreeTrackで使用することは可能です。

NaturalPointのTrackIRインターフェースSDKは、署名されたライセンス契約^{[24]の下でのみ利用可能であり、} NDA によってカバーされているため、FreeTrackはフリーソフトウェアですが、TrackIRインターフェースコンポーネントはクローズドソースである必要があります。^[25]

• FreeTrackと互換性のあるゲームのリスト
• トラックIR

• FreeTrack公式ウェブサイト
• Daniel DeMenthon の学術ページ - POSIT アルゴリズムの論文と例
• FreeTrack YouTubeチャンネル