
モーションキャプチャ(略してmocapまたはmo-capと呼ばれることもある)は、物体や人物の高解像度の動きをコンピュータシステムに記録するプロセスです。軍事、エンターテイメント、スポーツ、医療用途、コンピュータビジョン[ 3 ]やロボット[ 4 ]の検証に使用されます。
映画、テレビ番組、ビデオゲームでは、モーションキャプチャとは、人間の俳優の動作を記録し、その情報を使用して2D または 3Dコンピュータアニメーションでデジタルキャラクターモデルをアニメーション化することを指します。[ 5 ] [ 6 ] [ 7 ]顔や指を含めたり、微妙な表情や声をキャプチャしたりする場合は、パフォーマンスキャプチャと呼ばれることがよくあります。[ 8 ]多くの分野では、モーションキャプチャはモーション トラッキングと呼ばれることもありますが、映画制作やゲームでは、モーション トラッキングは通常、マッチ ムーブメントを指します。
モーションキャプチャセッションでは、1人または複数の俳優の動きが毎秒何度もサンプリングされます。初期の技術では、複数のカメラからの画像を使用して 3D 位置を計算していましたが、[ 9 ]モーションキャプチャの目的は、俳優の視覚的な外観ではなく、俳優の動きのみを記録することであることがよくあります。このアニメーションデータは3D モデルにマッピングされ、モデルが俳優と同じ動作を実行します。このプロセスは、古いロトスコープ技術とは対照的です。
カメラの動きもモーションキャプチャで記録できるため、俳優が演技している間、カメラオペレーターが操作するシーン内の仮想カメラが舞台上をパン、チルト、ドリーします。同時に、モーションキャプチャシステムは、俳優の演技だけでなく、カメラや小道具の動きもキャプチャできます。これにより、コンピュータで生成されたキャラクター、画像、セットは、カメラからの映像と同じ視点を持つことができます。コンピュータはデータを処理して俳優の動きを表示し、セット内のオブジェクトに関して、必要なカメラ位置を提供します。キャプチャされた映像からカメラの動きのデータを後から取得することは、マッチムーブまたはカメラトラッキングと呼ばれます。
モーションキャプチャによってアニメーション化された最初のバーチャルアクターは、1993年にディディエ・プルセルと彼のチームであるグリブイユによって制作された。これは、フランスのコメディアン、リチャード・ボーランジェの体と顔を「クローン」し、当時まだ黎明期だったモーションキャプチャツールを使ってアニメーション化するというものだった。
モーションキャプチャは、従来の3Dモデルのコンピュータアニメーションに比べて、いくつかの利点があります。
モーションキャプチャには多くの用途がある。最も一般的なのはビデオゲーム、映画、動作キャプチャだが、パデュー大学ではロボット開発の研究にもこの技術が活用されている。
ビデオゲームでは、アスリート、武道家、その他のゲーム内キャラクターをアニメーション化するためにモーションキャプチャがよく使用されます。[ 13 ] [ 14 ] 1988年には、初期のモーションキャプチャが、MartechのビデオゲームVixen(モデルのコリンヌ・ラッセルが演じた)[ 15 ]およびMagical Companyの2Dアーケード格闘ゲームLast Apostle Puppet Show(デジタル化されたスプライトをアニメーション化するため)[ 16 ]の2Dプレイヤーキャラクターのアニメーション化に使用されました。モーションキャプチャはその後、Sega ModelのアーケードゲームVirtua Fighter(1993)[ 17 ] [ 18 ]およびVirtua Fighter 2 (1994) [ 19 ]の3Dキャラクターモデルのアニメーション化に特に使用されました。1995年半ばには、開発/販売会社のAcclaim Entertainmentが本社内に独自のモーションキャプチャスタジオを建設しました。[ 14 ]ナムコの1995年のアーケードゲーム「ソウルエッジ」は、モーションキャプチャにパッシブ光学システムマーカーを使用しました。[ 20 ]モーションキャプチャは、ノーティードッグの「クラッシュ・バンディクー」、インソムニアックゲームズの「スパイロ・ザ・ドラゴン」 、レアの「ダイナソープラネット」など、アニメーションゲームをベースにしたゲームでもアスリートを使用しています。
屋内測位は、光学式モーションキャプチャシステムのもう一つの応用例です。ロボット工学の研究者は、制御、推定、知覚アルゴリズムやハードウェアの開発・評価において、モーションキャプチャシステムをよく利用します。屋外では、全地球航法衛星システム(GNSS)とリアルタイムキネマティクス(RTK)を組み合わせることで、センチメートル単位の精度を実現できます。しかし、屋内環境のように衛星との見通しが遮られると、精度は大幅に低下します。市販の光学式モーションキャプチャシステムを販売するベンダーの多くは、広く普及しているロボットオペレーティングシステム(ROS)フレームワークと統合できるオープンソースのドライバを提供しており、研究者や開発者は開発中にロボットを効果的にテストできます。
航空ロボット研究の分野では、モーションキャプチャシステムは位置決めにも広く用いられています。しかし、空域利用に関する規制により、無人航空機システム(UAS)を用いた屋外実験の実施には限界があります。屋内実験であれば、こうした制約を回避できます。世界中の多くの研究所や研究機関が、この目的のために屋内モーションキャプチャ空間を構築しています。
パデュー大学には、パデューUAS研究試験施設(PURT)内に世界最大の屋内モーションキャプチャシステムが設置されています。PURTはUAS研究に特化しており、60台のモーションキャプチャカメラを使用して60万立方フィートの追跡ボリュームを提供しています。[ 21 ]光学式モーションキャプチャシステムは、そのボリューム内のターゲットをミリメートル単位の精度で追跡することができ、ターゲットの真の位置、つまり研究開発における「グラウンドトゥルース」ベースラインを効果的に提供します。他のセンサーやアルゴリズムから得られた結果は、グラウンドトゥルースデータと比較することで、その性能を評価できます。
映画では、モーションキャプチャがCGIエフェクトに使用され、場合によっては従来のセルアニメーションに取って代わり、ゴラム、ハムナプトラ、キングコング、パイレーツ・オブ・カリビアンのデイヴィ・ジョーンズ、映画『アバター』のナヴィ族、そして『トロン:レガシー』のクルーなど、完全にCGIで作られたクリーチャーにも使用されています。2012年の映画『ホビット 思いがけない冒険』に登場するグレート・ゴブリン、3体のストーン・トロル、多くのオークやゴブリン、そしてスマウグもモーションキャプチャを使用して制作されました。
1990年の映画『トータル・リコール』では、アーノルド・シュワルツェネッガーらがX線装置を通り抜けるシーンはモーションキャプチャを使用して撮影された。 [ 22 ]
映画『バットマン フォーエヴァー』(1995年)では、一部の視覚効果にモーションキャプチャが使用されました。ワーナー・ブラザースは、映画製作のためにアーケードビデオゲーム会社アクレイム・エンターテインメントからモーションキャプチャ技術を取得しました。 [ 23 ]アクレイムの1995年の同名のビデオゲームも、デジタル化されたスプライトグラフィックをアニメーション化するために同じモーションキャプチャ技術を使用しました。[ 24 ]
1999年の映画『スター・ウォーズ エピソード1/ファントム・メナス』は、モーションキャプチャを使用して作成されたメインキャラクター(アーメド・ベストが演じるジャー・ジャー・ビンクス)が登場する最初の長編映画でした。2000年のインド・アメリカ合作映画『シンドバッド 霧のベールの向こう』は、モーションキャプチャを主軸として制作された最初の長編映画でしたが、多くのキャラクターアニメーターもこの映画に携わり、公開は非常に限定的でした。2001年の『ファイナルファンタジー スピリッツ・ウィズイン』は、モーションキャプチャ技術を使用して制作された最初の広く公開された映画でした。興行収入は振るいませんでしたが、モーションキャプチャ技術の支持者は注目しました。
『ロード・オブ・ザ・リング/二つの塔』は、リアルタイムモーションキャプチャシステムを採用した最初の長編映画でした。この方法では、俳優アンディ・サーキスの動きを、ゴラム/スメアゴルのコンピュータ生成画像スキンにリアルタイムでストリーミングしました。 [ 25 ]
ウクライナの独立系スタジオであるStorymind Entertainmentは、モーションキャプチャを使用して主人公のJordan Adalienとノンプレイヤーキャラクターをアニメーション化するために、My Eyes On Youというネオノワール三人称視点シューティングビデオゲームを制作した。 [ 26 ]
2006年のアカデミー長編アニメ映画賞にノミネートされた3作品のうち、2作品(モンスター・ハウスと受賞作のハッピーフィート)はモーションキャプチャを使用しており、ディズニー・ピクサーの『カーズ』だけがモーションキャプチャなしでアニメーション化されました。ピクサーの映画『レミーのおいしいレストラン』のエンドクレジットには、「100% 本物のアニメーション – モーションキャプチャなし!」というスタンプが表示されます。
2001年以来、モーションキャプチャは実写劇場の外観をシミュレートまたは近似するために広く使用されており、ほぼ写真のようにリアルなデジタルキャラクターモデルが使用されています。映画「ポーラー・エクスプレス」では、モーションキャプチャを使用して、トム・ハンクスが複数の異なるデジタルキャラクターを演じ(声も担当)、2007年の叙事詩「ベオウルフ」の映画化では、動きと声を提供した俳優を部分的にベースにしたデジタルキャラクターがアニメーション化されました。ジェームズ・キャメロンの大ヒット映画「アバター」では、この技術を使用してパンドラに住むナヴィ族を作成しました。[ 27 ]ウォルト・ディズニー・カンパニーは、この技術を使用してロバート・ゼメキス監督の「クリスマス・キャロル」を製作しました。2007年にディズニーはゼメキス監督のImageMovers Digital(モーションキャプチャ映画を製作)を買収しましたが、2011年に「マーズ・ニーズ・マムズ」の興行的失敗の後、同社を閉鎖しました。
モーションキャプチャアニメーションのみで制作されたテレビシリーズには、カナダの『Laflaque』 、オランダの『Sprookjesboom』と『Cafe de Wereld』 、イギリスの『Headcases』などがある。
uSensやGestigonなどの仮想現実(VR)および拡張現実(AR)プロバイダーは、手の動きをキャプチャすることで、ユーザーがデジタルコンテンツとリアルタイムでインタラクトできるようにしています。これは、トレーニングシミュレーション、視覚認知テスト、3D環境での仮想ウォークスルーなどに役立ちます。モーションキャプチャ技術は、デジタル人形劇システムにおいて、コンピュータ生成キャラクターをリアルタイムで操作するために頻繁に使用されています。
歩行分析は、臨床医学におけるモーションキャプチャの応用例の一つです。この技術を用いることで、臨床医は複数の生体力学的要因にわたる人間の動きを評価することができ、多くの場合、その情報をリアルタイムで分析ソフトウェアにストリーミング配信することができます。
革新的な用途の1つは姿勢検出であり、これは術後の回復や怪我後のリハビリテーション中に患者を支援することができます。このアプローチにより、継続的なモニタリング、リアルタイムのガイダンス、および個別に調整されたプログラムが可能になり、患者の成果が向上します。[ 28 ]
理学療法クリニックの中には、患者の進歩を客観的に定量化する方法としてモーションキャプチャを利用するところもある。[ 29 ]
ジェームズ・キャメロン監督の映画『アバター』の撮影中、モーションキャプチャを用いたすべてのシーンは、 Autodesk MotionBuilderソフトウェアを使用してリアルタイムで撮影されました。このソフトウェアは、スクリーンイメージをレンダリングすることで、監督と俳優が映画の中で自分たちがどのように見えるかを確認できるようにし、観客の視点に立った演出を容易にしました。この手法により、プリレンダリングされたアニメーションでは不可能な視点や角度での撮影が可能になりました。キャメロン監督はこの成果に非常に満足し、スティーブン・スピルバーグとジョージ・ルーカスを撮影現場に招き、システムの動作を実際に見てもらいました。
マーベルの『アベンジャーズ』では、マーク・ラファロはモーションキャプチャ技術を用いてハルクを演じ、これまでの作品のようにCGIのみで表現するのではなく、人間形態とハルク形態の両方のブルース・バナーを演じた初の俳優となった。
FaceRigソフトウェアは、ULSee.Incの顔認識技術を使用してプレイヤーの顔の表情をマッピングし、Perception Neuronの身体追跡技術を使用して身体の動きを画面上の2Dまたは3Dキャラクターの動きにマッピングします。[ 30 ] [ 31 ]
サンフランシスコで開催されたゲーム開発者会議2016で、Epic GamesはUnreal Engineで全身モーションキャプチャをライブで実演しました。セヌアという名の女戦士を主人公とする近日発売予定のゲーム「Hellblade」のシーン全体がリアルタイムでレンダリングされました。基調講演[ 32 ]は、 Unreal Engine、Ninja Theory、3Lateral、Cubic Motion、IKinema、Xsensのコラボレーションによるものでした。
2020年、フィギュアスケートのオリンピック2連覇王者である羽生結弦選手は早稲田大学を卒業した。卒業論文では、体に装着した31個のセンサーから得られたデータを用いてジャンプを分析した。採点システムの改善とスケーターのジャンプ技術向上に役立つ技術の利用について評価した。[ 33 ] [ 34 ] 2021年3月には、論文の要約が学術誌に掲載された。[ 35 ]

モーション トラッキングまたはモーション キャプチャは、1970 年代から 1980 年代にかけて生体力学研究における写真測量分析ツールとして始まり、技術の成熟に伴い、教育、トレーニング、スポーツ、そして最近ではテレビ、映画、ビデオゲーム向けのコンピュータ アニメーションへと拡大しました。20 世紀以降、パフォーマーは各関節付近にマーカーを装着し、マーカー間の位置または角度によって動きを識別する必要があります。音響、慣性、LED、磁気、反射マーカー、またはこれらの組み合わせが追跡され、理想的には目的の動きの周波数の少なくとも 2 倍の周波数で追跡されます。モーション ブラーは低解像度とほぼ同じ問題を引き起こすため、システムの解像度は空間解像度と時間解像度の両方において重要です。21 世紀初頭から、そして技術の急速な発展により、新しい方法が開発されました。最新のシステムのほとんどは、背景からパフォーマーのシルエットを抽出できます。その後、シルエットに数学モデルを当てはめることで、すべての関節角度が計算されます。シルエットの変化が見えない動きの場合、マーカーとシルエットの両方を行うことができるハイブリッドシステムが利用可能ですが、マーカーの数は少なくなります。ロボット工学では、一部のモーションキャプチャシステムは同時位置特定とマッピングに基づいています。[ 36 ]
光学システムは、画像センサーから取得したデータを利用して、重なり合う投影を提供するように調整された 2 台以上のカメラ間で被写体の 3D 位置を三角測量します。データ取得は従来、俳優に取り付けられた特殊なマーカーを使用して実装されていましたが、より新しいシステムでは、各被写体に対して動的に識別される表面の特徴を追跡することで、正確なデータを生成できます。多数のパフォーマーを追跡したり、キャプチャ領域を拡張したりするには、カメラを追加します。これらのシステムは、各マーカーに対して 3 自由度のデータを生成し、回転情報は 3 台以上のマーカーの相対的な向きから推測する必要があります。たとえば、肩、肘、手首のマーカーは肘の角度を提供します。新しいハイブリッドシステムは、慣性センサーと光学センサーを組み合わせて、遮蔽を減らし、ユーザー数を増やし、手動でデータをクリーンアップする必要なく追跡する能力を向上させています。[ 37 ]


パッシブ光学システムでは、カメラレンズ付近で発生した光を反射する再帰反射材を塗布したマーカーを使用します。カメラの閾値を調整することで、明るく反射するマーカーのみを検出し、肌や布地は無視することができます。
マーカーの重心は、キャプチャされた2次元画像内の位置として推定されます。各ピクセルのグレースケール値を使用して、ガウス分布の重心を求めることで、サブピクセル精度を提供できます。
既知の位置にマーカーを取り付けた物体を用いてカメラを較正し、位置を取得するとともに、各カメラのレンズ歪みを測定します。較正済みの2台のカメラがマーカーを捉えれば、3次元位置を特定できます。通常、システムは2台から48台程度のカメラで構成されます。マーカーの入れ替わりを減らすために、300台以上のカメラを使用するシステムも存在します。撮影対象物の周囲全体や複数の被写体を撮影するには、追加のカメラが必要です。
ベンダーは、すべてのパッシブマーカーが同一に見えるため、マーカーの交換の問題を軽減するための制約ソフトウェアを持っています。アクティブマーカーシステムや磁気システムとは異なり、パッシブシステムでは、ユーザーがワイヤーや電子機器を装着する必要はありません。[ 38 ]代わりに、数百個のゴムボールが反射テープで取り付けられており、定期的に交換する必要があります。マーカーは通常、皮膚に直接取り付けられるか(生体力学の場合と同様)、モーションキャプチャ用に特別に設計された全身スパンデックス/ライクラスーツを着たパフォーマーにベルクロで取り付けられます。このタイプのシステムは、通常120~160 fps程度のフレームレートで多数のマーカーをキャプチャできますが、解像度を下げて関心領域を小さく追跡することで、最大10,000 fpsまで追跡できます。

アクティブ光学システムは、一度に1つのLEDを非常に高速に点灯させるか、複数のLEDをソフトウェアで相対位置に基づいて識別することで位置を三角測量します。これは天体航法にいくらか似ています。外部から生成された光を反射するのではなく、マーカー自体が電力供給を受けて自ら光を発します。逆二乗法則により、距離が2倍になると出力は4分の1になるため、これにより取得可能な距離と体積を拡大できます。また、これにより高い信号対雑音比が実現し、マーカーのジッターが非常に小さくなり、結果として高い測定分解能(多くの場合、 校正された体積内で0.1 mmまで)が得られます。
テレビシリーズ「スターゲイトSG-1」では、アクティブ光学システムを用いたVFX(視覚効果)によって、俳優が小道具の周りを歩き回ることができるようになった。これは、他の非アクティブ光学システムではモーションキャプチャが困難な状況でも可能だった。
ILMは『ヴァン・ヘルシング』でアクティブマーカーを使用し、Wetaが『猿の惑星:創世記』で使用したのと同様に、非常に大きなセットでドラキュラの空飛ぶ花嫁をキャプチャできるようにした。各マーカーへの電力はキャプチャシステムと同期して順次供給され、結果として得られるフレームレートを犠牲にして、特定のキャプチャフレームごとに各マーカーを一意に識別できる。このように各マーカーを識別できる機能は、リアルタイムアプリケーションで有用である。マーカーを識別する別の方法は、アルゴリズムによって行うことだが、これにはデータの追加処理が必要となる。
色付きLEDマーカーを使用して位置を特定する方法もあります。これらのシステムでは、各色が身体の特定の部位に割り当てられています。
1980年代に登場した初期のアクティブマーカーシステムの一つは、回転ミラーと色付きガラス反射マーカーを用いたハイブリッド型のパッシブ・アクティブモーションキャプチャシステムで、マスク付きリニアアレイ検出器を使用していた。
アクティブマーカーシステムは、一度に 1 つのマーカーをストロボで点灯させるか、複数のマーカーを時間経過とともに追跡し、振幅またはパルス幅を変調してマーカー ID を提供することで、さらに改良できます。12 メガピクセルの空間解像度変調システムは、空間解像度と時間解像度の両方が高いため、4 メガピクセルの光学システムよりも微妙な動きを捉えます。監督は俳優の演技をリアルタイムで確認し、モーション キャプチャ駆動の CG キャラクターで結果を確認できます。独自のマーカー ID により、マーカーの交換が不要になり、他の技術よりもはるかにクリーンなデータが得られるため、ターンアラウンドが短縮されます。オンボード処理と無線同期を備えた LED は、高速電子シャッターにより、1 秒あたり 120 ~ 960 フレームで撮影しながら、直射日光の下で屋外でのモーション キャプチャを可能にします。変調された ID のコンピュータ処理により、手作業によるクリーンアップやフィルタリング結果が少なくなり、運用コストが削減されます。この高い精度と解像度には、受動技術よりも多くの処理が必要ですが、追加の処理はカメラで行われ、サブピクセルまたは重心処理によって解像度が向上し、高解像度と高速の両方が実現されます。これらのモーションキャプチャシステムは、通常、8台のカメラ、12メガピクセルの空間解像度、120ヘルツのシステムで、俳優1人の場合、2万ドルかかる。

高速カメラに基づく従来のアプローチを逆転させる方法もある。Prakashのようなシステムは、安価なマルチLED高速プロジェクターを使用する。特別に設計されたマルチLED赤外線プロジェクターは、空間を光学的に符号化する。再帰反射型マーカーやアクティブ発光ダイオード(LED)マーカーの代わりに、このシステムは感光性マーカータグを使用して光信号をデコードする。シーンポイントにフォトセンサー付きのタグを取り付けることで、タグは各ポイントの自身の位置だけでなく、自身の向き、入射光、反射率も計算できる。
これらのトラッキングタグは自然光条件下で機能し、衣服やその他の物体に目立たないように埋め込むことができます。このシステムはシーン内で無制限の数のタグをサポートし、各タグは一意に識別されるため、マーカーの再取得に関する問題が解消されます。高速カメラとそれに伴う高速画像ストリームが不要になるため、必要なデータ帯域幅が大幅に削減されます。また、タグは入射光データも提供するため、合成要素を挿入する際にシーンの照明を合わせるために使用できます。この技術は、撮影現場でのモーションキャプチャや仮想セットのリアルタイム放送に理想的であるように思われますが、まだ実証されていません。
モーションキャプチャ技術は、研究者や科学者にとって数十年前から利用可能であり、多くの分野に新たな知見をもたらしてきた。
システムの中核となる水中カメラは防水ハウジングを備えています。ハウジングは腐食や塩素に強い仕上げが施されているため、水槽やプールでの使用に最適です。カメラには2種類あります。産業用高速カメラは赤外線カメラとしても使用できます。赤外線水中カメラは、水中での光量低下を最小限に抑えるため、一般的な赤外線ライトの代わりにシアンライトストロボを搭載しています。高速カメラにはLEDライトが搭載されているか、画像処理機能を使用するオプションがあります。

水中カメラの測定範囲は、水質、カメラの種類、使用するマーカーの種類によって異なりますが、一般的に15~20メートルです。当然ながら、水が澄んでいるときに最も広い範囲を測定でき、また、測定範囲はカメラの台数にも左右されます。様々な状況に対応できるよう、各種水中マーカーが用意されています。
プールによって必要な設置方法や固定具は異なります。そのため、水中モーションキャプチャシステムはすべて、各プールの設置状況に合わせて個別に設計されています。プールの中央に設置するカメラには、吸盤を使用した専用の三脚が付属します。
コンピュータビジョンの新たな技術と研究により、マーカーレス方式のモーションキャプチャが急速に発展しています。スタンフォード大学、メリーランド大学、MIT、マックス・プランク研究所などで開発されたマーカーレスシステムでは、トラッキングのために被験者が特別な機器を装着する必要はありません。特別なコンピュータアルゴリズムにより、システムは複数の光入力ストリームを分析し、人間の形状を識別して、トラッキングのために構成要素に分解することができます。ワーナー・ブラザース・ピクチャーズの子会社で、特にバーチャル映画撮影を可能にするために設立されたESCエンターテインメントは、 7台のカメラ構成を利用し、カメラのすべての2D平面上のすべてのピクセルの光の流れをトラッキングして、動き、ジェスチャー、表情をキャプチャし、フォトリアリスティックな結果をもたらすUniversal Captureと呼ばれる技術を使用しました。
従来、マーカーレス光学式モーション追跡は、航空機、ロケット、ミサイル、衛星など、さまざまな物体を追跡するために使用されてきました。このような光学式モーション追跡アプリケーションの多くは屋外で行われるため、異なるレンズとカメラ構成が必要です。追跡対象の高解像度画像は、モーションデータだけでなく、より多くの情報を提供できます。スペースシャトル・チャレンジャーの致命的な打ち上げ時にNASAの長距離追跡システムから得られた画像は、事故の原因に関する重要な証拠を提供しました。光学式追跡システムは、物体が十分な光を反射または放出する必要があるという点でレーダーに比べて不利であるにもかかわらず、既知の宇宙船や宇宙ゴミを識別するためにも使用されます。[ 39 ]
光学式追跡システムは、一般的に光学画像システム、機械式追跡プラットフォーム、追跡コンピュータの3つのサブシステムで構成される。
光学イメージングシステムは、対象領域からの光を、追跡用コンピュータが処理できるデジタル画像に変換する役割を担います。光学追跡システムの設計によって、光学イメージングシステムは、標準的なデジタルカメラのようなシンプルなものから、山頂に設置された天体望遠鏡のような特殊なものまで、多岐にわたります。光学イメージングシステムの仕様によって、追跡システムの有効範囲の上限が決まります。
The mechanical tracking platform holds the optical imaging system and is responsible for manipulating the optical imaging system in such a way that it always points to the target being tracked. The dynamics of the mechanical tracking platform combined with the optical imaging system determines the tracking system's ability to keep the lock on a target that changes speed rapidly.
The tracking computer is responsible for capturing the images from the optical imaging system, analyzing the image to extract the target position and controlling the mechanical tracking platform to follow the target. There are several challenges. First, the tracking computer has to be able to capture the image at a relatively high frame rate. This posts a requirement on the bandwidth of the image-capturing hardware. The second challenge is that the image processing software has to be able to extract the target image from its background and calculate its position. Several textbook image-processing algorithms are designed for this task. This problem can be simplified if the tracking system can expect certain characteristics that is common in all the targets it will track. The next problem down the line is controlling the tracking platform to follow the target. This is a typical control system design problem rather than a challenge, which involves modeling the system dynamics and designing controllers to control it. This will however become a challenge if the tracking platform the system has to work with is not designed for real-time.
The software that runs such systems is also customized for the corresponding hardware components. One example of such software is OpticTracker, which controls computerized telescopes to track moving objects at great distances, such as planes and satellites. Another option is the software SimiShape, which can also be used hybrid in combination with markers.
RGB-D cameras such as Kinect capture both the color and depth images. By fusing the two images, 3D colored voxels can be captured, allowing motion capture of 3D human motion and human surface in real-time.
Because of the use of a single-view camera, motions captured are usually noisy. Machine learning techniques have been proposed to automatically reconstruct such noisy motions into higher quality ones, using methods such as lazy learning[40] and Gaussian models.[41] Such method generates accurate enough motion for serious applications like ergonomic assessment.[42]
慣性モーションキャプチャ[ 43 ]技術は、小型慣性センサー、生体力学モデル、センサー融合アルゴリズムに基づいています。 [ 44 ]慣性センサー(慣性誘導システム)のモーションデータは、多くの場合、ワイヤレスでコンピュータに送信され、そこでモーションが記録または表示されます。ほとんどの慣性システムは、回転速度を測定するために、ジャイロスコープ、磁力計、加速度計の組み合わせを含む慣性計測ユニット(IMU)を使用します。これらの回転は、ソフトウェアで骨格に変換されます。光学マーカーと同様に、IMUセンサーが多いほど、データはより自然になります。相対的な動きには外部カメラ、エミッター、マーカーは必要ありませんが、必要に応じてユーザーの絶対位置を取得するには必要です。慣性モーションキャプチャシステムは、人間の6自由度すべての身体の動きをリアルタイムでキャプチャし、磁気ベアリングセンサーが含まれている場合は限定的な方向情報を提供できますが、これらは解像度がはるかに低く、電磁ノイズの影響を受けやすいです。慣性システムを使用する利点には、狭い空間、解決不要、携帯性、広いキャプチャエリアなど、さまざまな環境でのキャプチャが含まれます。欠点には、位置精度が低く、時間の経過とともに蓄積される可能性のある位置ドリフトが含まれます。これらのシステムはWii コントローラーに似ていますが、感度が高く、解像度と更新レートが優れています。地面に対する方向を 1 度以内で正確に測定できます。慣性システムの人気はゲーム開発者の間で高まっており、[ 10 ]主にセットアップが迅速かつ容易で、パイプラインが高速化されるためです。さまざまなメーカーからさまざまなスーツが入手可能で、基本価格は 1,000 ドルから 80,000 ドルまでです。
機械式モーションキャプチャシステムは、身体の関節角度を直接追跡し、センサーが身体に取り付けられる方法から、外骨格モーションキャプチャシステムと呼ばれることもあります。パフォーマーは骨格のような構造を身体に取り付け、パフォーマーが動くと、関節のある機械部品も動き、パフォーマーの相対的な動きを測定します。機械式モーションキャプチャシステムは、リアルタイムで、比較的低コストで、遮蔽がなく、ワイヤレス(テザーなし)で、キャプチャボリュームに制限がありません。通常、これらは、身体の関節で可動するポテンショメータで連結された、関節のあるまっすぐな金属またはプラスチックの棒の剛性構造です。これらのスーツは、通常25,000ドルから75,000ドルの範囲で、外部の絶対位置システムが付属します。一部のスーツは、限定的な力覚フィードバックまたは触覚入力を提供します。
磁気システムは、送信機と各受信機の両方にある 3 つの直交コイルの相対的な磁束によって位置と向きを計算します。[ 45 ] 3 つのコイルの電圧または電流の相対的な強度により、これらのシステムは追跡ボリュームを綿密にマッピングすることで、距離と向きの両方を計算できます。センサーの出力は6 自由度(6DOF) であり、光学システムで必要とされるマーカーの数の 3 分の 2 で有用な結果が得られます。上腕に 1 つ、前腕に 1 つ、肘の位置と角度用です。マーカーは、磁場に影響を与える鉄筋 (コンクリートの鉄筋) や配線などの環境中の金属物体、およびモニター、ライト、ケーブル、コンピューターなどの電気源からの磁気的および電気的干渉を受けやすいです。
センサーの応答は非線形であり、特にキャプチャ領域の端に向かって非線形になります。センサーからの配線は、極端なパフォーマンス動作を妨げる傾向があります。[ 45 ]磁気システムでは、モーションキャプチャセッションの結果をリアルタイムで監視できます。[ 45 ]磁気システムのキャプチャボリュームは、光学システムよりも大幅に小さくなります。磁気システムでは、交流(AC)システムと直流(DC)システムの違いがあります。DCシステムは方形パルスを使用し、ACシステムは正弦波を使用します。
伸縮センサーは、伸縮、曲げ、せん断、または圧力を測定する柔軟な平行平板コンデンサで、通常はシリコン製です。センサーが伸縮すると、静電容量値が変化します。このデータはBluetoothまたは直接入力で送信でき、身体の動きの微細な変化を検出するために使用できます。伸縮センサーは磁気干渉の影響を受けず、遮蔽物もありません。センサーの伸縮性により、慣性システムでよく見られる位置ドリフトも発生しません。一方、伸縮センサーは、基板や導電性材料の材料特性により、信号対雑音比が比較的低いため、モーションキャプチャに使用できるようにフィルタリングまたは機械学習が必要です。これらのソリューションは、他のセンサーと比較してレイテンシが高くなります。
従来のモーションキャプチャハードウェアベンダーのほとんどは、アクティブまたはパッシブマーカーシステムを用いて、32個から300個のマーカーを使用した低解像度の顔面キャプチャ機能を提供しています。しかし、これらのソリューションはすべて、マーカーの装着、位置のキャリブレーション、データ処理にかかる時間によって制限されます。最終的には、この技術自体が解像度と出力品質レベルにも制約を与えることになります。
高精度顔面モーションキャプチャ(パフォーマンスキャプチャとも呼ばれる)は、次世代の忠実度を誇る技術であり、人間の顔のより複雑な動きを記録し、より高度な感情表現を捉えるために利用されます。顔面キャプチャは現在、従来のモーションキャプチャデータ、ブレンドシェイプベースのソリューション、俳優の顔の実際のトポロジーをキャプチャする方式、および独自のシステムなど、いくつかの異なる分野に分類されています。
主な手法は2つあり、1つは複数のカメラアレイを備えた固定システムで、複数の角度から顔の表情を捉え、OpenCVのステレオメッシュソルバーなどのソフトウェアを使用して3Dサーフェスメッシュを作成する方法、もう1つはライトアレイを使用して、光源、カメラ位置、またはその両方を変更したときの明るさの変化からサーフェス法線を計算する方法です。これらの手法の特徴解像度は、カメラの解像度、見かけ上のオブジェクトサイズ、カメラの数によってのみ制限される傾向があります。ユーザーの顔がカメラの作業領域の50%を占め、カメラの解像度がメガピクセルであれば、フレームを比較することでサブミリメートル単位の顔の動きを検出できます。最近の研究では、単に俳優とその表情の3Dメッシュを作成するのではなく、フレームレートを向上させ、オプティカルフローを使用して動きを他のコンピュータ生成された顔に再ターゲットできるようにすることに焦点を当てています。
無線周波数測位システムは、レーダーなどの旧来の技術よりも高い精度を可能にする高周波無線周波数デバイスによって、より実用的になりつつあります。光速は1ナノ秒(10億分の1秒)あたり30センチメートルなので、10ギガヘルツ(1秒あたり10億サイクル)の無線周波数信号では約3センチメートルの精度が得られます。振幅を波長の4分の1まで測定することで、解像度を約8ミリメートルまで向上させることができます。光学システムの解像度を達成するには、50ギガヘルツ以上の周波数が必要ですが、これは光学システムとほぼ同じくらい視線に依存し、遮蔽されやすいです。マルチパスと信号の再放射がさらなる問題を引き起こす可能性がありますが、100メートルの距離で必要な解像度はそれほど高くないため、これらの技術は妥当な精度でより大きなボリュームを追跡するのに理想的です。多くの科学者は、無線周波数ではモーションキャプチャに必要な精度は決して得られないと考えています。
マサチューセッツ工科大学の研究者らは2015年に、無線周波数信号で動きを追跡するシステムを開発したと発表した。[ 46 ] [ 47 ]
俳優が自由に歩き回れるように、ハムスターボールのような回転球体を使用する代替手法が開発された。この球体には角度の動きを記録する内部センサーが内蔵されており、外部カメラやその他の機器は不要となる。この技術はモーションキャプチャのコストを大幅に削減できる可能性を秘めているものの、基本的な球体では連続した一方向の動きしか記録できない。それ以上の動きを記録するには、被験者に追加のセンサーを装着する必要がある。
別の方法として、高解像度光学式モーションキャプチャ機能を備えた全方向トレッドミルを統合した6自由度(6DOF)モーションプラットフォームを使用することで、同様の効果を得ることができます。撮影対象者は、様々な起伏のある地形を横断しながら、無制限のエリアを歩行できます。応用例としては、バランス訓練のための医療リハビリテーション、生体力学研究、バーチャルリアリティなどが挙げられます。