モーションキャプチャ

モーションキャプチャ（略してmo-capまたはmocapと呼ばれることもある）は、物体や人の動きを記録するプロセスです。軍事、娯楽、スポーツ、医療分野で使用され、コンピュータビジョン^{[3]やロボット[4]}の検証にも使用されています。映画、テレビ番組、ビデオゲームでは、モーションキャプチャとは、人間の俳優の動作を記録し、その情報を使用して2Dまたは3Dコンピュータアニメーションでデジタルキャラクターモデルを動かすことを指します。^{[5] [6] [7]顔や指が含まれていたり、微妙な表情を捉えたりする場合は、}パフォーマンスキャプチャと呼ばれることがよくあります。^[8]多くの分野で、モーションキャプチャはモーショントラッキングと呼ばれることもありますが、映画制作やゲームでは、モーショントラッキングは通常、マッチムービングを指します。

モーションキャプチャーセッションでは、1人または複数の俳優の動きが1秒間に何度もサンプリングされます。初期の技術では、3D位置を計算するために複数のカメラからの画像が使用されていましたが、^[9]モーションキャプチャーの目的は俳優の動きのみを記録することであり、視覚的な外観を記録することではありません。このアニメーションデータは3Dモデルにマッピングされ、モデルが俳優と同じアクションを実行します。このプロセスは、古い技術であるロトスコープと対照的であるかもしれません。

カメラの動きをモーション キャプチャすることもできます。これにより、俳優が演技している間、カメラ オペレーターが操作する仮想カメラが、シーン内でステージの周りをパン、ティルト、またはドリーします。同時に、モーション キャプチャ システムは、カメラと小道具、俳優の演技をキャプチャできます。これにより、コンピューターで生成されたキャラクター、画像、セットが、カメラからのビデオ画像と同じ視点を持つことができます。コンピューターはデータを処理し、俳優の動きを表示して、セット内のオブジェクトに関して必要なカメラ位置を提供します。キャプチャされた映像からカメラの動きのデータを遡及的に取得することを、マッチ ムービングまたはカメラ トラッキングと呼びます。

モーション キャプチャーでアニメーション化された最初のバーチャル アクターは、1993 年にディディエ プールセルとグリブイユの彼のチームによって制作されました。これは、フランスのコメディアン、リチャード ボランジェの体と顔を「クローン化」し、当時まだ初期段階にあったモーション キャプチャー ツールでアニメーション化するというものでした。

モーション キャプチャには、3D モデルの 従来のコンピュータ アニメーションに比べて次のような利点があります。

• 低遅延で、ほぼリアルタイムの結果を得ることができます。エンターテインメントアプリケーションでは、これによりキーフレームベースのアニメーションのコストを削減できます。^[10]ハンドオーバー技術はその一例です。
• 従来の技法を使用する場合と比べると、演技の複雑さや長さによって作業量が変わることはありません。これにより、さまざまなスタイルや表現方法で多くのテストを行うことができ、俳優の才能によってのみ制限される独特の個性を与えることができます。
• 二次的な動き、重さ、力の交換などの複雑な動きや現実的な物理的相互作用を物理的に正確な方法で簡単に再現することができます。 ^[11]
• 従来のアニメーション技術と比較すると、一定時間内に制作できるアニメーションデータの量は非常に大きい。これはコスト効率と制作期限の遵守の両方に貢献する。^[12]
• 無料のソフトウェアとサードパーティのソリューションによりコストを削減できる可能性があります。

• データを取得して処理するには、特定のハードウェアと特別なソフトウェア プログラムが必要です。
• 必要なソフトウェア、機器、人員のコストは、小規模な制作では高額になる可能性があります。
• キャプチャ システムには、カメラの視野や磁気歪みに応じて、操作される空間に対して特定の要件が課される場合があります。
• 問題が発生した場合、データを操作しようとするよりも、シーンを再度撮影する方が簡単です。 データをリアルタイムで表示して、テイクをやり直す必要があるかどうかを判断できるシステムはごくわずかです。
• 初期結果は、データの追加編集なしでキャプチャ ボリューム内で実行できるものに限定されます。
• 物理法則に従わない動きは捉えることができません。
• 予測とフォロースルーの強調、二次的な動き、または圧縮や伸縮のアニメーション技法のようなキャラクターの形状の操作などの従来のアニメーション技法は、後から追加する必要があります。
• コンピュータ モデルとキャプチャ対象物の比率が異なる場合、アーティファクトが発生する可能性があります。たとえば、漫画のキャラクターの手が大きすぎる場合、人間の演者が身体の動きに注意を払わないと、手がキャラクターの体と交差する可能性があります。

モーション キャプチャの用途は多数あります。最も一般的な用途はビデオ ゲーム、映画、および動作キャプチャですが、このテクノロジは、パデュー大学でロボット開発に使用されている研究用途もあります。

ビデオゲームでは、アスリート、格闘家、その他のゲーム内キャラクターを動かすためにモーションキャプチャがよく使用されます。 ^{[13] [14]} 1988年には早くも、初期の形式のモーションキャプチャが、MartechのビデオゲームVixen （モデルのCorinne Russellが演じた）^[15]やMagical Companyの2Dアーケード格闘ゲームLast Apostle Puppet Show（デジタル化されたスプライトを動かすため）の2D プレイヤーキャラクターを動かすために使用されていました。^[16]モーションキャプチャはその後、セガモデルのアーケードゲームVirtua Fighter（1993）^{[17] [18]}やVirtua Fighter 2 （1994）の3Dキャラクターモデルを動かすために特に使用されました。^[19] 1995年半ば、開発/発売元のAcclaim Entertainmentは、本社に独自の社内モーションキャプチャスタジオを建設しました。^[14]ナムコの1995年のアーケードゲーム「ソウルエッジ」では、モーションキャプチャーにパッシブ光学システムマーカーが使用されました。^{[20]モーションキャプチャーは、}ノーティードッグの「クラッシュ・バンディクー」、インソムニアックゲームズの「スパイロ・ザ・ドラゴン」 、レア社の「ダイナソー・プラネット」など、アニメゲームをベースにしたゲームでもアスリートを使用しています。

屋内測位は、光学モーション キャプチャ システムのもう 1 つの用途です。ロボット研究者は、制御、推定、および認識アルゴリズムとハードウェアの開発と評価にモーション キャプチャ システムを使用することが多いです。屋外スペースでは、全地球航法衛星システム ( GNSS ) とリアルタイム キネマティクス ( RTK ) を併用することで、センチメートル単位の精度を実現できます。ただし、屋内環境など、衛星への見通しがない場合、精度は大幅に低下します。市販の光学モーション キャプチャ システムを販売しているベンダーの大半は、人気のロボット オペレーティング システム ( ROS ) フレームワークと統合するオープン ソース ドライバーを提供しており、研究者や開発者は開発中にロボットを効果的にテストできます。

航空ロボット研究の分野では、モーション キャプチャ システムは位置決めにも広く使用されています。空域の使用に関する規制により、無人航空システム ( UAS ) を使用した屋外実験の実現可能性が制限されています。屋内テストでは、このような制限を回避できます。世界中の多くの研究室や機関が、この目的のために屋内モーション キャプチャ ボリュームを構築しています。

パデュー大学は、世界最大の屋内モーションキャプチャシステムをパデューUAS研究テスト（PURT）施設内に設置しています。PURTはUAS研究に特化しており、60台のモーションキャプチャカメラを使用して60万立方フィートの追跡容積を提供します。^[21]光学式モーションキャプチャシステムは、その容積内のターゲットをミリメートル単位の精度で追跡できるため、研究開発における「グラウンドトゥルース」ベースラインであるターゲットの真の位置を効果的に提供します。他のセンサーやアルゴリズムから得られた結果をグラウンドトゥルースデータと比較して、そのパフォーマンスを評価できます。

映画では、CGI 効果にモーション キャプチャが使用され、従来のセル アニメーションに取って代わる場合もあります。また、ゴラム、ハムナプトラ、キング コング、パイレーツ オブ カリビアンのデイヴィ ジョーンズ、映画アバターのナヴィ族、トロン: レガシーのクルーなど、完全にCGI のクリーチャーにも使用されています。大ゴブリン、3 人のストーン トロール、2012 年の映画「ホビット 思いがけない冒険」に登場するオークやゴブリンの多く、およびスマウグは、モーション キャプチャを使用して作成されました。

映画『バットマン フォーエヴァー』（1995年）では、特定の視覚効果にモーションキャプチャーが使用された。ワーナー・ブラザースは、この映画の制作に使うために、アーケードビデオゲーム会社アクレイム・エンターテインメントからモーションキャプチャー技術を買収した。 ^[22]アクレイムが1995年に発売した同名のビデオゲームでも、デジタル化されたスプライトグラフィックをアニメーション化するために同じモーションキャプチャー技術が使用された。^[23]

『スター・ウォーズ エピソード1/ファントム・メナス』（1999年）は、モーションキャプチャーを使用して作成されたメインキャラクター（ジャー・ジャー・ビンクス、演じたのはアハメド・ベスト）が登場する初の長編映画であり、インド系アメリカ映画『シンドバッド 霧のベールの向こう側』（2000年）は主にモーションキャプチャーを使用して制作された初の長編映画であるが、多くのキャラクターアニメーターもこの映画に携わり、公開はごく限定的であった。2001年の『ファイナルファンタジーXIV 永遠の0』は、モーションキャプチャー技術を使用して制作された初の広く公開された映画であった。興行収入は振るわなかったものの、モーションキャプチャー技術の支持者は注目した。『トータル・リコール』では、X線スキャナーと骸骨のシーンで既にこの技術が使用されていた。

『ロード・オブ・ザ・リング/二つの塔』は、リアルタイムモーションキャプチャーシステムを採用した最初の長編映画である。この手法では、俳優アンディ・サーキスの演技が、演技中にコンピューターで生成されたゴラム/スメアゴルの皮膚にストリーミングされた。 ^[24]

ウクライナの独立系スタジオであるストーリーマインド・エンターテインメントは、モーションキャプチャーを使用して主人公のジョーダン・アダリエンとノンプレイヤーキャラクターをアニメーション化し、ネオノワールのサード パーソン/シューティングビデオゲーム「My Eyes On You」を制作した。^[25]

2006 年のアカデミー賞長編アニメ映画賞にノミネートされた 3 作品のうち、2 作品 (モンスター ハウスと受賞作のハッピー フィート) はモーション キャプチャを使用しており、ディズニーピクサーのカーズだけがモーション キャプチャなしでアニメーション化されました。ピクサーの映画「レミーのおいしいレストラン」のエンディング クレジットには、この映画に「100% 本物のアニメーション - モーション キャプチャなし!」というラベルが貼られています。

2001年以来、モーションキャプチャーは、ほぼ写真のようにリアルなデジタルキャラクターモデルを使って、ライブアクションシアターの見た目をシミュレートまたは近似するために広く使用されている。ポーラー・エクスプレスでは、モーションキャプチャーを使用して、トム・ハンクスがいくつかの異なるデジタルキャラクターを演じた（彼は声も提供した）。2007年の映画「ベオウルフ」では、動きと声を提供した俳優を元にした外見のデジタルキャラクターがアニメ化された。ジェームズ・キャメロンの大人気映画「アバター」では、この手法を使用して、パンドラに住むナヴィ族を作成した。ウォルト・ディズニー・カンパニーは、ロバート・ゼメキスの「クリスマス・キャロル」をこの手法で制作した。2007年、ディズニーはゼメキスのImageMovers Digital （モーションキャプチャー映画を制作）を買収したが、2011年に「マーズ・ニーズ・マム」が興行的に失敗した後、同社を閉鎖した。

モーションキャプチャアニメーションのみで制作されたテレビシリーズには、カナダのLaflaque、オランダのSprookjesboomとCafe de Wereld  ^[nl] 、英国の Headcasesなどがあります。

uSensやGestigonなどの仮想現実および拡張現実プロバイダーは、ユーザーが手の動きをキャプチャすることでデジタル コンテンツをリアルタイムで操作できるようにします。これは、トレーニング シミュレーション、視覚認知テスト、または 3D 環境での仮想ウォークスルーの実行に役立ちます。モーション キャプチャ テクノロジは、コンピューターで生成されたキャラクターをリアルタイムで操作するために、 デジタル人形劇システムで頻繁に使用されます。

歩行分析は、臨床医学におけるモーション キャプチャの応用例の 1 つです。この技術により、臨床医は人間の動きを複数の生体力学的要因にわたって評価することができ、多くの場合、この情報を分析ソフトウェアにライブでストリーミングします。

革新的な用途の1つは姿勢検出であり、手術後の回復や怪我後のリハビリテーション中に患者を支援することができます。このアプローチにより、継続的なモニタリング、リアルタイムのガイダンス、個別に調整されたプログラムが可能になり、患者の転帰が向上します。^[26]

いくつかの理学療法クリニックでは、患者の進歩を客観的に定量化する方法としてモーションキャプチャを活用しています。^[27]

ジェームズ・キャメロン監督の『アバター』の撮影中、モーション キャプチャーを伴うすべてのシーンは、Autodesk MotionBuilderソフトウェアを使用してリアルタイムで演出され、スクリーン イメージをレンダリングしました。これにより、監督と俳優は映画の中で自分たちがどのように見えるかを確認でき、視聴者が見る映画を演出しやすくなりました。この方法により、事前にレンダリングされたアニメーションでは不可能なビューとアングルを実現できました。キャメロン監督は結果に非常に満足し、スティーブン・スピルバーグとジョージ・ルーカスをセットに招いて、このシステムの動作を見学させました。

マーベルの『アベンジャーズ』では、マーク・ラファロは、以前の作品のようにCGIのみでハルクのキャラクターを演じたのではなく、モーションキャプチャーを使用して、ブルース・バナーの人間バージョンとハルクバージョンの両方を演じた最初の俳優となった。

FaceRigソフトウェアは、ULSee.Incの顔認識技術を使用してプレイヤーの表情をマッピングし、Perception Neuronのボディトラッキング技術を使用して体の動きを画面上の2Dまたは3Dキャラクターの動きにマッピングします。^{[28] [29]}

サンフランシスコで開催されたゲーム開発者会議2016で、 Epic GamesはUnreal Engineで全身モーションキャプチャーのライブデモを行った。Senuaという女性戦士を主人公とした近日発売予定のゲームHellbladeのシーン全体がリアルタイムでレンダリングされた。基調講演^[30]はUnreal Engine、Ninja Theory、3Lateral、Cubic Motion、IKinema、Xsensのコラボレーションによるものだった。

2020年、フィギュアスケートでオリンピック2度金メダルに輝いた羽生結弦選手 が早稲田大学を卒業した。彼は論文の中で、体に取り付けた31個のセンサーから得たデータを使ってジャンプを分析した。彼は採点システムの改善とスケーターのジャンプ技術向上の両方のためにテクノロジーを活用することを評価した。^{[31] [32]} 2021年3月、論文の要旨が学術誌に掲載された。^[33]

モーション トラッキングまたはモーション キャプチャは、1970 年代から 1980 年代にかけてバイオメカニクス研究における写真測量分析ツールとして始まり、技術が成熟するにつれて、教育、トレーニング、スポーツ、最近ではテレビ、映画、ビデオ ゲーム用のコンピュータ アニメーションへと拡大しました。20 世紀以降、演者は各関節の近くにマーカーを着用し、マーカー間の位置または角度で動作を識別する必要があります。音響、慣性、LED、磁気、反射マーカー、またはこれらの組み合わせが追跡され、最適なのは、目的の動作の周波数レートの少なくとも 2 倍です。システムの解像度は、空間解像度と時間解像度の両方で重要です。モーション ブラーは、低解像度とほぼ同じ問題を引き起こすためです。21 世紀初頭以降、技術の急速な成長により、新しい方法が開発されました。ほとんどの最新システムは、背景から演者のシルエットを抽出できます。その後、すべての関節角度は、数学モデルをシルエットに当てはめて計算されます。シルエットの変化を見ることができない動きの場合、マーカーとシルエットの両方を少ないマーカーで実行できるハイブリッドシステムが利用可能です。^{[要出典]ロボット工学では、いくつかのモーションキャプチャシステムは、}同時位置特定とマッピングに基づいています。^[34]

光学システムは、画像センサーからキャプチャされたデータを利用して、重なり合う投影を提供するように調整された 2 台以上のカメラ間で被写体の 3D 位置を三角測量します。データ取得は、従来、俳優に取り付けられた特別なマーカーを使用して実装されていましたが、最近のシステムでは、特定の被写体ごとに動的に識別された表面の特徴を追跡することで正確なデータを生成できます。多数のパフォーマーを追跡したり、キャプチャ領域を拡大したりするには、カメラを追加する必要があります。これらのシステムは、マーカーごとに 3 つの自由度を持つデータを生成し、回転情報は 3 つ以上のマーカーの相対的な方向から推測する必要があります。たとえば、肩、肘、手首のマーカーは肘の角度を提供します。新しいハイブリッド システムでは、慣性センサーと光学センサーを組み合わせて、オクルージョンを減らし、ユーザー数を増やし、手動でデータをクリーンアップすることなく追跡する機能を向上させています。^[35]

パッシブ光学システムでは、カメラのレンズの近くで発生した光を反射するために、再帰反射材でコーティングされたマーカーを使用します。カメラのしきい値を調整して、皮膚や布地を無視して明るい反射マーカーのみをサンプリングすることができます。

マーカーの重心は、キャプチャされた 2 次元画像内の位置として推定されます。各ピクセルのグレースケール値を使用して、ガウスの重心を見つけることでサブピクセル精度を実現できます。

既知の位置にマーカーが取り付けられたオブジェクトを使用してカメラを較正し、カメラの位置を取得し、各カメラのレンズ歪みを測定します。較正された 2 台のカメラがマーカーを検出すると、3 次元の位置を特定できます。通常、システムは 2 台から 48 台のカメラで構成されます。マーカーの交換を減らすために、300 台を超えるカメラのシステムも存在します。キャプチャ対象と複数の対象を完全にカバーするには、追加のカメラが必要です。

ベンダーは、すべてのパッシブマーカーが同一に見えるため、マーカーの交換の問題を軽減するための制約ソフトウェアを持っています。アクティブマーカーシステムや磁気システムとは異なり、パッシブシステムでは、ユーザーがワイヤーや電子機器を装着する必要がありません。^[36]代わりに、数百個のゴムボールが反射テープで取り付けられており、定期的に交換する必要があります。マーカーは通常、皮膚に直接取り付けられるか（バイオメカニクスの場合など）、モーションキャプチャ用に特別に設計された全身スパンデックス/ライクラスーツを着たパフォーマーにベルクロで固定されます。このタイプのシステムでは、通常約120〜160 fpsのフレームレートで多数のマーカーをキャプチャできますが、解像度を下げて関心領域を小さく追跡することで、最大10,000 fpsで追跡できます。

アクティブ光学システムは、一度に 1 つの LED を非常に高速に点灯するか、ソフトウェアを使用して複数の LED を相対位置で識別することで位置を三角測量します。これは天体航法に似ています。外部で生成された光を反射するのではなく、マーカー自体に電力が供給され、独自の光を発します。逆二乗則により、距離の 2 倍で 4 分の 1 の電力が得られるため、キャプチャする距離とボリュームを増やすことができます。これにより、高い信号対雑音比も可能になり、マーカーのジッターが非常に低くなり、測定解像度が高くなります (多くの場合、較正ボリューム内で 0.1 mm まで)。

テレビシリーズ「スターゲイト SG1」では、VFX にアクティブ光学システムを使用してエピソードを制作し、俳優が小道具の周りを歩き回れるようにしました。これは、他の非アクティブ光学システムではモーション キャプチャが困難でした。^{[引用が必要]}

ILM は、ヴァン・ヘルシングでアクティブ マーカーを使用して、ドラキュラの空飛ぶ花嫁を非常に大きなセットでキャプチャできるようにしました。これは、Weta が猿の惑星: 創世記でアクティブ マーカーを使用したのと似ています。各マーカーへの電力は、キャプチャ システムと同期して順次供給され、特定のキャプチャ フレームで各マーカーを一意に識別できますが、結果のフレーム レートは低下します。このように各マーカーを識別する機能は、リアルタイム アプリケーションで役立ちます。マーカーを識別する別の方法は、アルゴリズムを使用して行うもので、データの追加の処理が必要になります。

色付きの LED マーカーを使用して位置を見つけることもできます。これらのシステムでは、各色が体の特定のポイントに割り当てられています。

1980 年代の最も初期のアクティブ マーカー システムの 1 つは、回転ミラーと色付きガラス反射マーカーを備え、マスクされた線形アレイ検出器を使用するハイブリッド パッシブ アクティブ モーション キャプチャ システムでした。

アクティブ マーカー システムは、一度に 1 つのマーカーをストロボで点灯するか、複数のマーカーを時間とともに追跡して振幅またはパルス幅を変調してマーカー ID を提供することで、さらに改良できます。12 メガピクセルの空間解像度の変調システムは、空間解像度と時間解像度の両方が高いため、4 メガピクセルの光学システムよりも微妙な動きを表示します。監督は俳優の演技をリアルタイムで確認し、モーション キャプチャ駆動の CG キャラクターで結果を見ることができます。固有のマーカー ID により、マーカーの交換がなくなり、他のテクノロジよりもはるかにクリーンなデータが提供され、ターンアラウンドが短縮されます。オンボード処理と無線同期を備えた LED により、高速電子シャッターにより 120 ～ 960 フレーム/秒でキャプチャしながら、直射日光の下で屋外でモーション キャプチャを行うことができます。変調 ID のコンピューター処理により、手作業によるクリーンアップやフィルタリングされた結果が少なくなり、運用コストが削減されます。この高い精度と解像度には、パッシブ テクノロジよりも多くの処理が必要ですが、サブピクセルまたは重心処理によって解像度を向上させる追加の処理がカメラで行われるため、高解像度と高速性が実現します。これらのモーション キャプチャ システムは、通常、俳優 1 名を対象とする 8 台のカメラ、12 メガピクセルの空間解像度、120 ヘルツのシステムで 20,000 ドルかかります。

高速カメラに基づく従来のアプローチを逆転させることもできます。Prakash などのシステムでは、安価なマルチ LED 高速プロジェクターを使用します。特別に構築されたマルチ LED IR プロジェクターは、空間を光学的にエンコードします。このシステムでは、反射マーカーやアクティブ発光ダイオード (LED) マーカーの代わりに、光信号をデコードするために感光性マーカー タグを使用します。フォト センサー付きのタグをシーン ポイントに取り付けると、タグは各ポイントの位置だけでなく、方向、入射光、反射率も計算できます。

これらの追跡タグは、自然光の条件で機能し、衣服やその他のオブジェクトに目立たないように埋め込むことができます。このシステムは、シーン内で無制限の数のタグをサポートし、各タグは一意に識別されるため、マーカーの再取得の問題は発生しません。このシステムでは高速カメラとそれに対応する高速画像ストリームが不要になるため、必要なデータ帯域幅が大幅に削減されます。タグは、合成要素を挿入するときにシーンの照明を一致させるために使用できる入射光データも提供します。この技術は、オンセットのモーション キャプチャや仮想セットのリアルタイム放送に最適と思われますが、まだ実証されていません。

モーション キャプチャ テクノロジーは数十年前から研究者や科学者に利用されており、多くの分野に新たな洞察をもたらしてきました。

システムの重要な部分である水中カメラには、防水ハウジングが付いています。ハウジングは腐食や塩素に耐える仕上げが施されており、洗面所やプールでの使用に最適です。カメラには 2 つのタイプがあります。産業用高速カメラは赤外線カメラとしても使用できます。赤外線水中カメラには、水中での減衰を最小限に抑えるために、一般的な赤外線ライトの代わりにシアン ライト ストロボが付属しています。高速カメラには LED ライトが付属しているか、画像処理を使用するオプションがあります。

水中カメラは、水質、カメラ、使用するマーカーの種類に応じて、通常 15 ～ 20 メートルを測定できます。当然のことながら、水が澄んでいるときに最適な範囲が達成され、測定範囲はカメラの数によっても異なります。さまざまな状況に合わせて、さまざまな水中マーカーが用意されています。

プールによって必要な取り付け具や固定具は異なります。そのため、水中モーション キャプチャ システムはすべて、それぞれのプールの設置に合わせて独自に調整されています。プールの中央に設置するカメラには、吸盤付きの特別設計の三脚が用意されています。

コンピュータビジョンにおける新たな技術と研究により、マーカーレスのモーションキャプチャー手法が急速に発展しています。スタンフォード大学、メリーランド大学、MIT、マックスプランク研究所などで開発されたマーカーレスシステムでは、被写体が追跡用の特別な機器を装着する必要がありません。特別なコンピュータアルゴリズムは、システムが複数の光入力ストリームを分析して人間の形状を識別し、追跡用に構成要素に分解できるように設計されています。ワーナーブラザーズ映画の子会社であるESCエンターテインメントは、特に『マトリックス リローデッド』や『マトリックス レボリューションズ』の撮影用のフォトリアリスティックなデジタルそっくりさんなどのバーチャル映画撮影を可能にするために設立されました。同社は、 7台のカメラを設置し、カメラのすべての2D平面にわたってすべてのピクセルのオプティカルフローを追跡して、モーション、ジェスチャー、顔の表情をキャプチャするユニバーサルキャプチャーと呼ばれる技術を使用しました。

従来、マーカーレス光学モーショントラッキングは、飛行機、打ち上げロケット、ミサイル、衛星など、さまざまな物体を追跡するために使用されています。このような光学モーショントラッキングのアプリケーションの多くは屋外で行われ、さまざまなレンズとカメラの構成が必要です。追跡対象の高解像度画像は、モーションデータだけでなく、より多くの情報を提供できます。スペースシャトルチャレンジャーの致命的な打ち上げでNASAの長距離追跡システムから得られた画像は、事故の原因に関する重要な証拠を提供しました。光学追跡システムは、物体が十分な光を反射または放出する必要があるという点でレーダーと比較して不利であるという事実にもかかわらず、既知の宇宙船と宇宙ゴミを識別するためにも使用されています。^[37]

光学追跡システムは通常、光学画像システム、機械追跡プラットフォーム、追跡コンピュータの 3 つのサブシステムで構成されます。

光学画像システムは、対象領域からの光を、追跡コンピュータが処理できるデジタル画像に変換する役割を担っています。光学追跡システムの設計に応じて、光学画像システムは、標準的なデジタルカメラのように単純なものから、山頂の天体望遠鏡のように特殊なものまでさまざまです。光学画像システムの仕様によって、追跡システムの有効範囲の上限が決まります。

機械式追跡プラットフォームは光学画像システムを保持し、光学画像システムが常に追跡対象のターゲットを指すように操作する役割を担っています。光学画像システムと組み合わせた機械式追跡プラットフォームのダイナミクスによって、速度が急速に変化するターゲットをロックし続ける追跡システムの能力が決まります。

追跡コンピュータは、光学画像システムから画像をキャプチャし、その画像を分析してターゲットの位置を抽出し、機械追跡プラットフォームを制御してターゲットを追跡する役割を担っています。課題はいくつかあります。まず、追跡コンピュータは比較的高いフレーム レートで画像をキャプチャできなければなりません。これにより、画像キャプチャ ハードウェアの帯域幅が要求されます。2 番目の課題は、画像処理ソフトウェアが背景からターゲット画像を抽出し、その位置を計算できなければならないことです。このタスク用に、いくつかの教科書的な画像処理アルゴリズムが設計されています。追跡システムが追跡するすべてのターゲットに共通する特定の特性を予測できる場合、この問題は単純化できます。次の課題は、追跡プラットフォームを制御してターゲットを追跡することです。これは課題というよりは、典型的な制御システム設計の問題であり、システム ダイナミクスのモデル化と、それを制御するコントローラの設計を伴います。ただし、システムが使用する追跡プラットフォームがリアルタイム用に設計されていない場合は、課題になります。

このようなシステムを実行するソフトウェアも、対応するハードウェア コンポーネントに合わせてカスタマイズされます。このようなソフトウェアの 1 つに、コンピューター制御の望遠鏡を制御して、飛行機や衛星などの遠距離にある移動物体を追跡する OpticTracker があります。もう 1 つのオプションは、マーカーと組み合わせてハイブリッドで使用できるソフトウェア SimiShape です。

Kinectなどの RGB-D カメラは、カラー画像と深度画像の両方をキャプチャします。2 つの画像を融合することで、3D カラーボクセルをキャプチャでき、3D の人間の動きと人間の表面のモーション キャプチャをリアルタイムで実行できます。

単一視点カメラを使用しているため、撮影された動きには通常ノイズが含まれます。機械学習技術は、遅延学習^[38]やガウスモデル^[39]などの方法を使用して、ノイズの多い動きをより高品質なものに自動的に再構築する技術として提案されています。このような方法は、人間工学的評価などの本格的なアプリケーションに十分な精度の動きを生成します。^[40]

慣性モーションキャプチャ^{[41]技術は、小型慣性センサー、生体力学モデル、}センサー融合アルゴリズムに基づいています。 ^{[42]慣性センサー（}慣性誘導システム）のモーションデータは、多くの場合、ワイヤレスでコンピューターに送信され、そこでモーションが記録または表示されます。ほとんどの慣性システムは、ジャイロスコープ、磁力計、加速度計を組み合わせた慣性測定ユニット（IMU）を使用して回転速度を測定します。これらの回転は、ソフトウェアでスケルトンに変換されます。光学マーカーと同様に、IMUセンサーが多いほど、データが自然になります。外部カメラ、エミッター、マーカーは相対的な動きには必要ありませんが、必要に応じてユーザーの絶対位置を示す必要があります。慣性モーションキャプチャシステムは、人間の6自由度の体の動きをリアルタイムで完全にキャプチャし、磁気ベアリングセンサーが含まれている場合は限られた方向情報を提供できますが、解像度がはるかに低く、電磁ノイズの影響を受けやすくなります。慣性システムを使用する利点には、狭いスペース、ソルビングが不要、携帯性、広いキャプチャエリアなど、さまざまな環境でのキャプチャが挙げられます。欠点には、位置精度の低さと位置ドリフトが時間の経過とともに悪化する可能性があることが挙げられます。これらのシステムはWiiコントローラーに似ていますが、より感度が高く、解像度と更新レートが高くなっています。地面への方向を1度以内で正確に測定できます。慣性システムの人気はゲーム開発者の間で高まっていますが、^[10]主にセットアップが簡単でパイプラインが高速になるためです。現在、さまざまなメーカーからさまざまなスーツが販売されており、基本価格は1,000ドルから80,000ドルです。

機械式モーション キャプチャ システムは、体の関節角度を直接追跡し、センサーが体に取り付けられている方法から、外骨格モーション キャプチャ システムと呼ばれることがよくあります。演者は骨格のような構造を体に取り付け、演者が動くと関節式の機械部品も動き、演者の相対的な動きを測定します。機械式モーション キャプチャ システムは、リアルタイムで、比較的低コストで、閉塞がなく、無制限のキャプチャ ボリュームを持つワイヤレス (ケーブルなし) システムです。通常、これらは、体の関節で関節式になるポテンショメータでつながれた、関節式の真っ直ぐな金属またはプラスチックのロッドからなる剛性構造です。これらのスーツは、外部の絶対位置決めシステムに加えて、25,000 ～ 75,000 ドルの範囲になる傾向があります。スーツによっては、限定的なフォース フィードバックまたは触覚入力が提供されるものもあります。

磁気システムは、送信機と各受信機の両方にある3つの直交コイルの相対的な磁束によって位置と方向を計算します。^[43] 3つのコイルの電圧または電流の相対的な強度により、これらのシステムは追跡ボリュームを細かくマッピングすることで範囲と方向の両方を計算できます。センサー出力は6DOFで、光学システムで必要なマーカーの数の3分の2で有用な結果が得られます。肘の位置と角度用に上腕に1つ、下腕に1つです。^[要出典]マーカーは非金属物体によって遮られませんが、磁場に影響を与える鉄筋（コンクリート内の鉄筋）や配線などの環境内の金属物体や、モニター、照明、ケーブル、コンピューターなどの電源からの磁気的および電気的干渉の影響を受けます。センサーの応答は、特にキャプチャ領域の端に向かって非線形です。センサーからの配線は、極端なパフォーマンスの動きを妨げる傾向があります。^[43]磁気システムを使用すると、モーションキャプチャセッションの結果をリアルタイムで監視できます。^[43]磁気システムの捕捉体積は光学システムに比べて劇的に小さい。磁気システムでは交流（AC）システムと直流（DC）システムが区別されており、DCシステムは方形パルスを使用し、ACシステムは正弦波パルスを使用する。

ストレッチ センサーは、伸縮、曲げ、せん断、または圧力を測定する柔軟な平行板コンデンサーで、通常はシリコンで作られています。センサーが伸びたり圧迫されると、静電容量値が変化します。このデータは Bluetooth または直接入力で送信でき、体の動きの微細な変化を検出するために使用できます。ストレッチ センサーは磁気干渉の影響を受けず、閉塞もありません。センサーの伸縮性は、慣性システムによくある位置ドリフトの影響を受けないことも意味します。一方、伸縮性センサーは、基板と導電性材料の材料特性により、信号対雑音比が比較的低いため、モーション キャプチャに使用できるようにするには、フィルタリングまたは機械学習が必要です。これらのソリューションでは、他のセンサーと比較して レイテンシが高くなります。

従来のモーション キャプチャ ハードウェア ベンダーのほとんどは、アクティブまたはパッシブ マーカー システムを使用して 32 ～ 300 個のマーカーを使用した低解像度のフェイシャル キャプチャを提供しています。これらのソリューションはすべて、マーカーを適用し、位置を調整してデータを処理するのにかかる時間によって制限されます。最終的には、テクノロジによって解像度と生の出力品質レベルも制限されます。

パフォーマンス キャプチャとも呼ばれる高忠実度の顔のモーション キャプチャは、忠実度の次世代であり、人間の顔のより複雑な動きを記録して、より高度な感情を捉えるために利用されます。顔のキャプチャは現在、従来のモーション キャプチャ データ、ブレンド シェイプ ベースのソリューション、俳優の顔の実際のトポロジをキャプチャするもの、独自のシステムなど、いくつかの異なるグループに分かれています。

2 つの主な手法は、カメラアレイを備えた固定システムで、複数の角度から顔の表情をキャプチャし、OpenCV のステレオ メッシュ ソルバーなどのソフトウェアを使用して 3D サーフェス メッシュを作成するか、ライトアレイも使用して、光源、カメラの位置、またはその両方が変更されたときの明るさの変化からサーフェス法線を計算することです。これらの手法は、カメラの解像度、見かけ上のオブジェクト サイズ、およびカメラの数によってのみ特徴の解像度が制限される傾向があります。ユーザーの顔がカメラの作業領域の 50% を占め、カメラの解像度がメガピクセルの場合、フレームを比較することで 1 ミリメートル未満の顔の動きを検出できます。最近の研究では、俳優とその表情の 3D メッシュを作成するだけでなく、フレーム レートの向上とオプティカル フローを実行して、コンピューターで生成された他の顔に動きを再ターゲットできるようにすることに重点を置いています。

無線周波数測位システムは、より高周波数の無線周波数デバイスによりレーダーなどの旧来の技術よりも高い精度が可能になるため、より現実的になりつつある^[要出典]。光の速度は 1 ナノ秒 (10 億分の 1 秒) あたり 30 センチメートルなので、10 ギガヘルツ (1 秒あたり 10 億サイクル) の無線周波数信号では約 3 センチメートルの精度が可能になる。振幅を 4 分の 1 波長まで測定することで、解像度を約 8 mm まで向上させることができる。光学システムの解像度を実現するには、50 ギガヘルツ以上の周波数が必要であり、これは光学システムとほぼ同じように視線に依存し、同じくらい簡単にブロックされる。信号のマルチパスと再放射によってさらなる問題が発生する可能性は高いが、100 メートルの距離で必要な解像度はそれほど高くはないため、これらの技術は妥当な精度でより大きな体積を追跡するのに理想的である。多くの科学者^{[誰? ]}は、無線周波数ではモーション キャプチャに必要な精度は決して得られないと考えている。

マサチューセッツ工科大学の研究者らは2015年に、無線周波数信号によって動きを追跡するシステムを開発したと発表した。^[44]

代わりのアプローチとして、ハムスターボールのような回転球体を使用して俳優に無制限の歩行エリアを与えるという方法が開発されました。回転球体には角度の動きを記録する内部センサーが内蔵されており、外部カメラやその他の機器は不要です。この技術によりモーションキャプチャのコストが大幅に削減される可能性がありますが、基本的な球体では単一の連続方向しか記録できません。それ以上の記録を行うには、人物に追加のセンサーを装着する必要があります。

もう一つの方法は、高解像度の光学モーション キャプチャ機能を備えた統合型全方向トレッドミルを備えた 6DOF (自由度) モーション プラットフォームを使用して同じ効果を実現することです。キャプチャされた人物は、さまざまな凹凸のある地形を通り抜けながら、無制限の領域を歩くことができます。用途には、バランス トレーニングのための医療リハビリテーション、生体力学研究、仮想現実などがあります。^{[引用が必要]}

3Dポーズ推定では、俳優のポーズを画像や深度マップから再構築することができます。^[45]

• アニメーションデータベース
• 指の追跡
• ジェスチャー認識
• 逆運動学（CGI 効果をリアルにする別の方法）
• Kinect（マイクロソフト社開発）
• モーションおよびジェスチャーファイル形式のリスト
• モーショングラム
• モーションキャプチャー演技
• モーションヒストリー画像
• ビデオトラッキング
• VR位置追跡

• モーションキャプチャーの魅力 2016-03-04にWayback Machineでアーカイブ、モーションキャプチャー技術の歴史の紹介