顔のモーションキャプチャ

フェイシャル モーション キャプチャは、カメラまたはレーザー スキャナーを使用して、人の顔の動きを電子的にデジタル データベースに変換するプロセスです。このデータベースは、コンピューター グラフィックス(CG)、映画やゲーム用のコンピューター アニメーション、またはリアルタイム アバターの作成に使用できます。CG キャラクターの動きは実際の人間の動きを基にしているため、アニメーションを手動で作成した場合よりもリアルでニュアンスに富んだコンピューター キャラクター アニメーションが作成されます。

顔のモーション キャプチャデータベースは、俳優の顔の参照点の座標または相対位置を記述します。キャプチャは 2 次元で行われる場合があり、その場合、キャプチャ プロセスは「表情トラッキング」と呼ばれることがあります。または 3 次元で行われます。2 次元キャプチャは、1 台のカメラとキャプチャ ソフトウェアを使用して実行できます。この方法では、トラッキングがあまり洗練されておらず、頭の回転などの 3 次元モーションを完全にキャプチャすることはできません。3 次元キャプチャは、複数のカメラ リグまたはレーザー マーカー システムを使用して実行されます。このようなシステムは通常、はるかに高価で、複雑で、使用に時間がかかります。マーカー トラッキングシステムとマーカーレス トラッキング システムの 2 つの主要なテクノロジがあります。

顔のモーション キャプチャは体のモーション キャプチャと関連していますが、目や唇の小さな動きから生じる微妙な表情を検出して追跡するためには、より高い解像度が求められるため、より困難です。これらの動きは数ミリメートル未満であることが多く、全身のキャプチャで通常使用されるものよりもさらに高い解像度と忠実度、および異なるフィルタリング技術が必要です。顔の追加の制約により、モデルとルールを使用する機会も増えます。

表情キャプチャは、顔のモーションキャプチャに似ています。視覚的または機械的な手段を使用して、人間の顔からの入力でコンピューターで生成されたキャラクターを操作したり、ユーザーの 感情を認識したりするプロセスです。

パフォーマンス主導型アニメーションについて論じた最初の論文の1つは、 1990年にランス・ウィリアムズによって発表されました。そこで彼は「実際の顔の表情を取得し、それをコンピューターで生成された顔に適用する手段」について説明しています。^[1]

従来のマーカー ベースのシステムでは、俳優の顔に最大 350 個のマーカーを適用し、高解像度カメラでマーカーの動きを追跡します。これは、ポーラー エクスプレスやベオウルフなどの映画で使用され、トム ハンクスなどの俳優が複数の異なるキャラクターの顔の表情を操作できるようにしています。残念ながら、これは比較的面倒で、スムージングとフィルタリングが行われると、俳優の表情が過度に操作されてしまいます。CaptiveMotion などの次世代システムは、従来のマーカー ベースのシステムの派生であり、より詳細なレベルを使用します。

アクティブ LED マーカー テクノロジーは現在、リアルタイムで顔のアニメーションを駆動してユーザーにフィードバックを提供するために使用されています。

マーカーレス技術は、鼻孔、唇と目の端、しわなどの顔の特徴を使用してそれらを追跡します。この技術は、 CMU、^[2] IBM、^[3] マンチェスター大学（ティム・クーツ、^[4]ガレス・エドワーズ、クリス・テイラーが始めた）およびその他の場所で議論およびデモンストレーションされており、アクティブ外観モデル、主成分分析、固有追跡、変形可能表面モデルなどの手法を使用して、フレームごとに目的の顔の特徴を追跡します。この技術ははるかに面倒ではなく、俳優の表現力を高めることができます。

これらの視覚ベースのアプローチは、瞳孔の動き、まぶた、唇や舌による歯の咬合を追跡する機能も備えています。これらは、ほとんどのコンピューターアニメーション機能で明らかな問題です。視覚ベースのアプローチの一般的な制限は解像度とフレームレートですが、高速で高解像度のCMOS カメラが複数のソースから利用可能になるにつれて、どちらも問題として減少しています。

マーカーレス顔追跡の技術は、顔認識システムの技術と関連しています。顔認識システムは、潜在的にビデオの各フレームに順番に適用され、顔追跡を行うことができるからです。たとえば、Neven Visionシステム^[5]（旧Eyematics、現在はGoogleが買収）は、人物固有のトレーニングなしでリアルタイムの2D顔追跡を可能にしました。同社のシステムは、米国政府の2002年顔認識ベンダーテスト（FRVT）で最も優れたパフォーマンスを発揮した顔認識システムの1つでもありました。一方、一部の認識システムは、表情を明示的に追跡しなかったり、中立的でない表情では失敗したりするため、追跡には適していません。逆に、変形可能表面モデルなどのシステムは、時間情報をプールして曖昧さを解消し、より堅牢な結果を得るため、1枚の写真から適用することはできません。

マーカーレス顔追跡はImage Metricsなどの商用システムに進化し、マトリックスの続編^[6] やベンジャミン・バトン数奇な人生などの映画に応用されています。後者は変形可能な顔モデルをキャプチャするためにMovaシステムを使用し、その後手動と視覚トラッキングを組み合わせてアニメーション化しました。^[7] アバターは別の著名なパフォーマンスキャプチャ映画でしたが、マーカーレスではなくペイントされたマーカーを使用しました。Dynamixyz ^{[ permanent dead link ‍ ]}は現在使用されている別の商用システムです。

マーカーレス システムは、いくつかの区別基準に従って分類できます。

• 2D トラッキングと 3D トラッキング
• 個人に特化したトレーニングやその他の人的支援が必要かどうか
• リアルタイムパフォーマンス（トレーニングや監督が不要な場合にのみ可能）
• 投影されたパターンや、Mova システムで使用される目に見えないペイントなどの追加の情報源が必要かどうか。

現在までに、これらすべての基準を満たす理想的なシステムはありません。たとえば、Neven Visionシステムは完全に自動化されており、隠れたパターンや個人ごとのトレーニングは不要でしたが、2Dでした。Face/Offシステム^[8]は 3D、自動、リアルタイムですが、投影されたパターンが必要です。

機械的なシステムは扱いにくく、使いにくい傾向があるため、デジタル ビデオ ベースの方法がますます好まれるようになっています。

デジタルカメラを使用して、入力されたユーザーの表情が処理されて頭部のポーズが提供され、ソフトウェアが目、鼻、口を見つけられるようになります。顔は最初に無表情で調整されます。次に、アーキテクチャに応じて、眉毛、まぶた、頬、口を無表情との差異として処理できます。これは、たとえば唇の端を探し、それを固有のオブジェクトとして認識することによって行われます。多くの場合、コントラストを強調するメイクやマーカーが付けられるか、または処理を高速化するための他の方法が採用されます。音声認識と同様に、最良の手法でも 90 パーセントしか有効ではなく、手作業による多大な調整やエラーの許容が必要になります。

コンピュータで生成されたキャラクターには実際には筋肉がないため、同じ結果を得るために異なるテクニックが使用されます。アニメーターの中には、キャプチャ ソフトウェアで制御されるボーンやオブジェクトを作成し、それに応じて動かす人もいます。キャラクターが正しくリギングされると、良好な近似値が得られます。顔は非常に弾力性があるため、このテクニックは他のテクニックと組み合わせられることが多く、希望する表情に応じて 皮膚の弾力性やその他の要素に合わせてウェイトを個別に調整します。

いくつかの商業企業が、使用されているがかなり高価な製品を開発しています。^[要出典]

ソフトウェアが手頃な価格で入手できるようになれば、これがコンピュータ ゲームの主要な入力デバイスになると期待されていますが、過去 15 年間の研究でほぼ使用可能な結果が得られているにもかかわらず、ハードウェアとソフトウェアはまだ存在していません。 ^{[引用が必要]}

広く採用された最初のアプリケーションはコミュニケーションです。最初はビデオ電話とマルチメディア メッセージングでしたが、後に複合現実ヘッドセットを使用した 3D になりました。

機械学習、計算能力、特に携帯電話の高度なセンサーの進歩により、顔のモーションキャプチャ技術が広く利用できるようになりました。注目すべき2つの例は、Snapchatのレンズ機能とAppleのMemoji ^{[9]で、アバターでメッセージを録音したり、} FaceTimeアプリでライブで録音したりできます。これらのアプリケーション（および他の多くのアプリケーション）により、今日のほとんどの最新の携帯電話は、リアルタイムの顔のモーションキャプチャを実行できます。最近では、リアルな3Dアバターと組み合わせたリアルタイムの顔のモーションキャプチャが導入され、混合現実（MR）と仮想現実（VR）での没入型コミュニケーションが可能になりました。Metaは、コーデックアバターがMRヘッドセットMeta Quest Proを介して通信し、2人の遠隔地の参加者とポッドキャストを録音することを実演しました。 ^[10] AppleのMRヘッドセットApple Vision Proも、 FaceTimeなどのアプリケーションで使用できるリアルタイムの顔のモーションキャプチャをサポートしています。リアルタイム通信アプリケーションは、自然な会話と使いやすさを促進するために低遅延を優先し、幅広いユーザーがテクノロジーを利用できるようにすることを目指しています。これらの考慮事項により、モーションキャプチャの可能な精度が制限される場合があります。

• 視線追跡
• コンピューターの顔アニメーション
• ディープフェイク
• 顔認識システム
• 顔の動作コーディングシステム
• 不気味の谷

• カーネギーメロン大学
• デルフト工科大学
• インテル
• シェフィールド・オタゴ