コンピューターによる顔のアニメーション

顔のアニメーションデータの生成には、次のようなさまざまなアプローチがあります。1)パフォーマーの顔のポイントやマークに基づくマーカーベースのモーションキャプチャ、2) さまざまな種類のカメラを使用したマーカーレスモーションキャプチャ技術、3) オーディオ駆動技術、4)キーフレームアニメーション。

• モーションキャプチャは、被写体の周囲に配置されたカメラを使用します。被写体には通常、反射板（パッシブモーションキャプチャ）または光源（アクティブモーションキャプチャ）が取り付けられ、空間における被写体の位置を正確に決定します。カメラで記録されたデータはデジタル化され、被写体の3次元コンピュータモデルに変換されます。最近まで、モーションキャプチャシステムで使用される検出器/光源のサイズが、この技術を顔のキャプチャには不向きなものにしていました。しかし、小型化やその他の進歩により、モーションキャプチャはコンピュータの顔アニメーションの有効なツールになりました。Imageworksによる「ポーラーエクスプレス」では、顔のモーションキャプチャが広く使用され、数百のモーションポイントがキャプチャされました。この映画は非常に完成度が高く、リアリズムを再現しようと試みましたが、「不気味の谷」に陥ったと批判されました。不気味の谷とは、アニメーションのリアリズムが人間の認識と感情的なメッセージを伝えるのに十分であるものの、キャラクターがリアルに認識されない領域です。モーションキャプチャの主な難しさは、振動を含む可能性のあるデータの品質と、ポイントのジオメトリの再ターゲットです。
• マーカーレスモーションキャプチャは、パフォーマーがマーカーを装着する手間を省くことで、モーションキャプチャプロセスを簡素化することを目的としています。近年、標準的なビデオカメラ、Kinect、深度センサー、その他の構造化光ベースのデバイスなど、さまざまなセンサーを活用した技術が数多く登場しています。構造化光に基づくシステムは、高速構造化光スキャナを使用することで、マーカーを使用せずにリアルタイムのパフォーマンスを実現できます。このシステムは、さまざまな表情でシステムをトレーニングする堅牢なオフライン顔追跡ステージに基づいています。一致したシーケンスは、個人固有の線形顔モデルを構築するために使用され、その後、オンライン顔追跡と表情転送に使用されます。
• 音声駆動技術は、特に音声アニメーションに適しています。音声は通常、顔の表情のアニメーションとは異なる方法で扱われます。これは、単純なキーフレームベースのアニメーション手法では、実際の音声のダイナミクスを適切に近似できないためです。多くの場合、ビゼームは、観察された音声におけるキーポーズ（つまり、特定の音素を生成するときの唇、顎、舌の位置）を表すために使用されますが、自然な音声の生成中にビゼームの実現には大きなばらつきがあります。このばらつきの原因は、共調音と呼ばれ、周囲のビゼームが現在のビゼームに及ぼす影響（つまり、コンテキストの影響）です。共調音を考慮するために、現在のシステムは、ビゼームキーフレームをブレンドするときにコンテキストを明示的に考慮するか^{[ 2 ]} 、ダイフォン、トライフォン、音節、さらには単語や文の長さの単位などのより長い単位を使用します。音声アニメーションの最も一般的なアプローチの1つは、コーエンとマサロによって導入された優位関数を使用することです。各優位関数は、ビゼームが発話に及ぼす時間的な影響を表します。通常、影響はビゼームの中心で最大となり、ビゼームの中心から離れるにつれて減少します。優位関数は、スプライン基底関数をブレンドして曲線を生成するのとほぼ同じ方法でブレンドされ、発話軌跡を生成します。各優位関数の形状は、それが表すビゼームと、制御される顔の側面（唇の幅、顎の回転など）の両方によって異なります。このコンピュータ生成音声アニメーションのアプローチは、Baldi のトーキングヘッドで見ることができます。他の音声モデルでは、ビゼームの代わりにコンテキストを含む基底ユニット（ダイフォン、トライフォンなど）を使用します。基底ユニットは、コンテキストに応じて各ビゼームの変動と、ある程度各ビゼームのダイナミクスをすでに組み込まれているため、調音結合モデルは必要ありません。音声は、データベースから適切なユニットを選択し、それらをブレンドするだけで生成されます。これは音声合成における連結技術に似ています。これらのモデルの欠点は、自然な結果を得るために大量のデータ取得が必要となることであり、単位が長くなるほど自然な結果が得られるものの、必要なデータベースのサイズは各単位の平均長とともに拡大します。最後に、一部のモデルは音声から直接音声アニメーションを生成します。これらのシステムは通常、隠れマルコフモデルを使用します。または、音声パラメータを顔モデルの制御パラメータのストリームに変換するニューラルネットワークを使用する。この方法の利点は、複雑な近似アルゴリズムを使用せずに、音声コンテキスト、自然なリズム、テンポ、感情、ダイナミクスを処理できることである。音素や視覚素は不要なので、トレーニングデータベースにラベルを付ける必要はない。必要なデータは音声とアニメーションパラメータのみである。
• キーフレームアニメーションは、アニメーションデータを作成するプロセスの中で最も自動化されていないものの、アニメーションに対する最大限の制御を可能にします。多くの場合、他のテクニックと組み合わせて、アニメーションに最終的な仕上げを施すために使用されます。キーフレームデータは、モーフターゲット係数を定義するスカラー値、またはボーンベースのリグを持つモデルのボーンの回転値と移動値で構成されます。キーフレームアニメーションのプロセスを高速化するために、多くの場合、アニメーションでコントロールリグが使用されます。コントロールリグは、複数のモーフターゲット係数またはボーンに同時に作用できる、より高いレベルの抽象化を表します。たとえば、「笑顔」コントロールは、口の形が上向きにカーブすると同時に、目を細めるように作用することができます。

キャラクターに顔のアニメーションを適用するために使用される主な技術は次のとおりです。1)モーフターゲットアニメーション、2)ボーン駆動アニメーション、3) テクスチャベースのアニメーション (2D または 3D)、4)生理学的モデル。

• モーフターゲット（「ブレンドシェイプ」とも呼ばれる）ベースのシステムは、高速再生と高い忠実度の表情を提供します。この技術では、顔メッシュの一部をモデリングして表情やビゼームを近似し、次にモーフターゲットまたはブレンドシェイプとして知られる異なるサブメッシュをブレンドします。この技術を使用した最も優れたキャラクターはおそらく『ロード・オブ・ザ・リング』のゴラムでしょう。この技術の欠点は、集中的な手作業が必要であり、各キャラクターに固有のものであることです。最近、3D モデリングの新しい概念が現れ始めました。最近では、従来の 静的な形状のモデリングではなく、3D オブジェクトの動きのモデリングを重視するカーブ制御モデリング^{[ 3 ]など、従来の技術から逸脱した新しい技術が現れ始めています。}
• ボーン駆動アニメーションはゲームで広く使用されています。ボーンの設定は、微妙な表情をすべて表現できるように、数個のボーンから100個近くまで変化します。ボーン駆動アニメーションの主な利点は、顔の形態が似ている限り、同じアニメーションを異なるキャラクターに使用できること、そして、すべてのモーフターゲットデータをメモリにロードする必要がないことです。ボーン駆動アニメーションは、3D ゲームエンジンで最も広くサポートされています。ボーン駆動アニメーションは、2D アニメーションと 3D アニメーションの両方に使用できます。たとえば、 Adobe Flashを使用して、ボーンを使用して 2D キャラクターをリギングしてアニメーション化することができます。

• テクスチャベースのアニメーションは、ピクセルカラーを使用してキャラクターの顔にアニメーションを作成します。2D の顔のアニメーションは、静止画とビデオシーケンスの両方の画像を含む画像の変換に基づいているのが一般的です。画像モーフィングは、一対のターゲット静止画像間、またはビデオシーケンスのフレーム間で、中間遷移画像を生成できる技術です。これらのモーフィング技術は通常、ターゲット画像を整列させる幾何学的変形技術と、画像テクスチャのスムーズな遷移を作成するクロスフェードの組み合わせで構成されています。画像モーフィングの初期の例は、マイケル・ジャクソンの「Black Or White」のビデオで見ることができます。3D アニメーションでは、テクスチャベースのアニメーションは、テクスチャ自体または UV マッピングをアニメーション化することによって実現できます。後者の場合、すべての顔の表情のテクスチャ マップが作成され、UV マップ アニメーションを使用して、ある表情から次の表情に遷移します。
• 骨格筋系や物理ベースの頭部モデルなどの生理学的モデルは、頭部と顔面をモデル化するもう 1 つのアプローチです。 ^{[ 4 ]}ここでは、骨、組織、皮膚の物理的および解剖学的特性がシミュレートされ、現実的な外観 (バネのような弾力性など) が提供されます。このような方法は、リアリズムを作成するのに非常に強力ですが、顔面構造の複雑さにより、計算コストが高く、作成が困難になります。次のセクションで説明するように、コミュニケーション目的でのパラメータ化モデルの有効性を考慮すると、物理ベースモデルは多くのアプリケーションではあまり効率的な選択肢ではないと主張することができます。これは、物理ベースモデルの利点や、必要に応じて局所的な詳細を提供するためにパラメータ化モデルのコンテキスト内で使用できるという事実を否定するものではありません。