コンピューターの顔アニメーション

コンピュータの顔アニメーションは、主にコンピュータグラフィックスの一分野であり、キャラクターの顔の画像やモデルを生成してアニメーション化する方法と技術をカプセル化します。キャラクターは、人間、ヒューマノイド、動物、伝説の生き物やキャラクターなどです。その主題と出力タイプにより、心理学から伝統的なアニメーションまで、他の多くの科学的および芸術的分野にも関連しています。言語的および非言語的コミュニケーションにおける人間の顔の重要性と、コンピュータグラフィックスのハードウェアとソフトウェアの進歩により、コンピュータの顔アニメーションには、かなりの科学的、技術的、芸術的な関心が寄せられています。

顔アニメーション用のコンピュータ グラフィックス手法の開発は1970 年代初頭に始まりましたが、この分野における大きな成果は比較的最近で、1980 年代後半から実現しました。

コンピュータのフェイシャルアニメーションに関する研究は、アニメーションデータを生成する技術と、そのデータをキャラクターに適用する方法という2つの主な分野に分けられます。モーションキャプチャやキーフレームなどの技術は前者のグループに属し、モーフターゲットアニメーション（より一般的にはブレンドシェイプアニメーションとして知られています）とスケルタルアニメーションは後者のグループに属します。フェイシャルアニメーションは、長編アニメ映画やコンピュータゲームを通じてよく知られ、人気が高まっていますが、その応用分野には、コミュニケーション、教育、科学的シミュレーション、エージェントベースのシステム（オンラインカスタマーサービス担当者など）など、さらに多くの分野が含まれます。個人用デバイスやモバイルデバイスの計算能力の最近の進歩により、フェイシャルアニメーションは、事前にレンダリングされたコンテンツに表示されるものから、実行時に作成されるものへと移行しました。

人間の表情は、 100 年以上にわたって科学的研究の対象となってきました。顔の動きと表情の研究は、生物学的な観点から始まりました。1640年代後半のジョン・ブルワーによる研究など、いくつかの古い研究の後、チャールズ・ダーウィンの著書『人間と動物の感情の表現』は、行動生物学における現代の研究にとって大きな出発点であると考えられます。

コンピュータベースの顔の表情モデリングとアニメーションは、新しい取り組みではありません。コンピュータベースの顔の表現に関する最初の取り組みは、1970 年代初頭に行われました。最初の 3 次元顔アニメーションは、 1972 年にParkeによって作成されました。1973 年、Gillenson は線で描かれた顔の画像を組み立てて編集するインタラクティブ システムを開発しました。1974 年、Parke はパラメーター化された 3 次元顔モデルを開発しました。

顔の動きを記述する最も重要な試みの 1 つが、顔動作コーディング システム(FACS) でした。1960年代にCarl-Herman Hjortsjö ^{[1]によって最初に開発され、1978 年に}EkmanとFriesenによって更新された FACS は、46 の基本的な顔の動作単位 (AU) を定義しています。これらの動作単位の主なグループは、眉を上げる、ウィンクする、話すなどの動作における顔の筋肉の基本的な動きを表します。8 つの AU は、頭部の固定された 3 次元の動き (つまり、左右に回したり傾けたり、上下前後に動かしたりする) を表します。FACS は、合成顔の望ましい動きを記述するために、また顔の活動を追跡するために効果的に使用されてきました。

1980 年代初頭には、プラットによる初の物理ベースの筋肉制御顔モデルの開発と、ブレナンによる顔の似顔絵の技法の開発が行われました。1985 年、短編アニメ映画「トニー・デ・ペルトリー」は顔アニメーションの画期的な作品となりました。これは、コンピューターによる顔の表情と音声アニメーションがストーリー展開の基本的な要素となった初めての例です。

1980年代後半には、ウォーターズによる新しい筋肉ベースのモデルの開発、マグネナット・タルマンとその同僚による抽象的な筋肉動作モデルの開発、ルイスとヒルによる自動音声同期へのアプローチが見られました。1990年代には、顔のアニメーション技術の開発が活発化し、トイ・ストーリー（1995年）やアントズ（1998年）やシュレック、モンスターズ・インク（ともに2001年）などのアニメ映画、シムズなどのコンピュータゲームに見られるように、ストーリーテリングの重要な要素としてコンピュータの顔のアニメーションが使用されるようになりました。 この10年間のマイルストーンとなった映画「キャスパー」（1995年）は、主演俳優がデジタル顔アニメーションのみを使用して制作された最初の映画でした。

2000 年以降、映画の洗練度は高まりました。『マトリックス リローデッド』と『マトリックス レボリューションズ』では、複数の高解像度カメラからの高密度オプティカル フローを使用して、顔のあらゆるポイントでリアルな顔の動きをキャプチャしました。『ポーラー エクスプレス』(映画) では、 150 を超えるポイントをキャプチャするために大型の Vicon システムを使用しました。これらのシステムは自動化されていますが、データを使用可能にするには、依然として大量の手動クリーンアップ作業が必要です。顔アニメーションのもう 1 つのマイルストーンは、『ロード オブ ザ リング』で達成されました。この映画では、キャラクター固有のシェイプ ベース システムが開発されました。マーク サガーは、エンターテイメントの顔アニメーションでのFACSの使用の先駆者であり、サガーによって開発された FACS ベースのシステムは、 『モンスター ハウス』や『キング コング』などの映画で使用されました。

顔のアニメーション データの生成には、1.)パフォーマーの顔のポイントまたはマークでのマーカー ベースのモーション キャプチャ、2.) さまざまな種類のカメラを使用したマーカーレス モーション キャプチャ技術、3.) オーディオ駆動技術、および 4.)キーフレームアニメーションなど、さまざまな方法があります。

• モーション キャプチャでは、被写体の周囲にカメラを設置します。被写体には通常、反射板 (パッシブ モーション キャプチャ) またはソース (アクティブ モーション キャプチャ) が取り付けられ、被写体の空間的位置を正確に特定します。カメラで記録されたデータはデジタル化され、被写体の 3 次元コンピュータ モデルに変換されます。最近まで、モーション キャプチャ システムで使用される検出器/ソースのサイズが原因で、この技術は顔のキャプチャには適していませんでした。しかし、小型化やその他の進歩により、モーション キャプチャはコンピュータの顔アニメーションに使用できるツールになりました。顔のモーション キャプチャは、 ImageworksのPolar Expressで広く使用され、何百ものモーション ポイントがキャプチャされました。この映画は非常に完成度が高く、リアリズムを再現しようとした一方で、「不気味の谷」に陥ったと批判されました。これは、アニメーションのリアリズムは人間の認識と感情的なメッセージの伝達には十分ですが、キャラクターがリアルに認識されない領域です。モーション キャプチャの主な難しさは、データの品質 (振動やポイントのジオメトリの再ターゲットなど) です。
• マーカーレス モーション キャプチャは、マーカーでパフォーマーの邪魔をしないようにすることで、モーション キャプチャ プロセスを簡素化することを目的としています。最近、標準ビデオ カメラ、Kinect、深度センサー、その他の構造化ライト ベースのデバイスなど、さまざまなセンサーを活用するいくつかの手法が登場しました。構造化ライトベースのシステムは、高速構造化ライト スキャナーを使用して、マーカーを使用せずにリアルタイムのパフォーマンスを実現できます。このシステムは、さまざまな顔の表情でシステムをトレーニングする堅牢なオフライン顔追跡ステージに基づいています。一致したシーケンスを使用して、人物固有の線形顔モデルが構築され、その後、オンライン顔追跡と表情転送に使用されます。
• オーディオ駆動型の技術は、特にスピーチアニメーションに適しています。スピーチは通常、表情のアニメーションとは異なる方法で扱われます。これは、アニメーションに対する単純なキーフレームベースのアプローチでは、実際のスピーチのダイナミクスを十分に近似できないためです。多くの場合、視覚素は、観察されたスピーチの主要なポーズ（特定の音素を生成するときの唇、顎、舌の位置）を表すために使用されますが、自然なスピーチの生成中に視覚素を実現するには大きなばらつきがあります。このばらつきの原因は、結合調音と呼ばれ、周囲の視覚素が現在の視覚素に与える影響（つまり、コンテキストの効果）です。結合調音を考慮するために、現在のシステムでは、視覚素キーフレームをブレンドするときにコンテキストを明示的に考慮するか^[2]、二重音、三重音、音節、さらには単語や文の長さの単位などのより長い単位を使用します。スピーチアニメーションに対する最も一般的なアプローチの1つは、CohenとMassaroによって導入された優位関数の使用です。各優位関数は、時間経過に伴うヴィシームの音声発話への影響を表します。通常、影響はヴィシームの中心で最大になり、ヴィシームの中心から離れるにつれて小さくなります。優位関数は、スプライン基底関数をブレンドして曲線を生成するのとほぼ同じ方法でブレンドされて音声軌跡を生成します。各優位関数の形状は、それが表すヴィシームと、制御されている顔の側面 (唇の幅、顎の回転など) によって異なります。コンピューター生成の音声アニメーションに対するこのアプローチは、バルディのトーキング ヘッドで確認できます。その他の音声モデルでは、ヴィシームの代わりにコンテキストを含む基本単位 (ダイフォン、トライフォンなど) を使用します。基本単位には、コンテキストに応じた各ヴィシームの変化と、ある程度の各ヴィシームのダイナミクスがすでに組み込まれているため、調音結合モデルは必要ありません。音声は、データベースから適切な単位を選択し、単位をブレンドするだけで生成されます。これは、音声合成における連結技術に似ています。これらのモデルの欠点は、自然な結果を生成するために大量のキャプチャデータが必要であり、長いユニットはより自然な結果を生成しますが、必要なデータベースのサイズは各ユニットの平均長さに応じて拡大します。最後に、一部のモデルは、音声から直接音声アニメーションを生成します。これらのシステムは通常、隠れマルコフモデルまたはニューラル ネットを使用して、オーディオ パラメータを顔モデルの制御パラメータのストリームに変換します。この方法の利点は、複雑な近似アルゴリズムを使用せずに、音声コンテキストの処理、自然なリズム、テンポ、感情、ダイナミクスの処理が可能なことです。音素やビゼムは必要ないため、トレーニング データベースにラベルを付ける必要はありません。必要なデータは、音声とアニメーション パラメータだけです。
• キーフレームアニメーションは、アニメーション データを作成するプロセスの中で最も自動化されていないプロセスですが、アニメーションを最大限に制御できます。アニメーションの最終的な仕上げを行うために、他のテクニックと組み合わせて使用​​されることがよくあります。キーフレームデータは、モーフ ターゲット係数を定義するスカラー値、またはボーン ベースのリグを持つモデルのボーンの回転値と移動値で作成できます。多くの場合、キーフレームアニメーション プロセスを高速化するために、アニメーションではコントロール リグが使用されます。コントロール リグは、複数のモーフ ターゲット係数またはボーンに同時に作用できる、より高度な抽象化を表します。たとえば、「笑顔」コントロールは、上向きの口の形と目を細めることに同時に作用できます。

キャラクターに顔のアニメーションを適用するために使用される主な手法は、1.)モーフ ターゲット アニメーション、2.)ボーン駆動アニメーション、3.) テクスチャ ベースのアニメーション (2D または 3D)、および 4.)生理学的モデルです。

• モーフターゲット（「ブレンドシェイプ」とも呼ばれる）ベースのシステムは、高速再生と表情の忠実度の高さを提供します。この技術では、顔のメッシュの一部をモデリングして表情やビゼームを近似し、次にモーフターゲットまたはブレンドシェイプと呼ばれるさまざまなサブメッシュをブレンドします。おそらく、この技術を使用した最も優れたキャラクターは、ロードオブザリングのゴラムでしょう。この技術の欠点は、手作業が多く、各キャラクターに固有のものであることです。最近、3Dモデリングの新しい概念が登場し始めています。最近、従来の静的形状のモデリングではなく、3Dオブジェクトの動きのモデリングを強調したカーブ制御モデリング^[3]など、従来の技術から逸脱した新しい技術が登場し始めています 。
• ボーン ドリブン アニメーションは、ゲームで非常に幅広く使用されています。ボーンの設定は、わずかなボーンから 100 近くまで変化し、あらゆる微妙な表情を可能にします。ボーン ドリブン アニメーションの主な利点は、顔の形態が類似している限り、同じアニメーションをさまざまなキャラクターに使用できること、そしてすべてのモーフ ターゲットデータをメモリにロードする必要がないことです。ボーン ドリブン アニメーションは、3D ゲーム エンジンで最も広くサポートされています。ボーン ドリブン アニメーションは、2D アニメーションと 3D アニメーションの両方に使用できます。たとえば、 Adobe Flashを使用して、ボーンを使用して 2D キャラクターをリギングおよびアニメーション化できます。

• テクスチャベースのアニメーションは、ピクセルの色を使用してキャラクターの顔にアニメーションを作成します。2D の顔アニメーションは、通常、静止写真とビデオ シーケンスの両方の画像を含む画像の変換に基づいています。画像モーフィングは、一対の対象静止画像間またはビデオ シーケンスのフレーム間に中間遷移画像を生成する技術です。これらのモーフィング技術は通常、対象画像を整列させる幾何学的変形技術と、画像テクスチャのスムーズな遷移を作成するクロスフェードの組み合わせで構成されます。画像モーフィングの初期の例としては、マイケル ジャクソンの「Black Or White」のビデオが挙げられます。3D アニメーションでは、テクスチャベースのアニメーションは、テクスチャ自体または UV マッピングをアニメーション化することによって実現できます。後者の場合、すべての顔の表情のテクスチャ マップが作成され、UV マップ アニメーションが 1 つの表情から次の表情への遷移に使用されます。
• 骨格筋システムや物理ベースの頭部モデルなどの生理学的モデルは、頭部と顔面をモデル化するもう一つのアプローチです。 ^{[4]ここでは、}骨、組織、皮膚の物理的および解剖学的特性がシミュレートされ、リアルな外観（バネのような弾力性など）が実現されます。このような方法はリアリティを生み出すのに非常に強力ですが、顔の構造が複雑なため、計算コストが高く、作成が困難です。次のセクションで説明するように、パラメータ化されたモデルのコミュニケーション目的の有効性を考慮すると、物理ベースのモデルは多くのアプリケーションではあまり効率的な選択ではないと主張することができます。これは、物理ベースのモデルの利点や、必要に応じてパラメータ化されたモデルのコンテキスト内でローカルな詳細を提供するために物理ベースのモデルを使用できるという事実を否定するものではありません。

顔アニメーションのコンテンツを記述するために、多くの顔アニメーション言語が使用されています。これらの言語は、互換性のある「プレーヤー」ソフトウェアに入力することができ、要求されたアクションを作成します。顔アニメーション言語は、 SMILやVRMLなどの他のマルチメディアプレゼンテーション言語と密接に関連しています。データ表現メカニズムとしてのXMLの人気と有効性により、ほとんどの顔アニメーション言語は XML ベースです。たとえば、これはVirtual Human Markup Language (VHML) のサンプルです。

 <vhml> 
<person disposition= "angry" >最初は怒った声で話し、とても怒っているように見えますが、
 <surprised intenseness= " 50" >突然、もっと驚いた表情に変わります。
 </surprised> </person> </vhml>    
                     
                   
   
 

より高度な言語では、意思決定、イベント処理、並列および順次アクションが可能になります。フェイスモデリング言語（FML）は、顔のアニメーションを記述するためのXMLベースの言語です。^[5] FMLは、MPEG-4フェイスアニメーションパラメータ（FAPS）、意思決定と動的イベント処理、ループなどの一般的なプログラミング構造をサポートしています。これはiFACEシステムの一部です。^[5]以下はFMLからの例です。

 <fml> 
<act> <par> <hdmv type= "yaw" value= "15" begin = "0" end= "2000" /> <expr type= "joy" value= "-60" begin= "0" end= "2000" /> </par> <excl event_name= "kbd" event_value= "" repeat= "kbd;F3_up" > <hdmv type= "yaw" value= "40" begin= "0" end= "2000" event_value= "F1_up" /> <hdmv type= "yaw" value= "-40" begin= "0" end= "2000" event_value= "F2_up" /> </excl> </act> </fml>   
     
 	     
 	     
     
         
 	      
 	      
     
   
 

• アニメーション
• 似顔絵
• コンピュータアニメーション
• コンピュータグラフィックス
• ディープフェイク
• 表情
• 顔のモーションキャプチャ
• インタラクティブなオンラインキャラクター
• モーフィング
• パラメトリックサーフェス
• テクスチャマッピング

• コンピュータフェイシャルアニメーション、フレデリック・I・パーク、キース・ウォーターズ著、2008年ISBN 1-56881-448-8 
• データ駆動型 3D フェイシャル アニメーションby Zhigang Deng、Ulrich Neumann 2007 ISBN 1-84628-906-8 
• ナディア・マグネナット・タルマンとダニエル・タルマン著『バーチャルヒューマンハンドブック』、2004年ISBN 0-470-02316-3 
• オシパ、ジェイソン (2005)。『Stop Staring: Facial Modeling and Animation Done Right (第 2 版)』。John Wiley & Sons。ISBN 978-0-471-78920-8。

• Face/Off: ライブフェイシャルパペット - ETH チューリッヒで開発されたリアルタイムマーカーレスフェイシャルアニメーション技術
• 「人工俳優」プロジェクト - アニメーション研究所
• アイフェイス
• アニメバルディ
• カール・ヘルマン・ヒョルトショー著『人間の顔と表情言語』のダウンロード。2022年8月6日にWayback Machineにアーカイブされました（この本の元のスウェーデン語のタイトルは「Människans ansikte och mimiska språket」です。正しい翻訳は「人間の顔と表情言語」です）