3D 顔モーフィングモデル

コンピュータビジョンとコンピュータグラフィックスにおいて、3D 顔モーフィングモデル( 3DFMM ) は、テクスチャ付きの 3D 顔をモデル化する生成技術です。 ^{[1]新しい顔の生成は、} 3D スキャン手順で取得したサンプル顔の既存のデータベースに基づいています。これらの顔はすべて密な点対点対応関係にあるため、取得した顔を組み合わせることで新しいリアルな顔 (モーフ) を生成できます。新しい 3D 顔は、1 つまたは複数の既存の顔画像から推測することも、サンプル顔を任意に組み合わせて推測することもできます。3DFMM は、カメラパラメータや照明などの外部要因から切り離して顔の形状とテクスチャを表現する方法を提供します。^[2]

3Dモーフィングモデル（3DMM）は、顔以外のさまざまなオブジェクト、例えば人間の全身^{[3] [4]}、特定の体の部分^{[5] [6]}、動物^[7]に適用されている一般的なフレームワークです。3DMMは、オブジェクトをそのオブジェクトクラスから収集できる事前知識に基づいて表現することで、視覚タスクを解決するために最初に開発されました。事前知識は、3Dサンプルのデータベースから統計的に抽出され、そのクラスの新しい妥当なオブジェクトを表現または生成するための基礎として使用されます。その有効性は、この事前情報を効率的にエンコードする能力にあり、これにより、そうでなければ不適切設定の問題（単一ビューの3Dオブジェクトの再構築など）を解決できます。^[2]

歴史的に、顔モデルはモーフィング可能なモデルの最初の例であり、3DFMMの分野は今日でも非常に活発な研究分野であり続けています。実際、3DFMMは顔認識^[8] 、エンターテインメント業界（ゲームや拡張現実[ ^{9] [10]} 仮想試着^[11] 顔の置き換え[ ^12] 顔の再現^[13]）、デジタルフォレンジック^[14]、医療用途で効果的に採用されてきました。^[15]

一般的に、3D顔は顔データセットから抽出された3つの変分成分によってモデル化できる。^[2]

• 形状モデル - さまざまな対象にわたる幾何学的形状の分布のモデル
• 表情モデル - さまざまな表情にわたる幾何学的形状の分布のモデル
• 外観モデル - 表面テクスチャ（色と照明）の分布のモデル

3DFMM は、統計分析を使用して、統計的形状空間、確率分布、または事前分布を備えたベクトル空間を定義します。^{[17]例のデータセットから}事前分布を抽出するには、すべての 3D の顔が密な点対点対応になっている必要があります。これは、各点が各顔で同じ意味を持つことを意味します (例: 鼻の先、目の端)。このように、点を固定することで、たとえば、すべての顔にわたるテクスチャの赤チャネル値の確率分布を導出できます。頂点の顔の形状は、指定された順序で頂点の 3D 座標を含むベクトルとして定義されます。つまり、 です。形状空間は、データベースの低次元 ( ) パラメーター化を実行することによって、妥当な 3D の顔を生成する 次元空間と見なされます。 ^[2]したがって、形状は、パラメーター、 によってジェネレータ関数を介して表すことができます。^[17] 3DFMMで形状空間を生成するために使用される最も一般的な統計手法は主成分分析（PCA）^[1]であり、データの分散を最大化する基底を生成します。PCAを実行すると、生成関数は線形で次のように定義されます。ここで、はトレーニングデータの平均であり、は最も支配的な固有ベクトルを含む行列です。 ${\textstyle S}$${\textstyle n}$${\displaystyle n}$${\displaystyle S\in \mathbb {R} ^{3n}}$${\textstyle d}$${\textstyle d\ll n}$${\textstyle S}$${\textstyle \mathbf {c} :\mathbb {R} ^{d}\rightarrow \mathbb {R} ^{3n}}$${\displaystyle \mathbf {w} \in \mathbb {R} ^{d}}$${\textstyle \mathbf {c} (\mathbf {w} )=S\in \mathbb {R} ^{3n}}$$${\displaystyle \mathbf {c} (\mathbf {w} )=\mathbf {\bar {c}} +\mathbf {E} \mathbf {w} }$$${\textstyle \mathbf {\bar {c}} }$${\displaystyle \mathbf {E} \in \mathbb {R} ^{3n\times d}}$${\textstyle d}$

顔全体に独自の生成関数を使用すると、細かい部分の表現が不完全になります。解決策としては、目、口、鼻などの重要な部分をセグメント化して顔のローカルモデルを使用することです。^[18]

表情のモデリングは、顔の表情からアイデンティティの表現を明示的に細分化することによって行われます。アイデンティティと表情の組み合わせ方に応じて、これらの方法は加法的、乗法的、非線形に分類できます。

加法モデルは線形モデルとして定義され、表現は恒等式に対する加法オフセットです。ここで、、、はそれぞれ形状空間と表現空間の行列基底と係数ベクトルです。このモデルでは、ニュートラルな表現と特定の表現における被験者の3D形状が与えられれば、オフセットを追加することで表現を別の被験者に転送できます。^[1] 2つのPCAを実行して、形状と表現の2つの異なる空間を学習できます。^[19]$${\displaystyle \mathbf {c} (\mathbf {w} ^{s},\mathbf {w} ^{w})=\mathbf {\bar {c}} +\mathbf {E} ^{s}\ mathbf {w} ^{s}+\mathbf {E} ^{e}\mathbf {w} ^{e}}$$${\textstyle \mathbf {E} ^{s}}$${\textstyle \mathbf {E} ^{e}}$${\textstyle \mathbf {w} ^{s}}$${\textstyle \mathbf {w} ^{e}}$${\textstyle \mathbf {c} _{ne}}$${\displaystyle \mathbf {c} ^{exp}}$${\displaystyle \Delta _{\mathbf {c} }=\mathbf {c} ^{exp}-\mathbf {c} ^{ne}}$

乗法モデルでは、形状と表現をさまざまな方法で組み合わせることができます。たとえば、ニュートラルな表現をターゲットのブレンドシェイプに変換する演算子を利用することで、と記述できます。ここで、とはターゲットの表現に修正するベクトルです。^[20]${\textstyle d_{e}}$${\displaystyle \mathbf {T} _{j}:\mathbb {R} ^{3n}\rightarrow \mathbb {R} ^{3n}}$$${\displaystyle \mathbf {c} (\mathbf {w} ^{s},\mathbf {w} ^{e})=\sum _{j=1}^{d_{e}}w_{j}^ {e}\mathbf {T} _{j}(\mathbf {c} (\mathbf {w} ^{s})+\mathbf {\delta } ^{s})+\mathbf {\delta } _{j}^{e}}$$${\displaystyle \mathbf {\delta } ^{s}}$${\textstyle \mathbf {\delta } _{j}^{s}}$

非線形モデルは非線形変換を使用して表現を表します。^{[21] [22] [23]}

色情報は、多くの場合、3D 形状の各頂点に関連付けられます。この 1 対 1 の対応により、外観を線形形状モデルに類似して表現できます。ここでは、は基底行列上に定義された係数ベクトルです。PCA は、外観空間を学習するために再び使用できます。 $${\displaystyle \mathbf {d} (\mathbf {w} ^{t})=\mathbf {\bar {d}} +\mathbf {E} ^{t}\mathbf {w} ^{t}}$$${\displaystyle \mathbf {w} ^{t}}$${\displaystyle \mathbf {E} ^{t}}$

顔認識は、後にモーフィング可能なモデルの形式化に収束する概念を生み出した分野であると考えることができます。顔認識で使用される固有顔アプローチは、顔をベクトル空間で表現し、主成分分析を使用して主な変化モードを識別しました。しかし、この方法には限界がありました。固定されたポーズと照明に制限され、形状の違いを効果的に表現できませんでした。その結果、固有ベクトルの変化は顔の構造の変化を正確に表さず、構造がフェードインしたりフェードアウトしたりしました。これらの限界に対処するために、研究者は顔間の 2D 形状変化の固有分解を追加しました。元の固有顔アプローチは単一の点に基づいて画像を位置合わせしましたが、新しい方法は多くの点で対応を確立しました。ランドマークベースの顔ワーピングは Craw と Cameron (1991) によって導入されました^[24] 。最初の統計的形状モデルであるActive Shape Model はCootes ら (1995) によって提案されました。^[25]このモデルは形状のみを使用していましたが、Cootes ら (1998) ^{[26]による}Active Appearance Model は形状と外観を組み合わせています。これらの 2D 手法は固定されたポーズと照明にのみ有効であったため、Vetter と Poggio (1997) ^[27]はより多様な設定を処理できるように拡張しました。形状とテクスチャを分離することは顔の表現に有効でしたが、ポーズと照明の変化を処理するには多くの個別のモデルが必要でした。一方、3D コンピュータ グラフィックスの進歩により、ポーズと照明の変化をシミュレートすることは簡単であることが示されました。グラフィックス手法と顔のモデリングの組み合わせにより、Blanz と Vetter (1999) による 3DMM の最初の定式化が実現しました。^[1]分析と合成のアプローチにより、3D ドメインと 2D ドメインのマッピングと、3D の形状と外観の新しい表現が可能になりました。彼らの研究は、2D 画像からの 3D 再構築と制御された操作のためのパラメトリックな顔空間を可能にする顔の統計モデルを導入した最初の研究です。^[2]

Blanz と Vetter の元の定義^[1]では、顔の形状は、頂点の 3D 座標を含むベクトルとして表されます。同様に、テクスチャは、対応する各頂点に関連付けられた3 つのRGB カラー チャネルを含むベクトルとして表されます。サンプルの 3D 顔は完全に対応しているため、新しい形状とテクスチャはサンプルの顔の線形結合として定義できます。したがって、新しい顔の形状とテクスチャは、形状係数とテクスチャ係数によってパラメーター化されます。データセットから統計を抽出するために、PCA を実行して次元 の形状空間を生成し、形状と外観のモデリングに線形モデルを使用しました。この場合、形状とテクスチャの固有ベクトルと をそれぞれ使用して、直交基底で新しいモデルを生成できます。 ${\displaystyle S=(X_{1},Y_{1},Z_{1},...,X_{n},Y_{n},Z_{n})^{T}\in \mathbb {R} ^{3n}}$${\displaystyle n}$${\displaystyle T=(R_{1},G_{1},B_{1},...,R_{n},G_{n},B_{n})^{T}\in \mathbb {R} ^{3n}}$${\displaystyle \mathbf {S} _{models}}$${\displaystyle \mathbf {T} _{models}}$${\textstyle m}$$${\displaystyle \mathbf {S} _{model}=\sum _{i=1}^{m}a_{i}\mathbf {S} _{i}\qquad \mathbf {T} _{model}=\sum _{i=1}^{m}b_{i}\mathbf {T} _{i}\qquad {\text{with}}\;\sum _{i=1}^{m}a_{i}=\sum _{i=1}^{m}b_{i}=1}$$${\displaystyle \mathbf {a} =(a_{1},a_{2},...,a_{m})^{T}}$${\displaystyle \mathbf {b} =(b_{1},b_{2},...,b_{m})^{T}}$${\textstyle d}$${\textstyle s_{i}}$${\textstyle t_{i}}$

${\displaystyle \mathbf {S} _{model}=\mathbf {\bar {S}} +\sum _{i=1}^{m}a_{i}\mathbf {s} _{i}\qquad \mathbf {T} _{model}=\mathbf {\bar {T}} +\sum _{i=1}^{m}b_{i}\mathbf {t} _{i}\qquad }$

ここで、およびはデータセットの平均形状とテクスチャです。 ${\displaystyle \mathbf {\bar {S}} }$${\textstyle \mathbf {\bar {T}} }$

次の表に、3DFMM に使用できる人間の顔の公開データベースを示します。

• 固有顔
• 3Dモデリング
• 主成分分析
• 統計的形状分析

• 「3Dモーフィング可能なモデル」 。 2024年7月8日閲覧。
• 「3D モーフィング可能なモデル ソフトウェアとデータの厳選リスト」。GitHub。2024年 7 月 11 日に取得。
• 「3Dモーフィング可能モデルのチュートリアル@ジオメトリ処理シンポジウム2022」。YouTube 。 2022年6月28日。 2024年7月12日閲覧。
• 「線形 3D モーフィング可能な顔モデルとは?」YouTube 2020 年 4 月 5 日2024 年 7 月 12 日閲覧。