3Dモーフィングモデル

コンピュータビジョンとコンピュータグラフィックスにおいて、3Dモーフィングモデル（3DMM ）は、統計的形状分析法を用いて3Dオブジェクトをモデル化する生成技術である。このモデルは、単一クラスのオブジェクト（顔、手など）の3Dサンプル形状のデータセットに対して、分析と合成のアプローチを採用している。主な前提条件は、すべての3D形状が密な点対点対応関係にあること、つまり各点がすべての形状で同じ意味的意味を持つことである。このようにして、データセットから意味のある統計を抽出し、それを使用してオブジェクトのクラスの新しい妥当な形状を表すことができる。2D画像が与えられた場合、フィッティングプロセスによってその3D形状を表すか、そのクラスの統計的形状分布から直接サンプリングして新しい形状を生成することができる。^[1]

3DMM の研究を開始したきっかけは、視覚システムが単一のオブジェクトクラスによって生成される多種多様な画像をどのように処理し、どのように表現できるかを理解することでした。3DMM の開発における主な前提は、オブジェクトクラスに関する事前の知識が視覚において非常に重要であるということでした。3D顔モーフィングモデルは、顔認識の分野で最初に開発された 3DMM であるため、最も人気のある 3DMM です。^[2]また、人体全体、^[3]手、^[4]耳、^[5]車、^[6]動物にも適用されています。^[7]

参照

参考文献

^ Luthi, Marcel; Gerig, Thomas; Jud, Christoph; Vetter, Thomas (2018-08-01). 「ガウス過程モーフィング可能モデル」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 40 (8): 1860–1873. arXiv : 1603.07254 . doi :10.1109/TPAMI.2017.2739743. ISSN 0162-8828. PMID 28816655.
^ Egger, Bernhard; Smith, William AP; Tewari, Ayush; Wuhrer, Stefanie; Zollhoefer, Michael; Beeler, Thabo; Bernard, Florian; Bolkart, Timo; Kortylewski, Adam; Romdhani, Sami; Theobalt, Christian; Blanz, Volker; Vetter, Thomas (2020-06-09). 「3D Morphable Face Models—Past, Present, and Future」. ACM Trans. Graph . 39 (5): 157:1–157:38. doi :10.1145/3395208. hdl : 21.11116/0000-0007-1CF5-6 . ISSN 0730-0301.
^ Allen, Brett; Curless, Brian; Popović, Zoran (2003-07-01). 「人体形状の空間: レンジスキャンからの再構成とパラメータ化」ACM Trans. Graph . 22 (3): 587–594. doi :10.1145/882262.882311. ISSN 0730-0301.
^ Khamis, Sameh; Taylor, Jonathan; Shotton, Jamie; Keskin, Cem; Izadi, Shahram; Fitzgibbon, Andrew (2015 年 6 月)。「深度画像から手の形状変化の効率的なモデルを学習する」。2015 IEEEコンピュータービジョンおよびパターン認識会議 (CVPR)。IEEE。pp. 2540–2548。doi : 10.1109 /CVPR.2015.7298869。ISBN 978-1-4673-6964-0。
^ ダイ・ハン、ピアーズ・ニック、スミス・ウィリアム（2018年5月）。「耳のデータ拡張3Dモーフィングモデル」。 2018年第13回IEEE国際自動顔・ジェスチャー認識会議（FG 2018）。IEEE。pp. 404–408。doi ：10.1109/ FG.2018.00065。ISBN 978-1-5386-2335-0。
^ Jones, MJ; Poggio, T. (1998). 「多次元モーフィング可能モデル」第 6 回国際コンピュータビジョン会議 (IEEE Cat. No.98CH36271)。 Narosa Publishing House。 pp. 683–688。doi :10.1109/ICCV.1998.710791。ISBN 978-81-7319-221-0。
^ Sun, Yifan; Murata, Noboru (2020年3月). 「CAFM: 動物の3Dモーフィングモデル」. 2020 IEEE Winter Applications of Computer Vision Workshops (WACVW) . IEEE. pp. 20–24. doi :10.1109/WACVW50321.2020.9096941. ISBN 978-1-7281-7162-3。

外部リンク

「3D モーフィング可能なモデルソフトウェアとデータの厳選リスト」。GitHub。2024年 7 月 11 日に取得。

[1] Luthi, Marcel; Gerig, Thomas; Jud, Christoph; Vetter, Thomas (2018-08-01). 「ガウス過程モーフィング可能モデル」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 40 (8): 1860–1873. arXiv : 1603.07254 . doi :10.1109/TPAMI.2017.2739743. ISSN 0162-8828. PMID 28816655.

[2] Egger, Bernhard; Smith, William AP; Tewari, Ayush; Wuhrer, Stefanie; Zollhoefer, Michael; Beeler, Thabo; Bernard, Florian; Bolkart, Timo; Kortylewski, Adam; Romdhani, Sami; Theobalt, Christian; Blanz, Volker; Vetter, Thomas (2020-06-09). 「3D Morphable Face Models—Past, Present, and Future」. ACM Trans. Graph . 39 (5): 157:1–157:38. doi :10.1145/3395208. hdl : 21.11116/0000-0007-1CF5-6 . ISSN 0730-0301.

[3] Allen, Brett; Curless, Brian; Popović, Zoran (2003-07-01). 「人体形状の空間: レンジスキャンからの再構成とパラメータ化」ACM Trans. Graph . 22 (3): 587–594. doi :10.1145/882262.882311. ISSN 0730-0301.

[4] Khamis, Sameh; Taylor, Jonathan; Shotton, Jamie; Keskin, Cem; Izadi, Shahram; Fitzgibbon, Andrew (2015 年 6 月)。「深度画像から手の形状変化の効率的なモデルを学習する」。2015 IEEEコンピュータービジョンおよびパターン認識会議 (CVPR)。IEEE。pp. 2540–2548。doi : 10.1109 /CVPR.2015.7298869。ISBN 978-1-4673-6964-0。

[5] ダイ・ハン、ピアーズ・ニック、スミス・ウィリアム（2018年5月）。「耳のデータ拡張3Dモーフィングモデル」。 2018年第13回IEEE国際自動顔・ジェスチャー認識会議（FG 2018）。IEEE。pp. 404–408。doi ：10.1109/ FG.2018.00065。ISBN 978-1-5386-2335-0。

[6] Jones, MJ; Poggio, T. (1998). 「多次元モーフィング可能モデル」第 6 回国際コンピュータビジョン会議 (IEEE Cat. No.98CH36271)。 Narosa Publishing House。 pp. 683–688。doi :10.1109/ICCV.1998.710791。ISBN 978-81-7319-221-0。

[7] Sun, Yifan; Murata, Noboru (2020年3月). 「CAFM: 動物の3Dモーフィングモデル」. 2020 IEEE Winter Applications of Computer Vision Workshops (WACVW) . IEEE. pp. 20–24. doi :10.1109/WACVW50321.2020.9096941. ISBN 978-1-7281-7162-3。