表情データベース一覧

表情データベースは、 さまざまな感情の表情をとらえた画像やビデオクリップのコレクションです。表情認識システムの開発には、アルゴリズムのトレーニング、テスト、検証に、適切に注釈が付けられた(感情タグが付けられた) 顔の動作のメディアコンテンツが不可欠です。感情の注釈は、個別の感情ラベルまたは連続スケールで行うことができます。ほとんどのデータベースは通常、 6 つの個別の基本感情 (怒り、恐怖、嫌悪、驚き、喜び、悲しみ) の存在を前提とする基本感情理論 ( ポール・エクマン) に基づいています。ただし、一部のデータベースには、連続的な覚醒価スケールでの感情タグ付けが含まれています。

ポーズ表現データベースでは、参加者はさまざまな基本的な感情表現を示すように求められますが、自発的表現データベースでは、表現は自然です。自発的表現は、強さ、構成、および持続時間の点でポーズ表現とは著しく異なります。これとは別に、一部の AU の合成は、関連する感情状態を経ずにはほとんど達成できません。したがって、ほとんどの場合、ポーズ表現は誇張されているのに対し、自発的表現は微妙で見た目が異なります。

公開されているデータベースの多くはここに分類されます。^[1]^[2]以下に表情データベースの詳細を示します。

参考文献

^ 「感情データベースのコレクション」。2018年3月25日時点のオリジナルよりアーカイブ。
^ 「表情データベース」。
^ Aneja、Deepali、他「人間から 3D 様式化されたキャラクター表現を生成するための学習」2018 IEEE Winter Conference on Applications of Computer Vision (WACV)。IEEE、2018 年。
^ Livingstone & Russo (2018). Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): 北米英語における表情と声のダイナミックでマルチモーダルな表現集。doi :10.1371/ journal.pone.0196391
^ P. Lucey、JF Cohn、T. Kanade、J. Saragih、Z. Ambadar、I. Matthews、「拡張 Cohn-Kanade データセット (CK+): アクションユニットと感情指定の表情の完全なデータセット」、第3 回 IEEE ワークショップ「人間のコミュニケーション行動分析のための CVPR 」、2010 年
^ マイケル・ライオンズ;鎌池みゆき；魚場次郎（1998年）。日本女性の表情（JAFFE）データベース。土井：10.5281/zenodo.3451524。
^ M. Valstar および M. Pantic、「誘発された嫌悪感、幸福感、驚き：MMI 表情データベースへの追加」、Proc. Int. Conf. Language Resources and Evaluation、2010 年
^ I. Sneddon、M. McRorie、G. McKeown、J. Hanratty、「ベルファスト誘発自然感情データベース」、IEEE Trans. Affective Computing、 vol. 3、no. 1、pp. 32-41、2012年
^ Singh, Shivendra; Benedict, Shajulin (2020). 「人間の感情認識のためのインドの半演技顔表現 (ISAFE) データセット」。 Thampi, Sabu M.; Hegde, Rajesh M.; Krishnan, Sri; Mukhopadhyay, Jayanta; Chaudhary, Vipin; Marques, Oge; Piramuthu, Selwyn; Corchado, Juan M. (編)。信号処理とインテリジェント認識システムの進歩。コンピューターと情報科学における通信。 Vol. 1209。シンガポール: Springer。 pp. 150–162。doi :10.1007/978-981-15-4828-4_13。ISBN 978-981-15-4828-4。
^ SM Mavadati、MH Mahoor、K. Bartlett、P. Trinh、J. Cohn、「DISFA: 自発的な顔の動作の強度データベース」、IEEE Trans. Affective Computing、 vol. 4、no. 2、pp. 151–160、2013
^ N. Aifanti、C. Papachristou、A. Delopoulos、「MUG 表情データベース」、Proc. 11th Int. Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS)、イタリア、デゼンツァーノ、2010 年 4 月 12 ～ 14 日。
^ SL Happy、P. Patnaik、A. Routray、およびR. Guha、「感情認識のためのインドの自発的表現データベース」、IEEE Transactions on Affective Computing、2016、doi :10.1109/TAFFC.2015.2498174。
^ Langner, O.、Dotsch, R.、Bijlstra, G.、Wigboldus, DHJ、Hawk, ST、および van Knippenberg, A. (2010)。 Radboud Faces データベースのプレゼンテーションと検証。認知と感情、24(8)、1377—1388。土井：10.1080/02699930903485076
^ 「Facial Expression Research Group Database (FERG-DB)」。grail.cs.washington.edu 。 2016年12月6日閲覧。
^ Mollahosseini, A.; Hasani, B.; Mahoor, MH (2017). 「AffectNet: 自然界における表情、感情価、覚醒度の計算のためのデータベース」. IEEE Transactions on Affective Computing . PP (99): 18–31. arXiv : 1708.03985 . doi :10.1109/TAFFC.2017.2740923. ISSN 1949-3045. S2CID 37515850.
^ 「IMPA-FACE3D技術レポート」。visgraf.impa.br 。 2018年3月8日閲覧。
^ Zafeiriou, S.; Kollias, D.; Nicolaou, MA; Papaioannou, A.; Zhao, G.; Kotsia, I. (2017). 「Aff-Wild: 価数と覚醒の「野生」での挑戦」(PDF) . 2017 IEEE コンピュータビジョンおよびパターン認識ワークショップ会議 (CVPRW) . pp. 1980–1987. doi :10.1109/CVPRW.2017.248. ISBN 978-1-5386-0733-6. S2CID 3107614。
^ Kollias, D.; Tzirakis, P.; Nicolaou, MA; Papaioannou, A.; Zhao, G.; Schuller, B.; Kotsia, I.; Zafeiriou, S. (2019). 「野生でのディープアフェクト予測：Aff-Wildデータベースと課題、ディープアーキテクチャ、そしてその先」。International Journal of Computer Vision。127 （ 6–7 ）：907–929。arXiv ：1804.10938。doi：10.1007 /s11263-019-01158-4。S2CID 13679040。
^ Kollias, D.; Zafeiriou, S. (2019). 「表情、感情、行動単位の認識: Aff-wild2、マルチタスク学習、arcface」(PDF)。英国マシンビジョンカンファレンス (BMVC)、2019年。arXiv : 1910.04855。
^ Kollias, D.; Schulc, A.; Hajiyev, E.; Zafeiriou, S. (2020). 「第1回ABAW 2020コンペティションにおける感情行動の分析」2020 第15回IEEE国際自動顔・ジェスチャー認識会議 (FG 2020) . pp. 637–643. arXiv : 2001.11409 . doi :10.1109/FG47880.2020.00126. ISBN 978-1-7281-3079-8. S2CID 210966051。
^ Li., S. 「RAF-DB」。現実世界の感情的な顔のデータベース。
^ Li, S.; Deng, W.; Du, J. (2017). 「信頼性の高いクラウドソーシングとディープローカリティ保存学習による自然環境における表情認識」2017 IEEE コンピュータビジョンおよびパターン認識会議 (CVPR)。pp. 2584–2593。doi : 10.1109 / CVPR.2017.277。ISBN 978-1-5386-0457-1. S2CID 11413183。

[1] 「感情データベースのコレクション」。2018年3月25日時点のオリジナルよりアーカイブ。

[2] 「表情データベース」。

[3] Aneja、Deepali、他「人間から 3D 様式化されたキャラクター表現を生成するための学習」2018 IEEE Winter Conference on Applications of Computer Vision (WACV)。IEEE、2018 年。

[4] Livingstone & Russo (2018). Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): 北米英語における表情と声のダイナミックでマルチモーダルな表現集。doi :10.1371/ journal.pone.0196391

[5] P. Lucey、JF Cohn、T. Kanade、J. Saragih、Z. Ambadar、I. Matthews、「拡張 Cohn-Kanade データセット (CK+): アクションユニットと感情指定の表情の完全なデータセット」、第3 回 IEEE ワークショップ「人間のコミュニケーション行動分析のための CVPR 」、2010 年

[6] マイケル・ライオンズ;鎌池みゆき；魚場次郎（1998年）。日本女性の表情（JAFFE）データベース。土井：10.5281/zenodo.3451524。

[7] M. Valstar および M. Pantic、「誘発された嫌悪感、幸福感、驚き：MMI 表情データベースへの追加」、Proc. Int. Conf. Language Resources and Evaluation、2010 年

[8] I. Sneddon、M. McRorie、G. McKeown、J. Hanratty、「ベルファスト誘発自然感情データベース」、IEEE Trans. Affective Computing、 vol. 3、no. 1、pp. 32-41、2012年

[9] Singh, Shivendra; Benedict, Shajulin (2020). 「人間の感情認識のためのインドの半演技顔表現 (ISAFE) データセット」。 Thampi, Sabu M.; Hegde, Rajesh M.; Krishnan, Sri; Mukhopadhyay, Jayanta; Chaudhary, Vipin; Marques, Oge; Piramuthu, Selwyn; Corchado, Juan M. (編)。信号処理とインテリジェント認識システムの進歩。コンピューターと情報科学における通信。 Vol. 1209。シンガポール: Springer。 pp. 150–162。doi :10.1007/978-981-15-4828-4_13。ISBN 978-981-15-4828-4。

[10] SM Mavadati、MH Mahoor、K. Bartlett、P. Trinh、J. Cohn、「DISFA: 自発的な顔の動作の強度データベース」、IEEE Trans. Affective Computing、 vol. 4、no. 2、pp. 151–160、2013

[11] N. Aifanti、C. Papachristou、A. Delopoulos、「MUG 表情データベース」、Proc. 11th Int. Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS)、イタリア、デゼンツァーノ、2010 年 4 月 12 ～ 14 日。

[12] SL Happy、P. Patnaik、A. Routray、およびR. Guha、「感情認識のためのインドの自発的表現データベース」、IEEE Transactions on Affective Computing、2016、doi :10.1109/TAFFC.2015.2498174。

[13] Langner, O.、Dotsch, R.、Bijlstra, G.、Wigboldus, DHJ、Hawk, ST、および van Knippenberg, A. (2010)。 Radboud Faces データベースのプレゼンテーションと検証。認知と感情、24(8)、1377—1388。土井：10.1080/02699930903485076

[14] 「Facial Expression Research Group Database (FERG-DB)」。grail.cs.washington.edu 。 2016年12月6日閲覧。

[15] Mollahosseini, A.; Hasani, B.; Mahoor, MH (2017). 「AffectNet: 自然界における表情、感情価、覚醒度の計算のためのデータベース」. IEEE Transactions on Affective Computing . PP (99): 18–31. arXiv : 1708.03985 . doi :10.1109/TAFFC.2017.2740923. ISSN 1949-3045. S2CID 37515850.

[16] 「IMPA-FACE3D技術レポート」。visgraf.impa.br 。 2018年3月8日閲覧。

[17] Zafeiriou, S.; Kollias, D.; Nicolaou, MA; Papaioannou, A.; Zhao, G.; Kotsia, I. (2017). 「Aff-Wild: 価数と覚醒の「野生」での挑戦」(PDF) . 2017 IEEE コンピュータビジョンおよびパターン認識ワークショップ会議 (CVPRW) . pp. 1980–1987. doi :10.1109/CVPRW.2017.248. ISBN 978-1-5386-0733-6. S2CID 3107614。

[18] Kollias, D.; Tzirakis, P.; Nicolaou, MA; Papaioannou, A.; Zhao, G.; Schuller, B.; Kotsia, I.; Zafeiriou, S. (2019). 「野生でのディープアフェクト予測：Aff-Wildデータベースと課題、ディープアーキテクチャ、そしてその先」。International Journal of Computer Vision。127 （ 6–7 ）：907–929。arXiv ：1804.10938。doi：10.1007 /s11263-019-01158-4。S2CID 13679040。

[19] ^ Kollias, D.; Zafeiriou, S. (2019). 「表情、感情、行動単位の認識: Aff-wild2、マルチタスク学習、arcface」(PDF)。英国マシンビジョンカンファレンス (BMVC)、2019年。arXiv : 1910.04855。

[20] Kollias, D.; Schulc, A.; Hajiyev, E.; Zafeiriou, S. (2020). 「第1回ABAW 2020コンペティションにおける感情行動の分析」2020 第15回IEEE国際自動顔・ジェスチャー認識会議 (FG 2020) . pp. 637–643. arXiv : 2001.11409 . doi :10.1109/FG47880.2020.00126. ISBN 978-1-7281-3079-8. S2CID 210966051。

[21] Li., S. 「RAF-DB」。現実世界の感情的な顔のデータベース。

[22] Li, S.; Deng, W.; Du, J. (2017). 「信頼性の高いクラウドソーシングとディープローカリティ保存学習による自然環境における表情認識」2017 IEEE コンピュータビジョンおよびパターン認識会議 (CVPR)。pp. 2584–2593。doi : 10.1109 / CVPR.2017.277。ISBN 978-1-5386-0457-1. S2CID 11413183。