感情認識

感情認識の精度は、テキスト、生理、音声、ビデオなどのマルチモーダル形式からの人間の表情の分析を組み合わせると、通常は向上します。^{[ 5 ]}さまざまな感情タイプは、顔の表情、体の動きとジェスチャー、および音声からの情報を統合することによって検出されます。 ^{[ 6 ]} この技術は、いわゆる感情的または感情的なインターネットの出現に貢献すると言われています。^{[ 7 ]}

特定の感情タイプを分類するための既存の感情認識手法は、一般的に知識ベースの手法、統計的手法、およびハイブリッド手法の3つの主要なカテゴリに分類できます。^{[ 8 ]}

データは感情認識における既存のアプローチの不可欠な部分であり、ほとんどの場合、機械学習アルゴリズムのトレーニングに必要な注釈付きデータを取得することは困難です。^{[ 13 ]}テキスト、音声、ビデオ、生理学的信号などのマルチモーダルソースからさまざまな感情タイプを分類するタスクには、次のデータセットが利用可能です。

1. HUMAINE: 複数のモダリティで感情語とコンテキストラベル付きの自然なクリップを提供します^{[ 21 ]}
2. ベルファストデータベース：テレビ番組やインタビュー録音から幅広い感情のクリップを提供します^{[ 22 ]}
3. SEMAINE: 人と仮想エージェント間の音声・映像記録を提供し、怒り、喜び、恐怖、嫌悪、悲しみ、軽蔑、面白さなどの感情注釈が含まれています^{[ 23 ]。}
4. IEMOCAP: 俳優間の二者間セッションの録音を提供し、幸福、怒り、悲しみ、欲求不満、中立状態などの感情注釈が含まれています^{[ 24 ]。}
5. eNTERFACE : 7カ国の被験者の音声・映像記録を提供し、幸福、怒り、悲しみ、驚き、嫌悪、恐怖などの感情注釈が含まれています^{[ 25 ]。}
6. DEAP:映画クリップを見ている人の感情の価数、覚醒度、支配性に関する感情注釈に加え、脳波（EEG）、心電図（ECG）、顔のビデオ録画を提供する^{[ 26 ]。}
7. DREAMER: 映画クリップを見ている人の感情の価数や優位性に関する感情注釈に加え、脳波（EEG）と心電図（ECG）の記録を提供する^{[ 27 ]。}
8. MELD: は、各発話に感情とセンチメントのラベルが付けられたマルチパーティ会話データセットです。MELD ^{[ 28 ]}はビデオ形式の会話を提供するため、マルチモーダル感情認識とセンチメント分析に適しています。MELD は、マルチモーダルセンチメント分析と感情認識、対話システム、会話における感情認識に役立ちます。^{[ 29 ]}
9. MuSe: 人と物体間の自然な相互作用のオーディオビジュアル記録を提供します。^{[ 30 ]}感情価、覚醒度、信頼性に関する離散的および連続的な感情注釈、ならびにマルチモーダル感情分析および感情認識に役立つ音声トピックを備えています。
10. UIT-VSMEC: は、約 6,927 の人間が注釈を付けた文と 6 つの感情ラベルを持つ標準的なベトナム語ソーシャルメディア感情コーパス (UIT-VSMEC) であり、自然言語処理 (NLP) においてリソースの少ない言語であるベトナム語の感情認識研究に貢献しています。^{[ 31 ]}
11. BED: 画像を見ている人の感情価と覚醒度を提供します。また、 EEGベースの生体認証タスクのために、さまざまな刺激にさらされた人の脳波（EEG）記録（ SSVEP、目を閉じて安静、目を開けて安静、認知タスク）も含まれています。^{[ 32 ]}

感情認識は、さまざまな理由で社会で利用されています。MIT からスピンアウトしたAffectivaは、主に視聴者が情報共有に同意した特定の状況に関連する顔の表情や声の表情の情報を収集するために、これまで人が手作業で行っていたタスクをより効率的に行う人工知能ソフトウェアを提供しています。たとえば、教育ビデオや広告を見ている各時点での感情について長々としたアンケートに記入する代わりに、カメラがあなたの顔を撮影し、あなたの発言を聞き、退屈、興味、混乱、笑顔などの表情を体験のどの部分で示すかを記録することに同意することができます。（これは、あなたの内なる感情を読み取ることを意味するのではなく、外に表現されたものだけを読み取ることに注意してください。）Affectivaのその他の用途には、自閉症の子供たちの支援、視覚障害者が顔の表情を読み取るのを支援すること、ロボットが人々とより知的にやり取りするのを支援すること、運転中の注意の兆候を監視してドライバーの安全性を向上させることなどがあります。^{[ 33 ]}

学術研究では、選挙、抗議活動、民主主義に関する社会科学的な問題を研究する方法として、感情認識がますます利用されるようになっている。いくつかの研究は、ソーシャルメディア上の政治候補者の顔の表情に焦点を当てており、政治家は幸福感を表現する傾向があることを発見している。^{[ 34 ] [ 35 ] [ 36 ]}しかし、この研究では、 Amazon Rekognitionなどのコンピュータビジョンツールは幸福感に対してのみ正確であり、「幸福検出器」としてほぼ信頼できることがわかっている。^{[ 37 ]}そのため、怒りなどの否定的な感情が予想される抗議活動を調査する研究者は、民主的なプロセスにおける否定性や暴力の表現をより正確に研究するために独自のモデルを開発している。^{[ 38 ]}

Snapchatが2015年に出願した特許（Wayback Machineに2019年10月7日にアーカイブ済み）は、ユーザーのジオタグ付き自撮り写真に対してアルゴリズムによる感情認識を実行することにより、公共イベントの群衆に関するデータを抽出する方法を説明しています。^{[ 39 ]}

Emotientは、顔のしかめっ面、笑顔、その他の表情を読み取る感情認識技術、つまり「顔の表情に基づいて態度や行動を予測する」人工知能を応用したスタートアップ企業でした。 ^{[ 40 ]} Appleは2016年にEmotientを買収し、感情認識技術を使用して製品の感情的知能を高めています。^{[ 40 ]}

nVisoは、リアルタイムAPIを通じてWebおよびモバイルアプリケーション向けにリアルタイムの感情認識を提供します。^{[ 41 ]} Visage Technologies ABは、マーケティングや科学研究などの目的で、 Visage SDKの一部として感情推定を提供しています。^{[ 42 ]}

Eyerisは、自動車メーカーやソーシャルロボット企業などの組み込みシステムメーカーと協力して顔分析および感情認識ソフトウェアを統合する感情認識企業であり、また、ビデオコンテンツクリエイターと協力して、短編および長編ビデオクリエイティブの知覚された効果を測定するのを支援しています。^{[ 43 ] [ 44 ]}

また、「いいね」ボタンの押下やテキスト内の肯定的および否定的フレーズのカウントなど、オンラインで伝達される感情からの情報を集約する製品も多数存在し、感情認識は教育目的とプレイヤーがソーシャルアバターをより自然に制御できるようにするため、一部の種類のゲームや仮想現実でますます使用されています。 ^{[ 45 ]}

テキストデータは、人間の生活のあらゆる場所で無料で利用できるため、感情認識の研究対象として好ましい。他の種類のデータと比較して、テキストデータは言語における単語や文字の頻繁な繰り返しにより、ストレージが軽量で圧縮しやすく、最高のパフォーマンスを発揮する。感情は、書かれたテキストと会話（対話）という2つの主要なテキスト形式から抽出できる。^{[ 46 ]}書かれたテキストについては、多くの研究者が文レベルで作業し、感情を表す「単語/フレーズ」を抽出することに焦点を当てている。^{[ 47 ] [ 48 ]}

テキストにおける感情認識とは異なり、音声信号は音声から感情を抽出する認識に使用されます。^{[ 49 ]}。空間的または時空間的特徴を捉える2次元または3次元データである画像やビデオとは異なり、音声は本質的に、時間の経過に伴う音の振幅の変化を表す1次元の時系列データです。この根本的な違いにより、音声からの感情認識は独自のものとなります。視覚的な手がかりやテキストの意味に頼るのではなく、音声ベースの感情検出は、ピッチ、強度、話速、声質などの韻律的および音響的特徴に焦点を当てます。^{[ 50 ]}

ビデオデータは、音声データ、画像データ、そして場合によってはテキスト（字幕の場合^{[ 51 ]} ）の組み合わせです。

会話における感情認識（ERC）は、Facebook、Twitter、YouTubeなどのソーシャルプラットフォーム上の膨大な会話データから参加者間の意見を抽出します。 ^{[ 29 ]} ERCは、テキスト、音声、ビデオ、またはそれらの組み合わせなどの入力データを受け取り、恐怖、欲望、痛み、喜びなどのさまざまな感情を検出できます。