感情コンピューティング

音声/テキストの感情検出プロセスでは、アプリケーションのあらゆるニーズに対応できるほど広範な信頼性の高いデータベース、知識ベース、またはベクトル空間モデル^{[ 25 ]}の作成と、迅速かつ正確な感情識別を可能にする優れた分類器の選択が必要です。

2010年現在最も頻繁に使用される分類器は、線形判別分類器 (LDC)、k 近傍法 (k-NN)、ガウス混合モデル (GMM)、サポートベクターマシン (SVM)、人工ニューラルネットワーク (ANN)、決定木アルゴリズム、および隠れマルコフモデル (HMM) であった。^{[ 26 ]}さまざまな研究により、適切な分類器を選択することで、システムの全体的なパフォーマンスを大幅に向上させることができることが示されている。^{[ 23 ]}以下に、各アルゴリズムの簡単な説明を示す。

• LDC（線形分類制御）は、通常ベクトル特徴の形で提供される特徴値の線形結合から得られる値に基づいて分類を行います。
• k-NN（k近傍法）とは、特徴空間内で対象物の位置を特定し、それをk個の最近傍点（学習データ）と比較することで分類を行う手法です。分類結果は多数決によって決定されます。
• GMM – 全体集団内の部分集団の存在を表すために使用される確率モデル。各部分集団は混合分布を使用して記述され、観測値を部分集団に分類することができます。^{[ 27 ]}
• SVM – （通常は二値）線形分類器の一種で、各入力が2つ（またはそれ以上）の可能なクラスのうち、どちらに属するかを決定する。
• ANN（人工ニューラルネットワーク）は、生物学的ニューラルネットワークに着想を得た数学モデルであり、特徴空間における非線形性をより的確に捉えることができる。
• 決定木アルゴリズムは、決定木に従うことに基づいて動作します。決定木では、葉は分類結果を表し、枝は分類につながる後続の特徴の結合を表します。
• HMM（隠れマルコフモデル）は、状態と状態遷移を直接観測できない統計的マルコフモデルです。代わりに、状態に依存する出力の系列が観測可能です。感情認識の場合、出力は音声特徴ベクトルのシーケンスを表し、これによってモデルがたどった状態のシーケンスを推論できます。状態は感情表現における様々な中間段階から構成され、それぞれの段階には可能な出力ベクトルに対する確率分布があります。状態のシーケンスによって、分類しようとしている感情状態を予測することができ、これは音声感情検出の分野で最も一般的に使用されている手法の一つです。

十分な音響証拠があれば、人の感情状態は多数決分類器のセットによって分類できることが証明されています。提案された分類器のセットは、kNN、C4.5、SVM-RBFカーネルの3つの主要な分類器に基づいています。このセットは、各基本分類器を個別に取った場合よりも優れたパフォーマンスを実現します。これは、ハイブリッドカーネルを使用した1対全（OAA）マルチクラスSVMと、C5.0とニューラルネットワークの2つの基本分類器で構成される分類器のセットという、他の2つの分類器のセットと比較されます。提案されたバリアントは、他の2つの分類器のセットよりも優れたパフォーマンスを実現します。^{[ 28 ]}

現在のシステムの大半はデータに依存しています。これは、分類器をトレーニングするための適切なデータベースを選択する必要があるため、音声に基づく感情検出における最大の課題の1つとなっています。現在利用可能なデータのほとんどは俳優から得られたものであり、典型的な感情の表現です。これらのいわゆる「演技データベース」は通常、ポール・エクマンの基本感情理論に基づいており、6つの基本感情（怒り、恐怖、嫌悪、驚き、喜び、悲しみ）が存在し、その他はこれら6つの感情の混合であると仮定しています。^{[ 29 ]}それにもかかわらず、これらは依然として高い音声品質とバランスの取れたクラス（ただし、多くの場合少なすぎる）を提供し、感情認識の高い成功率に貢献しています。

しかし、実生活への応用においては、自然なデータが望ましい。自然なデータベースは、対象者を自然な状況下で観察・分析することによって作成できる。最終的に、このようなデータベースは、システムが状況に基づいて感情を認識し、インタラクションの目的と結果を導き出すことを可能にするものでなければならない。この種のデータは、人間とコンピュータのインタラクション（HCI）中に自然に発生する状態を記述しているため、実生活における本格的な実装が可能となる。

自然データは演技データに比べて数多くの利点があるにもかかわらず、入手が難しく、通常は感情の強度が低い。さらに、自然な状況で取得されたデータは、周囲の環境、ノイズ、被験者とマイクとの距離のために信号品質が低い。このようなデータベースを作成する最初の試みは、ソニーのAiboロボットペットで遊ぶ子供（10～13歳）の現実的な状況に基づいて開発されたCEICES（Combining Efforts for Improving Automatic Classification of Emotional User States）用のFAU Aibo Emotion Corpusであった。^{[ 30 ] [ 31 ]}同様に、すべての感情研究のための1つの標準データベースを作成することで、さまざまな感情認識システムを評価および比較する方法が提供される。

感情認識プロセスの複雑さは、分類器内で使用されるクラス（感情）と音声記述子の数とともに増加します。したがって、モデルが感情を正しく識別し、パフォーマンスを向上させる能力を保証するために、最も関連性の高い特徴のみを選択することが不可欠です。これは、リアルタイム検出にとって特に重要です。可能な選択肢の範囲は広く、200を超える異なる特徴の使用について言及している研究もあります。^{[ 26 ]}システムを最適化し、正しい感情検出の成功率を高めるためには、冗長で望ましくないものを特定することが不可欠です。最も一般的な音声特性は、次のグループに分類されます。^{[ 30 ] [ 31 ]}

1. 周波数特性^{[ 32 ]}
   • アクセントの形状は、基本周波数の変化率によって影響を受ける。
   • 平均ピッチ – 通常の話し声と比較して、話者の声がどの程度高いか低いかを表します。
   • 等高線勾配とは、時間の経過に伴う周波数変化の傾向を表すもので、上昇、下降、または水平のいずれかになります。
   • 最終低下 ― 発話の終わりに周波数が低下する量。
   • ピッチレンジとは、発話の最大周波数と最小周波数の間の幅を測定するものです。
2. 時間に関連する機能：
   • 発話速度とは、単位時間あたりに発話される単語または音節の速度を表すものです。
   • アクセント頻度 – ピッチアクセントのある発話の発生率を測定する
3. 音声品質パラメータとエネルギー記述子：
   • 息漏れ音 – 発話時の気息音を測定する
   • ブリリアンス – 音声における高周波または低周波の優位性を表す。
   • 音量 – 音声波形の振幅を測定し、発話のエネルギーに相当します。
   • ポーズの不連続性 – 音と無音の間の移行を表す
   • ピッチ不連続性 – 基本周波数の遷移を表す。

感情データベースの作成は、困難で時間のかかる作業です。しかし、データベースの作成は、人間の感情を認識するシステムを構築する上で不可欠なステップです。一般に公開されている感情データベースのほとんどは、作り出された表情のみを含んでいます。作り出された表情データベースでは、参加者はさまざまな基本的な感情表現を示すように求められます。一方、自発的な表情データベースでは、表情は自然なものです。自発的な感情の引き出しには、意図した感情を豊かに表現できる適切な刺激を選択するために多大な労力が必要です。さらに、このプロセスでは、訓練を受けた担当者が手動で感情をタグ付けする必要があるため、データベースの信頼性が非常に高くなります。表情とその強度の認識は主観的な性質を持つため、検証のためには専門家による注釈が不可欠です。

研究者は、3種類のデータベースを使用します。1つは、表情がピークに達した画像のみのデータベース、もう1つは、中立からピークまでの感情を表す画像シーケンスのデータベース、そして感情注釈付きのビデオクリップです。表情認識の目的で、多くの顔表情データベースが作成され、公開されています。広く使用されているデータベースの2つは、CK+とJAFFEです。

1960年代後半、ポール・エクマンは、感情の顔面表情は文化的に決定されるものではなく、普遍的であるという考えを提唱した。彼はパプアニューギニアのフォレ族の人々を対象に異文化間研究を行い、このことを発見した。そのため、彼は感情の顔面表情は生物学的起源であり、したがって安全かつ正確に分類できると示唆した。^{[ 29 ]} そこで彼は1972年に正式に6つの基本感情を提唱した。^{[ 35 ]}

• 怒り
• 嫌悪
• 恐れ
• 幸せ
• 悲しみ
• 驚き

しかし、1990年代にエクマンは基本感情のリストを拡張し、顔の筋肉にすべてが符号化されているわけではない、さまざまな肯定的および否定的感情を含めた。 ^{[ 36 ]}新しい感情は次のとおりである。

1. アミューズメント
2. 軽蔑
3. 満足
4. 恥ずかしさ
5. 興奮
6. 罪悪感
7. 達成感への誇り
8. 安心
9. 満足
10. 感覚的な快楽
11. 恥

心理学者たちは、顔の表情における感情の物理的な表現を正式に分類するために、あるシステムを考案しました。 1978年にポール・エクマンとウォレス・V・フリーゼンがカール＝ヘルマン・ヒョルツショーの以前の研究に基づいて作成した顔面動作符号化システム（ ^{FACS ）の中心概念は、動作単位（AU} ）です。これは基本的に、1つまたは複数の筋肉の収縮または弛緩です。心理学者たちは、動作単位（「+」は「かつ」を意味します）に基づいて、6つの基本的な感情を次のように分類することを提案しています。

あらゆる計算処理と同様に、顔処理による感情検出の潜在能力を最大限に引き出すには、いくつかの障害を克服する必要があります。AI ベースの検出 (音声認識、顔認識、感情認識) の初期には、モデリングと追跡の精度が問題でした。ハードウェアが進化するにつれて、この精度不足は解消されます。しかし、ノイズの問題が残ります。ただし、ノイズ除去の方法には、近傍平均、線形ガウス平滑化、メディアンフィルタリング^{[ 38 ] 、または細菌摂動最適化アルゴリズム[ 39 ] [ 40 ]}などの新しい方法があります。

その他の課題としては、以下のようなものがある。

• 作り出された表情は自然なものではないため、それらに基づいて学習されたアルゴリズムは自然な表情には適用できない可能性がある。
• 回転運動の自由度が不足している。正面からの使用では感情検出は非常にうまく機能するが、頭を20度以上回転させると「問題が発生している」。^{[ 41 ]}
• 顔の表情は、必ずしもそれに対応する根底にある感情と一致するとは限りません（例えば、表情は作り物であったり、偽物であったり、あるいは人は感情を抱いていても「ポーカーフェイス」を保つことができます）。
• FACSには動態が含まれていないため、曖昧さを解消するのに役立つ情報が得られない（例えば、心からの幸福感を表す笑顔は、「幸せそうに見せようとする」笑顔とは異なる動態を示す傾向がある）。
• FACSの組み合わせは、心理学者が当初提唱した感情と1対1で対応しているわけではありません（ただし、この1対1の対応の欠如は、同音異義語や同綴異義語、その他多くの曖昧さの原因となる音声認識でも発生しており、他の情報チャネルを取り入れることで軽減できる可能性があります）。
• 文脈情報を加えることで認識精度は向上するが、文脈情報やその他のモダリティを追加すると、計算コストと複雑さが増加する。

顔面筋電図は、筋線維が収縮するときに発生する微弱な電気インパルスを増幅して顔面筋の電気活動を測定する技術です。^{[ 46 ]} 顔は多くの感情を表現します。しかし、感情を検出するために通常研究される顔面筋群は主に 2 つあります。眉をひそめる筋肉としても知られる皺眉筋は、眉をひそめるように引き下げます。したがって、否定的で不快な感情反応のテストに最適です。大頬骨筋は、人が微笑むときに口角を引き上げる役割を担っており、肯定的な感情反応をテストするために使用される筋肉です。

ガルバニック皮膚反応（GSR）は、電気皮膚活動（EDA）として知られるより一般的な現象を表す古い用語です。EDAは、皮膚の電気的特性が変化する一般的な現象です。皮膚は交感神経系によって神経支配されているため、その抵抗またはコンダクタンスを測定することで、自律神経系の交感神経枝の小さな変化を定量化する方法が得られます。汗腺が活性化されると、皮膚が汗ばむ前であっても、EDAのレベルを（通常はコンダクタンスを使用して）捉え、自律神経系の覚醒の小さな変化を識別するために使用できます。被験者の覚醒度が高いほど、皮膚のコンダクタンスは大きくなる傾向があります。^{[ 45 ]}

皮膚コンダクタンスは、皮膚上のどこかに置かれた2つの小さな銀-塩化銀電極と、それらの間に小さな電圧を印加することによって測定されることが多い。快適性を最大限に高め、刺激を軽減するために、電極は手首、脚、または足に配置される可能性があり、これにより手は日常生活で完全に自由に使えるようになる。^{[ 47 ]}

美術や写真の世界における美学とは、自然の原理と美の鑑賞を指します。美しさやその他の美的特性を判断することは、非常に主観的な作業です。ペンシルベニア州立大学のコンピュータ科学者たちは、ピア評価のオンライン写真共有ウェブサイトをデータソースとして、写真の視覚的コンテンツを使用して写真の美的品質を自動的に推論するという課題を機械学習の問題として扱います。^{[ 51 ]}彼らは、美的に好ましい画像と好ましくない画像を区別できるという直感に基づいて、特定の視覚的特徴を抽出します。