感情的プロソディまたは情動的プロソディとは、感情を伝える言語使用のさまざまなパラ言語的側面のことである。[ 1 ]これには、ピッチ、音量、音色、話速、およびポーズの変化によって伝えられる、個人の話し声のトーンが含まれる。意味情報から切り離すことができ、言語内容(例:皮肉)と相互作用する。 [ 2 ]
音声における感情的な抑揚は、顔の表情よりもわずかに認識または解読されにくいが、その精度は感情によって異なる。怒りと悲しみは最も容易に認識され、次に恐怖と幸福が続き、嫌悪感は最も認識されにくい。[ 3 ]
研究によると、恐怖、喜び、怒りなどの感情は、悲しみなどの感情よりも高い頻度で表現されることがわかっています。[ 4 ] [ 5 ]
音声における感情の解読には、音響的特徴の特定、これらの特徴との意味のある関連付けの作成、確立された関連付けに関連した音響パターンの処理という 3 つの段階が含まれます。処理段階では、基本的な感情知識との関連付けは、関連付けに特化した記憶ネットワークに別々に保存されます。これらの関連付けは、将来遭遇する感情表現のベースラインを形成するために使用できます。音声の感情的な意味は、出来事の状況、重要性、その他の周囲の詳細が分析された後、暗黙的かつ自動的に登録されます。[ 7 ]
平均的に、聞き手は意図された感情を偶然よりもかなり高い確率で知覚することができます(偶然=約10%)。[ 6 ]しかし、誤認率も高いです。これは、聞き手が特定の声から感情を推測する方が正確であり、一部の感情を他の感情よりもよく知覚するという観察結果が部分的に影響しています。[ 5 ]怒りや悲しみの声の表現は最も容易に知覚され、恐怖や幸福は中程度にしか知覚されず、嫌悪感は知覚されにくいです。[ 3 ]
言語は、言語チャネルと音声チャネルの 2 つの要素に分けられます。言語チャネルは、話し手が選んだ単語によって作られる意味内容です。言語チャネルでは、話し手の言葉の意味内容が文の意味を決定します。しかし、文の話し方によって意味が変わることがあり、これが音声チャネルです。この言語チャネルは、話し手が感じている感情を伝え、聞き手である私たちに意図された意味をよりよく理解させてくれます。このチャネルのニュアンスは、イントネーション、強弱、リズムによって表現され、これらが組み合わさって韻律となります。通常、これらのチャネルは同じ感情を伝えますが、時には異なることもあります。皮肉とアイロニーは、この不一致なスタイルに基づいた 2 つのユーモアの形式です。[ 8 ]
言語要素と音声(韻律)要素を統合する神経学的プロセスは、比較的よく分かっていません。しかし、言語内容と音声は脳の異なる半球で処理されると考えられています。構文情報と意味情報からなる言語内容は、左半球で処理されます。構文情報は主に前頭葉と側頭葉のごく一部で処理され、意味情報は主に側頭葉で処理され、前頭葉のごく一部が関与します。一方、韻律は主に言語内容と同じ経路で処理されますが、右半球で処理されます。機能的磁気共鳴画像法(fMRI)を用いた神経画像研究は、この半球側性化と側頭前頭葉の活性化をさらに裏付けています。しかし、韻律の知覚は右半球のみに偏っているわけではなく、より両側性である可能性を示す研究もあります。基底核も韻律の知覚において重要な役割を果たしている可能性があるという証拠もいくつかあります。[ 8 ]
右半球の病変によって引き起こされる、プロソディーの表現と理解の障害は、アプロソディアとして知られています。これらはさまざまな形で、さまざまな精神疾患や病気で現れる可能性があります。アプロソディアは、脳卒中やアルコール乱用によっても引き起こされる可能性があります。アプロソディアの種類には、運動性(声の抑揚を出すことができない)、表現性(運動機能ではなく脳の制限がこの能力の欠如の原因である場合)、および受容性(人が感情的な言葉を解読できない場合)があります。[ 9 ]
加齢に伴い、声による感情表現を認識することがますます困難になることがわかっています。高齢者は、特に悲しみや怒りといった声による感情表現を若年者よりもわずかに認識しにくいですが、声による感情とそれに対応する顔の表情を統合することははるかに困難です。この困難の考えられる説明としては、2つの感情源を組み合わせるには脳の感情領域の活性化がより多く必要であり、成人ではその領域のボリュームと活動が低下していることが挙げられます。もう1つの考えられる説明としては、難聴が声による表現の聞き間違いにつながった可能性があることです。高周波難聴は、特に男性において、50歳頃から発生し始めることが知られています。[ 10 ]
脳の右半球は抑揚に関係しているため、右半球に病変のある患者は、感情を伝えるために話し方のパターンを変化させることが困難になります。そのため、彼らの話し方は単調に聞こえることがあります。さらに、右半球に損傷のある人は、抑揚のある文章に含まれる感情を識別する能力が低下することが研究で示されています。
統語的および情動的プロソディの両方の解読の困難さは、自閉スペクトラム症や統合失調症の人にも見られ、「患者は、社会的スキルや社会的認知を含む多数の機能領域に欠陥がある。これらの社会的障害は、正常な社会的相互作用に不可欠な社会的合図を知覚、理解、予測、反応することの困難さから成ります。」これは、統合失調症の情動的プロソディに関する Hoekert らの 2017 年の研究など、複数の研究で確認されており、この研究では、疾患と情動的プロソディの相関関係を完全に確認するには、さらに研究が必要であることが示されています。しかし、統合失調症の人は、非情動的プロソディの解読に問題はありません。[ 11 ]
幸福、悲しみ、怒り、嫌悪といった感情状態は、非言語的な発話行為の音響構造のみに基づいて判断できる。こうした行為には、うなり声、ため息、感嘆詞などが含まれる。これらの非言語的な行為は普遍的であり、異なる言語を話す人々からも同じ推測を引き出すという考えを裏付ける研究もいくつか存在する。
さらに、感情は非言語的な発声において、音声とは異なる方法で表現できることが証明されている。Laukkaらは次のように述べている。「音声は、言語情報を伝達するために、発音器官(唇、舌、喉頭など)の非常に正確で協調的な動きを必要とするが、非言語的な発声は言語コードに制約されないため、そのような正確な発音を必要としない。このことは、非言語的な発声が、韻律的表現よりも多くの音響的特徴においてより広い範囲を示すことができることを意味する。」
この研究では、俳優たちは言葉を使わずにさまざまな感情を声に出して表現するように指示された。この研究によると、聞き手は偶然以上の確率で幅広い肯定的および否定的感情を識別できることが示された。しかし、罪悪感や誇りといった感情は認識しにくかった。[ 12 ]
2015年にヴェレナ・ケルスケン、クラウス・ズーバービューラー、フアン・カルロス・ゴメスが行った研究では、乳児の非言語的な発声が大人に提示され、助けを求める、物を指差す、あるいは出来事を示す乳児の発声と大人が区別できるかどうかが調べられた。乳児は泣く理由によって、泣き声の韻律的要素が異なる。また、肯定的感情状態と否定的感情状態によって、泣き声も異なる。この情報の解読能力は、文化を超えて適用可能であり、大人の乳児との経験レベルとは無関係であることが判明した。
男性と女性は、言語の使い方と理解の仕方の両方において違いがあります。話す速度、音高の範囲、話の長さ、音高の傾斜に違いがあることが知られています(Fitzsimmons et al.)。例えば、「スペクトル記号と韻律記号の関係を調べた研究では、肯定と疑問のイントネーションで文を発話する際、男性と女性では音高と話の長さの依存性が異なることが明らかになりました。話すテンポ、音高の範囲、音高の傾斜は男女間で異なります」(Nesic et al.)。その一例として、女性は男性よりも速く話し、語尾を伸ばし、文末で音高を上げる傾向があることが挙げられます。
女性と男性は、感情的な韻律を神経学的に処理する方法も異なります。fMRI研究では、男性は感情的なフレーズの意味や様態を処理する際に、女性被験者よりも多くの皮質領域でより強い活性化を示しました。様態課題では、男性は両側の中側頭回でより強い活性化を示しました。女性の場合、有意な領域は右後部小脳葉のみでした。この研究の男性被験者は前頭前野でより強い活性化を示し、平均して女性被験者よりも長い反応時間を必要としました。この結果は、男性は話し手の行為と意図について意識的に推論する必要があるのに対し、女性は無意識的に推論する可能性があることを意味すると解釈されました。したがって、男性は「意味処理段階よりも高い段階で」言語的意味と感情的意図を統合する必要がありました。[ 13 ]
感情の音声表現に関する研究のほとんどは、合成音声の使用やプロの俳優による感情表現を通して研究されてきました。自発的な「自然な」音声サンプルを用いた研究はほとんど行われていません。これらの人工音声サンプルは自然な音声に近いと考えられていますが、特に俳優による表現は、感情的な音声表現のステレオタイプに影響され、音声の特徴が強調されて聞き手の認識を歪める可能性があります。もう1つの考慮事項は、聞き手の個々の認識です。研究では通常、応答の平均が取られますが、個々の違いを深く調査したものはほとんどありません。これは、感情の音声表現についてより良い洞察をもたらす可能性があります。[ 6 ]