マガーク効果

マガーク効果は、音声知覚における聴覚と視覚の相互作用を示す知覚現象です。この錯覚は、ある音の聴覚成分が別の音の視覚成分と組み合わさって、第3の音が知覚されるときに発生します。^[1]人が話しているのを見て得られる視覚情報によって、音の聞こえ方が変わります。^{[2] [3]}聴覚情報の質は低くても視覚情報の質が高い場合、マガーク効果を経験する可能性が高くなります。^[4]

聴覚と視覚の情報の統合能力も、人がこの効果を経験するかどうかに影響を与える可能性があります。感覚統合が得意な人ほど、この効果の影響を受けやすいことがわかっています。^[2]脳損傷やその他の障害など、多くの要因に基づいて、マガーク効果による影響は人によって異なります。

この現象は、1976年にハリー・マクガークとジョン・マクドナルドがネイチャー誌（1976年12月23日）に発表した「唇を聞き、声を見る」という論文で初めて説明されました。 ^[5]この現象は、マクガークと研究助手のマクドナルドが、乳児がさまざまな発達段階で言語をどのように認識するかを研究しているときに、技術者にビデオを実際に話されたものとは異なる音素でダビングするよう依頼したときに偶然発見されました。ビデオを再生すると、研究者の両者は、ビデオで話された音素や口にした音素ではなく、3番目の音素を聞きました。^[6]

この効果は、ある音素の発音のビデオに、別の音素が話されている録音を吹き替えた場合に発生することがあります。知覚される音素は、第 3 の中間音素であることが多いです。たとえば、/ba-ba/ という音節が /ga-ga/ という唇の動きに合わせて話されると、/da-da/ と知覚されます。McGurk と MacDonald は当初、これは /b/ と /g/ の共通の音声的および視覚的特性から生じると考えていました。^[7]一致しない視聴覚刺激に対する 2 種類の錯覚が観察されています。融合 (聴覚の「ba」と視覚の「ga」が「da」を生成) と組み合わせ (聴覚の「ga」と視覚の「ba」が「bga」を生成) です。^[8]これは、入ってくる情報についての最良の推測を意識に提供しようとする脳の努力です。^[9]目と耳から入ってくる情報は矛盾しており、この場合は目（視覚情報）が脳に大きな影響を与え、融合反応と組み合わせ反応が生み出された。^[9]

視覚は人間にとって主要な感覚であるが^[2]、音声知覚はマルチモーダルであり、つまり、聴覚と視覚など、複数の感覚様式からの情報が関与する。音声処理中にマガーク効果が発生するのは、音声と視覚情報の統合が音声知覚の初期段階で起こるためである。^[7]マガーク効果は非常に強力である。つまり、マガーク効果に関する知識は、その知覚にほとんど影響を与えないと思われる。これは、いったん「透視」すると消えてしまう特定の錯覚とは異なる。この現象を20年以上研究してきた人々を含む一部の人々は、それが起こっていることに気づいていてもこの効果を体験する。^{[8] [10]}唇の動きだけで話されている内容のほとんどを識別できる人々を除いて、ほとんどの人々は視覚のみの信号から音声を識別する能力が非常に限られている。^[2]より広範な現象は、視覚音声が、騒がしい環境で聞いた音声の了解度を高める能力である。^[2]視覚的な音声刺激が聴覚的な音声と一致しない場合、視覚的な音声は完全に聞き取れる音声の知覚を変えることもあります。^[2]通常、音声知覚は聴覚プロセスであると考えられています。^[2]しかし、私たちの情報の使用は即時かつ自動的で、かなりの程度無意識です。^[10]そのため、広く真実として受け入れられているにもかかわらず、音声は私たちが聞くものだけではありません。^[10]音声は、すべての感覚が一緒に働くことで知覚されます（見る、触る、顔の動きを聞く）。^[10]脳は、知覚するものの個々の感覚の寄与に気付いていないことがよくあります。^[10]そのため、音声を認識する場合、脳は入ってくる情報を見ているのか聞いているのかを区別できません。^[10]

また、目撃証言との関連でも調査が行われている。ウェアハムとライトの2005年の研究では、一貫性のない視覚情報が発話の認識を変える可能性があることが示され、マガーク効果が日常の認識に多くの影響を及ぼす可能性があることが示唆された。音節に限らず、この効果は単語全体で発生する可能性があり^{[7] [11]}、人々が気付かない日常のやり取りに影響を与える。この分野の研究は、理論的な問題に関する情報だけでなく、音声と視覚の音声の統合に関連する障害を持つ人々への治療と診断の関連性も提供できる。^[12]

脳の両半球はマクガーク効果に寄与している。^[13]両半球は聴覚と視覚を通して受け取った音声情報を統合するために協力して働く。マクガーク反応は、顔が右半球に、言葉が左半球に優先的にアクセスできる右利きの人に起こりやすい。^[13]脳梁切断術を受けた人でもマクガーク効果は存在するが、大幅に遅くなる。^{[13]脳の左半球に}病変がある人では、視覚的特徴が言語療法で重要な役割を果たすことが多い。^[12]脳の左半球に病変がある人は、正常対照群よりもマクガーク効果が大きい。^[12]視覚情報は、これらの人の音声知覚に強く影響する。^[12]左半球の損傷によって視覚的な分節音声知覚に障害が生じた場合、マクガーク錯視の感受性は低くなる。^[14]右脳損傷のある人は、視覚のみのタスクと視聴覚統合タスクの両方で障害が見られますが、情報を統合してマガーク効果を生み出すことはできます。^[14]統合は、聴覚信号が乏しいが聞こえる場合に視覚刺激を使用してパフォーマンスを向上させる場合にのみ現れます。^[14]そのため、脳の右半球に損傷のある人でもマガーク効果は見られますが、その効果は正常グループほど強くはありません。

失読症の人は、同年齢の正常な読者よりもマガーク効果が小さいが、同年齢の読書レベルの読者と同じ効果を示した。^[15]失読症患者は、融合反応ではなく、組み合わせ反応で特に異なっていた。^{[15]マガーク効果が小さいのは、失読症患者が}子音クラスターを認識して生成するのが難しいためである可能性がある。^[15]

特定の言語障害を持つ子供は、平均的な子供よりもマガーク効果が著しく低いことが示されています。 [ ^{16]彼らは、発話知覚において視覚情報の使用が少なく、}調音ジェスチャーへの注意力が低下していますが、聴覚のみの手がかりを認識することには問題がありません。^[16]

自閉症スペクトラム障害（ASD）の子供は、そうでない子供よりもマガーク効果が著しく低下した。^[17]しかし、刺激が人間以外のもの（例えば、テニスボールをバウンドさせてビーチボールの音を出す）の場合、ASDのない子供と同程度のスコアを示した。^[17] ASDの低年齢の子供はマガーク効果が非常に低下しているが、これは年齢とともに減少する。個人が成長するにつれて、彼らが示す効果はASDのない子供のものに近づく。^[18] ASDの人に見られるマガーク効果の弱まりは、音声の聴覚的要素と視覚的要素の両方を識別する際の欠陥によるものであり、これらの要素の統合における欠陥によるものではないと示唆されている（ただし、音声要素を音声要素として区別することは、それらを統合することと同形である可能性がある）。^[19]

言語学習障害のある成人は、他の成人に比べてマガーク効果がはるかに小さい。^[20]これらの人々は、ほとんどの人ほど視覚入力の影響を受けない。^[20]そのため、言語能力が低い人はマガーク効果が小さくなる。この集団で効果が小さい理由は、脳の前部と後部、または左半球と右半球の間に非連動の活動がある可能性があるためである。^[20] 小脳または基底核が原因の可能性もあります。

アルツハイマー病（AD）患者では、そうでない患者よりもマガーク効果が小さくなります。 [ ^{21] 脳梁の大きさが小さくなると、半球の切断プロセスが発生することがよくあります。[21] AD}患者では視覚刺激への影響が少なく、これがマガーク効果が低下する理由です。^[21]

マガーク効果は、統合失調症患者では非統合失調症患者ほど顕著ではありません。しかし、成人では大きな違いはありません。 ^[22]統合失調症は視聴覚統合の発達を遅らせ、発達のピークに到達させません。しかし、劣化は観察されません。^[22]統合失調症患者は、言語知覚において視覚的手がかりよりも聴覚的手がかりに頼る傾向があります。^[22]

失語症の人は、すべての条件（視覚のみ、聴覚のみ、視聴覚）で言語知覚に障害があり、そのため小さなマガーク効果を示しました。^[23]失語症患者にとって最大の困難は視覚のみの条件であり、言語知覚において聴覚刺激をより多く使用していることを示しています。^[23]

小規模な研究（1グループあたりN=22）では、マガーク効果に関して、双極性障害のある人とない人の間に明らかな違いは見られませんでした。しかし、双極性障害のある人は、読唇課題で有意に低いスコアを示しました。これは、双極性障害のある人の聴覚と視覚の音声情報の統合において形成され活性化される神経経路が、精神障害のない人のそれと比較して異なることを示唆している可能性があります。^[24]

母音カテゴリーの不一致は、融合反応に対するマガーク効果の大きさを著しく減少させた。^[25]視覚的な/i/調音に吹き替えられた聴覚的な/a/トークンは、その逆よりも互換性があった。 [25]これは、/a/は調音構成の範囲が広いのに対し、/i/はより限定されているためである可能性があり、^[25]被験者は刺激の不一致をはるかに簡単に検出できる。^[25] /i/母音コンテキストは最も強い効果を生み出し、/a/は中程度の効果を生み出し、/u/はほとんど効果がない。^[26]

マガーク効果は、話し手の口の右側（視聴者から見て左側）が見える場合に強くなります。^[27]人は話し手の口の左側や口全体よりも右側から多くの視覚情報を得る傾向があります。^[27]これは、上記の脳の半球のセクションで説明した半球注意要因に関連しています。

マクガーク効果は、聞き手が注意を向けている視覚的な妨害物がある場合には弱くなります。^[28]視覚的な注意は、視聴覚音声知覚を調整します。^[28]妨害物のもう1つの形は、話し手の動きです。話し手の顔や頭が動いている場合よりも動かない場合の方が、マクガーク効果は強くなります。^[29]

クリック音と母音の音節には強いマガーク効果が見られるが、単独のクリック音には弱い効果が見られる。^[30]これは、マガーク効果が非音声環境でも起こり得ることを示している。^[30] 音韻的重要性はマガーク効果の発生に必要な条件ではないが、効果の強さは増す。^[30]

女性は男性よりも強いマガーク効果を示す。女性は、短い視覚刺激では男性よりも聴覚発話に対する視覚的影響が有意に大きいが、完全な刺激では違いは見られない。^[29]性別に関するもう1つの側面は、男性の顔と声を刺激としてとらえる場合と、女性の顔と声を刺激としてとらえる場合の問題である。しかし、どちらの状況でもマガーク効果の強さに違いはない。^[31]男性の顔が女性の声で吹き替えられた場合、またはその逆の場合でも、マガーク効果の強さに違いはない。^[31]聞こえる声が見える顔と異なることを知っていても、性別が異なっていても、マガーク効果は排除されない。^[10]

話者の顔に馴染みのある被験者は、馴染みのない被験者よりもマガーク効果の影響を受けにくい。^{[2] [26]}一方、声の馴染みに関しては差はなかった。^[26]

意味的一致はマガーク錯視に大きな影響を与えた。^[32]意味的に一致した条件では、不一致の条件と比較して、この効果はより頻繁に経験され、より明確であると評価された。^[32]ある人が、それに至る意味情報に基づいて特定の視覚的または聴覚的外観を期待していた場合、マガーク効果は大幅に増加した。^[32]

マガーク効果は、聞き手が話し手または発音者でもある場合に観察できます。^[33]鏡で自分自身を見て、視覚刺激を発音しながら別の聴覚刺激を聞くと、強いマガーク効果が観察されます。[ ^33]聞き手が聴覚刺激を小さな声で話し、他の人が矛盾する視覚ジェスチャーを発音するのを見ている他の条件では、マガーク効果は依然として見られますが、より弱いです。^[33]

マガーク効果が現れるためには時間的な同期は必要ではない。 ^[34]被験者は、聴覚刺激が視覚刺激より180ミリ秒遅れていても（マガーク効果が弱まり始める時点）、依然として強い影響を受けている。^[34]聴覚刺激が視覚刺激に先行すると、同期の欠如に対する許容度は低くなった。^[34]マガーク効果を大幅に弱めるには、聴覚刺激が視覚刺激より60ミリ秒先行するか、240ミリ秒遅れる必要があった。^[2]

注意が触覚タスク（何かに触れること）に向けられたとき、マガーク効果は大幅に減少しました。 ^[35]触覚は視覚や聴覚のような感覚知覚であるため、触覚への注意が増加すると、聴覚や視覚への注意が減少します。

音声と視覚の情報を統合して音声を知覚するために、目を固定する必要はありません。[ ^36]聞き手が話者の顔のどこに焦点を合わせていても、マガーク効果に違いはありませんでした。 ^[36]聞き手が話者の顔の外側に焦点を合わせた場合、この効果は現れません。^[2]マガーク効果が無視できるようになるには、聞き手の視線が話者の口から少なくとも60度ずれている必要があります。^[36]

言語が何であれ、すべての聞き手は、ある程度、音声知覚において視覚情報に頼っています。しかし、マガーク効果の強さは言語によって異なります。オランダ語^[37] 、英語、スペイン語、ドイツ語、イタリア語、トルコ語^[38]の聞き手は強いマガーク効果を経験しますが、日本語と中国語の聞き手はより弱いです。^[39]言語間のマガーク効果に関する研究のほとんどは、英語と日本語の間で行われてきました。マガーク効果は、英語の聞き手よりも日本語の聞き手に小さく見られます。^{[37] [40] [41] [42] [43] [44]}日本人の文化的慣習は、言語のトーンと音節構造と同様に、マガーク効果を弱めている可能性があります。 ^[37]これは、中国語の聞き手が視覚的な手がかりにあまり影響されず、日本語と同様に英語の聞き手よりも効果が小さい理由でもある可能性があります。^[37]研究によると、日本語の聞き手は、英語の子供とは異なり、6歳を過ぎると視覚の影響の発達が増加しないことも示されています。^{[40] [41]}日本語の聞き手は、英語の聞き手よりも視覚刺激と聴覚刺激の不一致をよりよく識別します。^{[37] [41]}この優れた能力は、日本語に子音連結が欠けていることに関係している可能性があります。^{[37] [42]}いずれにせよ、すべての言語の聞き手は、音声が理解できない場合に視覚刺激に頼ります。その場合、マガーク効果は彼らに等しく当てはまります。^{[37] [42]}マガーク効果は、テストされたすべての言語の聞き手に作用します。^[10]

難聴者や人工内耳を使用している人を対象にした実験が行われてきました。これらの人は、音声からの視覚情報を聴覚情報よりも重視する傾向があります。^[45]正常聴力の人と比較して、単語などの複数の音節がない限り、これは違いはありません。^{[45]マガークの実験では、聴覚の}両唇刺激が視覚の軟口蓋刺激に重ねられた場合、人工内耳ユーザーの反応は正常聴力の人と同じでした。^[45]しかし、聴覚の歯刺激が視覚の両唇刺激に重ねられた場合、反応はまったく異なります。 マガーク効果は、聴覚障害のある人や人工内耳を使用している人にも依然として存在しますが、いくつかの点ではまったく異なります。

特定の視聴覚刺激に対する乳児の注意を測定することにより、マガーク効果と一致する反応を記録することができます。^{[2] [10] [46] [47] [48]}乳児は生後数分から数日で大人の顔の動きを真似ることができ、生後数週間以内に唇の動きや発話音を認識できるようになります。^[49]この時点で、音声と視覚情報の統合は起こりますが、熟練したレベルではありません。^[49]マガーク効果の最初の証拠は生後4か月で見られます。^{[46] [47]}ただし、5か月児ではより多くの証拠が見つかります。^{[2] [10] [48] [50]}乳児を特定の刺激に慣れさせ、次に刺激（または刺激の一部、例えばba-voiced/va-visualからda-voiced/va-visualへ）を変更するプロセスを通じて、マガーク効果をシミュレートする反応が明らかになります。^{[10] [48]}マガーク効果の強さは、幼少期を通して増加し、成人期まで続く発達パターンを示しています。^{[47] [48]}

• 二重認識
• イデアセシア
• 唇の動きを読む
• 音声知覚の運動理論
• 多感覚統合
• 音声知覚
• ビセム
• ヤニーまたはローレル

• McGurk, H. ; MacDonald, J. (1976). 「唇を聞き、声を見る」. Nature . 264 (5588): 746–748. Bibcode :1976Natur.264..746M. doi :10.1038/264746a0. PMID  1012311. S2CID  4171157.
• ライト、ダニエル; ウェアハム、ゲイリー (2005)。「音と視覚の混合: 犯罪現場の目撃者に対する聴覚と視覚情報の相互作用」。法と犯罪心理学。10 (1): 103–108。doi : 10.1348 /135532504x15240。S2CID 18781846  。

• 制約に基づくマガーク効果の説明。アムステルダム大学の Paul Boersma によるマガーク効果に関する記事。PDF は著者の学術 Web ページから入手できます。
• マガーク効果を試してみよう！ – Horizo​​n: 百聞は一見に如かず？ – BBC Two
• マガーク効果（説明付き）