唇の動きを読む

読唇術は、音声読解とも呼ばれ、唇、顔、舌の動きを視覚的に解釈して、音を使わずに限られた範囲の発話を理解する技術です。読唇術の範囲の推定値はさまざまで、読唇術は文脈、言語知識、残存聴力に依存するため、30%程度と低い数値もあります。^[1]読唇術は、聴覚障害者や難聴者によって最も広く使用されていますが、正常な聴力を持つほとんどの人も、動く口を見て、ある程度の発話情報を処理しています。^[2]

音声知覚は聴覚スキルであると考えられていますが、話し手は、対面でのコミュニケーションでは目に見えることが多い唇、歯、舌の動きをする必要があるため、本質的にマルチモーダルです。唇と顔からの情報は聴覚理解をサポートし^[3]、言語を流暢に聞く人のほとんどは、目に見える発話動作に敏感です（マガーク効果を参照）。目に見える発話動作を人々がどの程度利用するかは、発話動作の可視性と、知覚者の知識とスキルによって異なります。

音素は、言語で検出可能な最小の音の単位で、単語を区別するために使用されます。/pit/ と /pik/ は 1 つの音素が異なり、異なる概念を指します。話し言葉の英語には約 44 の音素があります。唇の動きを読み取る場合、視覚的に区別できる単位 (ビゼーム) の数ははるかに少なく、したがって、いくつかの音素が少数のビゼームにマッピングされます。これは、多くの音素が口と喉の中で生成され、見づらいためです。これには、声門子音とほとんどの舌の動きが含まれます。有声音と無声音のペアは、[p] と [b]、[k] と [g]、[t] と [d]、[f] と [v]、[s] と [z] のように同じに見えます。鼻音化についても同様です(例: [m] と [b])。同音異義語は、唇の動きを読み取ると似ているが異なる音素を含む単語です。英語にはビゼームよりも音素が約 3 倍多いため、音声の 30% しか唇の動きを読み取りできないとよく言われます。同音異義語は唇の動きを誤る重大な原因です。

ビゼームは静止画像として捉えられるが、音声は時間とともに展開する。音声の連続した滑らかな発音は、隣接する音素によって口のパターンが「形作られる」可能性があることを意味する。「tooth」と「teeth」の「th」の音は、音声の文脈によって大きく異なって聞こえる。この動的音声読み取りの特徴は、「ビゼームを超えて」唇の動きを読み取ることに影響を与える。^[5]

ビゼームはリップリーディングを理解するための便利な出発点となるが、ビゼーム内の話し言葉の区別は区別することができ、識別をサポートするのに役立つ。^[6] さらに、言語の語彙内の音素の統計的分布は不均一である。音韻的に互いに類似した単語のクラスター（「語彙の近隣」、たとえば spit/sip/sit/stick... など）がある一方で、他のすべての単語とは異なる単語もある。つまり、音素の分布の点で「ユニーク」である（「umbrella」がその一例である）。言語の熟練したユーザーは、この知識を音声の解釈に活用するため、一般的に、語彙の近隣が多い聞いた単語を識別するのは、近隣が少ない単語を識別するよりも難しい。この洞察を音声に適用すると、言語の一部の単語は、ビゼームがほとんど含まれていなくても、リップリーディングで明確に読み取ることができる。これは、他の単語が「適合」しない可能性があるからである。^[7]

話している顔の視認性には、照明、頭やカメラの動き、動画のフレームレート、視聴者からの距離など、多くの要因が影響します（例^[8]を参照）。通常の発話に伴う頭の動きも、口頭の動作とは関係なく、読唇術を向上させることができます。^{[9]しかし、}連続した発話を読唇する場合、話者の視認性と同じくらい、視聴者の話し言葉の知識、話者や発話スタイルへの精通度、読唇術の対象となる資料の文脈^[10]が重要です。ほとんどの健聴者は視覚的な発話に敏感ですが、読唇術のスキルには個人差があります。視覚的な発話から音素を識別する際、読唇術が上手な人は、読唇術が下手な人よりも正確であることが多いです。

「リップリーディング能力」の単純な視覚的評価は、一部の研究者によって疑問視されている。^[11]「音素等価クラス」評価は、語彙の統計的構造を考慮に入れており、リップリーディング能力の個人差にも対応できる。^{[12] [13]これに沿って、優れたリップリーディング能力は、一般的な言語能力、}実行機能、作業記憶など、より広範な認知能力と関連付けられることが多い。^{[14] [15]}

口を見ることは、非常に小さな乳児の初期の言語に対する感受性に役割を果たし、1～2歳で話し手になるための準備となります。模倣するために、赤ちゃんは聞いた音に合わせて唇の形を変えることを学ばなければなりませんが、話し手を見ることはこれを助けるかもしれません。^[16]新生児は舌を突き出したり口を開けたりするなど、大人の口の動きを真似しますが、これはさらなる模倣と後の言語学習の前兆となる可能性があります。^[17]乳児は、見慣れた話し手の視聴覚音声が同期していないと動揺し^[18]、（録音された）声と一致させると、見慣れた顔と見慣れない顔に対して異なる見た目のパターンを示す傾向があります。^[19]乳児は、話し方を学ぶ数か月前からマガーク錯視 に敏感です。 ^{[20] [21]}これらの研究とその他多くの研究は、生後半年間の（聴覚）言語に対する感受性の発達に視覚が役割を果たしていることを指摘しています。

生後 6 か月頃までは、聴覚のある乳児のほとんどは、口元に見られるものも含め、さまざまな発話ジェスチャーに敏感である。これらのジェスチャーは、後に母国語の音韻の一部となる場合もあれば、そうでない場合もある。しかし、生後 6 か月頃になると、聴覚のある乳児は母国語の音声構造に対する知覚が狭まり、役に立たない口のパターンに対する初期の感受性を失う可能性がある。英語では視覚的に区別できるが、カスティーリャ語のスペイン語では区別できない音声音 /v/ と /b/ は、生後 6 か月頃まではスペイン語と英語に接した乳児で正確に区別できる。しかし、スペイン語に接した乳児は年長になるとこの区別を「見る」能力を失うが、英語に接した乳児ではこの能力が保持される。^[22]このような研究は、乳児期に聴覚と視覚が独立して発達するのではなく、乳児の脳の (言語) 発達においてマルチモーダル処理が例外ではなく規則であることを示唆している。^[23]

言語を習得する前の乳児の言語発達に視覚が関与していることを示す多くの研究を考慮すると、先天性失明が言語発達に与える影響は驚くほど小さい。18か月の乳児は、新しい単語を耳で聞くとより容易に覚えるが、耳で聞かずに発話の動きを見せられても覚えない。 ^[24]しかし、生まれつき目が見えない子どもは、英語の単語を早期に発音する際に/m/と/n/を混同することがある。これは、目が見える聴覚のある子どもにはほとんど見られない混同である。なぜなら、/m/と/n/は見た目では区別できるが、聴覚では混同しやすいからである。^[25] 1～2歳の子どもの場合、視覚は母語の発音にそれほど重要ではないかもしれない。なぜなら、その年齢までに子どもは発話音を識別して真似するために必要なスキルを身に付けているからである。しかし、母国語ではない言語を聞くと、子どもは発話の処理、理解、発音のために、唇の動きを読み取ったり、聞いたりすることで、視覚と聴覚への関与に関心を向けるようになる。^[26]

言語を習得する前の乳児や児童を対象とした研究では、間接的で非言語的な尺度を用いて、視覚的な会話に対する感受性を測っている。聴覚のある未就学児の場合、明確な読唇能力は、「私が黙って言ったことを声に出して言ってください」と頼むことで確実に検査できる。 ^[27]学齢期の児童では、数字などのよく知られた閉集合語の読唇能力は容易に引き出せる。^[28]読唇能力の個人差は、児童に「あなたが読唇した言葉を話してください」と頼んだり、読唇発話と絵を一致させたりすることで検査されるが、^[29]読唇能力と年齢の間には関係があることがわかった。^{[30] [31]}

聴覚のない人のほとんどにとって、無言の会話を唇で読むことは困難ですが、聞いた会話に話し手の視覚を加えると、多くの状況下での音声処理が改善されます。このメカニズムと、唇を読むことが役立つ正確な方法は、現在研究されています。^{[32]話し手を見ることは、}音声特徴の識別から実用的な発話の解釈まで、 音声処理のあらゆるレベルで役立ちます。^{[33]聞いた会話に視覚を加えることによるプラスの効果は、静かな環境よりも騒がしい環境でより大きくなります。 [34]} 騒がしい環境 では、話し手を見ることで音声知覚が容易になり、認知リソースが解放され、音声コンテンツのより深い処理が可能になります。

高齢になると聴力が頼りなくなるため、人々は唇の動きを頼りにする傾向があり、そうすることが推奨されています。しかし、唇の動きを頼りにすることで、加齢に伴う難聴の影響を必ずしも補えるとは限りません。加齢による認知機能の低下は、測定可能な難聴に先行したり、測定可能な難聴と関連している場合があります。^{[35] [36]}そのため、唇の動きを頼りにすることで、加齢に伴う聴力と認知機能の低下を完全に補えるとは限りません。

多くの研究で、特徴的な発達障害を持つ集団における読唇の異常が報告されている。自閉症：自閉症の人は、読唇能力が低下し、視聴覚言語知覚における視覚への依存度が低下することがある。^{[37] [38]}これは、これらの人々の顔への視線の異常と関連している可能性がある。 ^[39] ウィリアムズ症候群：ウィリアムズ症候群の人は、視覚空間障害とは無関係に、読唇に何らかの欠陥が見られる。^[40] 特異的言語障害：SLIの子供も読唇感度が低下することが報告されており、^[41]失読症の人も同様である。^[42]

聴覚障害者の教育において、口話（「オーラリズム」）と他のコミュニケーション方法（最近ではトータルコミュニケーション）の役割について、何百年もの間激しい議論が交わされてきました。どちらのアプローチがどの程度有益であるかは、聴覚障害者の難聴の程度、難聴の年齢、親の関与、親の言語など、さまざまな要因によって異なります。次に、聴覚障害者とそのコミュニティおよび保護者の目的に関する疑問があります。教育の目的は、一般的なコミュニケーションを強化することなのか、手話を第一言語として育成することなのか、それとも聴覚コミュニティの話し言葉のスキルを育成することなのか。研究者は現在、子どもとその家族の聴覚状態、および教育計画を考慮して、言語とコミュニケーションのどの側面をどのような手段でどのような状況で伝えるのが最善かということに焦点を当てています。^{[43]聴覚障害児の言語教育における現在の主流のアプローチの 1 つは、} バイモーダルバイリンガリズム（音声と手話の両方に堪能であること）です。^[44]

聴覚障害者は健聴者よりも唇の動きを読むのが得意な場合が多い。^{[45]聴覚障害者の中には、}法医学的唇の動きを読むなど、プロの唇の動きを読む人^[46]として活動している人もいる。人工内耳を装着した聴覚障害者の場合、インプラント前の唇の動きを読む能力によって、インプラント後の（聴覚または視聴覚）音声処理を予測することができる。^[47]成人の場合、インプラントの年齢が遅いほど、視覚による音声読解能力は優れている。^{[48]多くの聴覚障害者にとって、訓練を受けた}プロの唇の動きを読む人を介して音声メッセージが中継されると、音声によるコミュニケーションが容易になる。^{[49] [50]}

読唇と読み書き能力の発達に関連して、生まれつき聴覚障害のある子供は、一般的に読み書き能力の発達が遅れていることが示されています^[51]。これは、話し言葉の要素を習得する難しさを反映している可能性があります。 ^[52]特に、読み書き能力の習得に必要なこのステップを習得するには、熟練した音声読み手である必要があるため、信頼できる音素と文字のマッピングは、聴覚障害のある子供にとってより困難である可能性があります。 読唇能力は、聴覚障害のある成人と子供の読み書き能力と関連しており^{[53] [54]}、読唇の訓練は読み書き能力の発達に役立つ可能性があります。^[55]

キュードスピーチは、唇の動きと、それに伴う手の形によって、口の動き（子音）を明確に表す。キュードスピーチは、健聴者の親にとっては手話よりも習得しやすいと言われており、主にベルギーで行われた研究では、幼児期にキュードスピーチに触れた聴覚障害のある子どもは、唇の動きだけよりも、音声言語の習得においてより効率的に進歩できることが示されている。^[56]聴覚障害に対する人工内耳治療においてキュードスピーチを使用することは、おそらく良い結果をもたらすだろう。^[57]視覚音声学では、手の形を伴って視覚音声を習得する同様のアプローチが、一部の教育者が書き言葉や話し言葉の学習をサポートするために使用しているビジュアルフォニックスである。

読唇術の指導と訓練の目的は、読唇術の性質に対する認識を高め、音声を「目で」知覚する能力を向上させる方法を練習することです。^[58]「目で聞く」能力を向上させるための読唇術の訓練の価値は、特に後天的な難聴の人にとっては必ずしも明らかではありませんでしたが、目に見える発話動作に注意を向けるよう生徒に注意を促す体系的な訓練が有益であるという証拠があります。^[59]読唇術クラスは、読唇術と難聴管理クラスと呼ばれることが多く、主に成人の難聴を対象としています。成人の難聴者のうち最も高い割合は、加齢による難聴、または騒音による難聴です。これら2つの形式の難聴では、高周波音が最初に失われます。発話中の子音の多くは高周波音であるため、発話は歪んでしまいます。補聴器は役立ちますが、これを治すことはできません。聴覚障害支援団体「Action on Hearing Loss 」が委託した英国の研究では、読唇術のクラスが有益であることが示されています^[60]（2012年）。

トレーナーは、読唇術が不正確な技術であることを認識しています。生徒は、唇、舌、あごの動きを観察し、言語の強勢とリズムを追うこと、補聴器の有無にかかわらず残存聴力を使うこと、表情とボディランゲージを観察すること、推論と推測の能力を使うことを教えられます。生徒は、p、b、m、またはf、vのように唇で似た音のグループ（ビゼーム）である読唇術アルファベットを教えられます。目的は、要点を理解して会話に参加する自信を持ち、難聴に伴うことが多い有害な社会的孤立を避けることです。読唇術のクラスは、騒音の中で聞き取るのに苦労している人には誰にでもお勧めで、難聴に適応するのに役立ちます。

リップリーディングのテストのほとんどは、特定の音声処理タスクを実行する際の個人差を測定し、トレーニング後のパフォーマンスの変化を検出するために考案されました。リップリーディングテストは、実験環境で比較的小さなグループで、または個々の患者やクライアントの臨床指標として使用されてきました。つまり、これまでのほとんどのリップリーディングテストは、一般の人々におけるリップリーディングスキルのマーカーとしての妥当性が限られているということです。^[61]

自動読唇術は、SF映画だけでなく、計算工学でも関心を集めているトピックである。計算工学者のスティーブ・オモハンドロらがその開発の先駆者となった。顔のアニメーションでは、人間の発話動作をシミュレートするリアルな顔の動作、特に口の動きを生成することが目的である。顔の画像を変形または操作するコンピュータアルゴリズムは、聞いた言語または書き言葉によって駆動することができる。システムは、顔の動きから得られた詳細なモデル（モーションキャプチャ）、顎、口、舌の動作の解剖学的モデル、または既知の口形素-音素特性のマッピングに基づくことができる。^{[62] [63]}顔のアニメーションは、スピーチリーディングのトレーニング（さまざまな音が「どのように見えるか」を示す）に使用されてきた。^[64]これらのシステムは、信頼性の高い「テキストから（見た）音声」出力を提供することを目的とした音声合成モデリングのサブセットである。補完的な目標は、会話中に顔を動かすことの逆で、自然な顔のビデオデータから、会話（つまり、書き起こしまたは音声記録）のリアルな解釈を提供するコンピュータアルゴリズムを開発することです。これが顔音声認識です。これらのモデルも、さまざまなデータから取得できます。^[65]ビデオからの自動視覚音声認識は、（話し言葉データのコーパスから）異なる言語を区別するのに非常に成功しています。 ^[66]機械学習アルゴリズムを使用したデモンストレーションモデルは、ビデオから特定の単語などの音声要素をリップリーディングすること と、視覚的に類似した口の動きからリップリーディングが難しい音素を識別することにある程度成功しています。^{[68]機械ベースの音声読み取りでは、現在、話者と音声素材の大規模なデータベースを使用するニューラルネットベースのアルゴリズムがうまく使用されています（聴覚}自動音声認識の成功したモデルに従って）。^[69]

機械によるリップリーディングの用途としては、ビデオのみの記録の自動リップリーディング、声道に損傷のある話者の自動リップリーディング、対面ビデオ（つまり、テレビ電話データ）での音声処理などが考えられます。自動リップリーディングは、ノイズの多い音声や聞き慣れない音声の処理に役立ちます。^[70]自動リップリーディングは、パスワードベースの識別に代わる生体認証による個人識別に貢献する可能性があります。 ^{[71] [72]}

ヘシュル回を含む聴覚脳領域が音声の視覚によって活性化されることが発見された後、 ^[73]読話の神経回路には、超感覚処理領域、特に上側頭溝（すべての部分）と、顔や生物学的動作の処理に特化した領域を含む後下後頭側頭領域が含まれることが示されました。^[74]すべての研究ではないが一部の研究では、読話でブローカ野の活性化が報告されており、^{[75] [76]}読話で調音メカニズムが活性化される可能性があることを示唆しています。^[77]視聴覚音声処理の経時的研究は、音声の視覚が音響信号に先立って聴覚処理領域を準備できることを示しました。^{[78] [79]}健聴者では、より優れた読唇スキルは（左側の）上側頭溝と隣接する下側頭（視覚）領域のより大きな活性化と関連しています。^{[80] [81]}聴覚障害者では、音声読解に関係する回路は健聴者のものと非常によく似ており、（左）優位側頭葉の活性化と読唇能力の関連も同様である。^[82]

• D.Stork および M.Henneke (編) (1996) 人間と機械による音声読み取り: モデル、システム、およびアプリケーション。Nato ASI シリーズ F コンピュータとシステム サイエンス Vol 150。Springer、ベルリン、ドイツ
• E.Bailly、P.Perrier、E.Vatikiotis-Bateson (編)(2012) Audiovisual Speech processing、ケンブリッジ大学出版局、ケンブリッジ、イギリス
• Hearing By Eye (1987)、B.Dodd および R.Campbell (編)、Erlbaum Asstes、Hillsdale NJ、USA; Hearing by Eye II、(1997) R.Campbell、B.Dodd および D.Burnham (編)、Psychology Press、Hove UK
• DW マッサロ (1987、2014 年再版) 耳と目による音声知覚、ローレンス エルバウム アソシエイツ、ヒルズデール NJ

• ダン・ノソウィッツ（2020年2月18日）。「世界で最も読み書きが難しい言語は何ですか？」アトラス・オブスキュラ。
• ローラ・リンガム (2012)。「なぜ今こそリップリーディングと難聴サポートの管理の価値を認識するべき時なのか (Action on Hearing Loss、完全レポート)」(PDF)。
• スコットランド感覚センター 2005: 読唇術ワークショップ
• スコットランドの読唇術教室：今後の方向性。2015 年レポート
• AVISA; 国際音声コミュニケーション協会の特別利益団体で、読唇と視聴覚音声に焦点を当てています。
• 情報収集のための音声読解：科学的情報源の調査
• 成功したオンラインスピーチリーディングトレーニング

• 自動リップリーディング（ALR）