声帯下音認識

サブボーカル認識（SVR）は、サブボーカル化を取り込み、検出された結果を音声またはテキストベースのデジタル出力に変換するプロセスです。^[1]サイレントスピーチインターフェースは、人が発声するときに発生する音を使用せずに音声通信を可能にするデバイスです。これは、コンピューターが発声動作に関する非聴覚情報源から個人が発音する音素を識別することによって機能します。次に、これらを使用して音声合成を使用して音声を再現します。^[2]

入力方法

サイレントスピーチインターフェースシステムは、舌と唇の動きを超音波と光学カメラで入力して作成されています。^[3]電磁装置は、舌と唇の動きを追跡するための別の技術です。^[4]

発声筋と喉頭の筋電図検査による発声運動の検出も別の技術である。^[5]^[6]もう一つの情報源は、骨伝導によって伝達される非可聴雑音と呼ばれる声道共鳴信号である。 ^[7]

また、皮質内微小電極から得られる運動皮質の脳活動を利用した脳コンピューターインターフェースとしても開発されている。^[8]

用途

このような装置は、喉頭摘出術後など、聞き取れる発声に必要な音を出すことができない人のための補助として作られています。^{[9]もう一つの用途は、}背景雑音で発声が聞き取りにくくなったり、自給式呼吸装置で歪んだりする場合のコミュニケーションです。さらに実用的な用途としては、公共の場でプライバシーが求められる場合や、軍事作戦や警備活動中にハンズフリーでデータを静かに送信する必要がある場合など、静かなコミュニケーションが必要な場合があります。^[3]^[10]

2002年、日本のNTTドコモは、筋電図と唇の動きの画像化を利用して無音の携帯電話を開発したと発表した。同社は「このような携帯電話を開発するきっかけは、公共の場から騒音を取り除くことだった」と述べ、「この技術は、永久に声を失った人々の助けにもなると期待されている」と付け加えた。^[11]それ以来、無音音声インターフェースを実際のコミュニケーションに使用できる可能性が示されてきた。^[12]

2019年、マサチューセッツ工科大学の研究者であるアルナフ・カプールは、 AlterEgoと呼ばれる研究を実施しました。この研究は、サイレントスピーチインターフェースを実装しており、発声筋を刺激することで人間の脳と外部デバイスとの直接通信を可能にします。AlterEgoシステムは、音声と言語に関連する神経信号を活用して、ユーザーが意図した言葉を解読し、音声を必要とせずにテキストやコマンドに変換します。^[13]

研究と特許

アメリカ陸軍の助成金を受けて、カリフォルニア大学アーバイン校でマイク・ズムラ主任科学者の指揮の下、サブボーカリゼーションを用いた合成テレパシーの研究が行われている。 ^[14]

カリフォルニア州マウンテンビューにあるNASAのエイムズ研究研究所は、チャールズ・ジョーゲンセンの監督の下、サブボーカリゼーションの研究を行っている。^[^要出典^]

ニューヨーク州保健局管轄のワズワースセンターの脳コンピュータインターフェース研究開発プログラムは、想像上の音声から子音と母音を解読する既存の能力を確認し、想像上の音声を使用した脳ベースのコミュニケーションを可能にしました。^[15]ただし、サブボーカリゼーション技術の代わりにEEGを使用しています。

サイレント通信技術に関する米国の特許には、米国特許6587729「無線周波数聴覚効果を使用して音声を聴覚的に通信する装置」^[16]、米国特許5159703「サイレントサブリミナルプレゼンテーションシステム」^[17]、米国特許6011991「脳波分析および/または脳活動の使用を含む通信システムおよび方法」^[18]、米国特許3951134「脳波を遠隔監視および変更する装置および方法」^[19]などがある。最後の2つは脳波分析に依存している。

フィクションでは

コンピューターを使った無言音声の解読は、アーサー・C・クラークの小説やスタンリー・キューブリックの関連映画『宇宙の旅』で重要な役割を果たした。この作品では、木星行きの宇宙船ディスカバリー1号を制御するコンピューターHAL9000が、ミッションの宇宙飛行士デイブ・ボーマンとフランク・プールの会話を読み取って、彼らがHAL9000を無効化しようとしている陰謀を発見する。^[20]
オースン・スコット・カードのシリーズ（『エンダーのゲーム』を含む）では、主人公が顎に動きのセンサーを装着し、音を立てずにAIと会話できる状態で人工知能に話しかけることができる。主人公は耳のインプラントも装着している。
作家のオースン・スコット・カードは『死者の代弁者』とその後の小説の中で、コンピュータシステムと音声による通信を可能にする「ジュエル」と呼ばれる耳のインプラントについて説明しました。
作家ロバート・J・ソーヤーは、 SF小説『ネアンデルタール人の視差』三部作の中で、高度なネアンデルタール人の登場人物が使用するサイバネティックな「コンパニオンインプラント」に無言の命令を出すために、音声認識を利用した。
デビッド・ブリンは『Earth』の中で、この技術とそれが近い将来に普通のギアとして使われる様子を描いています。
『どん底の魔法の王国』では、コリー・ドクトロウは人工内耳と喉にマイクを取り付けて無音状態にし、声にならない声を拾うという技術を駆使している。
ウィリアム・ギブソンの『スプロール三部作』では、さまざまなデバイスでサブ発声システムが頻繁に使用されています。
ケイジ・ベイカーのカンパニー小説では、不死のサイボーグたちが声を出さずにコミュニケーションをとる。
ヒューゴー賞を受賞したダン・シモンズ著の『ハイペリオン・カントス』では、登場人物はコミュニケーションをとるためにしばしばサブボーカリゼーションを使用します。
イアン・M・バンクスの小説「カルチャー」では、より高度な種族がテクノロジーを通じて声を出さずにコミュニケーションをとることが多い。
『デウスエクスヒューマンレボリューション』 （2011年）では、主人公は秘密通信を送信するためのサブ発声インプラント（および秘密通信を受信するための対応する人工内耳）を装着しています。
テーブルトップ RPG およびビデオゲームシリーズShadowrunでは、プレイヤーキャラクターは場合によっては音声マイクを介して通信できます。
パラノイアでは、すべての市民が「大脳皮質」インプラントを介してコンピューターと会話することができます。
アリスター・レイノルズのRevelation Space三部作では、さまざまなデバイスでサブ発声システムが頻繁に使用されています。

参照

参考文献

^ シャーリー、ジョン（2013-05-01）。ニュータブー。PMプレス。ISBN 9781604868715. 2017年4月14日閲覧。
^ Denby B、Schultz T、Honda K、Hueber T、Gilbert JM、 Brumberg JS (2010)。サイレントスピーチインターフェース。スピーチコミュニケーション52: 270–287。doi :10.1016/j.specom.2009.08.002
^ ab Hueber T、Benaroya EL、 Chollet G、Denby B、Dreyfus G、Stone M. (2010)。舌と唇の超音波と光学画像によって駆動されるサイレントスピーチインターフェースの開発。Speech Communication、52 288–300。doi :10.1016/j.specom.2009.11.004
^ Wang, J., Samal, A., & Green, JR (2014). 電磁アーティキュログラフに基づくリアルタイムのインタラクティブなサイレントスピーチインターフェースの予備テスト、第5回ACL/ISCA支援技術のための音声および言語処理ワークショップ、メリーランド州ボルチモア、38-45。
^ Jorgensen C, Dusan S. (2010). 表面筋電図に基づく音声インターフェース。音声コミュニケーション、52: 354–366。doi :10.1016/ j.specom.2009.11.003
^ Schultz T, Wand M. (2010). EMG ベースの連続音声認識における協調音のモデリング。音声通信、52: 341-353。doi :10.1016/ j.specom.2009.12.002
^ 平原剛志、大谷正之、清水聡、戸田剛志、中村健、中島雄志、鹿野健志 (2010)。身体伝導声道共鳴信号を用いたサイレントスピーチ強調。音声通信、52:301–313。doi :10.1016/ j.specom.2009.12.001
^ Brumberg JS、Nieto-Castanon A、Kennedy PR、Guenther FH (2010)。音声コミュニケーションのための脳コンピューターインターフェース。音声コミュニケーション 52:367–379。2010 doi :10.1016/j.specom.2010.01.001
^ Deng Y.、Patel R.、Heaton JT、Colby G.、Gilmore LD、Cabrera J.、Roy SH、De Luca CJ、Meltzner GS(2009)。音響信号とsEMG信号を使用した障害音声認識。INTERSPEECH-2009、644-647。
^ Deng Y.、Colby G.、Heaton JT、および Meltzner HG. S. (2012)。MUTE sEMG ベースのサイレント音声認識システムにおける信号処理の進歩。軍事通信会議、MILCOM 2012。
^ フィッツパトリック M. (2002)。唇を読む携帯電話が大口をたたく人を黙らせる。ニューサイエンティスト。
^ Wand M、Schultz T. (2011)。セッションに依存しないEMGベースの音声認識。第4回国際バイオインスパイアードシステムおよび信号処理会議の議事録。
^ 「プロジェクト概要 ‹ AlterEgo」。MITメディアラボ。 2024年5月20日閲覧。
^ 「陸軍が『合成テレパシー』を開発中」NBCニュース、2008年10月13日。
^ Pei, Xiaomei; Barbour, Dennis L; Leuthardt, Eric C; Schalk, Gerwin (2011). 「人間の脳波信号を用いた発話語と想像語の母音と子音のデコード」Journal of Neural Engineering . 8 (4): 046028. Bibcode :2011JNEng...8d6028P. doi :10.1088/1741-2560/8/4/046028. PMC 3772685 . PMID 21750369.
^ 無線周波数聴覚効果を利用して音声を聴覚的に伝達する装置
^ サイレントサブリミナルプレゼンテーションシステム
^ 脳波分析および/または脳活動の利用を含む通信システムおよび方法
^ 脳波を遠隔監視および変更するための装置および方法
^ クラーク、アーサーC.（1972年）。2001年の失われた世界。ロンドン：シジウィックアンドジャクソン。ISBN 0-283-97903-8。

さらに読む

ブラック、ジョン（2004年3月17日）。「NASAプレスリリース」NASA、p.1。2024年1月1日時点のオリジナルよりアーカイブ。
アームストロング、デイビッド (2006 年 4 月 10 日)。「沈黙のスピーカー」。フォーブス、p. 1。2006 年 4 月 14 日時点のオリジナルよりアーカイブ。
Simonite, Tom (2007 年 9 月 6 日)。「言葉を考えることで車椅子を誘導できる」。New Scientist、p. 1。

外部リンク

NASAエイムズセンター

[1] シャーリー、ジョン（2013-05-01）。ニュータブー。PMプレス。ISBN 9781604868715. 2017年4月14日閲覧。

[2] ^ Denby B、Schultz T、Honda K、Hueber T、Gilbert JM、 Brumberg JS (2010)。サイレントスピーチインターフェース。スピーチコミュニケーション52: 270–287。doi :10.1016/j.specom.2009.08.002

[Hueber-3] Hueber T、Benaroya EL、 Chollet G、Denby B、Dreyfus G、Stone M. (2010)。舌と唇の超音波と光学画像によって駆動されるサイレントスピーチインターフェースの開発。Speech Communication、52 288–300。doi :10.1016/j.specom.2009.11.004

[4] Wang, J., Samal, A., & Green, JR (2014). 電磁アーティキュログラフに基づくリアルタイムのインタラクティブなサイレントスピーチインターフェースの予備テスト、第5回ACL/ISCA支援技術のための音声および言語処理ワークショップ、メリーランド州ボルチモア、38-45。

[5] Jorgensen C, Dusan S. (2010). 表面筋電図に基づく音声インターフェース。音声コミュニケーション、52: 354–366。doi :10.1016/ j.specom.2009.11.003

[6] Schultz T, Wand M. (2010). EMG ベースの連続音声認識における協調音のモデリング。音声通信、52: 341-353。doi :10.1016/ j.specom.2009.12.002

[7] 平原剛志、大谷正之、清水聡、戸田剛志、中村健、中島雄志、鹿野健志 (2010)。身体伝導声道共鳴信号を用いたサイレントスピーチ強調。音声通信、52:301–313。doi :10.1016/ j.specom.2009.12.001

[8] Brumberg JS、Nieto-Castanon A、Kennedy PR、Guenther FH (2010)。音声コミュニケーションのための脳コンピューターインターフェース。音声コミュニケーション 52:367–379。2010 doi :10.1016/j.specom.2010.01.001

[Deng-9] Deng Y.、Patel R.、Heaton JT、Colby G.、Gilmore LD、Cabrera J.、Roy SH、De Luca CJ、Meltzner GS(2009)。音響信号とsEMG信号を使用した障害音声認識。INTERSPEECH-2009、644-647。

[Deng2-10] Deng Y.、Colby G.、Heaton JT、および Meltzner HG. S. (2012)。MUTE sEMG ベースのサイレント音声認識システムにおける信号処理の進歩。軍事通信会議、MILCOM 2012。

[11] フィッツパトリック M. (2002)。唇を読む携帯電話が大口をたたく人を黙らせる。ニューサイエンティスト。

[12] Wand M、Schultz T. (2011)。セッションに依存しないEMGベースの音声認識。第4回国際バイオインスパイアードシステムおよび信号処理会議の議事録。

[13] 「プロジェクト概要 ‹ AlterEgo」。MITメディアラボ。 2024年5月20日閲覧。

[14] 「陸軍が『合成テレパシー』を開発中」NBCニュース、2008年10月13日。

[15] Pei, Xiaomei; Barbour, Dennis L; Leuthardt, Eric C; Schalk, Gerwin (2011). 「人間の脳波信号を用いた発話語と想像語の母音と子音のデコード」Journal of Neural Engineering . 8 (4): 046028. Bibcode :2011JNEng...8d6028P. doi :10.1088/1741-2560/8/4/046028. PMC 3772685 . PMID 21750369.

[16] 無線周波数聴覚効果を利用して音声を聴覚的に伝達する装置

[17] サイレントサブリミナルプレゼンテーションシステム

[18] 脳波分析および/または脳活動の利用を含む通信システムおよび方法

[19] 脳波を遠隔監視および変更するための装置および方法

[20] クラーク、アーサーC.（1972年）。2001年の失われた世界。ロンドン：シジウィックアンドジャクソン。ISBN 0-283-97903-8。