手話の機械翻訳

手話の機械翻訳は、 1977年以降、限定的ではあるものの可能となってきました。ある研究プロジェクトが、キーボードの英語の文字を、ロボットの手でシミュレートされたASLの手動アルファベット文字と一致させることに成功したのです。これらの技術は、人間の通訳を介さずに、手話を文語または話し言葉に、また文語または話し言葉を手話に翻訳します。手話は話し言葉とは異なる音韻的特徴を持っているため、開発者にとっては障害となっていました。開発者は、コンピュータービジョンと機械学習を使用して、手話に特有の特定の音韻パラメータと音韻挿入^[1]を認識し、音声認識と自然言語処理は、健聴者と聴覚障害者の間の双方向コミュニケーションを可能にします。

手話翻訳技術には、音声言語翻訳と同じ限界があります。100% の精度で翻訳できるものはありません。実際、手話翻訳技術は音声言語翻訳技術に比べてはるかに遅れています。これは、手話には複数の調音器官があるためです。音声言語は発声器官で表現されますが、手話は手、腕、頭、肩、胴体、顔の各部で表現されます。このマルチチャネルの調音により、手話翻訳は非常に困難になります。手話 MT のもう 1 つの課題は、手話の正式な表記形式がないことです。表記システムはありますが、特定の手話の「表記形式」と見なせるほど、国際的な聴覚障害者コミュニティに広く採用されている表記システムはありません。手話はさまざまなビデオ形式で記録されます。たとえば、SMT に十分な大きさの ゴールド スタンダードな並列コーパスはありません。

自動手話翻訳の歴史は、指文字ロボットハンドなどのハードウェアの開発から始まりました。1977年、RALPH（「Robotic Alphabet」の略）と呼ばれる指文字ハンドプロジェクトでは、アルファベットを指文字に変換できるロボットハンドが開発されました。^{[2]その後、}モーションセンサー付きの手袋の使用が主流となり、Cyber​​GloveやVPL Data Gloveなどのプロジェクトが生まれました。^[3]ウェアラブルハードウェアにより、コンピューターソフトウェアの助けを借りて、手話者の手の形や動きを捉えることができました。しかし、コンピュータービジョンの発達により、ウェアラブルデバイスは、手話者に対する身体的な制約が少なく、効率が良いことからカメラに置き換えられました。^{[3]デバイスを通じて収集されたデータを処理するために、研究者は、Cyber​​Gloveなどのプロジェクトでパターン認識用のStuttgart Neural Network Simulator [4]}などのニューラルネットワークを実装しました。研究者は、手話認識のために他の多くのアプローチも使用しています。例えば、隠れマルコフモデルは統計的にデータを分析するために使用され、^[3] GRASPやその他の機械学習プログラムはトレーニングセットを使用して手話認識の精度を向上させます。^[5]カメラやLeap Motionコントローラーなどの非ウェアラブル技術の融合は、自動手話認識および翻訳ソフトウェアの能力を高めることが示されています。^[6]

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

翻訳：

• ロペス・ルデーニャ、ベロニカ。サンセグンド、ルベン。ゴンサレス、カルロス。ロペス、フアン・カルロス。 Pardo、José M. (2012)、新しいセマンティック ドメインで音声を手話翻訳システムに開発する方法(PDF)、CiteSeerX  10.1.1.1065.5265、S2CID  2724186

SignAloudは、ワシントン大学の学生グループが作成した手袋を組み込んだ技術で、アメリカ手話（ASL）を英語に音訳します。^{[7] [8] 2015}年2月、ワシントン大学の聴覚障害のある学生であるトーマス・プライアーが、アリゾナ大学で開催されたハッカソン「Hack Arizona」でこのデバイスの最初のプロトタイプを作成しました。プライアーはこの発明の開発を続け、2015年10月、プライアーはマーケティングと広報の支援のためにナビッド・アゾディをSignAloudプロジェクトに迎えました。アゾディはビジネス管理の豊富な経歴と関与を持ち、プライアーはエンジニアリングの豊富な経験を持っています。^[9] 2016年5月、2人はNPRに、ASLを使用する人々とより密接に協力することで、彼らの聴衆をよりよく理解し、想定されたニーズではなくこれらの人々のニーズに合わせて製品をカスタマイズできると語った。^[10]しかし、それ以降、新しいバージョンはリリースされていません。この発明は、若い発明家に賞と賞賛を与えることを目的とするレメルソンMIT学生賞を受賞した7つの発明のうちの1つである。彼らの発明は、既存の製品に対する技術的進歩を含む賞の「使ってみよう！」部門に該当した。彼らは1万ドルを授与された。^{[11] [12]}

手袋にはユーザーの手の動きを追跡するセンサーが付いており、そのデータをBluetooth経由でコンピュータシステムに送信する。コンピュータシステムはデータを分析し、英語の単語と照合して、デジタル音声で読み上げる。^[10]手袋には、手袋の動きの出力に英語の書き言葉を入力する機能や、言語を聞いて聴覚障害者に手話で伝える機能はなく、つまり相互コミュニケーションは提供されない。また、このデバイスには顔の表情やその他の手話以外のマーカーも組み込まれていないため、ASLからの実際の解釈が変わる可能性がある。^[13]

ProDeaf (WebLibras) ^[14]は、テキストと音声の両方をポルトガル語 Libras (ポルトガル手話) に翻訳できるコンピュータソフトウェアで、「聴覚障害者と健聴者の間のコミュニケーションを改善することを目的として」います。^{[15]現在、}アメリカ手話のベータ版も制作中です。元のチームは、言語学者、デザイナー、プログラマー、聴覚障害者と健聴者の両方の専門家を組み合わせて、2010 年にプロジェクトを開始しました。チームはペルナンブコ連邦大学(UFPE) のコンピューターサイエンス プロジェクトに参加している学生グループから生まれました。グループには、グループの他のメンバーとのコミュニケーションに問題のある聴覚障害者のチーム メンバーがいました。プロジェクトを完了し、チーム メンバーのコミュニケーションを支援するために、グループは Proativa Soluções を作成し、それ以来前進し続けています。^[16]現在のアメリカ手話のベータ版は非常に制限されています。たとえば、辞書セクションがあり、文字「j」の下の単語は「ジャンプ」だけです。デバイスに単語がプログラムされていない場合は、デジタルアバターが単語を指文字で綴る必要があります。アプリの最後の更新は2016年6月ですが、ProDeafは国内で最も人気のあるメディアの400以上の記事で取り上げられています。^[17]

このアプリケーションは手話を読み取って単語やテキストに変換することはできないため、一方通行のコミュニケーションとしてのみ機能します。また、英語はまだベータ版であるため、ユーザーはアプリにサインインしていかなる形式でも英語の翻訳を受け取ることはできません。

2012年以来、中国科学院の研究者と中国の北京協和大学の聴覚障害者教育の専門家は、マイクロソフトリサーチアジアチームと協力してKinect手話翻訳機を開発してきた。^[18]この翻訳機は、翻訳モードとコミュニケーションモードの2つのモードで構成される。翻訳モードは、手話から書き言葉への単語の翻訳とその逆の翻訳が可能。コミュニケーションモードは全文を翻訳でき、会話は3Dアバターを使用して自動的に翻訳できる。翻訳モードでは、機械学習、パターン認識、コンピュータービジョンの技術を使用して、手話者の姿勢や手形、動きの軌跡を検出することもできます。このデバイスは、音声認識技術によって話し言葉を手話に翻訳し、3Dモデリングアバターが聴覚障害者に手話で返すことができるため、相互コミュニケーションも可能になる。 ^[19]

元々のプロジェクトは中国で始まり、中国手話の翻訳をベースにしたものです。2013年に、このプロジェクトはマイクロソフト研究ファカルティサミットとマイクロソフト社内会議で発表されました。^[20]現在、このプロジェクトはアメリカの研究者によってもアメリカ手話の翻訳を実装するために取り組んでいます。^[21]現時点では、デバイスはまだプロトタイプであり、コミュニケーションモードでの翻訳の精度はまだ完璧ではありません。

SignAll ^{[22]は、ハンガリーの Dolphio Technologies [23]}が提供する自動手話翻訳システムです。チームは「コンピューター ビジョンと自然言語処理 (NLP) に基づく初の自動手話翻訳ソリューションを開発し、英語を話す聴覚のある人と、ASL を使用する聴覚障害者または難聴者との間の日常的なコミュニケーションを可能にしています。」SignAll のシステムは、 Microsoft のKinectと、コンピューターに接続された深度センサー付きのその他の Web カメラを使用します。コンピューター ビジョン技術は、手話者の手形と動きを認識でき、自然言語処理システムは、コンピューター ビジョンから収集されたデータを簡単な英語のフレーズに変換します。デバイスの開発者は聴覚障害者であり、プロジェクト チームの残りのメンバーは、聴覚障害者と聴覚障害者コミュニティの多くのエンジニアと言語専門家で構成されています。この技術は、 ASL の5 つのパラメーターすべてを組み込む機能を備えており、デバイスが手話者を正確に解釈するのに役立ちます。SignAll は、 Deloitteや LT-innovate を含む多くの企業から支持されており、 Microsoft Bizsparkやハンガリーの Renewalと提携しています。^{[24]この技術は現在、}テキサス州シュガーランドのフォートベンド・クリスチャン・アカデミーとサム・ヒューストン州立大学 で使用されています。^[25]

MotionSavvy ^[26]は、手話から音声への最初のシステムでした。このデバイスは、2012年にロチェスター工科大学/国立聴覚障害者技術研究所のグループによって作成され、「Leap MotionアクセラレータAXLR8Rから生まれました。」^[27]チームは、Leap Motionコントローラーのパワーを活用するタブレットケースを使用しました。6人のチーム全員は、学校の聴覚障害者教育部門の聴覚障害のある学生によって作られました。^[28]このデバイスは現在、アメリカ手話専用の2つの相互コミュニケーションデバイスのうちの1つです。聴覚障害者がデバイスに手話で話しかけると、デバイスがそれを翻訳します。またはその逆で、話し言葉の英語をアメリカ手話に翻訳します。デバイスの出荷価格は198ドルです。その他の機能には、対話機能、リアルタイムフィードバック、サインビルダー、クラウドサインなどがあります。

このデバイスは、テクノロジー雑誌からタイム誌まで、あらゆる雑誌でレビューされている。ワイアード誌は「[UNI]のような技術がどれだけ変革をもたらすかは容易に想像できた」とし、「[UNI]は魔法のようなものだ」と述べた。タイム誌のケイティ・スタインメッツ氏は「この技術は聴覚障害者の生活を変える可能性がある」と述べた。エンガジェット誌のショーン・バックリー氏は「UNIは素晴らしいコミュニケーションツールになる可能性がある」 と述べた。