機械翻訳ソフトウェアの使いやすさ

以下のセクションでは、機械翻訳ソフトウェアの出力の使いやすさを評価するための客観的な基準を示します。

繰り返し翻訳すると、両言語で単一の表現に収束しますか？つまり、翻訳方法は定常性を示すか、標準的な形式を生成しますか？翻訳は元の意味を失うことなく定常になりますか？この指標は、 BLEU （BiLingual Evaluation Understudy）スコアとの相関性が低いと批判されています。^[1]

このシステムは、口語、隠語、俗語に適応できますか?フランス語には、大衆文化の話し言葉や書き言葉で単語を作成するための多くの規則があります。そのような規則の 2 つは次のとおりです。(a) femmeをmeufのように逆綴りにする(これはverlanと呼ばれます)。(b) 名詞または動詞に接尾辞-ard を付けて固有名詞を形成する。たとえば、名詞falucheは「学生の帽子」を意味します。falucheから作られたfaluchard という単語は、口語では、文脈に応じて「学生のグループ」、「学生の集まり」、「学生に典型的な行動」を意味します。2006 年 12 月 28 日現在の Google 翻訳では、次に示すように、規則 (b) のような構築された単語は派生しません。

Il ya une chorale falucharde mercredi、venez nombreux、les faluchards chantent des paillardes! ==>水曜日には合唱団ファルシャルドがあります、たくさん来てください、ファルシャルドは自由に生きる女性たちを歌います！

フランス語の俗語には3つの使用レベルがある: ^[2]

1. より親しみやすく、友人、家族、同僚の間では受け入れられるが、職場では受け入れられない
2. 友人や同僚の間では許容されるが、職場や家族の間では許容されない、下品な言葉や汚い言葉
3. verlanまたは getto スラング。下層階級では受け入れられるが、中流階級や上流階級では受け入れられない。

米国国立標準技術研究所は、BLEU -4基準[2]に基づいて機械翻訳システムの年次評価[1]を実施しています。BLEUと追加の指標であるNIST、GTM、ROUGE、METEORを組み込んだIQmtと呼ばれる複合手法が、GimenezとAmigoによって実装されました[3]。

出力はターゲット言語で文法的に正しいか、整形式か？この点ではインターリングアの使用が役立つはずだ。なぜなら、固定されたインターリングアがあれば、インターリングアからターゲット言語への文法的なマッピングを記述できるはずだからだ。2006年12月27日時点のGoogle翻訳による次のアラビア語入力と英語翻訳結果[4]を考えてみよう。このGoogle翻訳の出力は、合理的な英語の文法を使用して解析されない。

عن حوادث التدافع عند شعيرة رمي الجمرات -التي كثيرا ما يسقط فيها العديد من الضحايا - أشار الأمير نايف إلى إدخال "تحسينات كثيرة في جسر الجمرات ستمنع بإذن الله حدوث أي تزاحم"。 ==> そして、犠牲者の多くが落ちるカーバンクルを投げる儀式の押し付けでの事件 - ナエフ王子は、「カーバンクルの橋に多くの改良が導入されれば、神は競争のいかなる発生も止めるだろう」と指摘した。

繰り返し翻訳しても元の文の意味は保持されますか? たとえば、2006 年 12 月 27 日時点で Google 翻訳を使用してフランス語に複数回渡された次の英語入力を考えてみましょう。

一日遅れるより一日早いほうがいいです。==>

Améliorer un jour プラス tôt qu'un jour tard。 ==>

一日遅れるより一日早く改善する。==>

améliorer un jour plus tôt qu'un jour tardを注ぎます。 ==>

一日遅れるより一日早く改善する。

^{上記および[1]}で述べたように、この種の往復翻訳は信頼性の低い評価方法です。

2008 年 1 月 24 日時点の Google 翻訳の興味深い特徴 (2008 年 1 月 25 日に修正) は、英語からスペイン語に翻訳すると次の結果になる点です。これは、英語 - スペイン語辞書に埋め込まれたジョークを示しており、最近の出来事を考えると、さらに痛烈な意味合いが加わっています。

ヒース・レジャーが死んだ ==>

トム・クルーズは死んだ

これにより、生命に関わるシステムに組み込まれ、安全性が重要な意思決定プロセスに入力する機械翻訳システムに依存する場合の信頼性の問題が生じます。また、特定の用途において、機械翻訳システムのソフトウェアがハッカーから安全であるかどうかという問題も生じます。

Google翻訳のこの機能がジョークやハッキングによるものなのか、統計的機械翻訳などの方法を使用した結果なのかは不明である。CNETネットワークの記者は2008年1月24日にGoogleに説明を求めたが、Googleは「Google翻訳の内部問題」であるとだけ答えた。^[3] この誤訳はインターネット上で大いに笑いと憶測の的となった。^{[4] [5]}

もしこれが統計的機械翻訳などの方法の使用による意図しない結果であり、冗談やハッキングではないのであれば、この出来事は統計的機械翻訳方法の重大な信頼性の欠如の潜在的な原因を実証するものである。

人間による翻訳、特に通訳の場合、通訳を受ける 2 人の当事者のうちの 1 人が両方の言語を知っている場合、翻訳を実行する際の翻訳者の選択性についてよく言及されます。

これにより、特定の翻訳が検証可能とみなせるかどうかという問題が生じます。この場合、収束する往復翻訳は一種の検証になります。

• 機械翻訳アプリケーションの比較
• 機械翻訳の評価
• 往復翻訳
• 翻訳

• Gimenez, Jesus および Enrique Amigo (2005) IQmt: 機械翻訳評価のためのフレームワーク。
• NIST。機械翻訳システムの年間評価と評価計画。
• Papineni、Kishore、Salim Roukos、Todd Ward、Wei-Jing Zhu。(2002)BLEU: 機械翻訳の自動評価方法。ACL第40回年次会議議事録、2002年7月、pp.311-318。