機械翻訳の評価

機械翻訳の評価 にはさまざまな方法が採用されています。この記事では、パフォーマンスやユーザビリティの評価ではなく、 機械翻訳の出力の評価に焦点を当てています。

素人が機械翻訳の品質を評価する一般的な方法は、同じエンジンを使用して、ソース言語からターゲット言語に翻訳し、ソース言語に戻すことです。直感的にはこれは良い評価方法のように思えますが、往復翻訳は「品質の予測には不向き」であることがわかっています。^{[1]往復翻訳が品質の予測にそれほど不向きな理由は、かなり直感的です。往復翻訳では、1 つのシステムではなく、ターゲット言語}に翻訳するエンジンの言語ペアと、ターゲット言語 から逆翻訳する言語ペアの 2 つのシステムをテストします。

Somers (2005) による 英語からイタリア語とポルトガル語への往復翻訳の次の例を考えてみましょう。

最初の例では、テキストがイタリア語に翻訳されてから英語に戻されていますが、英語のテキストは著しく文字化けしていますが、イタリア語の翻訳は問題なく機能しています。2 番目の例では、英語に翻訳されたテキストは完璧ですが、ポルトガル語の翻訳は意味をなしません。プログラムは、「tit」がtit (鳥)を指していると認識しましたが、これは「tat」を意味するはずで、この単語は理解できませんでした。

往復翻訳は「余剰の楽しみ」を生み出すのに役立つかもしれないが、^[2]その方法論は機械翻訳の品質を真剣に研究するには不十分である。

このセクションでは、この分野に大きな影響を与えた2つの大規模な評価研究、ALPAC 1966研究とARPA研究について説明します。^[3]

ALPAC レポートの構成要素の 1 つは、人間を審査員として使い、人間による翻訳と機械翻訳の出力のさまざまなレベルを比較する調査でした。人間の審査員は、この目的のために特別に訓練されました。評価調査では、ロシア語から英語に翻訳する MT システムと人間の翻訳者を 2 つの変数で比較しました。

研究された変数は「明瞭度」と「忠実度」である。明瞭度は文章がどれだけ「理解しやすい」かを示す尺度であり、1～9の尺度で測定された。忠実度は翻訳された文章が元の文章と比較してどれだけ多くの情報を保持しているかを示す尺度であり、0～9の尺度で測定された。尺度の各ポイントはテキストによる説明と関連していた。たとえば、明瞭度尺度の3は「一般的には理解不能。意味不明に読める傾向があるが、かなりの量の熟考と研究により、少なくとも文章が意図する考えを推測することができる」と説明された。^[4]

理解度は原文を参照せずに測定され、忠実度は間接的に測定されました。翻訳された文章が提示され、それを読んで内容を理解した後、原文が提示されました。審査員は原文の情報量を評価するよう求められました。したがって、原文の情報量が多ければ多いほど、翻訳の品質は低くなります。

研究では、人間の判断を文ごとに平均すると、変数の相関性が高いことが示されました。評価者間の差異は小さいものでしたが、研究者は少なくとも 3 人または 4 人の評価者を使うことを推奨しました。この評価方法により、人間による翻訳と機械による翻訳を簡単に区別することができました。

この研究は、「人間による翻訳と機械による翻訳の品質について、信頼性の高い評価を行うことができる」と結論付けている。^[4]

人間言語技術プログラムの一環として、高等研究計画局(ARPA) は機械翻訳システムを評価する方法論を作成し、この方法論に基づいて評価を続けています。評価プログラムは 1991 年に開始され、現在も継続しています。プログラムの詳細については、White ら (1994) および White (1995) を参照してください。

評価プログラムには、統計的、ルールベース、人間支援など、さまざまな理論的アプローチに基づく複数のシステムのテストが含まれていました。これらのシステムの出力を評価するためのさまざまな方法が 1992 年にテストされ、最新の適切な方法がその後のプログラムに組み込むために選択されました。その方法は、理解度評価、品質パネル評価、適切性と流暢さに基づく評価でした。

理解度評価は、Church ら (1993) と同様に、多肢選択式理解度テストの結果に基づいてシステムを直接比較することを目的としました。選択されたテキストは、金融ニュースを題材とした英語の記事のセットでした。これらの記事は、プロの翻訳者によって一連の言語ペアに翻訳され、その後、機械翻訳システムを使用して英語に再翻訳されました。これは、システムを比較するスタンドアロンの方法としては不十分であると判断され、英語からの翻訳プロセスで意味が変化する問題のため、放棄されました。

品質パネル評価の考え方は、プロの翻訳者である英語を母国語とする専門家のパネルに翻訳を提出し、評価してもらうというものでした。評価は、人間の翻訳を評価するために使用されている米国政府の標準指標をモデルにした指標に基づいて行われました。この指標は機械翻訳専用に開発されたものではないため、「外部から動機付けられた」という観点からは良いことでした。 ^[3]しかし、品質パネル評価は、ロジスティック的に設定するのが非常に困難でした。1週間以上、数名の専門家を一箇所に集め、さらに合意に達する必要があったためです。この方法も廃止されました。

理解度評価の修正版 (情報量評価として再設計) とともに、最もよく使われた方法は、文書のセグメントについて単一言語の審査員から評価を得ることでした。審査員はセグメントを提示され、適切性と流暢性の 2 つの変数について評価するように求められました。適切性は、原文と翻訳の間でどれだけの情報が伝達されているかの評価であり、流暢性は英語がどれだけ優れているかの評価です。この手法は、品質パネル評価の関連部分をカバーし、専門家の判断を必要としないため、より簡単に導入できることが分かりました。

適切性と流暢性、そして情報量に基づいた測定システムは、現在ARPA評価プログラムの標準的な方法論となっている。^[5]

この記事の文脈では、メトリックとは測定基準のことです。機械翻訳の出力を評価するメトリックは、出力の品質を表します。翻訳の品質は本質的に主観的なものであり、客観的または定量化可能な「良」というものはありません。したがって、メトリックは、人間の品質判断と相関するように品質スコアを割り当てる必要があります。つまり、メトリックは、人間が高く評価する翻訳には高いスコアを付け、人間が低いスコアを付けた翻訳には低いスコアを付ける必要があります。人間はあらゆる翻訳出力のエンドユーザーであるため、人間の判断が自動メトリックを評価するためのベンチマークとなります。

メトリクスの評価基準は、人間の判断との相関です。これは通常、2 つのレベルで行われます。1 つは文レベルで、翻訳された文のセットに対してメトリクスによってスコアが計算され、同じ文に対する人間の判断と相関がとられます。もう 1 つはコーパス レベルで、文のスコアが人間の判断とメトリクスによる判断の両方で集計され、これらの集計スコアが相関がとられます。文レベルの相関の数値が報告されることはほとんどありませんが、Banerjee ら (2005) は、少なくとも彼らのメトリクスでは、文レベルの相関はコーパス レベルの相関よりも大幅に悪いことを示す相関数値を示しています。

広く報告されていないが、テキストのジャンルまたはドメインは、メトリクスを使用するときに得られる相関関係に影響を与えることが指摘されている。Coughlin (2003) は、限定されたドメインのテキストで作業する場合、候補テキストを単一の参照翻訳と比較しても、メトリクスの相関関係に悪影響は及ばないと報告している。

あるコーパスに関するある調査で、あるメトリックが人間の判断とよく相関していたとしても、この良好な相関関係が別のコーパスに引き継がれるとは限りません。テキストの種類やドメイン全体にわたってメトリックのパフォーマンスが優れていることは、メトリックの再利用性にとって重要です。特定のドメインのテキストにのみ機能するメトリックは便利ですが、多くのドメインにわたって機能するメトリックほど便利ではありません。新しい評価やドメインごとに新しいメトリックを作成することは望ましくないためです。

評価指標の有用性におけるもう 1 つの重要な要素は、候補文と参照翻訳という少量のデータを扱う場合でも良好な相関関係があることです。Turian ら (2003) は、「MT 評価指標はどれも短い翻訳では信頼性が低くなる」と指摘し、データ量を増やすと指標の信頼性が向上することを示しています。ただし、同氏は「... 1 文または 1 フレーズのような短いテキストでの信頼性は非常に望ましい。信頼性の高い MT 評価指標は探索的データ分析を大幅に加速できるからである」と付け加えています。^[6]

Banerjee ら (2005) は、優れた自動メトリックが備えていなければならない 5 つの属性として、相関、感度、一貫性、信頼性、一般性を挙げています。優れたメトリックは、人間の判断と高い相関性があり、一貫性があり、同様のテキストに対して同じ MT システムと同様の結果を出す必要があります。また、MT システム間の違いに敏感で、同様のスコアを出す MT システムは同様のパフォーマンスを示すと期待される点で信頼性が高くなければなりません。最後に、メトリックは汎用性、つまりさまざまなテキスト ドメイン、幅広いシナリオ、MT タスクで機能する必要があります。

このサブセクションの目的は、機械翻訳を評価するための自動メトリクスの最新動向の概要を示すことです。^[7]

BLEU は、人間の品質判断と高い相関関係にあることを報告した最初の指標の 1 つです。この指標は現在、この分野で最も人気のある指標の 1 つです。この指標の背後にある中心的な考え方は、「機械翻訳がプロの人間の翻訳に近いほど、優れている」というものです。^[8]この指標は、個々のセグメント (通常は文) のスコアを計算し、これらのスコアをコーパス全体で平均して最終スコアを算出します。コーパス レベルでは、人間の品質判断と高い相関関係にあることが示されています。^[9]

BLEUは、候補翻訳を複数の参照翻訳と比較するために、修正された精度を使用します。機械翻訳システムは参照テキストに現れるよりも多くの単語を生成することが知られているため、この指標は単純な精度を修正します。言語ペア間の人間の判断との相関関係に関して、BLEUを大幅に上回る機械翻訳指標はまだありません。^[10]

NIST メトリックは、BLEUメトリックに基づいていますが、いくつかの変更が加えられています。BLEUは、n-gram の精度を計算し、それぞれに等しい重みを加算するだけですが、NIST は特定のn-gram がどの程度有益であるかも計算します。つまり、正しいn-gramが見つかった場合、その n-gram がまれであるほど、重みが高くなります。^[11]たとえば、バイグラム「on the」が正しく一致する場合、バイグラム「interesting computings」の正しい一致よりも重みが低くなります。これは、このようなことが起こる可能性が低いためです。NIST は、翻訳の長さの小さな変化が全体のスコアにそれほど影響を与えないという点で、簡潔さのペナルティの計算においてもBLEUとは異なります。

単語エラー率 (WER) は、レーベンシュタイン距離に基づく指標です。レーベンシュタイン距離は文字レベルで機能し、WER は単語レベルで機能します。これはもともと音声認識システムのパフォーマンスを測定するために使用されていましたが、機械翻訳の評価にも使用されます。この指標は、機械翻訳されたテキストと参照翻訳の間で異なる単語の数を計算することに基づいています。

関連する指標として、位置に依存しない単語エラー率 (PER) があります。これにより、翻訳されたテキストと参照翻訳の間で単語や単語のシーケンスの順序を変更できます。

METEOR メトリックは、BLEU メトリックに固有の欠陥のいくつかに対処するために設計されています。このメトリックは、ユニグラム精度とユニグラム再現率の加重調和平均に基づいています。このメトリックは、評価メトリックにおける再現率の重要性に関する Lavie (2004) の研究に基づいて設計されました。彼らの研究では、再現率に基づくメトリックは、精度のみに基づくメトリックよりも一貫して高い相関関係を達成していることが示されました (BLEU および NIST を参照)。^[12]

METEOR には、同義語マッチングなど、他のメトリックにはない機能もいくつか含まれています。同義語マッチングでは、正確な単語の形式だけでなく、メトリックは同義語にも一致します。たとえば、参照の単語「good」が翻訳では「well」と表現されている場合は、一致としてカウントされます。メトリックには、単語を見出し語化し、見出し語化された形式で一致させるステマーも含まれています。メトリックの実装は、単語を一致させるアルゴリズムがモジュールとして実装されている限りモジュール式であり、異なる一致戦略を実装する新しいモジュールを簡単に追加できます。

新しいMT評価メトリックLEPORは、既存の評価要素（精度、再現率）と修正された評価要素（文長ペナルティとnグラムベースの語順ペナルティ）の組み合わせとして提案されました。実験は、英語からその他（スペイン語、フランス語、ドイツ語、チェコ語）とその逆を含むACL-WMT2011の8つの言語ペアでテストされ、LEPORは、BLEU、Meteor-1.3、TER、AMBER、MP4IBM1などのいくつかの既存のメトリックよりも、人間の判断とシステムレベルの相関が高いことが示されました。^[13] LEPORメトリックの拡張バージョンであるhLEPORが論文で紹介されています。^[14] hLEPORは調和平均を利用して、設計されたメトリックのサブファクターを組み合わせます。さらに、異なる言語ペアに応じてサブファクターの重みを調整するための一連のパラメーターを設計しています。 ACL-WMT13メトリクス共有タスク^[15]の結果によると、hLEPORは英語とロシア語の言語ペアで人間の判断とのピアソン相関スコアが最も高く、さらに5つの言語ペア（英語とドイツ語、フランス語、スペイン語、チェコ語、ロシア語）で平均スコアが最も高かった。WMT13メトリクスタスクの詳細な結果は論文で紹介されている。^[16]

機械翻訳の評価に関する調査研究がいくつかあり、^{[17] [18] [19]、}そこでは、明瞭度、忠実度、流暢さ、適切さ、理解度、有益性など、どのような種類の人間による評価方法が使用され、どのように機能するかについて、より詳細に紹介されています。自動評価については、語彙の類似性の方法、言語的特徴の適用、およびこれら2つの側面のサブフィールドなどの明確な分類も行われています。たとえば、語彙の類似性の場合、編集距離、精度、再現率、語順が含まれ、言語的特徴の場合は、それぞれ統語的特徴と意味的特徴に分かれています。手動と自動の翻訳評価に関する最先端の概要^[20]では、クラウドソーシングインテリジェンスAmazon Mechanical Turkの活用、統計的有意性検定、新しく設計された戦略による従来の基準の再検討、MTに関する年次ワークショップ（WMT） ^{[21]からのMT品質推定（QE）共有タスク、および人間が提供する参照}翻訳に依存しない対応モデルなど、最近開発された翻訳品質評価（TQA）方法論が紹介されました。

• 機械翻訳アプリケーションの比較
• 機械翻訳ソフトウェアの使いやすさ

• 機械翻訳アーカイブ: 件名索引: 2000 年以降の出版物 2010 年 2 月 6 日にWayback Machineにアーカイブ(評価サブ見出しを参照)
• 機械翻訳アーカイブ: 件名索引: 2000 年以前の出版物 2009 年 6 月 21 日にWayback Machineにアーカイブされました(評価サブ見出しを参照)
• 機械翻訳の評価: 調査: 2015 年までの出版物

• アジアオンラインランゲージスタジオ - BLEU、TER、F-Measure、METEORをサポート
• ブルー
• F値
• NIST
• 流星
• テル
• テルプ
• レポル
• ヘレポル
• KantanAnalytics - セグメントレベルのMT品質推定