統計的機械翻訳

統計的機械翻訳( SMT ) は、機械翻訳のアプローチであり、すべての言語ルールを明示的に記述する必要があり、コストがかかり、他の言語に一般化されないことが多かったため、以前のルールベースのアプローチに取って代わられました。2003 年以降、統計的アプローチ自体は、ディープラーニングベースのニューラル機械翻訳に徐々に取って代わられてきました。

統計的機械翻訳の最初のアイデアは、1949年にウォーレン・ウィーバーによって導入されました^{[1] 。これには、}クロード・シャノンの情報理論を適用するというアイデアも含まれています。統計的機械翻訳は、1980年代後半から1990年代初頭にかけて、IBMのトーマス・J・ワトソン研究センターの研究者によって再導入されました^{[2] [3] [4]}

統計的機械翻訳の背後にある考え方は、情報理論に由来しています。文書は、ターゲット言語 (たとえば、英語) の文字列がソース言語 (たとえば、フランス語) の文字列の翻訳であるという確率 分布に従って翻訳されます。 ${\displaystyle p(e|f)}$${\displaystyle e}$${\displaystyle f}$

確率分布をモデル化する問題は、さまざまな方法でアプローチされてきました。コンピュータ実装に適したアプローチの 1 つは、ベイズの定理を適用することです。つまり、 です。ここで、翻訳モデルはソース文字列がターゲット文字列の翻訳である確率であり、言語モデルはそのターゲット言語文字列が表示される確率です。この分解は、問題を 2 つのサブ問題に分割するため魅力的です。最適な翻訳を見つけるには、最も高い確率を与える翻訳を選択します。 ${\displaystyle p(e|f)}$${\displaystyle p(e|f)\propto p(f|e)p(e)}$${\displaystyle p(f|e)}$ ${\displaystyle p(e)}$${\displaystyle {\tilde {e}}}$

${\displaystyle {\チルダ {e}}=arg\max _{e\in e^{*}}p(e|f)=arg\max _{e\in e^{*}}p(f| e)p(e)}$。

これを厳密に実装するには、母国語のすべての文字列を徹底的に検索する必要があります。検索を効率的に実行するのは、外国語の文字列、ヒューリスティック、その他の方法を使用して検索スペースを制限し、同時に許容できる品質を維持する機械翻訳デコーダーの仕事です。品質と時間の使用のこのトレードオフは、音声認識にも見られます。 ${\displaystyle e^{*}}$

翻訳システムはすべてのネイティブ文字列とその翻訳を保存できなかったため、文書は通常、文ごとに翻訳されていましたが、それでも十分ではありませんでした。言語モデルは通常、平滑化されたnグラムモデルによって近似され、同様のアプローチが翻訳モデルにも適用されていましたが、言語によって文の長さや語順が異なるため、複雑さが増していました。

統計的翻訳モデルは当初は単語ベース（モデル1～5はStephan VogelのIBM 隠れマルコフモデル^[5]、モデル6はFranz-Joseph Ochのモデル^{[6] ）であったが、}フレーズベースのモデルの導入により大きな進歩があった。 ^[7] その後の研究では統語構造や準統語構造が取り入れられた。^[8]

ルールベースのアプローチに対する統計的機械翻訳 (SMT) の利点として ^最も頻繁に挙げられるものは^{次のとおりです。}

• 人的資源とデータ資源のより効率的な活用
  • 機械可読形式の並列コーパスが多数あり、単一言語のデータもさらに多くありました。
  • 一般的に、SMT システムは特定の言語ペアに合わせて調整されていません。
• 言語モデルの使用により、より流暢な翻訳が可能

• コーパスの作成にはコストがかかる場合があります。
• 特定のエラーを予測して修正するのは困難です。
• 翻訳結果には表面的な流暢さが見られ、翻訳上の問題が隠れてしまうことがある。^[9]
• 統計的機械翻訳は通常、語順が大きく異なる言語ペアではうまく機能しません。
• 西ヨーロッパ言語間の翻訳で得られた利点は、トレーニングコーパスが小さく、文法上の違いが大きいため、他の言語ペアの結果を代表するものではありません。

フレーズベースの翻訳では、長さが異なる可能性のある単語のシーケンス全体を翻訳することで、単語ベースの翻訳の制限を減らすことを目指しました。単語のシーケンスはブロックまたはフレーズと呼ばれていましたが、通常は言語フレーズではなく、コーパスから統計的手法を使用して見つかったフレーズでした。フレーズを言語フレーズ（統語的に動機付けられた単語のグループ、統語カテゴリを参照）に制限すると、翻訳の品質が低下することが示されています。 ^[10]

選択されたフレーズは、フレーズ翻訳テーブルに基づいて1対1でマッピングされ、並べ替えることができました。このテーブルは、単語のアライメントに基づいて学習することも、並列コーパスから直接学習することもできます。2番目のモデルは、単語ベースのIBMモデルと同様に、期待値最大化アルゴリズムを使用してトレーニングされました。^[11]

構文ベースの翻訳は、フレーズベースのMTのように単語や単語の列を翻訳するのではなく、構文単位、つまり文や発話の（部分的な）構文木を翻訳するというアイデアに基づいていました。^[12] 1990年代に強力な確率的パーサーが登場するまで、古い構文ベースの翻訳の考え方の統計的対応物は普及しませんでした。このアプローチの例には、DOPベースのMTや、その後の同期文脈自由文法などがあります。

階層的フレーズベース翻訳は、フレーズベースと構文ベースの翻訳アプローチを組み合わせたものである。同期文脈自由文法規則を使用するが、文法は言語的に動機付けられた構文構成要素を参照せずにフレーズベース翻訳の方法を拡張することで構築できる。このアイデアは、ChiangのHieroシステム（2005）で初めて導入された。^[8]

統計的機械翻訳では解決できなかった問題には以下が含まれます。

並列コーパスでは、ある言語の単一の文が他の言語の複数の文に翻訳されていることがあり、その逆も同様です。^[12]長い文は分割され、短い文は結合されることがあります。文の終わ​​りが明確に示されない表記体系を使用する言語さえあります（たとえば、タイ語）。文のアラインメントは、Gale-Churchアラインメントアルゴリズムを使用して実行できます。このアルゴリズムやその他の数学モデルを使用すると、最もスコアの高い文のアラインメントを効率的に検索して取得できます。

文のアラインメントは通常、コーパスによって提供されるか、前述のGale-Church アラインメント アルゴリズムによって取得されます。ただし、たとえば翻訳モデルを学習するには、ソースとターゲットの文のペアでどの単語がアラインメントされているかを知る必要があります。IBMモデルまたはHMM アプローチは、この課題を解決するための試みでした。

統計モデルにとって、対象言語に明確な同義語がない機能語も課題だった。たとえば、英語からドイツ語に翻訳する場合、「ジョンはここに住んでいない」という文の「does」という単語は、「ジョンはここに住んでいない」という翻訳文では明確に対応していない。論理的推論により、「wohnt」（英語では「live」という単語の文法情報を含んでいるため）または「nicht」（否定形になっているため文中にのみ現れるため）という単語と対応している場合もあれば、対応していない場合もある。^[11]

このような異常の一例としては、トレーニング セットに「パリ行きの電車」が統計的に多かったために、「ベルリン行きの電車に乗りました」が「パリ行きの電車に乗りました」と誤訳されたことが挙げられます。

使用するコーパスによっては、慣用句や言語的レジスターの使用により、元の意図を正確に表す翻訳が得られない場合があります。たとえば、人気のあるカナダのハンサードバイリンガルコーパスは主に議会のスピーチの例で構成されており、「Hear, Hear!」は「Bravo!」と頻繁に関連付けられています。このコーパスに基づいて構築されたモデルを使用して会話レジスターの通常のスピーチを翻訳すると、hearという単語がBravo!と誤って翻訳されることになります。 ^[13]

この問題は単語の整列と関係があり、非常に特殊な文脈では、慣用表現が単語と整列し、その結果、ターゲット言語で同じ意味の慣用表現が生成される。しかし、整列は通常他の文脈では機能しないため、これは起こりにくい。そのため、慣用句は意味を失うことなくさらに分解することができないため、句整列のみの対象となった。この問題は単語ベースの翻訳に特有のものであった。^[11]

言語によって語順は異なります。文中の主語 (S)、動詞 (V)、目的語 (O) の一般的な順序を挙げることである程度の分類ができ、たとえば SVO 言語や VSO 言語について話すことができます。語順には他にも違いがあり、たとえば名詞の修飾語の位置や、同じ単語が疑問文や陳述文として使用される場所などにも違いがあります。

音声認識では、音声信号とそれに対応するテキスト表現をブロック単位で順番にマッピングできます。ただし、2 つの言語で同じテキストを扱う場合は必ずしもそうとは限りません。SMT の場合、機械翻訳では小さな単語のシーケンスしか処理できないため、語順はプログラム設計者が考える必要があります。解決策の試みには、並べ替えモデルが含まれます。このモデルでは、各翻訳項目の位置変更の分布が、整列されたバイテキストから推測されます。言語モデルを使用して、さまざまな位置変更をランク付けし、最適なものを選択できます。

SMT システムは通常、異なる語形を互いに関係のない別々の記号として保存するため、トレーニング データに含まれていない語形やフレーズは翻訳できません。これは、トレーニング データが不足しているか、システムが使用される人間の領域での変化、または形態の違いが原因である可能性があります。

• 統計的自然言語処理リソースの注釈付きリスト - 無料で利用できる統計的機械翻訳ソフトウェアへのリンクが含まれています