バイテキスト単語配置

バイテキスト単語アライメントまたは単に単語アライメントは、バイテキスト内の単語（またはまれに複数単語単位）間の翻訳関係を識別する自然言語処理タスクです。その結果、バイテキストの両側の間に二部グラフが生成され、2 つの単語が互いの翻訳である場合にのみ、2 つの単語の間にアークが生成されます。単語アライメントは通常、文アライメントによって互いの翻訳である文のペアが既に識別された後に行われます。

バイテキストの単語アラインメントは、統計的機械翻訳のほとんどの方法にとって重要な補助タスクです。統計的機械翻訳モデルのパラメータは通常、単語がアラインメントされたバイテキストを観察することによって推定されます。^{[1]逆に、自動単語アラインメントは通常、統計的機械翻訳モデルに最も適合するアラインメントを選択することによって行われます。これら 2 つのアイデアを循環的に適用すると、}期待値最大化アルゴリズムの例が得られます。^[2]

このトレーニング方法は教師なし学習の一例であり、システムには望ましい出力の例は与えられず、観測されたバイテキストを最もよく説明する観測されていないモデルとアラインメントの値を見つけようとします。最近の研究では、システムに（通常は少数の）手動でアラインされた文を提示することに依存する教師あり学習法の研究が始まっています。^[3]教師あり学習によって提供される追加情報の利点に加えて、これらのモデルは通常、コンテキスト、統語構造、品詞、翻訳語彙情報など、従来使用されている生成統計モデルに統合するのが難しいデータの多くの特徴を組み合わせて、より簡単に活用することもできます。^[要出典]

機械翻訳システムのトレーニング以外にも、単語アライメントの応用には、翻訳語彙の誘導、単語の意味の発見、単語の意味の曖昧さ解消、言語情報の言語間投影などがあります。

IBMモデル^[4]は、統計的機械翻訳において翻訳モデルとアライメントモデルのトレーニングに使用されています。これらは期待値最大化アルゴリズムの一例です。期待値ステップでは各文内の翻訳確率が計算され、最大化ステップではそれらが全体の翻訳確率に累積されます。特徴:

• IBM モデル 1: 語彙アラインメント確率
• IBM モデル 2: 絶対位置
• IBM モデル 3: 生殖能力 (挿入をサポート)
• IBM モデル 4: 相対的な位置
• IBM モデル 5: 欠陥を修正 (2 つの単語が同じ位置に揃わないようにします)

Vogelら^[5]は、この問題を隠れマルコフモデルにマッピングすることで、語彙翻訳確率と相対的アラインメントを特徴とするアプローチを開発した。状態と観測値はそれぞれソースワードとターゲットワードを表す。遷移確率はアラインメント確率をモデル化する。トレーニングでは、翻訳確率とアラインメント確率は、前方後方アルゴリズムとから取得できる。 ${\displaystyle \gamma_{t}(i)}$${\displaystyle \xi_{t}(i,j)}$

• GIZA++ (GPL に基づくフリーソフトウェア)
  • 最も広く使用されているアライメントツールキット。有名なIBMモデルをさまざまな改良を加えて実装しています。
• Berkeley Word Aligner (GPL に基づく無料ソフトウェア)
  • 合意によるアライメントとアライメントの識別モデルを実装する、広く使用されている別のアライナ
• Nile (GPL に基づくフリーソフトウェア)
  • ソース側とターゲット側の構文情報を使用できる教師あり単語アライナー
• pialign (Common Public License に基づくフリーソフトウェア)
  • ベイズ学習と反転変換文法を使用して単語とフレーズの両方をアラインメントするアライナー
• Natura Alignment Tools (NATools、GPL に基づく無料ソフトウェア)
• UNL アライナー (Creative Commons Attribution 3.0 Unported License に基づく無料ソフトウェア)
• 幾何学的マッピングとアライメント (GMA) (GPL に基づく無料ソフトウェア)
• HunAlign (LGPL-2.1 に基づくフリーソフトウェア)
• Anymalign (GPL に基づくフリーソフトウェア)