IBMのアライメントモデル

IBMのアライメントモデルは、統計的機械翻訳で使用される、翻訳モデルとアライメントモデルをトレーニングするための、段階的に複雑化する一連のモデルであり、語彙翻訳確率から始まり、並べ替えや単語の重複へと進みます。^{[ 1 ] [ 2 ]}これらのモデルは、1990年代初頭からニューラル機械翻訳が主流になるまでの約20年間、統計的機械翻訳システムの大部分を支えてきました。これらのモデルは、原理に基づいた確率的定式化と（ほとんどの場合）扱いやすい推論を提供します。^{[ 3 ]}

IBMのアライメントモデルは1988年^{[ 4 ]}と1990年^{[ 5 ]}に一部ずつ発表され、シリーズ全体は1993年に発表された^{[ 1 ]。} 1993年の論文の著者は全員、その後ヘッジファンドのルネッサンス・テクノロジーズに移籍した^{[ 6 ]}。

IBMにおける統計的機械翻訳に関する初期の研究では5つのモデルが提案され、その後モデル6が提案された。6つのモデルの順序は以下のように要約できる。

• モデル1：語彙翻訳
• モデル2：追加の絶対位置合わせモデル
• モデル3：追加出生率モデル
• モデル4：相対アライメントモデルを追加
• モデル5：欠陥修正問題。
• モデル6：モデル4とHMMアライメントモデルを対数線形的に組み合わせたもの

IBMのアライメントモデルは、翻訳を条件付き確率モデルとして扱います。各ソース言語（「外国語」）の文について${\displaystyle f}$ターゲット言語（「英語」）の文を生成します。${\displaystyle e}$そしてアライメント${\displaystyle a}$そこで問題となるのは、${\displaystyle p(e,a|f)}$英語の文を生成する確率${\displaystyle e}$そしてアライメント${\displaystyle a}$外国語の判決が下された${\displaystyle f}$。

モデルのバージョン番号が大きくなるにつれて、アライメントの意味はますます複雑になります。最もシンプルで分かりやすいバージョンについては、モデル1を参照してください。

モデル2では、文の長さに応じてアライメントを条件付けることができます。つまり、確率分布があります。${\displaystyle p_{a}(j|i,l_{e},l_{f})}$「英語の単語が${\displaystyle i}$外国語に整列しています${\displaystyle j}$英語の文の長さが${\displaystyle l_{e}}$外国語の文の長さは${\displaystyle l_{f}}$「。

モデル1の残りの部分は変更されていません。それでは、$${\displaystyle p(e,a|f)={1/N}\prod _{i=1}^{l_{e}}t(e_{i}|f_{a(i)})p_{a}(a(i)|i,l_{e},l_{f})}$$EMアルゴリズムは依然として閉形式で解くことができ、以下のアルゴリズムが得られる。$${\displaystyle t(e_{x}|f_{y})\leftarrow {\frac {1}{\lambda _{y}}}\sum _{k,i,j}{\frac {t(e_{i}^{(k)}|f_{j}^{(k)})p_{a}(j|i,l_{e},l_{f})\delta (e_{x},e_{i}^{(k)})\delta (f_{y},f_{j}^{(k)})}{\sum _{j'}t(e_{i}^{(k)}|f_{j'}^{(k)})p_{a}(j'|i,l_{e},l_{f})}}}$$$${\displaystyle p_{a}(j|i,l_{e},l_{f})\leftarrow {\frac {1}{\lambda _{i,l_{e},l_{f}}}}\sum _{k}{\frac {t(e_{i}^{(k)}|f_{j}^{(k)})p_{a}(j|i,l_{e},l_{f})\delta (e_{x},e_{i}^{(k)})\delta (f_{y},f_{j}^{(k)})\delta (l_{e},l_{e}^{(k)})\delta (l_{f},l_{f}^{(k)})}{\sum _{j'}t(e_{i}^{(k)}|f_{j'}^{(k)})p_{a}(j'|i,l_{e},l_{f})}}}$$どこ${\displaystyle \lambda }$これらは依然として正規化係数です。導出とアルゴリズムについては、^{[ 7 ]のセクション4.4.1を参照してください。}

IBMモデル3では、出生率の問題が扱われています。出生率は、以下のように定義される確率分布を用いてモデル化されます。

${\displaystyle n(\phi \lor f)}$

各外国語について${\displaystyle j}$このような分布は、出力単語の数を示しています${\displaystyle \phi }$通常は翻訳されます。このモデルは入力単語の削除に対応しています。${\displaystyle \phi =0}$しかし、単語を追加する際には依然として問題があります。例えば、英語の単語doは否定時に挿入されることがよくあります。この問題は特別なNULLトークンを生成し、その発生率は次のように定義される条件付き分布を使用してモデル化することもできます。

${\displaystyle n(\varnothing \lor NULL)}$

挿入される単語数は文の長さに依存します。そのため、NULLトークンの挿入は追加のステップ、つまり「受精ステップ」としてモデル化されます。これにより、IBM Model 3の翻訳プロセスは4つのステップに増えます。

最後のステップは、異なる方法で同じアライメントで同じ並進を生成することができるため、アライメントではなく歪みと呼ばれます。たとえば、上記の例では、同じアライメントを得る別の方法があります。^{[ 9 ]}

• ja NULL nie pôjde tak do do domu
• 私はその家には行かない
• 私は家には行かない

IBMモデル3は、数学的に次のように表現できます。

${\displaystyle P(S\mid E,A)=\prod _{i=1}^{I}\Phi _{i}!n(\Phi \mid e_{j})*\prod _{j=1}^{J}t(f_{j}\mid e_{a_{j}})*\prod _{j:a(j)\neq 0}^{J}d(j|a_{j},I,J){\binom {J-\Phi _{0}}{\Phi _{0}}}p_{0}^{\Phi _{0}}p_{1}^{J}}$

どこ${\displaystyle \Phi _{i}}$豊穣を表す${\displaystyle e_{i}}$各ソースワード${\displaystyle s}$出生率分布が割り当てられる${\displaystyle n}$、 そして${\displaystyle I}$そして${\displaystyle J}$それぞれ、対象文とソース文の絶対的な長さを指します。^{[ 10 ]}

導出とアルゴリズムについては、^{[ 7 ]}のセクション4.4.2を参照してください。

IBM Model 4 では、各単語は、直前に整列された単語と周囲の単語の品詞に依存します。翻訳中に他の単語よりも頻繁に並べ替えられる単語もあります (例: ポーランド語から英語への翻訳における形容詞と名詞の倒置)。形容詞は、その前に来る名詞の前に移動することがよくあります。Model 4 で導入された品詞クラスは、これらのクラスの確率分布を条件付けることでこの問題を解決します。このような分布の結果が、語彙化されたモデルです。このような分布は次のように定義できます。

ceptの最初の単語について：${\displaystyle d_{1}(j-\odot _{[i-1]}\lor A(f_{[i-1]}),B(e_{j}))}$

その他の言葉については、以下をご覧ください。${\displaystyle d_{1}(j-\pi _{i,k-1}\lor B(e_{j}))}$

どこ${\displaystyle A(f)}$そして${\displaystyle B(e)}$関数は単語をその単語クラスにマッピングし、${\displaystyle e_{j}}$そして${\displaystyle f_{[i-1]}}$これらは単語の歪み確率分布です。この概念は、各入力単語を整列させることによって形成されます。${\displaystyle f_{i}}$少なくとも1つの出力ワードに。^{[ 11 ]}

モデル3とモデル4はどちらも、入力位置が選択されたかどうか、および確率質量が文境界外の入力位置に確保されたかどうかを無視しています。これが、これら2つのモデル（欠陥モデル）ですべての正しいアライメントの確率の合計が1にならない理由です。^{[ 11 ]}

IBM Model 5 は、モデルの欠点を克服するために、より多くのトレーニング パラメータでアライメント モデルを強化することにより、IBM Model 4 を再定式化しています。^{[ 12 ]} Model 3 および Model 4 の翻訳では、既に占有されている位置に出力単語を配置することを禁止するヒューリスティックはありません。Model 5 では、単語を空いている位置にのみ配置することが重要です。これは、空いている位置の数を追跡し、そのような位置にのみ配置を許可することによって行われます。歪みモデルは IBM Model 4 と似ていますが、空いている位置に基づいています。${\displaystyle v_{j}}$は出力の空き位置の数を表し、IBM モデル 5 の歪み確率は次のように定義されます。^{[ 1 ]}

ceptの最初の単語について： ${\displaystyle d_{1}(v_{j}\lor B(e_{j}),v_{\odot i-1},v_{max})}$

その他の言葉については、以下をご覧ください。 ${\displaystyle d_{1}(v_{j}-v_{\pi _{i,k-1}}\lor B(e_{j}),v_{max'})}$

HMMやIBMモデル4および5のような一次依存関係を使用するアライメントモデルは、他のアライメント方法よりも優れた結果を生み出します。HMMの主なアイデアは、連続するソース言語の位置間の距離を予測することです。一方、IBMモデル4は、連続するターゲット言語の位置間の距離を予測しようとします。このような両方のタイプの依存関係を使用すると、より良いアライメント品質が得られると予想されたため、HMMとモデル4は、モデル6で次のように対数線形的に組み合わされました。^{[ 13 ]}

${\displaystyle p_{6}(f,a\lor e)={\frac {p_{4}(f,a\lor e)^{\alpha }*p_{HMM}(f,a\lor e)}{\sum _{a',f'}p_{4}(f',a'\lor e)^{\alpha }*p_{HMM}(f',a'\lor e)}}}$

ここで、補間パラメータは${\displaystyle \alpha }$は、隠れマルコフモデルに対するモデル4の重みを計算するために使用されます。複数のモデルの対数線形結合は次のように定義できます。${\displaystyle p_{k}(f,a\mid e)}$と${\displaystyle k=1,2,\dotsc ,K}$として：

${\displaystyle p_{6}(f,a\lor e)={\frac {\prod _{k=1}^{K}p_{k}(f,a\lor e)^{\alpha _{k}}}{\sum _{a',f'}\prod _{k=1}^{K}p_{k}(f',a'\mid e)^{\alpha _{k}}}}}$

対数線形結合は、線形結合の代わりに使用されます。${\displaystyle P_{r}(f,a\mid e)}$HMMとIBMモデル4では、値は通常、桁違いに異なります。^{[ 14 ]}

• Knight, Kevin (1997-12-15). "機械翻訳のための知識獲得の自動化" . AI Magazine . 18 (4): 81. doi : 10.1609/aimag.v18i4.1323 . ISSN 2371-9621 . 
• Knight, Kevin. 「統計的MTチュートリアルワークブック」。1999年JHUサマーワークショップ用に作成。1999年。