ニューラル機械翻訳

ニューラル機械翻訳( NMT ) は、人工ニューラル ネットワークを使用して単語のシーケンスの可能性を予測し、通常は文全体を単一の統合モデルでモデル化する 機械翻訳のアプローチです。

これは現在主流のアプローチであり^{[1] : 293  [2] : 1}、特定の条件下で高リソース言語間の翻訳では、人間の翻訳に匹敵する翻訳を生み出すことができます。^[3]しかし、特に高品質のデータがあまり利用できない言語では^{[4] [5] [1] : 293} 、システムがトレーニングされたデータと翻訳することになっているテキスト間のドメインシフトなど、依然として課題が残っています。 ^{[1] : 293} NMTシステムは、かなり文字通りの翻訳を生み出す傾向があります。^[5]

翻訳タスクでは、ソース言語の文（トークンで構成）をターゲット言語の文（トークンで構成）に翻訳します。ソース トークンとターゲット トークン（単純なイベントでは、特定のゲームの順序で相互に使用されます）はベクトルであるため、数学的に処理できます。 ${\displaystyle \mathbf {x} =x_{1,I}}$${\displaystyle I}$${\displaystyle x_{i}}$${\displaystyle \mathbf {y} =x_{1,J}}$${\displaystyle J}$${\displaystyle x_{j}}$

NMTモデルは、潜在的な翻訳yに確率^{[2] : 5  [6] : 1}を割り当て、次に潜在的な翻訳のサブセットを検索して、最も高い確率を持つものを探します。ほとんどのNMTモデルは自己回帰型です。つまり、各ターゲットトークンの確率を、ソース文と以前に予測されたターゲットトークンの関数としてモデル化します。翻訳全体の確率は、個々の予測トークンの確率の積です。^{[2] : 5  [6] : 2}${\displaystyle P(y|x)}$

$${\displaystyle P(y|x)=\prod _{j=1}^{J}P(y_{j}|y_{1,i-1},\mathbf {x} )}$$

NMTモデルは、この機能をどのように正確にモデル化するかによってそれぞれ異なりますが、大部分はエンコーダー-デコーダーアーキテクチャの何らかのバリエーションを使用します: ^{[6] : 2  [7] : 469}最初にエンコーダーネットワークを使用して処理し、ソース文のベクトルまたは行列表現にエンコードします。次に、デコーダーネットワークを使用して、ソース表現と以前に生成したトークンを考慮して、通常は一度に1つのターゲット単語を生成します。デコーダーが特別な文末トークンを生成するとすぐに、デコード処理は終了します。デコーダーはデコード中に自身の以前の出力を参照するため、このデコードの方法は自己回帰と呼ばれます。 ${\displaystyle P}$${\displaystyle \mathbf {x} }$

1987年、ロバート・B・アレンは、 31語という限られた語彙を持つ自動生成された英語の文章をスペイン語に翻訳するために、フィードフォワードニューラルネットワークの使用を実証しました。この実験では、ネットワークの入力層と出力層のサイズは、それぞれソース言語とターゲット言語の最長の文章にちょうど十分な大きさに選択されました。これは、ネットワークには任意の長さのシーケンスを固定サイズの表現にエンコードするメカニズムがなかったためです。アレンは、要約の中で、ソースをエンコードするためのものとターゲットをデコードするためのものの2つの自動連想モデルを使用する可能性についてもすでに示唆していました。^[8]

ロニー・クリスマンは1991年にアレンの研究を基に、ソース言語とターゲット言語用に別々の再帰的自己連想記憶（RAAM）ネットワーク（ジョーダン・B・ポラック^[9]が開発）を訓練した。各RAAMネットワークは、任意の長さの文を固定サイズの隠れ表現にエンコードし、その表現から元の文を再びデコードするように訓練される。さらに、2つのネットワークは隠れ表現を共有するようにも訓練される。こうすることで、ソースエンコーダーはターゲットデコーダーがデコードできる表現を生成できる。^{[10]フォルカダとエコは1997年にこの手順を簡略化し、彼らが}再帰的ヘテロ連想記憶と呼ぶものでソースエンコーダーとターゲットデコーダーを直接訓練した。^[11]

また1997年には、カスターニョとカサクベルタは、語彙と複雑性が極めて限られた別の機械翻訳タスクにエルマンの再帰型ニューラルネットワークを採用した。 ^{[12] [13]}

これらの初期のアプローチはすでに現代のNMTに似ていましたが、当時の計算リソースは、現実世界のテキストに対する機械翻訳問題の計算複雑さに見合うほど大きなデータセットを処理するには不十分でした。^{[1] : 39  [14] : 2}代わりに、統計的機械翻訳などの他の方法が1990年代と2000年代の最先端技術として登場しました。

統計的機械翻訳が普及していた時代には、いくつかの研究では、統計的機械翻訳のさまざまな部分をニューラル手法で置き換えつつ、それらを結びつけるために対数線形アプローチを使用していました。^{[1] : 39  [2] : 1}たとえば、他の研究者とのさまざまな研究で、ホルガー・シュウェンクは、通常のnグラム言語モデルをニューラルモデルに置き換え、 ^{[15] [16]}フィードフォワードネットワークを使用してフレーズ翻訳確率を推定しました。^[17]

2013 年と 2014 年には、エンドツーエンドのニューラル機械翻訳において、Kalchbrenner と Blunsom が畳み込みニューラル ネットワーク(CNN) を使用してソースをエンコードする画期的な進歩がありました^[18]。また Cho らと Sutskever らは、両者とも代わりに再帰型ニューラルネットワーク(RNN)を使用しました^{[19] 。 [20]} 3 人とも、ソースの固定エンコードを条件とする RNN をデコーダーとして使用して翻訳を生成しました。ただし、これらのモデルは長い文ではパフォーマンスが悪かったです。^{[21] : 107  [1] : 39  [2] : 7}この問題は、Bahdanau らがエンコーダー デコーダー アーキテクチャに注目したときに解決されました。つまり、各デコード ステップで、デコーダーの状態を使用して、ソースのさまざまな部分に焦点を当てたソース表現を計算し、その表現を使用して次のトークンの確率を計算します。^[22]これらのRNNベースのアーキテクチャに基づいて、Baiduは2015年に「最初の大規模NMTシステム」^{[23] : 144を}リリースし、 2016年にはGoogle Neural Machine Translationがそれに続きました。 ^{[23] : 144  [24]}その年から、ニューラルモデルは主要な機械翻訳会議である統計的機械翻訳に関するワークショップでも主流の選択肢となりました。^[25]

Gehringらは2017年にCNNエンコーダーとアテンションメカニズムを組み合わせ、従来のアプローチよりもソース内の長距離依存性をより適切に処理し、また、CNNエンコーダーは並列化可能であるのに対し、RNNエンコーダーは再帰的な性質のため一度に1つのトークンをエンコードする必要があるため、翻訳速度も向上しました。^{[26] ：230}同年、「Microsoft Translator」はAIを搭載したオンラインニューラル機械翻訳（NMT）をリリースしました。^[27] 当時CNNエンコーダーをベースにしていたDeepL Translatorも同年にリリースされ、いくつかの報道機関によって競合他社よりも優れていると評価されました。 ^{[28] [29] [30]また、2020年にリリースされた}OpenAIのGPT-3は、ニューラル機械翻訳システムとして機能できることがわかっています。 Microsoft TranslatorやSYSTRANなど、他の機械翻訳システムも、ニューラルネットワークを操作に統合していることがわかります。

並列化に適した別のネットワークアーキテクチャは、同じく2017年にVaswaniらによって導入されたトランスフォーマーです。 ^[31]以前のモデルと同様に、トランスフォーマーは、デコード手順のエンコーダ出力に重み付けするためにアテンションメカニズムを使用します。ただし、トランスフォーマーのエンコーダネットワークとデコーダネットワーク自体も、再帰や畳み込みではなくアテンションに基づいています。各レイヤーは、自己アテンションと呼ばれるプロセスで、前のレイヤーの出力に重み付けして変換します。アテンションメカニズムにはトークンの順序という概念はありませんが、文中の単語の順序は明らかに関連しているため、トークンの埋め込みは、文中の単語の位置の明示的なエンコードと組み合わされます。^{[2] : 15  [6] : 7}トランスフォーマーのエンコーダとデコーダはどちらも再帰要素がないため、トレーニング中に両方とも並列化できます。ただし、元のトランスフォーマーのデコーダは依然として自己回帰的であるため、推論中に一度に1トークンずつデコードする必要があります。

トランスフォーマーモデルはすぐに機械翻訳システムの主要な選択肢となり^{[2] : 44}、2022年と2023年の統計的機械翻訳ワークショップでは依然として圧倒的に最も多く使用されたアーキテクチャでした。^{[32] : 35–40  [33] : 28–31}

通常、NMTモデルの重みはランダムに初期化され、その後並列データセットでトレーニングすることで学習されます。しかし、大量の単一言語データで事前トレーニングされたBERTなどの大規模言語モデル（LLM）を他のタスクの学習の開始点として使用することは、より広範なNLPで非常に効果的であることが証明されているため、このパラダイムはNMTでもますます普及しつつあります。これは、大規模な並列データセットが存在しない低リソース言語で特に役立ちます。^{[4] : 689–690}その一例がmBARTモデルで、最初に1つのトランスフォーマーを多言語データセットでトレーニングして文中のマスクされたトークンを回復し、次に結果として得られるオートエンコーダを翻訳タスクで微調整します。^[34]

翻訳タスクで事前学習済みの言語モデルを微調整する代わりに、十分に大きな生成モデルに、文を目的の言語に翻訳するよう直接指示することもできます。このアプローチは、2023年にHendyらによってGPT 3.5で初めて包括的にテストおよび評価されました。彼らは、「GPTシステムは、特にリソースの多い言語の翻訳では、ゼロショット設定でも非常に流暢で競争力のある翻訳出力を生成できる」ことを発見しました。 ^{[35] : 22} WMT23は同じアプローチ（ただしGPT-4を使用）を評価し、英語への翻訳では最先端技術と同等であるが、リソースの少ない言語への翻訳ではそうではないことがわかりました。^{[33] : 16–17} GPTモデルは主に英語のテキストでトレーニングされていることを考えると、これはもっともらしいことです。^[36]

NMT は、統計的機械翻訳 (SMT) に存在していたいくつかの課題を克服しました。

• NMTはトークンの連続的な表現に完全に依存しているため、まれな単語やフレーズによって引き起こされるスパース性の問題を克服しました。モデルはより効果的に一般化できるようになりました。^{[18] : 1  [37] : 900–901}
• SMTのnグラム言語モデルで使用されるnグラムの長さが制限されているため、文脈が失われるという問題がありました。NMTシステムは、一定数のトークンの後にハードカットオフを行わず、次のトークンを生成するときにどのトークンに焦点を当てるかを選択することに注意を払うことで、この問題を克服しました。^{[37] : 900–901}
• 単一モデルのエンドツーエンドのトレーニングにより、翻訳パフォーマンスが向上し、プロセス全体が簡素化されました。^[要出典]
• SMTで使用される巨大なnグラムモデル（最大7グラム）は大量のメモリを必要としますが、^{[38] : 88} NMTではそれほど必要ありません。

NMT モデルは通常、トレーニング データを観測する尤度を最大化するようにトレーニングされます。つまり、ソース文と対応するターゲット文のデータセットの場合、目標は、対応するソース文が与えられた場合にトレーニング データ内の各ターゲット文の尤度の合計を最大化するモデル パラメータを見つけることです。 ${\displaystyle T}$${\displaystyle X=\mathbf {x} ^{(1)},...,\mathbf {x} ^{(T)}}$${\displaystyle Y=\mathbf {y} ^{(1)},...,\mathbf {y} ^{(T)}}$${\displaystyle \theta ^{*}}$

$${\displaystyle \theta ^{*}={\underset {\theta }{\operatorname {arg\,max} }}\sum _{i}^{T}P_{\theta }(\mathbf {y} ^ {(i)}|\mathbf {x} ^{(i)})}$$

トークンレベルに拡張すると次のようになります:

$${\displaystyle \theta ^{*}={\underset {\theta }{\operatorname {arg\,max} }}\sum _{i}^{T}\prod _{j=1}^{J^{(i)}}P(y_{j}^{(i)}|y_{1,j-1}^{(i)},\mathbf {x} ^{(i)})}$$

最大値のみに関心があるので、代わりに対数の最大値を検索することもできます (これには、低確率の積で発生する可能性のある浮動小数点アンダーフローを回避できるという利点があります)。

$${\displaystyle \theta ^{*}={\underset {\theta }{\operatorname {arg\,max} }}\sum _{i}^{T}\log \prod _{j=1}^{J^{(i)}}P(y_{j}^{(i)}|y_{1,j-1}^{(i)},\mathbf {x} ^{(i)})}$$

積の対数は因数の対数の合計であるという事実を利用し 、符号を反転すると、古典的なクロスエントロピー損失が得られます。

$${\displaystyle \theta ^{*}={\underset {\theta }{\operatorname {arg\,min} }}-\sum _{i}^{T}\log \sum _{j=1}^{J^{(i)}}P(y_{j}^{(i)}|y_{1,j-1}^{(i)},\mathbf {x} ^{(i)})}$$

実際には、この最小化は、確率的勾配降下法を使用して、トレーニング セットの小さなサブセット (ミニバッチ) に対して反復的に実行されます。

推論中、自己回帰デコーダーは、前のステップで生成されたトークンを入力トークンとして使用します。ただし、ターゲット トークンの語彙は通常非常に大きいです。そのため、トレーニング フェーズの開始時に、トレーニングされていないモデルはほとんどの場合間違ったトークンを選択します。その後のステップでは間違った入力トークンで作業する必要があり、トレーニングが大幅に遅くなります。代わりに、トレーニング フェーズでは教師強制が使用されます。モデル (教師強制のメタファーでは「生徒」) には、前のステップで何を予測したかに関係なく、常に前のグラウンド トゥルース トークンが次のトークンの入力として入力されます。

上の歴史のセクションで概説したように、並列テキストで訓練されたNMTシステムを使用する代わりに、生成LLMにテキストを翻訳させることもできます。これらのモデルは、エンコーダーデコーダーNMTシステムとはいくつかの点で異なります。^{[35] : 1}

• 生成言語モデルは、翻訳タスクで訓練されるのではなく、並列データセットで訓練されるわけでもない。代わりに、大規模なテキストデータセットから抽出されたシーケンス内の次の単語を予測するなど、言語モデリングの目的に基づいて訓練される。このデータセットには多くの言語の文書を含めることができるが、実際には英語のテキストが大部分を占めている。^[36]この事前訓練の後、通常は指示に従うという別のタスクで微調整される。^[39]
• 翻訳のトレーニングは行われていないため、エンコーダー/デコーダー アーキテクチャも備えていません。代わりに、トランスフォーマーのデコーダーのみで構成されています。
• 機械翻訳タスクで競争力を持つためには、LLMは他のNMTシステムよりもはるかに大きくする必要があります。例えば、GPT-3には1750億のパラメータ^{[40] ：5が}ありますが、mBARTには6億8000万^{[34] ：727 があり、オリジナルのTransformer-bigには「たった」2億1300万[31] ：9}しかありません。これは、訓練と使用に計算コストがかかることを意味します。

生成型LLMは、プロンプトにさらなる例を与えずにテキストを別の言語に翻訳するように指示するだけで、ゼロショット方式でプロンプトを出すことができます。または、問題のテキストを翻訳するように指示する前に、プロンプトに1つまたは複数の例の翻訳を含めることもできます。これは、それぞれワンショット学習または数ショット学習と呼ばれます。たとえば、Hendy et al. (2023)は、ゼロショット翻訳とワンショット翻訳に次のプロンプトを使用しました。^[35]

### この文を [ソース言語] から [ターゲット言語] に翻訳します。ソース:
[原文]
### ターゲット:

これを1. [ターゲット言語]に翻訳してください。
[ショット 1 ソース]
1. [ショット1参照]
これを1. [ターゲット言語]に翻訳してください。
[入力]
1.

• Koehn, Philipp (2020)。ニューラル機械翻訳。ケンブリッジ大学出版局。
• Stahlberg, Felix (2020). ニューラル機械翻訳：レビューと調査。

• 注意（機械学習）
• Transformer（機械学習モデル）
• シーケンス2シーケンス