Seq2seq

seq2seq の起源として引用されている論文の 1 つは (Sutskever et al 2014) ^{[ 1 ]}で、Google の機械翻訳プロジェクトに参加していたときに Google Brain で発表されました。この研究により、Google は2016 年にGoogle 翻訳をGoogle ニューラル機械翻訳に刷新することができました。^{[ 1 ] [ 9 ]} Tomáš Mikolov氏は、 ( Google Brainに参加する前に) 「文のペアにニューラル言語モデルを使用し、最初の文を見た後に翻訳を生成する」というアイデアを開発したと主張しており、これは seq2seq 機械翻訳と同じものだとしています。また、このアイデアをIlya Sutskever 氏とQuoc Le氏(Google Brain に在籍中) に伝えたが、彼らは論文で彼に言及しなかったと述べています。^{[ 10 ]} Mikolov 氏は博士論文で RNNLM (言語モデリングに RNN を使用) に取り組んでおり、^{[ 11 ]} word2vecの開発でより有名です。

エンコーダは、入力シーケンスを処理し、その重要な情報をキャプチャする役割を担います。キャプチャされた情報は、ネットワークの隠れ状態として、また、アテンション機構を備えたモデルではコンテキストベクトルとして保存されます。コンテキストベクトルは、入力の隠れ状態の重み付き和であり、出力シーケンスの各時間インスタンスごとに生成されます。

デコーダはエンコーダからコンテキストベクトルと隠れ状態を受け取り、最終的な出力シーケンスを生成します。デコーダは自己回帰的に動作し、出力シーケンスの要素を一度に1つずつ生成します。各ステップにおいて、デコーダは以前に生成された要素、コンテキストベクトル、および入力シーケンス情報を考慮して、出力シーケンスの次の要素を予測します。具体的には、アテンション機構を備えたモデルでは、コンテキストベクトルと隠れ状態が連結されてアテンション隠れベクトルが生成され、これがデコーダへの入力として使用されます。

2010年代初頭に開発されたseq2seqメソッドは、2つのニューラルネットワークを使用します。エンコーダーネットワークは入力文を数値ベクトルに変換し、デコーダーネットワークはそのベクトルをターゲット言語の文に変換します。2014年にこの構造にアテンション機構が組み込まれ、以下に示します。その後、2017年にはエンコーダー・デコーダー型のTransformerアーキテクチャへと改良されました。

学習と予測には微妙な違いがあります。学習時には、入力シーケンスと出力シーケンスの両方が既知です。一方、予測時には、入力シーケンスのみが既知であり、出力シーケンスはネットワーク自身によってデコードされる必要があります。

具体的には、入力シーケンスを考えてみましょう。${\displaystyle x_{1:n}}$出力シーケンス${\displaystyle y_{1:m}}$エンコーダは入力を処理する${\displaystyle x_{1:n}}$段階的に。その後、デコーダはエンコーダからの出力と<bos>を入力として受け取り、予測を生成します。$\displaystyle {\hat {y}}_{1}}$さて、問題は、次のステップでデコーダーに何を入力すべきかということです。

標準的なトレーニング方法は「ティーチャーフォーシング」です。ティーチャーフォーシングでは、デコーダーが何を出力しても、デコーダーへの次の入力は常に参照です。つまり、たとえ${\displaystyle {\hat {y}}_{1}\neq y_{1}}$デコーダーへの次の入力はまだ$\displaystyle y_1}}$、 等々。

予測時間中、「先生」${\displaystyle y_{1:m}}$利用できない。したがって、デコーダへの入力は$\displaystyle {\hat {y}}_{1}}$、 それから$\displaystyle {\hat {y}}_{2}}$、 等々。

モデルが教師強制のみでトレーニングされた場合、モデル自身の出力に基づく生成と教師の出力に基づく生成が異なるため、予測時にその性能が低下することがわかっています。これは露出バイアスまたはトレーニング/テスト分布シフトと呼ばれます。2015年の論文では、トレーニング中に教師強制と教師強制なしをランダムに切り替えることを推奨しています。^{[ 13 ]}

アテンションメカニズムは、Bahdanau らが 2014 年に導入した機能強化で、入力シーケンスが長くなるとエンコーダの隠れ状態出力がデコーダにとって無関係になるという基本的な Seq2Seq アーキテクチャの制限に対処するものです。これにより、モデルはデコード処理中に入力シーケンスの異なる部分に選択的に焦点を合わせることができます。各デコーダステップで、アライメントモデルは、現在のデコーダ状態とすべてのアテンション隠れベクトルを入力として使用してアテンションスコアを計算します。アライメントモデルは、隠れ状態で表される入力が、アテンション隠れ状態で表される以前の出力とどの程度一致するかを計算するために seq2seq モデルと共同でトレーニングされる別のニューラルネットワークモデルです。次に、アテンションスコアにソフトマックス関数を適用してアテンション重みを取得します。

一部のモデルでは、エンコーダーの状態が直接活性化関数に入力されるため、アライメントモデルは不要になります。活性化関数は、デコーダーの状態とエンコーダーの状態をそれぞれ1つずつ受け取り、それらの関連性を示すスカラー値を返します。

seq2seq言語の英語からフランス語への翻訳タスクを考えてみましょう。具体的には、「the zone of international control <end>」を「la zone de contrôle international <end>」に翻訳する場合を考えます。ここでは、エンコーダーとデコーダーの両方で入力の終わりを区切る制御文字として、特別なトークン<end>を使用します。

テキストの入力シーケンス${\displaystyle x_{0},x_{1},\dots }$ニューラルネットワーク（LSTM、Transformerエンコーダー、またはその他のネットワーク）によって処理され、実数値ベクトルのシーケンスに変換される。${\displaystyle h_{0},h_{1},\dots }$、 どこ${\displaystyle h}$「隠れベクトル」の略です。

エンコーダの処理が完了すると、デコーダは隠れベクトルに対して動作を開始し、出力シーケンスを生成します。${\displaystyle y_{0},y_{1},\dots }$自己回帰的である。つまり、エンコーダによって生成された隠れベクトルと、デコーダ自身が以前に生成したものの両方を入力として受け取り、次の出力ワードを生成する。

1. （${\displaystyle h_{0},h_{1},\dots }$, "<start>") → "la"
2. （${\displaystyle h_{0},h_{1},\dots }$, "<start> la") → "la zone"
3. （${\displaystyle h_{0},h_{1},\dots }$, "<開始> ラゾーン") → "ラゾーンデ"
4. ...
5. （${\displaystyle h_{0},h_{1},\dots }$, "<開始> インターナショナル ゾーン ド コントロール") → "インターナショナル ゾーン コントロール <終了>"

ここでは、デコーダへの入力の開始を区切る制御文字として、特別なトークン「<start>」を使用します。デコーダの出力に「<end>」が現れると、デコード処理は終了します。

重みを手作業で作成することは機械学習の目的を損なうため、モデルはアテンション重みを独自に計算する必要があります。データベースクエリの言語から類推して、モデルにキー、クエリ、値の3つのベクトルを構築させます。大まかな考え方としては、キーと値のペアのリストの形式で「データベース」があるとします。デコーダはクエリを送信し、値の重み付き合計の形式で応答を受け取ります。ここで、重みはクエリが各キーにどれだけ似ているかに比例します。

デコーダはまず「<start>」入力を部分的に処理して中間ベクトルを取得します。${\displaystyle h_{0}^{d}}$デコーダの0番目の隠れベクトル。次に、中間ベクトルは線形マップによって変換されます。${\displaystyle W^{Q}}$クエリベクトルに${\displaystyle q_{0}=h_{0}^{d}W^{Q}}$一方、エンコーダから出力される隠れベクトルは、別の線形マップによって変換される。${\displaystyle W^{K}}$主要ベクトルへ${\displaystyle k_{0}=h_{0}W^{K},k_{1}=h_{1}W^{K},\dots }$線形マップは、モデルがデータを表現する最適な方法を見つけるための十分な自由度を与えるのに役立ちます。

次に、クエリとキーを内積によって比較します。${\displaystyle q_{0}k_{0}^{T},q_{0}k_{1}^{T},\dots }$理想的には、モデルは次のようなキーと値を計算することを学習しているはずです。$\displaystyle q_{0}k_{0}^{T}}$大きい、$\displaystyle q_{0}k_{1}^{T}}$は小さく、残りは非常に小さい。これは、アテンション重みはエンコーダーの0番目の隠れベクトルに大部分適用され、1番目には少し適用され、残りにはほとんど適用されないと解釈できる。

適切な重み付き和を作成するために、このドット積のリストを確率分布に変換する必要があります。${\displaystyle 0,1,\dots }$これはソフトマックス関数によって実現でき、それによってアテンション重みが得られます。$${\displaystyle (w_{00},w_{01},\dots )=\mathrm {softmax} (q_{0}k_{0}^{T},q_{0}k_{1}^{T},\dots )}$$これは、コンテキストベクトルを計算するために使用されます。$${\displaystyle c_{0}=w_{00}v_{0}+w_{01}v_{1}+\cdots }$$

どこ${\displaystyle v_{0}=h_{0}W^{V},v_{1}=h_{1}W^{V},\dots }$これらは値ベクトルであり、モデルが値を表現する最適な方法を見つける自由度を与えるために、別の行列によって線形変換されます。行列がない場合、${\displaystyle W^{Q},W^{K},W^{V}}$すると、モデルはキーと値の両方に同じ隠れベクトルを使用することを強いられることになり、これら2つのタスクは同じではないため、適切ではない可能性があります。

これはドットアテンション機構です。このセクションで説明する特定のバージョンは「デコーダークロスアテンション」と呼ばれ、出力コンテキストベクトルはデコーダーによって使用され、入力キーと値はエン​​コーダーから取得されますが、クエリはデコーダーから取得されるため、「クロスアテンション」と呼ばれます。

より簡潔に書くと、次のようになります。$${\displaystyle c_{0}=\mathrm {注意} (h_{0}^{d}W^{Q},HW^{K},HW^{V})=\mathrm {ソフトマックス} ((h_{0}^{d}W^{Q})\;(HW^{K})^{T})(HW^{V})}$$行列${\displaystyle H}$は、行が${\displaystyle h_{0},h_{1},\dots }$クエリベクトルに注意してください。${\displaystyle h_{0}^{d}}$は必ずしもキーバリューベクトルと同じではありません${\displaystyle h_{0}}$実際には、クエリベクトル、キーベクトル、値ベクトルがすべて異なることも理論的には可能ですが、実際にはそのようなことはほとんど行われません。