エルモ

ELMo（言語モデルからの埋め込み）は、単語のシーケンスを対応するベクトルのシーケンスとして表現する単語埋め込み手法です。 ^[1]これは、アレン人工知能研究所、^[2]およびワシントン大学の研究者によって作成され、2018年2月に初めてリリースされました。これは、文字レベルを入力として単語レベルの埋め込みを生成する双方向LSTMであり、約3000万の文と10億語のコーパスでトレーニングされています。

ELMo のアーキテクチャは、トークンのコンテキスト理解を実現します。コンテキスト化された深い単語表現は、共参照解決や多義性解決 など、多くの自然言語処理タスクに役立ちます。

ELMo は、大規模モデルをトレーニングして大規模コーパスを再現し、その後、その大規模モデルにタスク固有の重みを追加して教師ありタスク データで微調整するという、自己教師あり生成事前トレーニングとそれに続く微調整の先駆者として歴史的に重要でした。これは、トランスフォーマー ベースの言語モデリングへの進化において重要なステップでした。

ELMo は、トークン埋め込みレイヤーの上にある多層双方向 LSTM です。連結されたすべての LSTM の出力は、トークン埋め込みで構成されます。

入力テキスト シーケンスは、まず埋め込み層によってベクトルのシーケンスにマッピングされます。次に、2 つの部分が並列に実行されます。前向き部分は、4096 ユニットと 512 次元の投影、および最初の層から 2 番目の層への残差接続を備えた 2 層 LSTM です。後向き部分は同じアーキテクチャですが、シーケンスを後ろから前へ処理します。5 つのコンポーネント (埋め込み層、2 つの前向き LSTM 層、および 2 つの後向き LSTM 層) からの出力は連結され、線形行列 (「投影行列」) で乗算されて、入力トークンごとに 512 次元の表現が生成されます。

ELMoは10億語のテキストコーパスで事前学習されました。^[3]前方部分は次のトークンを繰り返し予測することで学習され、後方部分は前のトークンを繰り返し予測することで学習されます。

ELMo モデルが事前トレーニングされた後、投影行列以外のパラメータは固定されます。投影行列は、特定の言語タスクでの損失を最小限に抑えるために微調整できます。これは、事前トレーニングと微調整のパラダイムの初期の例です。元の論文では、6 つのベンチマーク NLP タスクで最先端の技術を改善することでこれを実証しました。

ELMo のアーキテクチャは、トークンのコンテキスト理解を実現します。たとえば、ELMo の最初の順方向 LSTM は、すべての以前のトークンのコンテキストで各入力トークンを処理し、最初の逆方向 LSTM は、すべての後続のトークンのコンテキストで各トークンを処理します。2 番目の順方向 LSTM は、それらを組み込んで、各トークンをさらにコンテキスト化します。

深い文脈に基づく単語表現は、共参照解決や多義性解決など、多くの自然言語処理タスクに役立ちます。たとえば、次の文を考えてみましょう。

彼女はお金を引き出すために銀行へ行きました。

トークン「bank」を表現するには、モデルはコンテキスト内でその多義性を解決する必要があります。

• 最初の順方向 LSTM は、「She went to the」というコンテキストで「bank」を処理し、その単語を主語が向かう場所として表現できるようにします。
• 最初の後方 LSTM は、「銀行」を「お金を引き出す」という文脈で処理し、金融機関を指す単語として曖昧さを解消します。
• 2 番目の順方向 LSTM は、最初の逆方向 LSTM によって提供された表現ベクトルを使用して「銀行」を処理し、対象が向かう金融機関としてそれを表現できるようになります。

ELMo は、言語モデルの歴史的進化における 1 つのリンクです。特定のテキストにラベル (「スパム」、「非スパム」、「政治」、「スポーツ」など) を割り当てるという、ドキュメント分類の単純な問題を考えてみましょう。

最も単純なアプローチは「単語のバッグ」アプローチです。このアプローチでは、文書内の各単語が個別に扱われ、その頻度が分類の特徴として使用されます。これは計算コストが低かったのですが、単語の順序と文中の文脈が無視されていました。GloVeとWord2Vec は、大規模なテキスト コーパス内の共起パターンに基づいて単語の固定ベクトル表現 (埋め込み) を学習することで、これを基に構築されました。

BERTと同様に（ただしWord2VecやGloVeなどの「単語の袋」とは異なり）、ELMoの単語埋め込みは文脈に依存し、同じ綴りの単語に対して異なる表現を生成します。これは約3000万文と10億語のコーパスでトレーニングされました。^[4]以前は、双方向LSTMが文脈化された単語表現に使用されていました。^[5] ELMoはこのアイデアを大規模に適用し、最先端のパフォーマンスを達成しました。

2017年にTransformerアーキテクチャが公開された後、ELMoのアーキテクチャは多層双方向LSTMからTransformerエンコーダに変更され、BERTが誕生しました。BERTは事前トレーニングと微調整のワークフローは同じですが、並列化可能なトレーニングにTransformerを使用します。