文埋め込み

自然言語処理において、文埋め込み（または文書埋め込み）とは、意味のある意味情報を符号化した数値ベクトルとして自然言語テキストを表現することである^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}。この名称は、当初は文よりも長いテキストのシーケンスを埋め込むというアプローチの限界に由来するが、これはもはや限界ではない。

最先端の埋め込みは、専用の文変換モデルの学習された隠れ層表現に基づいています。BERTは、モデルに入力される各文の先頭に専用の [CLS] トークンを付加するアプローチを先駆的に採用しました。このトークンの最終的な隠れ状態ベクトルは文に関する情報をエンコードし、文分類タスクで使用するために微調整できます。しかし実際には、[CLS] トークンを使用した BERT の文埋め込みは、非文脈的単語埋め込みを単純に平均化するよりもパフォーマンスが劣ることがよくあります^{[ 8 ]} 。SBERTは後に、SNLI データセットでシャムニューラルネットワークアーキテクチャを使用して BERT の [CLS] トークン埋め込みを微調整することで、優れた文埋め込みパフォーマンスを達成しました^{[ 8 ]}。

他のアプローチは、文に適用される分布意味論の考え方を大まかに基にしている。Skip -Thoughtは、隣接する文の予測タスクのためにエンコーダー・デコーダー構造を学習するが、 InferSentやSBERTなどのアプローチよりも性能が劣ることが示されている。

別の方向性としては、Word2vecが返す単語埋め込みなどを集約して文埋め込みを作成する方法があります。最も単純なアプローチは、単語ベクトルの平均を計算することで、これは連続単語バッグ (CBOW) として知られています。^{[ 9 ]}しかし、単語ベクトルの量子化に基づくより高度なソリューションも提案されています。そのようなアプローチの 1 つは、局所的に集約された単語埋め込みのベクトル (VLAWE) であり、^{[ 10 ]}下流のテキスト分類タスクでパフォーマンスの向上を示しました。

近年、文埋め込みは、意味検索のためのベクトルインデックスの使用を通じて、自然言語クエリ可能な知識ベースへの応用により、ますます注目を集めています。たとえば、 LangChain は、文書のインデックス作成のために文トランスフォーマーを使用しています。具体的には、文書のチャンクの埋め込みを生成し、（文書チャンク、埋め込み）タプルを保存することでインデックスが作成されます。次に、自然言語のクエリが与えられると、クエリの埋め込みを生成できます。その後、クエリ埋め込みと文書チャンク埋め込みの間でトップ k 類似度検索アルゴリズムを使用して、質問応答タスクのコンテキスト情報として最も関連性の高い文書チャンクを取得します。このアプローチは、正式には検索拡張生成としても知られています。^{[ 11 ]}

BERTScoreほど普及しているわけではありませんが、文埋め込みは文類似性の評価によく用いられ、大規模言語モデルの生成パラメータを最適化するタスクでよく利用されています。この最適化は、候補文と参照文を比較することによって行われることがよくあります。候補文と参照文の文埋め込みのコサイン類似度を評価関数として使用することで、グリッドサーチアルゴリズムを利用してハイパーパラメータの最適化を自動化できます。

文埋め込みの品質を評価するためのアプローチは複数存在し、通常はモデルのユースケースの 1 つまたは複数をカバーしています。意味的に類似した文がより近くに現れるかどうかをテストすることで、埋め込みが意味的に意味があるかどうかを測定しようとするものもあれば、Sentences Involving Compositional Knowledge (SICK) ^{[ 12 ]}や STS Bencmark ^{[ 13 ]}などのコーパスを使用して文の類似性や埋め込みが含意を反映しているかどうかをテストするものもあります。他のアプローチでは、クラスタリング、分類、意味検索などの下流のユースケースでのパフォーマンスによって埋め込みの品質を測定しようとしています。これらのアプローチの複数をカプセル化した BEIR ^{[ 14 ]}や MTEB ^{[ 15 ] [ 16 ]}などの包括的なフレームワークは、ドメインや言語を超えて埋め込みの品質を評価する標準となっています。

• 分布意味論
• 単語埋め込み

• InferSentの文埋め込みとトレーニングコード
• ユニバーサルセンテンスエンコーダー
• 大規模マルチタスク学習による汎用分散文表現の学習