単語埋め込み

自然言語処理において、単語埋め込みは単語の表現です。埋め込みはテキスト分析で使用されます。通常、この表現は実数値ベクトルであり、ベクトル空間で近い単語ほど意味が似ていると期待されるように単語の意味をエンコードします。^{[ 1 ]}単語埋め込みは、語彙からの単語やフレーズを実数のベクトルにマッピングする言語モデリングと特徴学習技術を使用して取得できます。

このマッピングを生成する方法には、ニューラルネットワーク^{[ 2 ]} 、単語共起行列の次元削減[ ^{3 ] [ 4 ] [ 5 ]}、確率モデル[6]、^{説明可能な}知識ベース法^{[ 7 ]}、および単語が出現するコンテキストによる明示的な表現^{[ 8 ]などがあります。}

単語やフレーズの埋め込みは、入力表現の基盤として使用される場合、構文解析^{[ 9 ]}や感情分析^{[ 10 ]}などのNLPタスクのパフォーマンスを向上させることが示されています。

分布意味論では、観察された言語の意味を理解するための定量的方法論的アプローチとして、単語埋め込みや意味特徴空間モデルが以前から知識表現として使用されてきました。^{[ 11 ]}このようなモデルは、言語データの大きなサンプルにおける分布特性に基づいて、言語項目間の意味的類似性を定量化および分類することを目的としています。「単語は、それが一緒にいる仲間によって特徴づけられる」という根底にある考え方は、1957 年のジョン・ルパート・ファースの論文で提唱されましたが、^{[ 12 ]}同時代の検索システムに関する研究^{[ 13 ]や認知心理学の研究[ 14 ]}にもそのルーツがあります。

語彙項目（単語または複数語の用語）をベクトルまたは埋め込みとして表現する意味空間の概念は、分布特性を捉え、それを単語、フレーズ、または文書全体の類似性を測定する実用的なアプリケーションに使用するという計算上の課題に基づいています。意味空間モデルの第一世代は、情報検索のためのベクトル空間モデルです。 ^{[ 15 ] [ 16 ] [ 17 ]}単語とその分布データのためのこのようなベクトル空間モデルを最も単純な形式で実装すると、高次元の非常に疎なベクトル空間になります（次元の呪いを参照）。その後、特異値分解などの線形代数的手法を使用して次元数を削減することで、1980 年代後半に潜在意味解析が導入され、単語の共起コンテキストを収集するためのランダムインデックスアプローチが生まれました。 ^{[ 18 ] [ 19 ] [ 20 ] [ 21 ]} 2000 年に、Bengioらは、 「ニューラル確率的言語モデル」と題された一連の論文では、「単語の分散表現を学習する」ことで文脈における単語表現の高次元性を削減する方法が提案されている。^{[ 22 ] [ 23 ] [ 24 ]}

NeurIPS (NIPS) 2002で発表された研究では、単語埋め込みと文書埋め込みの両方の使用法が紹介され、カーネルCCAの手法がバイリンガル (およびマルチリンガル) コーパスに適用され、単語埋め込みの自己教師あり学習の初期の例も提供されました。^{[ 25 ]}

単語埋め込みには 2 つの異なるスタイルがあり、1 つは単語が共起する単語のベクトルとして表現され、もう 1 つは単語が出現する言語的コンテキストのベクトルとして表現されます。これらの異なるスタイルは Lavelli ら (2004 年) で研究されています。^{[ 26 ]} Roweis と Saul はScience 誌で、高次元データ構造の表現を発見するために「局所線形埋め込み」(LLE)を使用する方法を発表しました。 ^{[ 27 ]} 2005 年頃以降の新しい単語埋め込み技術のほとんどは、Yoshua Bengio ^{[ 28 ]}と同僚による基礎的な研究の後、より確率的で代数的なモデルではなく、ニューラル ネットワークアーキテクチャに依存しています。^{[ 29 ] [ 30 ]}

このアプローチは、2010年にベクトルの品質とモデルのトレーニング速度に関する理論的進歩がなされ、ハードウェアの進歩によってより広いパラメータ空間を有効活用できるようになった後、多くの研究グループに採用されました。2013年、 Tomas Mikolovが率いるGoogleのチームは、従来のアプローチよりも高速にベクトル空間モデルをトレーニングできる単語埋め込みツールキットであるword2vecを作成しました。word2vecのアプローチは実験で広く使用され、単語埋め込みを技術として関心を高める上で重要な役割を果たし、研究の流れを専門的な研究からより広範な実験へと移行させ、最終的には実用化への道を開きました。^{[ 31 ]}

歴史的に、静的な単語埋め込みや単語ベクトル空間モデルの主な制限の 1 つは、複数の意味を持つ単語が単一の表現 (意味空間の単一のベクトル) に統合されることです。言い換えれば、多義語や同音異義語が適切に処理されません。たとえば、「昨日試したクラブは素晴らしかった！」という文では、「クラブ」という単語が、クラブサンドイッチ、クラブハウス、ゴルフ クラブ、または他のどの意味と関連しているかは明確ではありません。単語ごとに複数の意味を異なるベクトル (多義埋め込み) で扱う必要性が、単一意味埋め込みを多義埋め込みに分割する NLP のいくつかの貢献の動機となっています。^{[ 32 ] [ 33 ]}

多義語埋め込みを生成するほとんどのアプローチは、単語の意味表現に関して、教師なしと知識ベースの 2 つの主要なカテゴリに分類できます。^{[ 34 ]} word2vecスキップグラムに基づくMulti-Sense Skip-Gram (MSSG) ^{[ 35 ]}は、単語の意味の識別と埋め込みを同時に実行し、トレーニング時間を改善しながら、各単語に特定の数の意味があると仮定します。Non-Parametric Multi-Sense Skip-Gram (NP-MSSG) では、この数は各単語に応じて変化する可能性があります。語彙データベース ( WordNet、ConceptNet、BabelNet など)、単語埋め込み、単語の意味の曖昧性解消の事前知識を組み合わせるMost Suitable Sense Annotation (MSSA) ^{[ 36 ]}は、事前定義されたスライディング ウィンドウ内の単語のコンテキストを考慮し、教師なしの知識ベースのアプローチによって単語の意味にラベルを付けます。単語の意味が明確になると、標準的な単語埋め込み手法で使用できるため、多義埋め込みが生成されます。MSSAアーキテクチャでは、意味の明確化と注釈付けのプロセスを自己改善的に繰り返し実行できます。^{[ 37 ]}

多義語埋め込みの使用は、品詞タグ付け、意味関係識別、意味的関連性、固有表現認識、感情分析など、いくつかのNLPタスクのパフォーマンスを向上させることが知られています。^{[ 38 ] [ 39 ]}

2010年代後半から、ELMoやBERTのような文脈的に意味のある埋め込みが開発されてきた。^{[ 40 ]}静的な単語埋め込みとは異なり、これらの埋め込みはトークンレベルであり、単語の各出現箇所に独自の埋め込みがある。これらの埋め込みは、類似した文脈での単語の出現箇所がBERTの埋め込み空間の類似した領域に位置するため、単語の多義性をよりよく反映している。^{[ 41 ] [ 42 ]}

バイオインフォマティクスアプリケーション用の生物学的配列 ( DNA、RNA、タンパク質など)のn-グラムの単語埋め込みがAsgari と Mofrad によって提案されています。^{[ 43 ]}生物学的配列全般を指すためにバイオベクター (BioVec) と名付けられ、タンパク質 (アミノ酸配列) にはタンパク質ベクター (ProtVec)、遺伝子配列には遺伝子ベクター (GeneVec) が用いられ、この表現はプロテオミクスやゲノミクスの深層学習アプリケーションで広く使用できます。Asgari と Mofrad ^{[ 43 ]}が提示した結果は、BioVectors が、基礎となるパターンの生化学的および生物物理学的解釈の観点から生物学的配列を特徴付けることができることを示唆しています。

ゲームデザインに応用できる単語埋め込みは、ゲームプレイデータのログを使用して新しいゲームプレイを発見する方法として、 RabiiとCook ^{[ 44 ]}によって提案されました。このプロセスでは、ゲーム中に発生するアクションを形式言語で書き起こし、その結果得られたテキストを使用して単語埋め込みを作成する必要があります。RabiiとCook ^{[ 44 ]}が提示した結果は、結果として得られるベクトルが、ゲームのルールに明示的に記載されていないチェスなどのゲームに関する専門知識を捉えることができることを示唆しています。

このアイデアは、思考ベクトルの概念のように、文全体や文書の埋め込みにまで拡張されています。2015年には、一部の研究者が機械翻訳の品質を向上させる手段として「スキップ思考ベクトル」を提案しました。[ ^{45 ]文}を表現するためのより最近の一般的なアプローチは、シャムネットワークとトリプレットネットワーク構造を使用して事前学習済みのBERTを修正したSentence-BERTまたはSentenceTransformersです。 ^{[ 46 ]}

単語埋め込みの学習と使用のためのソフトウェアには、^Tomáš MikolovのWord2vec、スタンフォード大学のGloVe ^{[ 47 ]} GN-GloVe ^{[ 48 ]} Flair 埋め込み^{[ 38 ]} AllenNLP のELMo [ ^{49 ]} BERT ^{[ 50 ]} fastText、Gensim [ ^{51 ]} Indra ^{[ 52 ]}およびDeeplearning4j があります。主成分分析(PCA)、一様多様体近似射影(UMAP)、およびT 分布確率的近傍埋め込み(t-SNE) は^、単語ベクトル空間の次元を削減し、単語埋め込みとクラスタを視覚化するために使用されます。^{[ 53 ] [ 54 ]}

ボルクバシらは2016年の論文「男性はコンピュータプログラマー、女性は主婦？ 単語埋め込みのバイアス除去」で、プロのジャーナリストが書いたテキストで構成されるGoogleニュースのテキスト（一般的に使用されているデータコーパス）でトレーニングされた公開されている（そして人気のある）word2vec埋め込みが、単語の類推を抽出する際に性別や人種のバイアスを反映した不均衡な単語の関連性を示していることを指摘している。^{[ 56 ]}例えば、前述の単語埋め込みを使用して生成された類推の1つは「男性はコンピュータプログラマー、女性は主婦」である。^{[ 57 ] [ 58 ]}

Jieyu Zhao らによる研究によると、注意深く監視せずにこれらの学習済み単語埋め込みを適用すると、変更されていない学習データによって導入される社会の既存の偏見が永続化される可能性が高いことが示されています。さらに、単語埋め込みはこれらの偏見を増幅することさえあります。^{[ 59 ] [ 60 ]}

• 埋め込み（機械学習）
• 茶色の塊
• 分散型リレーショナルデータベース