Word2vec

CBOWの考え方は、各単語をベクトルで表現し、その近傍のベクトルの合計を用いて単語を予測できるようにすることです。具体的には、各単語について${\displaystyle w_{i}}$コーパスでは、単語のワンホットエンコーディングがニューラルネットワークへの入力として使用されます。ニューラルネットワークの出力は辞書上の確率分布であり、近傍の個々の単語の予測を表します。${\displaystyle w_{i}}$トレーニングの目的は、${\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i+j}\colon j\in N)}$どこ${\displaystyle N}$は、近くにある単語の相対的な位置を表す (ゼロ以外の) インデックスのセットです。${\displaystyle w_{i}}$の近所。

例えば、コーパス内の各単語が、4単語の短い範囲にある他のすべての単語によって予測されるようにしたい場合、隣接単語の相対インデックスのセットは次のようになります。${\displaystyle N=\{-2,-1,+1,+2\}}$目的は最大化することです${\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i-2},w_{i-1},w_{i+1},w_{i+2})}$。

標準的な単語袋モデルでは、単語の文脈は、その単語の近傍にある単語の出現回数（単語ヒストグラムとも呼ばれる）によって表されます。例えば、「the cat sat on the mat」の「sat」は、{"the": 2, "cat": 1, "on": 1} と表されます。最後の単語「mat」は近傍の単語の範囲外にあるため、「sat」を表すために使用されないことに注意してください。${\displaystyle N=\{-2,-1,+1,+2\}}$。

連続バッグオブワードでは、ヒストグラムは行列で乗算されます。${\displaystyle V}$単語の文脈を連続的に表現するため。行列${\displaystyle V}$辞書とも呼ばれます。列は単語ベクトルです。${\displaystyle D}$列、${\displaystyle D}$は辞書のサイズです。${\displaystyle d}$各単語ベクトルの長さをとする。${\displaystyle V\in \mathbb {R} ^{d\times D}}$。

例えば、単語ヒストグラム{"the": 2, "cat": 1, "on": 1}に${\displaystyle V}$我々は得る${\displaystyle 2v_{\text{the}}+v_{\text{cat}}+v_{\text{on}}}$。

これは次に別の行列と乗算されます${\displaystyle V'}$形状${\displaystyle \mathbb {R} ^{D\times d}}$各行は単語ベクトルです${\displaystyle v'}$これにより、長さのベクトルが生成されます。${\displaystyle D}$辞書エントリごとに1つのエントリを作成します。次に、ソフトマックス関数を適用して、辞書全体の確率分布を取得します。

このシステムは、図に示すように、オートエンコーダーに似たニューラルネットワークとして視覚化でき、そのアーキテクチャは線形-線形-ソフトマックスです。システムは、交差エントロピー損失を最小化するように勾配降下法によって学習されます。

完全な式で表すと、交差エントロピー損失は次のようになります。$${\displaystyle -\sum _{i}\ln {\frac {e^{v_{w_{i}}'\cdot (\sum _{j\in N}v_{w_{j+i}})}}{\sum _{w'}e^{v_{w'}'\cdot (\sum _{j\in N}v_{{w'}_{j+i}})}}}}$$外側の総和${\displaystyle \sum _{i}}$コーパス内の単語の数、${\displaystyle \sum _{j\in N}v_{w_{j+i}}}$は、単語の近傍のベクトルの合計などです。

このようなシステムがトレーニングされると、2 つのトレーニング済み行列が得られます。${\displaystyle V,V'}$列ベクトルは${\displaystyle V}$または行ベクトル${\displaystyle V'}$辞書として機能します。たとえば、「sat」という単語は、「sat」番目の列として表現できます。${\displaystyle V}$または「sat」行目${\displaystyle V'}$また、単純に定義することも可能です。${\displaystyle V'=V^{\top }}$そうなれば、もはや選択肢はなくなるだろう。

スキップグラムの考え方は、各単語をベクトルで表現することで、ある単語のベクトルを使ってその単語の近傍にある単語のベクトルを予測できるようにすることです。

アーキテクチャは依然として線形-線形-ソフトマックスであり、CBOWと同じですが、入力と出力が入れ替わっています。具体的には、各単語について${\displaystyle w_{i}}$コーパスでは、単語のワンホットエンコーディングがニューラルネットワークへの入力として使用されます。ニューラルネットワークの出力は辞書上の確率分布であり、近傍の個々の単語の予測を表します。${\displaystyle w_{i}}$トレーニングの目的は、${\displaystyle \sum _{i}\sum _{j\in N}\ln \Pr(w_{j+i}\mid w_{i})}$。

完全な式で表すと、損失関数は次のようになります。$${\displaystyle -\sum _{i}\sum _{j\in N}\ln {\frac {e^{v_{w_{j+i}}'\cdot v_{w_{i}}}}{\sum _{w'}e^{v_{w'}'\cdot v_{w_{i}}}}}}$$CBOWと同様に、このようなシステムがトレーニングされると、2つのトレーニング済み行列が得られます。${\displaystyle V,V'}$列ベクトルは${\displaystyle V}$または行ベクトル${\displaystyle V'}$辞書として使用できます。また、単純に定義することも可能です。${\displaystyle V'=V^{\top }}$そうなれば、もはや選択肢はなくなるだろう。

基本的に、スキップグラムとCBOWはアーキテクチャが全く同じです。両者の違いは、学習時の目的関数のみです。

word2vec モデルは、階層的ソフトマックスおよび/またはネガティブ サンプリングを使用してトレーニングできます。モデルが最大化しようとする条件付き対数尤度を近似するために、階層的ソフトマックス法はハフマン木を使用して計算を削減します。一方、ネガティブ サンプリング法は、サンプリングされたネガティブ インスタンスの対数尤度を最小化することによって最大化問題にアプローチします。著者らによると、階層的ソフトマックスはまれな単語に対してより効果的であり、ネガティブ サンプリングは頻出単語や低次元ベクトルに対してより効果的です。^{[ 3 ]}トレーニング エポックが増加すると、階層的ソフトマックスは役に立たなくなります。^{[ 15 ]}

高頻度語と低頻度語は情報が少ないことが多い。一定の閾値を超える頻度の単語、または一定の閾値を下回る頻度の単語は、トレーニングを高速化するためにサブサンプリングまたは削除されることがある。^{[ 16 ]}

単語埋め込みの品質は次元数が増えるにつれて向上しますが、ある点を超えると、限界利得は減少します。^{[ 1 ]}通常、ベクトルの次元数は100から1,000の間に設定されます。

コンテキストウィンドウのサイズは、特定の単語の前後の単語のうち、その単語のコンテキスト単語として含まれる単語の数を決定します。著者の注記によると、推奨値は skip-gram の場合は 10、CBOW の場合は 5 です。^{[ 3 ]}

doc2vec は、文、段落、文書全体など、可変長のテキストの分散表現を生成します。 ^{[ 17 ] [ 18 ]} doc2vec は、 C、Python、Java / Scalaツールで実装されており(下記参照)、Java および Python バージョンでは、新しい未知の文書に対する文書埋め込みの推論もサポートしています。

doc2vec は、word2vec が単語の表現を推定するのと非常によく似た方法で、文書の分散表現を推定します。doc2vec は 2 つのモデル アーキテクチャのいずれかを利用しますが、どちらも word2vec で使用されているアーキテクチャの類推です。1 つ目の分散メモリ モデル段落ベクトル (PV-DM) は、CBOW と同一ですが、追加のコンテキストとして一意の文書識別子も提供します。2 つ目のアーキテクチャである分散バッグ オブ ワード バージョン段落ベクトル (PV-DBOW) は、skip-gram モデルと同一ですが、現在の単語ではなく段落識別子から周囲のコンテキスト単語のウィンドウを予測しようとします。^{[ 17 ]}

doc2vec は、単語の周りの追加の「コンテキスト」の意味を捉える機能も備えています。doc2vec は、話者または話者の属性、グループ、および期間の意味埋め込みを推定できます。たとえば、doc2vec は、米国と英国のさまざまな議会や国会における政党の政治的立場^{[ 19 ]}、およびさまざまな政府機関^{[ 20 ]を推定するために使用されています。}

word2vec のもう 1 つの拡張は top2vec であり、文書と単語の埋め込みの両方を利用してトピックの分散表現を推定します。^{[ 21 ] [ 22 ]} top2vec は doc2vec モデルから学習した文書埋め込みを受け取り、それをより低い次元に削減します(通常はUMAP を使用)。次に、 HDBSCANを使用して文書の空間をスキャンし、^{[ 23 ]}類似した文書のクラスタを見つけます。次に、クラスタで識別された文書の重心がそのクラスタのトピック ベクトルとみなされます。最後に、top2vec は意味空間を検索して、トピック ベクトルに近い単語埋め込みを見つけ、トピックの「意味」を確認します。^{[ 21 ]}トピック ベクトルに最も類似した埋め込みを持つ単語がトピックのタイトルとして割り当てられる可能性があり、遠く離れた単語埋め込みは無関係とみなされる可能性があります。

LDAなどの他のトピックモデルとは異なり、top2vecは2つのトピック間、またはトピックと他の埋め込み表現（単語、文書など）間の標準的な「距離」指標を提供します。HDBSCANの結果と組み合わせることで、ユーザーはトピック階層、つまり関連するトピックとサブトピックのグループを生成できます。

さらに、ユーザーはtop2vecの結果を利用して、サンプル外の文書のトピックを推論することができます。新しい文書の埋め込みを推論した後、トピック空間内で最も近いトピックベクトルを検索するだけで済みます。

バイオインフォマティクスアプリケーション向けに、生物学的配列 ( DNA、RNA、タンパク質など)の n-gram のワード ベクトルの拡張がAsgari と Mofrad によって提案されています。^{[ 24 ]}一般的に生物学的配列を指すためにバイオ ベクトル ( BioVec ) と名付けられ、タンパク質 (アミノ酸配列) にはタンパク質 ベクトル (ProtVec)、遺伝子配列には遺伝子 ベクトル (GeneVec) があり、この表現はプロテオミクスやゲノミクスの機械学習アプリケーションで広く使用できます。結果は、BioVectors が、基礎となるパターンの生化学的および生物物理学的解釈の観点から生物学的配列を特徴付けることができることを示唆しています。^{[ 24 ]}同様のバリアントである dna2vec は、 Needleman–Wunsch類似度スコアとdna2vec ワード ベクトルのコサイン類似度の間に相関があることを示しました。^{[ 25 ]}

非構造化放射線レポートの密なベクトル表現を作成するための単語ベクトルの拡張が、Banerjee らによって提案されている^{[ 26 ]} 。Word2vecの最大の課題の 1 つは、未知の単語や語彙外の単語 (OOV) および形態的に類似した単語をどのように処理するかである。Word2vec モデルが特定の単語に遭遇したことがない場合、ランダムなベクトルを使用せざるを得ず、これは一般的に理想的な表現とはかけ離れている。これは、放射線科医の好みのスタイルに応じて同義語や関連語が使用される可能性があり、単語が大規模なコーパスでまれにしか使用されていない可能性がある医学などの分野では特に問題となる可能性がある。

IWEは、Word2vecと意味辞書マッピング技術を組み合わせることで、臨床テキストからの情報抽出における主要な課題、すなわち自由記述形式の曖昧さ、語彙の多様性、文法的に正しくない表現や電報のような表現の使用、単語の恣意的な順序、略語や頭字語の頻繁な出現といった問題に対処します。特に注目すべきは、IWEモデル（ある機関のデータセットで学習済み）が別の機関のデータセットにも正常に適用できたことであり、このアプローチが複数の機関にわたって高い汎用性を持つことが実証されました。

異なるモデルパラメータと異なるコーパスサイズを使用すると、word2vec モデルの品質に大きな影響を与える可能性があります。精度は、モデルアーキテクチャ (CBOW または Skip-Gram) の選択、トレーニングデータセットの増加、ベクトル次元数の増加、アルゴリズムで考慮される単語のウィンドウサイズの増加など、さまざまな方法で向上させることができます。これらの改善にはそれぞれ、計算の複雑さの増加、ひいてはモデル生成時間の増加というコストが伴います。^{[ 1 ]}

大規模コーパスと多数の次元を使用するモデルでは、スキップグラムモデルが全体的な精度が最も高く、意味関係の精度も一貫して最も高く、ほとんどの場合、構文精度も最も高くなります。ただし、CBOWは計算コストが低く、同様の精度結果が得られます。^{[ 1 ]}

全体的に、精度は使用する単語数と次元数とともに向上します。Mikolov ら^{[ 1 ]}は、トレーニングデータの量を 2 倍にすると、ベクトル次元数を 2 倍にした場合と同等の計算複雑度の増加が生じると報告しています。

Altszyler と共著者 (2017) は、異なるコーパスサイズでの 2 つの意味テストで Word2vec のパフォーマンスを調査しました。^{[ 32 ]}彼らは、中規模から大規模のコーパスサイズ (1000 万語以上) でトレーニングした場合、Word2vec は急な学習曲線を持ち、別の単語埋め込み技術である潜在意味解析(LSA) を上回ることを発見しました。しかし、トレーニング コーパスが小さい場合は、LSA の方が優れたパフォーマンスを示しました。さらに、最適なパラメータ設定はタスクとトレーニング コーパスによって異なることも示しています。それにもかかわらず、50 次元の中規模コーパスでトレーニングされた skip-gram モデルの場合、ウィンドウ サイズ 15 と 10 個のネガティブ サンプルが適切なパラメータ設定のようです。

• C
• C#
• Python (Spark)
• Python (TensorFlow)
• Python (Gensim)
• Java/Scala
• R