明示的な意味解析

自然言語処理と情報検索において、明示的意味解析（ESA）は、文書コーパスを知識ベースとして使用するテキスト（個々の単語または文書全体）のベクトル表現です。具体的には、ESAでは、単語はテキストコーパスのtf-idf行列の列ベクトルとして表され、文書（単語の文字列）は単語を表すベクトルの重心として表されます。通常、テキストコーパスは英語版Wikipediaですが、 Open Directory Projectなどの他のコーパスも使用されています。^[1]

ESA は、エフゲニー・ガブリロヴィッチとショール・マルコビッチによってテキスト分類を改善する手段として設計され^[2] 、この 2 人の研究者によって、前述のベクトル間のコサイン類似度によって「意味的関連性」と呼ばれるものを計算するのに使用されています。このベクトルは、集合的に「人間によって明示的に定義および記述された概念」の空間として解釈され、Wikipedia の記事 (または ODP エントリ、または知識ベース コーパス内のドキュメントのタイトル) が概念と同等とみなされます。「明示的意味分析」という名前は、潜在的意味分析(LSA) とは対照的です。これは、知識ベースを使用すると、ベクトル空間を構成する概念に人間が読めるラベルを割り当てることができるためです。^{[1] [3]}

ESA の基本的なバリエーションを実行するには、テキストのコレクション、たとえばすべての Wikipedia 記事から始めます。コレクション内の文書数をNとします。これらはすべて「単語の袋」、つまり用語の頻度ヒストグラムに変換され、逆インデックスに格納されます。この逆インデックスを使用すると、任意の単語について、その単語を含む Wikipedia 記事のセットを見つけることができます。Egozi、Markovitch、Gabrilovitch の語彙では、「Wikipedia コーパスに出現する各単語は、逆インデックスでそれが指し示す各​​概念をトリガーするものと見なすことができます。」^[1]

単語 1 語のクエリに対する逆インデックスの出力は、インデックスされたドキュメント (Wikipedia の記事) のリストです。各ドキュメントには、そのドキュメント内での単語の出現頻度 (ドキュメント内の単語の総数で重み付け) に応じたスコアが与えられます。数学的には、このリストは単語とドキュメントのスコアのN次元ベクトルであり、クエリ単語を含まないドキュメントのスコアは 0 です。2 つの単語の関連性を計算するには、ベクトル (たとえばuとv ) をコサイン類似度を計算して比較します。

${\displaystyle {\mathsf {sim}}(\mathbf {u} ,\mathbf {v} )={\frac {\mathbf {u} \cdot \mathbf {v} }{\|\mathbf {u} \ |\|\mathbf {v} \|}}={\frac {\sum _{i=1}^{N}u_{i}v_{i}}{{\sqrt {\sum _{i=1}^{N}u_{i}^{2}}}{\sqrt { \sum _{i=1}^{N}v_{i}^{2}}}}}$

これにより、単語の意味的関連性を数値的に推定することができる。この手法は、テキスト中のすべての単語のベクトルを単純に合計することで、単語単位から複数単語のテキストまで拡張できる。^[3]

ESA は、ガブリロビッチとマルコビッチが最初に提唱したように、知識ベースにはトピック的に直交する概念が含まれているという仮定の下で機能します。しかし、後にアンダーカとスタインは、ウィキペディアではなく、直交性プロパティを満たさないロイターのニュースワイヤー記事のコーパスに基づいている場合でも、ESA は情報検索システムのパフォーマンスを向上させることを示しました。アンダーカとスタインは、実験でニュースワイヤー記事を「概念」として使用しました。 ^{[4]この観察を説明するために、ESA と}一般化ベクトル空間モデルの間にリンクが示されています。^[5]ガブリロビッチとマルコビッチは、アンダーカとスタインに返答し、彼らの実験結果は「ESA (テキスト類似性) の単一のアプリケーション」と「50 件のニュース文書の単一の、極めて小規模で均質なテストコレクション」を使用して達成されたことを指摘しました。^[1]

ESAは著者らによって意味的関連性（意味的類似性ではなく）の尺度であると考えられている。単語の関連性をベンチマークするために使用されるデータセットでは、ESAはWordNet意味的類似性尺度やスキップグラムニューラルネットワーク言語モデル（Word2vec ）などの他のアルゴリズムよりも優れている。^[6]

ESAは、文書の関連性を計算するための商用ソフトウェアパッケージで使用されています。^[7] ESAモデルに対するドメイン固有の制限は、より堅牢な文書マッチングを提供するために時々使用されます。^[8]

CL-ESA（クロスランゲージ明示的意味解析）は、ESAの多言語一般化です。^[9] CL-ESAは、文書が整合された多言語参照コレクション（例えば、再びWikipedia）を利用して、文書を言語に依存しない概念ベクトルとして表現します。異なる言語の2つの文書の関連性は、対応するベクトル表現間のコサイン類似度によって評価されます。

• トピックモデル

• Evgeniy Gabrilovich のホームページ上の明示的な意味解析。実装へのリンクがあります。