意味空間

自然言語領域における意味空間^{[注 1]}^{[1]は、意味を捉えることができる自然言語の表現を作成することを目的としています。意味空間の元々の動機は、自然言語の2つの主要な課題、すなわち}語彙の不一致（同じ意味がさまざまな方法で表現される可能性があるという事実）と自然言語の曖昧さ（同じ用語が複数の意味を持つ可能性があるという事実）に由来しています。

自然言語処理（NLP）における意味空間の応用は、キーワードレベルで動作するルールベースまたはモデルベースのアプローチの限界を克服することを目的としています。これらのアプローチの主な欠点は、その脆弱性と、ルールベースのNLPシステムまたはモデル学習用のトレーニングコーパスを作成するために多大な手作業が必要であることです。^[2]^[3]ルールベースおよび機械学習ベースのモデルはキーワードレベルで固定されており、語彙がルールで定義された語彙や統計モデルに使用されるトレーニング資料と異なる場合は機能しません。

意味空間の研究は20年以上前に遡ります。1996年には、潜在的意味解析^[4]と言語類似のハイパースペース^[5]という2つの論文が発表され、意味空間を作成するという一般的なアイデアに大きな注目を集めました。しかし、それらの意味空間を構築して使用するために必要な計算量が大きいため、これらの採用は制限されていました。単語間の関連関係（「クジラとイルカ」、「宇宙飛行士と運転手」などの同義関係ではなく、「クモの巣」、「ライターとタバコ」など）のモデル化の精度に関するブレークスルーは、2007年に明示的意味解析（ESA）^{[6]によって達成されました。ESAは、単語を100,000}次元のベクトルの形式で表現する新しい（機械学習ではない）アプローチでした（各次元はWikipediaの記事を表します）。しかし、ベクトルに必要な次元の数が多いため、このアプローチの実際の応用は限られています。

最近では、ニューラルネットワーク技術の進歩と他の新しいアプローチ（テンソル）の組み合わせにより、GoogleのWord2vec ^[7]、スタンフォード大学のGloVe ^[8]、Facebook AI Research（FAIR）ラボのfastText ^[9]など、数多くの新しい開発が行われました。

参照

参考文献

^ 分散意味空間または分散意味メモリとも呼ばれる

^ Baroni, Marco; Lenci, Alessandro (2010). 「分散メモリ: コーパスベースのセマンティクスの一般的なフレームワーク」.計算言語学. 36 (4): 673–721. CiteSeerX 10.1.1.331.3769 . doi :10.1162/coli_a_00016. S2CID 5584134.
^ Scott C. Deerwester、Susan T. Dumais、Thomas K. Landauer、George W. Furnas、Richard A. Harshen (1990)。「潜在的意味解析による索引作成」(PDF)。アメリカ情報科学協会誌。
^ Xing Wei、W. Bruce Croft (2007)。「手動で構築されたトピックモデルによる検索パフォーマンスの調査」。Proceeding RIAO '07 Large Scale Semantic Access to Content (Text, Image, Video, and Sound)。Riao '07: 333–349。
^ 「LSA: プラトンの問題に対する解決策」lsa.colorado.edu . 2016年4月19日閲覧。
^ Lund , Kevin; Burgess, Curt (1996-06-01). 「語彙共起から高次元意味空間を生成する」.行動研究方法、機器、およびコンピュータ. 28 (2): 203–208. doi : 10.3758/BF03204766. ISSN 0743-3808.
^ Evgeniy Gabrilovich & Shaul Markovitch (2007). 「Wikipedia ベースの明示的意味解析を使用した意味的関連性の計算」(PDF)。Proc . 20th Int'l Joint Conf. On Artificial Intelligence (IJCAI)。pp. 1606–1611。
^ Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean (2013)。「単語と句の分散表現とその構成性」。arXiv : 1310.4546 [ cs.CL ]。
^ Jeffrey Pennington、Richard Socher、Christopher D. Manning (2014)。「GloVe: 単語表現のためのグローバルベクトル」(PDF)。
^ Mannes, John (2017年5月2日). 「FacebookのfastTextライブラリがモバイル向けに最適化されました」. TechCrunch . 2018年1月12日閲覧。

[1] 分散意味空間または分散意味メモリとも呼ばれる

[2] Baroni, Marco; Lenci, Alessandro (2010). 「分散メモリ: コーパスベースのセマンティクスの一般的なフレームワーク」.計算言語学. 36 (4): 673–721. CiteSeerX 10.1.1.331.3769 . doi :10.1162/coli_a_00016. S2CID 5584134.

[3] Scott C. Deerwester、Susan T. Dumais、Thomas K. Landauer、George W. Furnas、Richard A. Harshen (1990)。「潜在的意味解析による索引作成」(PDF)。アメリカ情報科学協会誌。

[4] Xing Wei、W. Bruce Croft (2007)。「手動で構築されたトピックモデルによる検索パフォーマンスの調査」。Proceeding RIAO '07 Large Scale Semantic Access to Content (Text, Image, Video, and Sound)。Riao '07: 333–349。

[5] 「LSA: プラトンの問題に対する解決策」lsa.colorado.edu . 2016年4月19日閲覧。

[6] ^ Lund , Kevin; Burgess, Curt (1996-06-01). 「語彙共起から高次元意味空間を生成する」.行動研究方法、機器、およびコンピュータ. 28 (2): 203–208. doi : 10.3758/BF03204766. ISSN 0743-3808.

[7] Evgeniy Gabrilovich & Shaul Markovitch (2007). 「Wikipedia ベースの明示的意味解析を使用した意味的関連性の計算」(PDF)。Proc . 20th Int'l Joint Conf. On Artificial Intelligence (IJCAI)。pp. 1606–1611。

[8] Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean (2013)。「単語と句の分散表現とその構成性」。arXiv : 1310.4546 [ cs.CL ]。

[9] Jeffrey Pennington、Richard Socher、Christopher D. Manning (2014)。「GloVe: 単語表現のためのグローバルベクトル」(PDF)。

[10] Mannes, John (2017年5月2日). 「FacebookのfastTextライブラリがモバイル向けに最適化されました」. TechCrunch . 2018年1月12日閲覧。