Loading article…
分布意味論[1]は、大規模な言語データサンプルにおける分布特性に基づいて、言語項目間の意味的類似性を定量化および分類するための理論と方法を開発し研究する研究分野です。分布意味論の基本的な考え方は、いわゆる分布仮説にまとめることができます。つまり、分布が似ている言語項目は意味が似ているということです。
分布仮説
言語学における分布仮説は、言語使用の意味理論から派生したもので、同じ文脈で使用され出現する単語は同様の意味を表す傾向があるというものである。[2]
「言葉は、それと付き合う人々によって特徴づけられる」という基本的な考え方は、1950年代にファースによって広められました。 [3]
分布仮説は統計的意味論の基礎となる。分布仮説は言語学で生まれたが[4] 、現在では認知科学、特に語の使用文脈において注目されている[5] 。
近年、分布仮説は言語学習における類似性に基づく一般化理論の基礎となっている。これは、類似した単語の分布からその使用法を一般化することで、子どもたちがこれまであまり遭遇したことのない単語の使い方を理解できるという考え方である。[6] [7]
分布仮説は、2 つの単語の意味的類似性が高いほど、分布的類似性も高くなり、類似した言語的コンテキストで出現する傾向が高くなることを示唆しています。
この示唆が成り立つかどうかは、計算モデルにおけるデータスパース性問題[8]と、比較的貧弱な入力を与えられた子供がどのようにしてそれほど速く言語を習得できるかという問題（これは刺激の貧困の問題としても知られている）の両方に重要な意味を持つ。
ベクトル空間における分布意味モデリング
分布意味論では、計算ツールおよび表現フレームワークとして線形代数を使用することが推奨されています。基本的なアプローチは、分布情報を高次元ベクトルで収集し、分布/意味の類似性をベクトルの類似性の観点から定義することです。[ 9]ベクトルの収集に使用する分布情報の種類に応じて、さまざまな種類の類似性を抽出できます。トピックの類似性は、言語アイテムがどのテキスト領域に出現するかに関する情報をベクトルに設定することで抽出できます。パラダイムの類似性は、アイテムが他のどの言語アイテムと共起するかに関する情報をベクトルに設定することで抽出できます。後者のタイプのベクトルは、個々のベクトル要素を調べることで 統語的類似性を抽出するためにも使用できることに注意してください。
分布的類似性と意味的類似性の相関関係という基本的な考え方は、さまざまな方法で操作化できます。分布的意味論を実装する計算モデルには、潜在的意味解析(LSA) [10] [11] ハイパースペース類似言語(HAL)、構文ベースまたは依存関係ベースのモデル[12] ランダムインデックス、意味的折り畳み[13] 、トピックモデルのさまざまなバリエーションなど、多種多様なものがあります。[14]
分布意味モデルは、主に次のパラメータに関して異なります。
- コンテキストの種類（テキスト領域と言語項目）
- コンテキスト ウィンドウ (サイズ、拡張子など)
- 頻度重み付け（例：エントロピー、点ごとの相互情報量、[15]など）
- 次元削減（ランダムインデックス、特異値分解など）
- 類似度の測定（コサイン類似度、ミンコフスキー距離など）
言語項目を文脈として利用する分布意味モデルは、単語空間モデルやベクトル空間モデルとも呼ばれる。[16] [17]
語彙意味論を超えて
分布意味論は、ニューラルネットワークに触発された深層学習モデルの入力層として適用できることなどから、語彙項目（単語や複数語からなる用語）に通常適用され、かなりの成功を収めているが、語彙意味論、つまり単語の意味は、発話全体の意味論の一部しか持ちません。たとえば、 「トラはウサギが大好きです。」という節の意味は、節を構成する 3 つの語彙項目の意味を調べるだけでは部分的にしか理解できません。分布意味論は、非インスタンス化項目の有無にかかわらず、構文などのより大きな言語項目をカバーするように簡単に拡張できますが、モデルの基本仮定のいくつかを多少調整する必要があります。構文文法と、その語彙統語連続体の定式化は、分布意味論モデルにもっと複雑な構文を含めるための 1 つのアプローチを提供し、ランダム インデックス アプローチを使用していくつかの実験が実装されています。[18]
構成的分布意味モデルは、明示的な意味関数によって分布意味モデルを拡張します。この意味関数は、統語論に基づく規則を使用して、参加する語彙単位の意味を構成モデルに組み合わせ、フレーズまたは文全体の意味を特徴付けます。この研究は、もともとオックスフォード大学のスティーブン・クラーク、ボブ・コエケ、およびメアノッシュ・サドルザデが2008年の論文「意味の構成的分布モデル」で提案しました。[19]構成に対するさまざまなアプローチが検討されており、ニューラルモデルも含め、 SemEvalなどの確立されたワークショップで議論されています。[20]
アプリケーション
分布意味モデルは、以下のタスクにうまく適用されています。
- 単語と複数語の表現間の意味的類似性を見つける;
- 意味的類似性に基づく単語のクラスタリング。
- シソーラスとバイリンガル辞書の自動作成。
- 語義の曖昧さ回避;
- 同義語や関連性を使用して検索リクエストを拡張する。
- 文書のトピックを定義する。
- 情報検索のための文書クラスタリング;
- データマイニングと名前付きエンティティの認識;
- 異なる主題領域の意味マップを作成する。
- 言い換え;
- 感情分析;
- 単語の選択的嗜好をモデル化する。
ソフトウェア
- Sスペース
- セマンティックベクトル
- ゲンシム
- ディスコビルダー
- インドラ
参照
人々
参考文献
- ^ レンチ、アレッサンドロ; サールグレン、マグナス (2023)。分布意味論。ケンブリッジ大学出版局。ISBN 9780511783692。
- ^ ハリス 1954
- ^ ファース 1957
- ^ サールグレン 2008
- ^ マクドナルド＆ラムスカー 2001
- ^ グレイトマン 2002
- ^ ヤレット 2008
- ^ Wishart, Ryder; Prokopidis, Prokopis (2017). ヘレニズム時代のコーパスに関するトピックモデリング実験(PDF)。デジタル人文学におけるコーパスに関するワークショップ議事録 17. S2CID 9191936。
- ^ リーガー 1991
- ^ ディアウェスター他 1990
- ^ Landauer, Thomas K.; Dumais, Susan T. (1997). 「プラトンの問題に対する解決法: 知識の獲得、誘導、表現に関する潜在的意味分析理論」心理学評論. 104 (2): 211–240. doi :10.1037/0033-295x.104.2.211.
- ^ パド＆ラパタ 2007
- ^ De Sousa Webber, Francisco (2015). 「セマンティックフォールディング理論とセマンティックフィンガープリンティングへの応用」. arXiv : 1511.08855 [cs.AI].
- ^ Jordan, Michael I.; Ng, Andrew Y.; Blei, David M. ( 2003). 「潜在的ディリクレ配分」。機械学習研究ジャーナル。3 (1月): 993–1022。
- ^ Church, Kenneth Ward; Hanks, Patrick (1989). 「単語連想規範、相互情報量、および辞書学」。計算言語学協会第27回年次会議議事録。米国ニュージャージー州モリスタウン：計算言語学協会：76–83。doi ： 10.3115 /981623.981633。
- ^ シュッツェ 1993
- ^ サールグレン 2006
- ^ Karlgren, Jussi; Kanerva, Pentti (2019年7月). 「発話のための高次元分散意味空間」.自然言語工学. 25 (4): 503–517. arXiv : 2104.00424 . doi :10.1017/S1351324919000226. S2CID 201141249.
- ^ Clark, Stephen; Coecke, Bob; Sadrzadeh, Mehrnoosh (2008). 「意味の構成的分布モデル」(PDF)。第2回量子相互作用シンポジウム議事録: 133–140。
- ^ 「SemEval-2014、タスク1」。
出典
- ハリス、Z. (1954). 「分配構造」. Word . 10 (23): 146–162. doi :10.1080/00437956.1954.11659520.
- ファース、JR (1957)。「1930-1955年の言語理論の概要」言語分析研究: 1–32。FR Palmer編（1968年）に再録。JR Firth選集1952-1959。ロンドン：ロングマン。
- レンチ、アレッサンドロ; サールグレン、マグナス (2023)。分布意味論。ケンブリッジ大学出版局。ISBN 9780511783692。
- サールグレン、マグナス (2008)。「分布仮説」(PDF)。言語学雑誌。20 (1): 33–53。2012年3月15日にオリジナル(PDF)からアーカイブ。 2010年12月10日に閲覧。
- McDonald, S .; Ramscar, M. (2001). 「分布仮説の検証: 文脈が意味的類似性の判断に与える影響」。認知科学会第 23 回年次大会議事録。pp. 611–616。CiteSeerX 10.1.1.104.7535 。
- グレイトマン、ライラ R. (2002)。「似た者同士の動詞が集まる II」。ゼリグ・ハリスの遺産。言語理論の最新課題。第 1 巻。pp. 209–229。doi : 10.1075 /cilt.228.17gle。ISBN 978-90-272-4736-0。
- Yarlett, D. (2008). 類似性に基づく一般化による言語学習(PDF) (博士論文). スタンフォード大学. 2014-04-19 にオリジナル(PDF)からアーカイブ。2012-07-12に取得。
- Rieger, Burghard B. (1991). 単語意味論における分散表現について(PDF) (レポート). ICSI Berkeley 12-1991. CiteSeerX 10.1.1.37.7976 .
- Deerwester, Scott; Dumais, Susan T.; Furnas, George W.; Landauer, Thomas K.; Harshman, Richard (1990). 「潜在的意味解析による索引付け」(PDF) . Journal of the American Society for Information Science . 41 (6): 391–407. CiteSeerX 10.1.1.33.2447 . doi :10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9. 2012-07-17 にオリジナル(PDF)からアーカイブ。
- Padó, Sebastian; Lapata, Mirella (2007). 「意味空間モデルの依存関係に基づく構築」.計算言語学. 33 (2): 161–199. doi : 10.1162/coli.2007.33.2.161 . S2CID 7747235.
- シュッツェ、ハインリッヒ (1993)。 「ワードスペース」。神経情報処理システムの進歩 ５． 895–902ページ。CiteSeerX 10.1.1.41.8856。
- Sahlgren, Magnus (2006). The Word-Space Model (PDF) (博士論文). ストックホルム大学. 2012-06-19 にオリジナル(PDF)からアーカイブ。2012-11-26に取得。
- Thomas Landauer、Susan T. Dumais。「プラトンの問題に対する解決法: 知識の獲得、帰納、表現に関する潜在的意味分析理論」 。2007年 7 月 2 日閲覧。
- Kevin Lund、Curt Burgess、Ruth Ann Atchley (1995)。高次元意味空間における意味的および連想的プライミング。認知科学論文集。pp. 660–665。
- Kevin Lund 、 Curt Burgess (1996)。「語彙の共起から高次元意味空間を生成する」。行動研究方法、機器、およびコンピューター。28 (2): 203–208。doi : 10.3758/ bf03204766。
外部リンク
- ゼリグ・S・ハリス