語義誘導

計算言語学において、語義誘導(WSI) または識別は、自然言語処理の未解決問題であり、語義(つまり意味)の自動識別に関するものです。語義誘導の出力は、対象語の意味のセット (意味インベントリ) であるため、このタスクは、定義済みの意味インベントリに依存して文脈における語の曖昧さを解決することを目的とする語義曖昧性解消 (WSD) のタスクと厳密に関連しています。

アプローチと方法

語義誘導アルゴリズムの出力は、対象語が出現する文脈のクラスタリング、または対象語に関連する単語のクラスタリングである。文献では主に3つの方法が提案されている: ^[1]^[2]

コンテキストクラスタリング
単語クラスタリング
共起グラフ

コンテキストクラスタリング

このアプローチの根底にある仮説は、単語が類似の文書に出現したり、類似のコンテキストウィンドウ内または類似の統語的コンテキスト内に出現したりする場合、それらの単語は意味的に類似しているというものである。 ^[3]コーパス内のターゲット単語の各出現は、コンテキストベクトルとして表される。これらのコンテキストベクトルは、手元のコンテキストを直接表す一次ベクトル、または二次ベクトル、つまり、それらの単語が一緒に出現する傾向がある場合にターゲット単語のコンテキストは類似している、のいずれかである。次に、ベクトルはグループにクラスタ化され、それぞれがターゲット単語の意味を識別する。コンテキストクラスタリングのよく知られたアプローチは、大規模行列計算法に基づくコンテキストグループ判別アルゴリズム^{[4]である。}

単語クラスタリング

単語クラスタリングは、単語の意味を誘導する別のアプローチです。これは、意味的に類似しているため特定の意味を持つことができる単語をクラスタリングすることから成ります。Lin のアルゴリズム^[5]は、単語クラスタリングの典型的な例であり、コーパス内で発生する統語的依存関係の統計に基づいて、ターゲット単語の発見された各意味の単語セットを生成します。^[6]コミッティによるクラスタリング (CBC) ^[7]も統語的コンテキストを使用しますが、類似性マトリックスを利用して単語間の類似性をエンコードし、コミッティの概念に依存して対象の単語のさまざまな意味を出力します。これらのアプローチは、多くのドメインと言語で大規模に取得するのが困難です。

共起グラフ

共起グラフの主な仮説は、単語の意味は共起グラフによって表現でき、共起グラフの頂点は共起で、辺は共起関係であると仮定している。これらのアプローチは、単語間の共起を文法^[8]または共起関係^[9]に基づいて取得できる単語クラスタリング法に関連している。HyperLexは、共起グラフ内のハブの識別に基づくグラフアルゴリズムの成功したアプローチであり、多数のパラメータを調整する必要性に対処する必要がある。^[10]この問題に対処するために、曲率クラスタリング、正方形、三角形、ダイヤモンド (SquaT++)、バランス最大スパニングツリークラスタリング (B-MST) などの単純なグラフパターンに基づくいくつかのグラフベースのアルゴリズムが提案されている。^[11]これらのパターンは、共起グラフのローカルな構造特性を使用して意味を識別することを目的としている。主流のメッセージ（つまり単語の意味）を隣接する頂点に反復的に転送することによってグラフの頂点を分割するランダム化アルゴリズムはChinese Whispers ^[12]です。共起グラフのアプローチを適用することで、標準的な評価タスクで最先端のパフォーマンスを達成できることが示されています。

アプリケーション

単語の意味の誘導は、非常に曖昧なクエリが使用される場合にWeb情報検索に有益であることが示されています。^[9]
単純な語義誘導アルゴリズムは、Web検索結果のクラスタリングを大幅に強化し、 Yahoo!などの検索エンジンによって返される検索結果の多様化を改善します。^[13]
語義誘導はWordNetなどの語彙リソースを充実させるために応用されてきた。^[14]

ソフトウェア

SenseClusters は、コンテキストクラスタリングと単語クラスタリングの両方を実行する、無料で利用できるオープンソースソフトウェアパッケージです。

参照

参考文献

^ Navigli, R. (2009). 「単語の意味の曖昧さ解消: 調査」(PDF) . ACM Computing Surveys . 41 (2): 1–69. doi :10.1145/1459352.1459355. S2CID 461624.
^ ナシルディン、M. (2013)。語感誘導の最新技術: リソースが不足している言語の語感の曖昧さを解消する方法(PDF)。 TALN-RÉCITAL 2013、フランス、レ・サーブル・ドロンヌ。 192–205ページ。
^ Van de Cruys, T. (2010). 「意味のマイニング。テキストからの語彙意味知識の抽出」(PDF)。
^ Schütze, H. (1998).意味の次元. 1992 ACM/IEEE スーパーコンピューティング会議. ロサンゼルスアラミトス、カリフォルニア州: IEEE コンピュータ協会出版局. pp. 787–796. doi :10.1109/SUPERC.1992.236684.
^ Lin, D. (1998). 類似語の自動検索とクラスタリング(PDF) . 第17回国際計算言語学会議 (COLING). モントリオール、カナダ. pp. 768–774.
^ Van de Cruys, Tim; Apidianaki, Marianna (2011). 「潜在的意味論的語義誘導と曖昧性解消」(PDF)。
^ Lin, D.; Pantel, P. (2002).テキストからの語義の検出. 第8回国際知識発見およびデータマイニング会議 (KDD) . エドモントン、カナダ。pp. 613–619。CiteSeerX 10.1.1.12.6771。
^ Widdows, D.; Dorow, B. (2002). 教師なし語彙獲得のためのグラフモデル(PDF) . 第19回国際計算言語学会議 (COLING). 台北、台湾. pp. 1–7.
^ ab Véronis, J. (2004). 「Hyperlex: 情報検索のための語彙地図作成」(PDF) . Computer Speech and Language . 18 (3): 223–252. CiteSeerX 10.1.1.66.6499 . doi :10.1016/j.csl.2004.05.002.
^ Agirre, E.; Martinez, D.; De Lacalle, O. Lopez; Soroa, A. 最先端の WSD のための 2 つのグラフベースアルゴリズム(PDF)。2006 年自然言語処理における経験的手法に関する会議 (EMNLP)。シドニー、オーストラリア。pp. 585–593。
^ Di Marco, A.; Navigli, R. (2013). 「グラフベースの語義誘導による Web 検索結果のクラスタリングと多様化」(PDF) .計算言語学. 39 (3): 709–754. doi :10.1162/coli_a_00148. S2CID 1775181.
^ Biemann, C. (2006). 「Chinese Whispers - 効率的なグラフクラスタリングアルゴリズムと自然言語処理問題への応用」(PDF)。
^ Navigli, R.; Crisafulli, G. 単語の意味を誘導して Web 検索結果のクラスタリングを改善する(PDF)。2010 年自然言語処理における経験的手法に関する会議 (EMNLP 2010)。マサチューセッツ州、米国: MIT Stata センター。pp. 116–126。
^ ナシルディン、M.;シュワブ、D.チェチメジエフ、A.;セラセット、G. Blanchon, H. Induction de sens pour richir des ressources lexicales (語彙リソースを強化するための単語感覚誘導) (PDF)。自然保護オートマティック 21 回会議 (TALN 2014)。マルセイユ、フランス。 598–603ページ。

[1] Navigli, R. (2009). 「単語の意味の曖昧さ解消: 調査」(PDF) . ACM Computing Surveys . 41 (2): 1–69. doi :10.1145/1459352.1459355. S2CID 461624.

[2] ナシルディン、M. (2013)。語感誘導の最新技術: リソースが不足している言語の語感の曖昧さを解消する方法(PDF)。 TALN-RÉCITAL 2013、フランス、レ・サーブル・ドロンヌ。 192–205ページ。

[3] Van de Cruys, T. (2010). 「意味のマイニング。テキストからの語彙意味知識の抽出」(PDF)。

[4] Schütze, H. (1998).意味の次元. 1992 ACM/IEEE スーパーコンピューティング会議. ロサンゼルスアラミトス、カリフォルニア州: IEEE コンピュータ協会出版局. pp. 787–796. doi :10.1109/SUPERC.1992.236684.

[5] Lin, D. (1998). 類似語の自動検索とクラスタリング(PDF) . 第17回国際計算言語学会議 (COLING). モントリオール、カナダ. pp. 768–774.

[6] Van de Cruys, Tim; Apidianaki, Marianna (2011). 「潜在的意味論的語義誘導と曖昧性解消」(PDF)。

[7] Lin, D.; Pantel, P. (2002).テキストからの語義の検出. 第8回国際知識発見およびデータマイニング会議 (KDD) . エドモントン、カナダ。pp. 613–619。CiteSeerX 10.1.1.12.6771。

[8] Widdows, D.; Dorow, B. (2002). 教師なし語彙獲得のためのグラフモデル(PDF) . 第19回国際計算言語学会議 (COLING). 台北、台湾. pp. 1–7.

[veronis04-9] Véronis, J. (2004). 「Hyperlex: 情報検索のための語彙地図作成」(PDF) . Computer Speech and Language . 18 (3): 223–252. CiteSeerX 10.1.1.66.6499 . doi :10.1016/j.csl.2004.05.002.

[10] Agirre, E.; Martinez, D.; De Lacalle, O. Lopez; Soroa, A. 最先端の WSD のための 2 つのグラフベースアルゴリズム(PDF)。2006 年自然言語処理における経験的手法に関する会議 (EMNLP)。シドニー、オーストラリア。pp. 585–593。

[11] Di Marco, A.; Navigli, R. (2013). 「グラフベースの語義誘導による Web 検索結果のクラスタリングと多様化」(PDF) .計算言語学. 39 (3): 709–754. doi :10.1162/coli_a_00148. S2CID 1775181.

[12] Biemann, C. (2006). 「Chinese Whispers - 効率的なグラフクラスタリングアルゴリズムと自然言語処理問題への応用」(PDF)。

[13] Navigli, R.; Crisafulli, G. 単語の意味を誘導して Web 検索結果のクラスタリングを改善する(PDF)。2010 年自然言語処理における経験的手法に関する会議 (EMNLP 2010)。マサチューセッツ州、米国: MIT Stata センター。pp. 116–126。

[14] ナシルディン、M.;シュワブ、D.チェチメジエフ、A.;セラセット、G. Blanchon, H. Induction de sens pour richir des ressources lexicales (語彙リソースを強化するための単語感覚誘導) (PDF)。自然保護オートマティック 21 回会議 (TALN 2014)。マルセイユ、フランス。 598–603ページ。