Loading article…
単語の意味の曖昧さ解消とは、文または他の文脈の中で単語のどの意味が意味されているかを識別するプロセスです。人間の言語処理と認知では、これは通常、無意識的に行われます。
自然言語は、脳のニューラルネットワークが提供する能力によって形作られた神経学的現実を反映する必要があることから、コンピュータサイエンスは、コンピュータで自然言語処理と機械学習を行う能力を開発するという長年の課題を抱えてきました。
語彙リソースにエンコードされた知識を使用する辞書ベースの方法、手動で意味を注釈付けした例のコーパスで各単語ごとに分類器をトレーニングする教師あり機械学習の方法、単語の出現をクラスター化して単語の意味を誘導する完全に教師なしの方法など、多くの手法が研究されてきました。これらのうち、教師あり学習アプローチは、これまでで 最も成功したアルゴリズムです。
現在のアルゴリズムの精度は、多くの注意点なしに述べることは困難です。英語では、粗粒度（同形異義語）レベルでの精度は、通常 90% を超えており（2009 年現在）、特定の同形異義語に対するいくつかの方法では 96% 以上を達成しています。より細分化された意味の区別については、評価演習（SemEval-2007、Senseval-2）で 59.1% から 69.0% の最高精度が報告されており、最も頻出する意味を常に選択する最も単純なアルゴリズムのベースライン精度は、それぞれ 51.4% と 57% でした。
バリエーション
曖昧さ解消には、曖昧さ解消の対象となる意味を指定する辞書と、曖昧さ解消の対象となる言語データのコーパスという 2 つの厳密な入力が必要です (一部の方法では、言語例のトレーニング コーパスも必要です)。WSD タスクには、「語彙サンプル」(以前に選択されたターゲット ワードの小さなサンプルの出現を曖昧さ解消) と「すべての単語」タスク (実行中のテキスト内のすべてのワードを曖昧さ解消) の 2 つのバリエーションがあります。「すべての単語」タスクは、一般的に、より現実的な評価形式であると考えられていますが、コーパスの作成にはコストがかかります。これは、人間の注釈者が、同じターゲット ワードのインスタンスのブロックに対して 1 回ではなく、タグ付けの判断を行う必要があるたびに、シーケンス内の各ワードの定義を読まなければならないためです。
歴史
WSD は、1940 年代の機械翻訳の初期の頃に、明確な計算タスクとして初めて定式化され、計算言語学における最も古い問題の 1 つとなっています。この問題は、1949 年の翻訳に関する覚書で、ウォーレン ウィーバーによって初めて計算のコンテキストで紹介されました。[1]その後、Bar-Hillel (1960) は、 [2]一般に世界のすべての知識をモデル化する必要があるため、WSD は「電子計算機」では解決できないと主張しました。
1970 年代、WSD は、ウィルクスの選好意味論に始まる人工知能の分野で開発された意味解釈システムのサブタスクでした。しかし、当時の WSD システムは主にルールベースで手動でコーディングされていたため、知識獲得のボトルネックになりがちでした。
1980 年代までには、 Oxford Advanced Learner's Dictionary of Current English (OALD)などの大規模な語彙リソースが利用可能になりました。手作業によるコーディングはこれらのリソースから自動的に抽出された知識に置き換えられましたが、曖昧さの解消は依然として知識ベースまたは辞書ベースでした。
1990 年代には、統計革命によって計算言語学が進歩し、WSD は教師あり機械学習技術を適用するためのパラダイム問題となりました。
2000 年代には、教師あり手法の精度が頭打ちになったため、より粗い粒度の感覚、ドメイン適応、半教師ありおよび教師なしのコーパスベースのシステム、さまざまな手法の組み合わせ、グラフベースの手法による知識ベース システムの復活に注目が移りました。それでも、教師ありシステムは引き続き最高のパフォーマンスを発揮しています。
困難
辞書の違い
語義の曖昧さ回避における問題の一つは、語義が何であるかを決めることです。異なる辞書やシソーラスは、語義を異なる方法で分類します。一部の研究者は、特定の辞書を選択し、その辞書に含まれる語義セットを使用してこの問題に対処することを提案しています。しかし、一般的に、広い意味での区別を用いた研究結果は、狭い意味での区別を用いた研究結果よりもはるかに優れています。[3] [4]ほとんどの研究者は、きめの細かいWSD に引き続き取り組んでいます。
WSDの分野での研究のほとんどは、英語の参照用意味目録としてWordNetを使用して行われています。WordNetは、概念を同義語セットとしてエンコードする計算語彙集です（たとえば、車の概念は{ car, auto, automobile, machine, motorcar }としてエンコードされます）。曖昧さ回避のために使用される他のリソースには、Roget's Thesaurus [5]やWikipediaがあります。[6]最近では、多言語百科事典辞書であるBabelNetが多言語WSDに使用されています。[7]
品詞タグ付け
実際のテストでは、品詞タグ付けと意味タグ付けは非常に密接に関連しており、それぞれが他方に制約を課す可能性があることが証明されています。これらのタスクを一緒に保持するか、分離するかという問題はまだ満場一致で解決されていませんが、最近では科学者はこれらを別々にテストする傾向にあります (たとえば、Senseval/ SemEvalコンテストでは、品詞はテキストの曖昧さを解消するための入力として提供されます)。
WSD と品詞タグ付けはどちらも単語の曖昧さ解消またはタグ付けを伴います。しかし、一方に使用されるアルゴリズムは、他方にはうまく機能しない傾向があります。これは主に、単語の品詞は主にすぐ隣の 1 ～ 3 語によって決定されるのに対し、単語の意味はそれより離れた単語によって決定される可能性があるためです。品詞タグ付けアルゴリズムの成功率は、現在 WSD よりもはるかに高く、最先端の精度は約 96% [8]以上であるのに対し、教師あり学習による単語の意味の曖昧さ解消の精度は75% 未満[要出典]です。これらの数値は英語の場合に一般的であり、他の言語とは大きく異なる場合があります。
裁判官間の相違
もう一つの問題は、審査員間の 差異です。WSDシステムは通常、タスクの結果と人間の結果を比較することでテストされます。しかし、テキストに品詞を割り当てることは比較的簡単ですが、意味をタグ付けするように人々を訓練することははるかに難しいことが証明されています。[9]ユーザーは単語がとり得る品詞をすべて記憶できますが、単語がとり得る意味をすべて記憶することは不可能な場合がよくあります。さらに、人間は目の前のタスクについて意見が一致しません。意味と文のリストを与えられても、どの単語がどの意味に属するかについて必ずしも意見が一致するとは限りません。[10]
人間のパフォーマンスが基準となるため、それがコンピュータのパフォーマンスの上限となります。しかし、人間のパフォーマンスは、細かい粒度の区別よりも粗い粒度の区別のほうがはるかに優れているため、最近のWSD評価演習では、粗い粒度の区別に関する研究[11] [12]がテストされています。[3] [4]
センスインベントリとアルゴリズムのタスク依存性
タスクに依存しない意味インベントリは、一貫した概念ではありません。[13]各タスクでは、タスクに関連する意味に単語の意味を分割する必要があります。さらに、アプリケーションによってはまったく異なるアルゴリズムが必要になる場合があります。機械翻訳では、問題はターゲット単語の選択という形をとります。「意味」はターゲット言語の単語であり、多くの場合、ソース言語の重要な意味の違いに対応します（「bank」はフランス語のbanque （つまり「金融銀行」）またはrive（つまり「川の端」）に翻訳できます）。情報検索では、意味インベントリは必ずしも必要ではありません。なぜなら、クエリと検索されたドキュメントで単語が同じ意味で使用されていることがわかれば十分であり、それがどのような意味であるかは重要ではないからです。
感覚の離散性
最後に、「語義」という概念自体が曖昧で議論の余地がある。ほとんどの人は、粗い 同音異義語レベル（例えば、ペンは筆記具か囲い物か）での区別には同意できるが、1レベル下がってきめの細かい 多義性になると、意見の不一致が生じる。例えば、きめの細かい意味の区別を使用したSenseval-2では、人間の注釈者が同意したのは単語の出現の85%だけだった。[14]語義は、原則として無限に変化し、文脈に依存する。それは、明確に区別された、あるいは離散した下位の意味に簡単には分割されない。[15]辞書 編集者は、コーパスの中に、曖昧で重複した語義や、驚くほど多様な方法で拡張、調整、利用された標準的または慣習的な意味を頻繁に発見する。辞書編集の技術は、コーパスから、語の意味の全範囲を呼び起こし説明する定義へと一般化し、語が意味的に適切に振る舞っているように見せることである。しかし、辞書編集者の決定は通常他の考慮事項によって左右されるため、これらの同じ意味の区別が計算アプリケーションに適用できるかどうかはまったく明らかではありません。2009年に、語彙の置換と呼ばれるタスクが、意味の離散性問題の可能な解決策として提案されました。[16]このタスクは、文脈の中で元の単語の意味を保持する単語の代替を提供することです（潜在的には、代替はターゲット言語の完全な辞書から選択され、離散性を克服することができます）。
アプローチと方法
WSD には、ディープ アプローチとシャロー アプローチという 2 つの主なアプローチがあります。
ディープアプローチは、包括的な世界知識へのアクセスを前提としています。これらのアプローチは、主にそのような知識が、非常に限られた領域以外では、コンピュータで読み取り可能な形式で存在しないため、実際にはあまり成功しているとは一般に考えられていません。[17]さらに、計算言語学では、コード化された知識の観点からそのようなアプローチを試みるという長い伝統があり、場合によっては、言語知識と世界知識の知識を区別することが難しい場合があります。最初の試みは、 1950年代にイギリスのケンブリッジ言語研究ユニットでマーガレット・マスターマンと彼女の同僚が行ったものでした。この試みでは、データとして、ロジェのシソーラスのパンチカード版と、トピックの指標として番号付きの「見出し」を使用し、集合交差アルゴリズムを使用してテキスト内の繰り返しを探しました。これはあまり成功しませんでしたが、[18]後の研究、特に1990年代のヤロウスキーのシソーラス手法の機械学習最適化と密接な関係がありました。
浅いアプローチでは、テキストを理解しようとはせず、周囲の単語を考慮します。これらのルールは、単語の意味がタグ付けされた単語のトレーニング コーパスを使用して、コンピューターによって自動的に導き出されます。このアプローチは、理論的には深いアプローチほど強力ではありませんが、コンピューターの世界に関する知識が限られているため、実際には優れた結果をもたらします。
WSD には 4 つの従来のアプローチがあります。
- 辞書および知識ベースの方法: これらは、コーパスの証拠を使用せずに、主に辞書、シソーラス、および語彙知識ベースに依存します。
- 半教師ありまたは最小限の教師あり手法: これらは、ブートストラップ プロセスのシード データとして小さな注釈付きコーパスや、単語が揃えられたバイリンガル コーパスなどの二次的な知識ソースを利用します。
- 教師あり学習法: 意味が注釈されたコーパスを使用して学習します。
- 教師なし手法: これらは (ほぼ) 完全に外部情報を避け、注釈のない生のコーパスから直接作業します。これらの方法は、語義識別という名前でも知られています。
これらのアプローチのほとんどすべては、コーパス内で曖昧さを解消する各単語の周囲にn 個のコンテンツ ワードのウィンドウを定義し、それらのn 個の周囲ワードを統計的に分析することによって機能します。トレーニングと曖昧さ解消に使用される 2 つの浅いアプローチは、ナイーブ ベイズ分類器と決定木です。最近の研究では、サポート ベクター マシンなどのカーネルベースの方法が、教師あり学習で優れたパフォーマンスを示しています。グラフベースのアプローチも研究コミュニティから大きな注目を集めており、現在、最先端に近いパフォーマンスを達成しています。
辞書と知識に基づく方法
Leskアルゴリズム[19]は、辞書ベースの手法として独創的なものです。この手法は、テキストで一緒に使用される単語は互いに関連しており、その関係は単語の定義とその意味に見られるという仮説に基づいています。2 つ (またはそれ以上) の単語は、辞書定義で最も重複する単語の辞書意味のペアを見つけることで曖昧さが解消されます。たとえば、「pine cone」の単語を曖昧さ解消する場合、適切な意味の定義にはどちらも evergreen と tree という単語が含まれています (少なくとも 1 つの辞書では)。同様のアプローチ[20]では、2 つの単語間の最短経路を検索します。2 番目の単語は、最初の単語のすべての意味バリアントの定義で繰り返し検索され、次に各単語の以前の定義のすべての意味バリアントの定義で繰り返し検索されます。最後に、最初の単語から 2 番目の単語までの距離を最小にする意味バリアントを選択することで、最初の単語の曖昧さが解消されます。
定義を使用する代わりに、一般的な語義の関連性を考慮し、 WordNetなどの特定の語彙知識ベースに基づいて、語義の各ペアの意味的類似性を計算することもできます。AI研究の初期の活性化拡散研究を彷彿とさせるグラフベースの方法が、ある程度の成功を収めて適用されています。より複雑なグラフベースのアプローチは、教師あり手法とほぼ同等のパフォーマンスを発揮することが示されている[21]。特定のドメインでは、教師あり手法よりも優れている場合もあります。[3] [22]最近、次数などの単純なグラフ接続性指標は、十分に豊富な語彙知識ベースがある場合に最先端のWSDを実行することが報告されています。[23]また、意味関係の形で知識をWikipediaからWordNetに自動的に転送すると、単純な知識ベースの方法が向上し、ドメイン固有の設定で最良の教師ありシステムに匹敵し、さらにはそれを上回ることさえあります。[24]
選択的嗜好（または選択的制約）の使用も有用です。たとえば、通常は料理をする人だとわかっていれば、「私はベースを料理しています」という表現の「ベース」という単語の曖昧さを解消できます（つまり、ベースは楽器ではありません）。
教師あり法
教師あり学習法は、文脈が単語の曖昧さを解消するのに十分な証拠を単独で提供できるという仮定に基づいています（したがって、常識や推論は不要と見なされます）。おそらく、特徴選択、パラメータ最適化、アンサンブル学習などの関連技術を含め、あらゆる機械学習アルゴリズムが WSD に適用されています。サポートベクターマシンとメモリベース学習は、おそらく高次元の特徴空間に対処できるため、これまでのところ最も成功したアプローチであることが示されています。ただし、これらの教師あり学習法は、作成に手間と費用がかかる、手動で意味をタグ付けした大量のコーパスをトレーニングに使用するため、新しい知識獲得のボトルネックが発生します。
半教師あり学習法
トレーニングデータが不足しているため、多くの語義の曖昧さ解消アルゴリズムは、ラベル付きデータとラベルなしデータの両方を許可する半教師あり学習を使用しています。ヤロウスキーアルゴリズムは、そのようなアルゴリズムの初期の例でした。[25]このアルゴリズムは、語義の曖昧さ解消に、人間の言語の「コロケーションごとに1つの意味」と「談話ごとに1つの意味」という特性を使用します。観察によると、ほとんどの談話とコロケーションでは、単語は1つの意味しか示さない傾向があります。[26]
ブートストラップ法は、各単語の少量のシードデータから始まります。シードデータは、手動でタグ付けされたトレーニング例、または少数の確実な決定ルール（たとえば、「ベース」のコンテキストで「演奏」はほとんどの場合楽器を示します）です。シードは、任意の教師ありメソッドを使用して、初期分類器をトレーニングするために使用されます。次に、この分類器はコーパスのタグ付けされていない部分で使用され、最も信頼性の高い分類のみが含まれるより大きなトレーニングセットが抽出されます。このプロセスは、コーパス全体が消費されるか、指定された最大反復回数に達するまで繰り返され、新しい分類器はそれぞれ、より大きなトレーニングコーパスでトレーニングされます。
その他の半教師あり手法では、大量のタグなしコーパスを使用して、タグ付きコーパスを補足する共起情報を提供します。これらの手法は、教師ありモデルをさまざまなドメインに適応させるのに役立つ可能性があります。
また、ある言語であいまいな単語は、その単語の意味に応じて、別の言語では異なる単語に翻訳されることがよくあります。単語を揃えたバイリンガルコーパスは、言語間の意味の区別を推測するために使用されてきました。これは一種の半教師ありシステムです。[引用が必要]
教師なし手法
教師なし学習は、 WSD 研究者にとって最大の課題です。基本的な仮定は、類似した意味は類似した文脈で発生するため、文脈の類似性の尺度を使用して単語の出現をクラスタリングすることにより、テキストから意味を誘導できるというものです。 [27]このタスクは、語義誘導または語義識別と呼ばれます。次に、単語の新しい出現を、最も近い誘導されたクラスタ/意味に分類できます。パフォーマンスは上記の他の方法よりも低くなっていますが、誘導された意味を既知の語義辞書にマッピングする必要があるため、比較は困難です。辞書の意味のセットへのマッピングが望ましくない場合は、クラスタベースの評価 (エントロピーと純度の尺度を含む) を実行できます。または、語義誘導方法をアプリケーション内でテストして比較することもできます。たとえば、語義誘導により、結果クラスタの品質と結果リストの程度の多様化が向上し、Web 検索結果のクラスタリングが改善されることが示されています。[28] [29]教師なし学習は手作業に依存しないため、 知識獲得のボトルネックを克服することが期待されています。
文脈を考慮した単語を固定サイズの密なベクトル（単語埋め込み）で表現することは、いくつかの NLP システムで最も基本的なブロックの 1 つになっています。[30] [31] [32]従来の単語埋め込み技術のほとんどは、複数の意味を持つ単語を単一のベクトル表現にまとめたものですが、それでも WSD を改善するために使用できます。[33]事前に計算された単語埋め込みを使用して単語の意味を表す簡単な方法は、意味クラスターの重心を計算することです。[34] [35]単語埋め込み技術に加えて、語彙データベース（WordNet、ConceptNet、BabelNetなど）も、教師なしシステムが単語とその意味を辞書としてマッピングするのに役立ちます。語彙データベースと単語埋め込みを組み合わせたいくつかの技術は、AutoExtend [36] [37]と Most Suitable Sense Annotation (MSSA) で紹介されています。[38] AutoExtend [37]では、オブジェクトの入力表現を単語やその語義などのプロパティに分離する方法が提示されています。AutoExtendはグラフ構造を使用して、単語（テキストなど）と非単語（WordNetのsynsetなど）オブジェクトをノードとして、ノード間の関係をエッジとしてマッピングします。AutoExtendの関係（エッジ）は、ノード間の追加または類似性のいずれかを表現できます。前者はオフセット計算の背後にある直感を捉えており、[30]後者は2つのノード間の類似性を定義しています。MSSA [38]では、教師なしの曖昧性解消システムが、固定コンテキストウィンドウ内の語義間の類似性を使用して、事前トレーニング済みの単語埋め込みモデルとWordNetを使用して最適な語義を選択します。各コンテキストウィンドウについて、MSSAは、事前トレーニング済みの単語埋め込みモデルを使用して、WordNetの注釈（短い定義注釈と1つ以上の使用例）内の単語の単語ベクトルを平均することにより、各語義定義の重心を計算します。これらの重心は、ターゲット単語とそのすぐ隣の単語 (つまり、先行単語と後続単語) との類似度が最も高い単語の意味を選択するために後で使用されます。すべての単語に注釈が付けられ、曖昧性が解消された後、標準的な単語埋め込み手法でトレーニング コーパスとして使用できます。改良版の MSSA では、単語の意味の埋め込みを使用して、曖昧性解消プロセスを反復的に繰り返すことができます。
その他のアプローチ
他のアプローチでは、方法が異なる場合があります。
- ドメイン駆動型曖昧性解消[39] [40]
- 主要な語義の特定; [41] [42] [43]
- クロスリンガルエビデンスを用いたWSD。[44] [45]
- パトム理論と RRG (役割参照文法) を組み合わせたJohn Ball の言語非依存 NLUにおける WSD ソリューション
- 制約ベース文法における型推論[46]
その他の言語
- ヒンディー語：ヒンディー語の語彙資源の不足はWSDの教師ありモデルのパフォーマンスを妨げており、教師なしモデルは広範な形態論のために苦しんでいます。この問題の可能な解決策は、並列コーパスによるWSDモデルの設計です。 [47] [48]ヒンディー語WordNetの作成により、名詞の曖昧さを解消する精度が向上することが証明されているいくつかの教師あり手法への道が開かれました。 [49]
現地の障害と概要
知識獲得のボトルネックは、おそらく WSD 問題を解決する上での大きな障害です。教師なし手法は、辞書や語彙データベースにまばらにしか定式化されていない単語の意味に関する知識に依存しています。教師あり手法は、すべての単語の意味について手動で注釈を付けられた例の存在に大きく依存していますが、この要件は、 Senseval演習で行われているように、これまでのところ[いつ? ]テスト目的で少数の単語に対してのみ満たされています。
WSD研究で最も有望なトレンドの1つは、これまでアクセスできた中で最大のコーパスであるワールドワイドウェブを使用して、語彙情報を自動的に取得することです。[50] WSDは伝統的に、情報検索（IR）などのアプリケーションを改善できる中間言語エンジニアリング技術であると理解されてきました。しかし、この場合、その逆も当てはまります。つまり、ウェブ検索エンジンは、 WSDで使用する情報をウェブからうまくマイニングできるシンプルで堅牢なIR技術を実装しています。トレーニングデータが歴史的に不足していたため、意味タグ付きコーパスの自動取得で説明されているように、いくつかの新しいアルゴリズムと技術が登場しました。
外部知識源
知識はWSDの基本的な構成要素です。知識源は、語義と語義を関連付けるために不可欠なデータを提供します。それらは、ラベル付けされていないか語義が注釈付けされたテキストのコーパスから、機械可読辞書、シソーラス、用語集、オントロジーなどまで多岐にわたります。それらは[51] [52]次のように分類できます。
構造化:
非構造化:
- コロケーションリソース
- その他のリソース（単語頻度リスト、ストップリスト、ドメインラベルなど[53]など）
- コーパス: 生のコーパスと意味注釈付きコーパス
評価
採用されているテスト セット、センス インベントリ、知識リソースが異なるため、さまざまな WSD システムを比較して評価することは非常に困難です。特定の評価キャンペーンを組織する前は、ほとんどのシステムは社内の小規模なデータ セットで評価されていました。アルゴリズムをテストするには、開発者は時間をかけてすべての単語の出現に注釈を付ける必要があります。また、センス インベントリが異なる場合は、同じコーパスであっても方法を比較することはできません。
共通の評価データセットと手順を定義するために、公開評価キャンペーンが組織されてきました。Senseval （現在はSemEvalに改名）は、1998年以来3年ごとに開催されている国際的な語義の曖昧さ解消コンテストです。開催年数は、Senseval-1（1998年）、Senseval-2（2001年）、Senseval-3 [奪取]（2004年）、その後継であるSemEval（2007年）です。このコンテストの目的は、さまざまな講義を編成し、システムをテストするためのコーパスを準備して手動で注釈を付け、さまざまな言語の全単語および語彙サンプルWSDを含むさまざまな種類のタスクでWSDシステムの比較評価を行うことです。最近では、意味役割ラベル付け、グロスWSD、語彙置換などの新しいタスクも追加されています。これらのコンテストに評価のために提出されるシステムは通常、さまざまな手法を統合しており、多くの場合、教師あり手法と知識ベース手法を組み合わせています（特にトレーニング例が不足している場合のパフォーマンスの低下を回避するため）。
近年（2007～2012年）では、WSD評価タスクの選択肢が増え、WSD評価タスクの種類に応じてWSDを評価する基準も大きく変わりました。以下にWSDタスクの種類を列挙します。
タスク設計の選択
テクノロジーが進化するにつれて、Word Sense Disambiguation (WSD) タスクはさまざまな研究方向に向けて、より多くの言語を対象に、さまざまな形で成長しています。
- 古典的な単一言語WSD評価タスクでは、WordNetを意味インベントリとして使用し、主に手動で意味を注釈付けしたコーパスを使用した教師あり/半教師あり分類に基づいています。 [54]
- Classic English WSD は、Princeton WordNet を感覚インベントリとして使用し、主な分類入力は通常、SemCor コーパスに基づいています。
- 他の言語の古典的なWSDは、それぞれの言語でタグ付けされた意味のインベントリと意味の注釈付きコーパスとしてそれぞれのWordNetを使用します。研究者は多くの場合、SemCorコーパスと英語をソース言語とするバイテキストも利用します。
- クロスリンガルWSD評価タスクもまた、2つ以上の言語にまたがるWSDに同時に焦点を合わせています。多言語WSDタスクとは異なり、多義名詞の各意味について手動で意味を注釈付けした例を提供する代わりに、意味インベントリは、例えばEuroparlコーパスなどの並列コーパスに基づいて構築されます。[55]
- 多言語WSD評価タスクは、2つ以上の言語にまたがるWSDに同時に焦点をあて、それぞれのWordNetをその意味インベントリとして、またはBabelNetを多言語意味インベントリとして使用しました。[56]これは、Senseval-2で行われた翻訳WSD評価タスクから発展したものです。一般的なアプローチは、単一言語WSDを実行し、ソース言語の意味を対応するターゲット単語の翻訳にマッピングすることです。[57]
- 語義誘導および曖昧性解消タスクは、多義語とそれらが含まれる文からなる固定されたトレーニングセットデータから語義インベントリを最初に誘導し、次に異なるテストデータセットでWSDを実行する複合タスク評価です。[58]
ソフトウェア
- Babelfy [59]は、多言語の単語の意味の曖昧さ解消とエンティティのリンク付けのための最先端の統合システムである。
- BabelNet API [60]は、 BabelNetセマンティックネットワークを使用して6つの異なる言語で知識ベースの多言語単語意味の曖昧性解消を行うJava APIです。
- WordNet::SenseRelate [61]は、単語の意味の曖昧さ解消と語彙サンプルの意味の曖昧さ解消のための無料のオープンソースシステムを含むプロジェクトです。
- UKB: Graph Base WSD、[62]既存の語彙知識ベース[63]を使用してグラフベースの単語意味の曖昧性解消と語彙の類似性/関連性を実行するためのプログラムのコレクション
- pyWSD、[64] Word Sense Disambiguation (WSD) 技術の Python 実装
参照
ウィキメディア・コモンズには、単語の意味の曖昧さ回避に関連するメディアがあります。
参考文献
- ^ ウィーバー 1949年。
- ^ バー・ヒレル 1964年、174-179頁。
- ^ ab Pradhanら。 2007、87–92ページ。
- ^ ヤロウスキー1992、454-460頁。
- ^ ミハルセア 2007年。
- ^ A. Moro; A. Raganato; R. Navigli. Entity Linking meets Word Sense Disambiguation: a Unified Approach. Archived 2014-08-08 at the Wayback Machine . Transactions of the Association for Computational Linguistics (TACL). 2. pp. 231–244. 2014.
- ^ Martinez, Angel R. (2012年1月). 「品詞タグ付け: 品詞タグ付け」. Wiley Interdisciplinary Reviews: Computational Statistics . 4 (1): 107–113. doi :10.1002/wics.195. S2CID 62672734. 2023年7月15日時点のオリジナルよりアーカイブ。 2021年4月1日閲覧。
- ^ フェルバウム 1997.
- ^ スナイダー＆パーマー 2004年、41-43頁。
- ^ スノーら2007年、1005-1014頁。
- ^ Palmer、Babko-Malaya & Dang 2004、49–56 ページ。
- ^ エドモンズ 2000年。
- ^ キルガリフ1997年、91-113頁。
- ^ レナト＆グハ 1989年。
- ^ ウィルクス、スレーター＆ガスリー 1996年。
- ^ レスク1986、24-26頁。
- ^ Diamantini, C.; Mircoli, A.; Potena, D.; Storti, E. (2015-06-01). 「ソーシャル情報発見システムにおける意味的曖昧性解消」2015 国際コラボレーション技術およびシステム会議 (CTS)。pp. 326–333。doi : 10.1109 / CTS.2015.7210442。ISBN 978-1-4673-7647-1. S2CID 13260353。
- ^ Agirre、Lopez de Lacalle & Soroa 2009、1501–1506 ページ。
- ^ ヤロウスキー1995年、189-196頁。
- ^ Mitkov, Ruslan (2004). 「13.5.3 感覚に関する2つの主張」.オックスフォード計算言語学ハンドブック. OUP. p. 257. ISBN 978-0-19-927634-9. 2022年2月22日時点のオリジナルよりアーカイブ。2022年2月22日閲覧。
- ^ シュッツェ、1998 年、97–123 ページ。
- ^ ab Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013-01-16). 「ベクトル空間における単語表現の効率的な推定」. arXiv : 1301.3781 [cs.CL].
- ^ ペニントン、ジェフリー、ソチャー、リチャード、マニング、クリストファー (2014)。「グローブ: 単語表現のためのグローバルベクトル」。2014年自然言語処理における経験的手法に関する会議 (EMNLP) の議事録。米国ペンシルバニア州ストウズバーグ: 計算言語学協会。pp. 1532–1543。doi : 10.3115/v1/ d14-1162。S2CID 1957433 。
- ^ Bojanowski, Piotr; Grave, Edouard; Joulin, Armand; Mikolov, Tomas (2017年12月). 「サブワード情報による単語ベクトルの強化」. Transactions of the Association for Computational Linguistics . 5 : 135–146. arXiv : 1607.04606 . doi : 10.1162/tacl_a_00051 . ISSN 2307-387X.
- ^ Iacobacci, Ignacio; Pilehvar, Mohammad Taher; Navigli, Roberto (2016). 「単語の意味の曖昧さ解消のための埋め込み：評価研究」。Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)。ベルリン、ドイツ：Association for Computational Linguistics：897–907。doi ：10.18653/v1/P16-1085。hdl：11573 / 936571。2019-10-28にオリジナルからアーカイブ。2019-10-28に取得。
- ^ Bhingardive, Sudha; Singh, Dhirendra; V, Rudramurthy; Redkar, Hanumant; Bhattacharyya, Pushpak (2015). 「単語埋め込みを使用した教師なし最頻出意味検出」。2015年北米支部計算言語学協会会議議事録: 人間言語技術。コロラド州デンバー: 計算言語学協会。pp. 1238–1243。doi :10.3115/v1/N15-1132。S2CID 10778029。 2023年1月21日時点のオリジナルよりアーカイブ。2023年1月21日閲覧。
- ^ Butnaru, Andrei; Ionescu, Radu Tudor; Hristea, Florentina (2017). 「ShotgunWSD: DNAシーケンシングにヒントを得た、グローバルな語義曖昧性解消のための教師なしアルゴリズム」。Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : 916–926. arXiv : 1707.08084。2023-01-21にオリジナルからアーカイブ。2023-01-21に取得。
- ^ Rothe, Sascha; Schütze, Hinrich (2015). 「AutoExtend: 単語埋め込みを Synsets と Lexemes の埋め込みに拡張する」第 1 巻: 長編論文. 計算言語学協会および自然言語処理に関する国際合同会議。計算言語学協会の第 53 回年次会議および第 7 回自然言語処理に関する国際合同会議の議事録。 ペンシルベニア州ストウズバーグ、米国: 計算言語学協会。 pp. 1793–1803。arXiv : 1507.01127。Bibcode :2015arXiv150701127R。doi :10.3115/v1/p15-1173。S2CID 15687295。
- ^ ab Rothe, Sascha; Schütze, Hinrich (2017年9月). 「AutoExtend: 単語埋め込みと意味リソースの結合」.計算言語学. 43 (3): 593–617. doi : 10.1162/coli_a_00294 . ISSN 0891-2017.
- ^ ab Ruas, Terry; Grosky, William; Aizawa, Akiko (2019年12月). 「語義曖昧性解消プロセスによる多義的埋め込み」.エキスパートシステムとその応用. 136 : 288–303. arXiv : 2101.08700 . doi :10.1016/j.eswa.2019.06.026. hdl : 2027.42/145475 . S2CID 52225306.
- ^ グリオッツォ、マーニーニ、ストラップパラヴァ、2004 年、380–387 ページ。
- ^ ブイテラールら。 2006 年、275 ～ 298 ページ。
- ^ マッカーシーら2007年、553-590頁。
- ^ モハメッド＆ハースト 2006年、121-128頁。
- ^ Lapata & Keller 2007、pp. 348–355。
- ^ Ide、Erjavec & Tufis 2002、54–60 ページ。
- ^ Chan & Ng 2005、1037–1042 ページ。
- ^ シーバー、スチュアート M. (1992)。制約ベースの文法形式論:自然言語とコンピュータ言語の構文解析と型推論。マサチューセッツ:MIT プレス。ISBN 978-0-262-19324-5. 2023年7月15日時点のオリジナルよりアーカイブ。2018年12月23日閲覧。
- ^ Bhattacharya、Indrajit、Lise Getoor、Yoshua Bengio。二言語確率モデルを使用した教師なし意味曖昧性解消、Wayback Machineに 2016-01-09 にアーカイブ。計算言語学協会の第 42 回年次会議の議事録。計算言語学協会、2004 年。
- ^ Diab、Mona、および Philip Resnik。並列コーパスを使用した単語の意味タグ付けのための教師なし手法。Wayback Machineに 2016-03-04 にアーカイブ。計算言語学協会の第 40 回年次会議の議事録。計算言語学協会、2002 年。
- ^ Manish Sinha、Mahesh Kumar、Prabhakar Pande、Laxmi Kashyap、Pushpak Bhattacharyya。ヒンディー語の単語の意味の曖昧さ回避。Wayback Machineに 2016 年 3 月 4 日にアーカイブ。機械翻訳、自然言語処理、翻訳支援システムに関する国際シンポジウム、インド、デリー、2004 年。
- ^ キルガリフ＆グレフェンステッテ 2003、333-347頁。
- ^ リトコウスキー、2005、753–761。
- ^ Agirre & Stevenson 2007、217–251 ページ。
- ^ Magnini & Cavaglià 2000、pp. 1413–1418。
- ^ Lucia Specia、Maria das Gracas Volpe Nunes、Gabriela Castelo Branco Ribeiro、Mark Stevenson。多言語対単一言語の WSD、Wayback Machineに 2012-04-10 にアーカイブ。EACL-2006 ワークショップ「Making Sense of Sense: Bringing Psycholinguistics and Computational Linguistics Together」、33～40 ページ、イタリア、トレント、2006 年 4 月。
- ^ Els Lefever と Veronique Hoste。SemEval-2010 タスク 3: 言語間の語義の曖昧さ解消。Wayback Machineに 2010-06-16 にアーカイブ。意味評価に関するワークショップの議事録: 最近の成果と将来の方向性。2009 年 6 月 4 日 - 4 日、コロラド州ボルダー。
- ^ R. Navigli、DA Jurgens、D. Vannella。SemEval-2013 タスク 12: 多言語の語義の曖昧性解消 Archived 2014-08-08 at the Wayback Machine。第 7 回国際意味評価ワークショップ (SemEval) の議事録、第 2 回語彙および計算意味論に関する合同会議 (*SEM 2013)、米国アトランタ、2013 年 6 月 14 ～ 15 日、pp. 222 ～ 231。
- ^ Lucia Specia、Maria das Gracas Volpe Nunes、Gabriela Castelo Branco Ribeiro、Mark Stevenson。多言語対単一言語の WSD、Wayback Machineに 2012-04-10 にアーカイブ。EACL-2006 ワークショップ「Making Sense of Sense: Bringing Psycholinguistics and Computational Linguistics Together」、33～40 ページ、イタリア、トレント、2006 年 4 月。
- ^ Eneko Agirre と Aitor Soroa。Semeval-2007 タスク 02: 語義誘導および識別システムの評価 Archived 2013-02-28 at the Wayback Machine。第 4 回国際意味評価ワークショップの議事録、pp. 7–12、2007 年 6 月 23 日～24 日、チェコ共和国プラハ。
- ^ “Babelfy”. Babelfy. 2014年8月8日時点のオリジナルよりアーカイブ。2018年3月22日閲覧。
- ^ 「BabelNet API」。Babelnet.org。2018年3月22日時点のオリジナルよりアーカイブ。2018年3月22日閲覧。
- ^ 「WordNet::SenseRelate」。Senserelate.sourceforge.net。2018年3月21日時点のオリジナルよりアーカイブ。2018年3月22日閲覧。
- ^ 「UKB: Graph Base WSD」。Ixa2.si.ehu.es。2018年3月12日時点のオリジナルよりアーカイブ。2018年3月22日閲覧。
- ^ 「Lexical Knowledge Base (LKB)」。Moin.delph-in.net。2018年2月5日。2018年3月9日時点のオリジナルよりアーカイブ。 2018年3月22日閲覧。
- ^ alvations. "pyWSD". Github.com. 2018-06-11 にオリジナルからアーカイブ。2018-03-22に取得。
引用文献
- Agirre, E.; Lopez de Lacalle, A.; Soroa, A. (2009). 「特定のドメインにおける知識ベースの WSD: 一般的な教師あり WSD よりも優れたパフォーマンス」(PDF) . Proc. of IJCAI .
- Agirre, E.; Stevenson, M. (2007)。「WSD の知識源」。Agirre, E.、Edmonds, P. (編)。『Word Sense Disambiguation: Algorithms and Applications』。ニューヨーク: Springer。ISBN 978-1402068706。
- Bar-Hillel, Y. (1964)。言語と情報。マサチューセッツ州レディング：Addison-Wesley。
- Buitelaar, P.; Magnini, B.; Strapparava, C.; Vossen, P. (2006)。「ドメイン固有の WSD」。Agirre, E.、Edmonds, P. (編)。『Word Sense Disambiguation: Algorithms and Applications』。ニューヨーク: Springer。
- Chan, YS; Ng, HT (2005)。並列テキストによる語義の曖昧さ解消の拡大。第20回全国人工知能会議議事録。ピッツバーグ：AAAI。
- Di Marco, A.; Navigli, R. (2013). 「グラフベースの語義誘導による Web 検索結果のクラスタリングと多様化」。計算言語学。39 (3). MIT プレス: 709–754. doi :10.1162/COLI_a_00148. S2CID 1775181.
- Edmonds, P. (2000). 「SENSEVAL-2 のタスクの設計」(技術ノート). 英国ブライトン: ブライトン大学.
- Fellbaum, Christiane (1997)。「手書き課題の分析」。語彙意味論によるテキストのタグ付けに関する ANLP-97 ワークショップ議事録: 理由、内容、方法。ワシントン DC
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - Gliozzo, A.; Magnini, B.; Strapparava, C. (2004). 語義の曖昧さ解消のための教師なしドメイン関連性推定(PDF)。2004 年自然言語処理における経験的手法に関する会議の議事録。バルセロナ、スペイン: EMNLP。
- Ide, N.; Erjavec, T.; Tufis, D. (2002)。並列コーパスによる意味の識別(PDF)。単語の意味の曖昧さ解消に関する ACL ワークショップの議事録: 最近の成功と将来の方向性。フィラデルフィア。
- Lapata, M.; Keller, F. (2007). 意味のランク付けに対する情報検索アプローチ(PDF)。計算言語学会北米支部人間言語技術会議議事録。ニューヨーク州ロチェスター: HLT-NAACL。
- Lenat, D.; Guha, RV (1989).大規模知識ベースシステムの構築. Addison-Wesley.
- Lesk, M. (1986)。機械可読辞書を使用した自動意味曖昧性解消: 松ぼっくりとアイスクリームコーンの見分け方(PDF)。SIGDOC-86 議事録: 第 5 回システム ドキュメンテーション国際会議。トロント、カナダ。
- Litkowski, KC (2005)。「計算用辞書と辞書」。Brown, KR (編)。言語と言語学の百科事典(第 2 版)。オックスフォード: Elsevier Publishers。
- Magnini, B.; Cavaglià, G. (2000) 。WordNet への主題フィールド コードの統合。第 2 回言語リソースと評価に関する会議の議事録。アテネ、ギリシャ: LREC。
- McCarthy, D.; Koeling, R.; Weeds, J.; Carroll, J. (2007). 「教師なしの主要語義の獲得」(PDF) .計算言語学. 33 (4): 553–590. doi :10.1162/coli.2007.33.4.553.
- McCarthy, D.; Navigli, R. (2009). 「英語の語彙置換タスク」(PDF) .言語資源と評価. 43 (2). Springer: 139–159. doi :10.1007/s10579-009-9084-1. S2CID 16888516.
- Mihalcea, R. (2007 年 4 月)。Wikipedia を使用した自動語義曖昧性解消(PDF) 。Proc. of the North American Chapter of the Association for Computational Linguistics。ロチェスター、ニューヨーク: NAACL。2008 年 7 月 24 日のオリジナル(PDF)からアーカイブ。
- Mohammad, S.; Hirst, G. (2006). シソーラスを使用した語義の優位性の判定(PDF)。第 11 回ヨーロッパ支部計算言語学会会議議事録。イタリア、トレント: EACL。
- Navigli, R. (2006). 「意味のある意味のクラスタリングは、単語の意味の曖昧さ解消のパフォーマンスを向上させる」(PDF)。第 44 回計算言語学協会年次会議 (第 21 回国際計算言語学会議と共同) の議事録。オーストラリア、シドニー: COLING-ACL。2011 年 6 月 29 日のオリジナル(PDF)からアーカイブ。
- Navigli, R.; Crisafulli, G. (2010). 単語の意味を誘導して Web 検索結果のクラスタリングを改善する(PDF)。2010 年自然言語処理における経験的手法に関する会議の議事録。MIT Stata Center、マサチューセッツ州、米国: EMNLP。
- Navigli, R.; Lapata, M. (2010). 「教師なし語義曖昧性解消のためのグラフ接続性の実験的研究」(PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 32 (4). IEEE Press: 678–692. doi :10.1109/TPAMI.2009.36. PMID 20224123. S2CID 1454904.
- Navigli, R.; Litkowski, K.; Hargraves, O. (2007). SemEval-2007 タスク 07: 粗粒度の英語全単語タスク(PDF) 。Semeval-2007 ワークショップ ( SemEval )の議事録、第 45 回計算言語学会年次会議。チェコ共和国プラハ: ACL。
- Navigli, R.; Velardi, P. (2005). 「構造的意味的相互接続: 単語の意味の曖昧さ解消に対する知識ベースのアプローチ」(PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 27 (7): 1075–1086. doi :10.1109/TPAMI.2005.149. PMID 16013755. S2CID 12898695.
- Palmer, M.; Babko-Malaya, O.; Dang, HT (2004)。アプリケーションごとに異なる意味の粒度(PDF)。HLT/NAACL のスケーラブルな自然言語理解システムに関する第 2 回ワークショップの議事録。ボストン。
- Ponzetto, SP; Navigli, R. (2010). 教師ありシステムに匹敵する知識豊富な語義の曖昧性解消(PDF) 。計算言語学協会第 48 回年次会議議事録。ACL。2011 年 9 月 30 日のオリジナル(PDF)からアーカイブ。
- Pradhan, S.; Loper, E.; Dligach, D.; Palmer, M. (2007). SemEval-2007 タスク 17: 英語の語彙サンプル、SRL およびすべての単語(PDF)。Semeval-2007 ワークショップ (SEMEVAL) の議事録、第 45 回計算言語学会年次会議。チェコ共和国プラハ: ACL。
- Schütze, H. (1998). 「自動語義判別」(PDF) .計算言語学. 24 (1): 97–123.
- Snow, R.; Prakash, S.; Jurafsky, D.; Ng, AY (2007)。単語の意味を統合する学習(PDF)。2007 年自然言語処理と計算自然言語学習における経験的手法に関する合同会議の議事録。EMNLP-CoNLL。
- Snyder, B.; Palmer, M. (2004). 英語の全単語タスク。テキストの意味解析システムの評価に関する第 3 回国際ワークショップ (Senseval-3) の議事録。バルセロナ、スペイン。2011 年 6 月 29 日のオリジナルからアーカイブ。
- ウィーバー、ウォーレン (1949)。「翻訳」(PDF)。ロック、WN、ブース、AD (編)。言語の機械翻訳: 14 のエッセイ。ケンブリッジ、マサチューセッツ州: MIT プレス。
- Wilks, Y.; Slator, B.; Guthrie, L. (1996). Electric Words: dictionaries, computers and meanings . マサチューセッツ州ケンブリッジ: MIT Press.
- Yarowsky, D. (1992)。大規模コーパスでトレーニングされた Roget のカテゴリの統計モデルを使用した語義の曖昧さ解消。第 14 回計算言語学会議の議事録。COLING。
- Yarowsky, D. (1995)。教師なしの語義曖昧性解消は教師あり手法に匹敵する。計算言語学会第33回年次会議議事録。
さらに読む
- Agirre, Eneko; Edmonds, Philip, 編 (2007)。「単語の意味の曖昧さ解消：アルゴリズムとアプリケーション」 Springer。ISBN 978-1402068706。
- Edmonds, Philip; Kilgarriff, Adam ( 2002 ). 「語義曖昧性解消システムの評価に関する特集号の紹介」。自然言語工学ジャーナル。8 (4): 279–291。doi : 10.1017 /S1351324902002966。S2CID 17866880 。
- Ide, Nancy; Véronis, Jean (1998). 「単語の意味の曖昧さ解消: 最新技術」(PDF) .計算言語学. 24 (1): 1–40.
- Jurafsky, Daniel; Martin, James H. (2000).音声言語処理. ニュージャージー州、米国: Prentice Hall.
- Kilgarriff, A. (1997). 「私は語義を信じない」(PDF) . Comput. Human . 31 (2): 91–113. doi :10.1023/A:1000583911091. S2CID 3265361.
- Kilgarriff, A.; Grefenstette, G. (2003). 「コーパスとしての Web に関する特集号の紹介」(PDF) .計算言語学. 29 (3): 333–347. doi :10.1162/089120103322711569. S2CID 2649448.
- Manning, Christopher D.; Schütze, Hinrich (1999).統計的自然言語処理の基礎マサチューセッツ州ケンブリッジ: MIT 出版。
- Navigli, Roberto (2009). 「単語の意味の曖昧さ解消: 調査」(PDF) . ACM Computing Surveys . 41 (2): 1–69. doi :10.1145/1459352.1459355. S2CID 461624.
- Resnik, Philip; Yarowsky, David (2000). 「システムの識別と意味の識別: 語義の曖昧さ解消のための新しい評価方法」.自然言語工学. 5 (2): 113–133. doi :10.1017/S1351324999002211. S2CID 19915022.
- Yarowsky, David (2001)。「単語の意味の曖昧さ解消」。Dale 他編『自然言語処理ハンドブック』。ニューヨーク: Marcel Dekker。pp. 629–654。
外部リンク
無料辞書のウィクショナリーで「曖昧さ回避」を調べてください。
- 計算言語学の語義の曖昧さ解消に関する特集号 (1998)
- Rada Mihalcea と Ted Pedersen による Word Sense Disambiguation Tutorial (2005)。