統計的意味論

言語学において、統計的意味論は統計の手法を、理想的には教師なし学習を通じて、少なくとも情報検索の目的に十分な精度で単語や句の意味を決定する問題に適用します。

統計的意味論という用語は、ウォーレン・ウィーバーが機械翻訳に関する有名な論文で初めて使用しました。^[1]彼は、機械翻訳における語義の曖昧さ解消は、特定の対象語の近くの文脈語の共起頻度に基づくべきだと主張しました。「語はその仲間によって特徴づけられる」という基本的な仮定は、JR・ファースが提唱しました。^[2]この仮定は、言語学では分布仮説として知られています。^[3]エミール・デラヴェネイは、統計的意味論を「語の意味とその出現頻度および順序の統計的研究」と定義しました。^[4]「Furnas et al. 1983」は、統計的意味論への基礎的貢献として頻繁に引用されています。^[5] この分野における初期の成功は、潜在的意味分析でした。

統計的意味論の研究では、統計的手法を大規模なコーパスに適用することで、分布仮説を使用して意味論のさまざまな側面を発見するさまざまなアルゴリズムが生み出されました。

• 単語の意味の類似性の測定^{[6] [7] [8] [9]}
• 語句関係の類似性の測定^[10]
• 類似性に基づく一般化のモデル化^[11]
• 与えられた関係を持つ単語の発見^[12]
• 単語間の関係の分類^[13]
• 文書からのキーワード抽出^{[14] [15]}
• テキストの凝集性の測定^[16]
• 言葉の異なる意味を発見する^[17]
• 言葉の異なる意味を区別する^[18]
• 言葉の潜在認知的側面^[19]
• 賞賛と批判を区別する^[20]

統計的意味論は、一般的な単語の意味と一般的な単語間の関係に焦点を当てており、文書全体、文書コレクション、または名前付きエンティティ（人名、場所名、組織名）に焦点を当てる傾向があるテキストマイニングとは異なります。統計的意味論は計算意味論のサブフィールドであり、計算意味論は計算言語学と自然言語処理のサブフィールドです。

統計的意味論の応用の多く（上記）は、統計的意味論のコーパスベースのアルゴリズムの代わりに、語彙ベースのアルゴリズムでも対処できます。コーパスベースのアルゴリズムの利点の1つは、通常、語彙ベースのアルゴリズムほど労働集約的ではないことです。もう1つの利点は、語彙ベースのアルゴリズムよりも、新しい言語や、ソーシャルメディアなどのノイズの多い新しいテキストタイプに適応するのが通常より簡単であることです。^[21]ただし、アプリケーションで最高のパフォーマンスを得るには、2つのアプローチを組み合わせることがよくあります。^[22]