意味的類似性

意味的類似性は、文書または用語のセットに対して定義される測定基準であり、項目間の距離の概念は、辞書編集上の類似性ではなく、意味または意味内容の類似性に基づいています^[要出典]。これらは、言語、概念、またはインスタンスの単位間の意味的関係の強さを、それらの意味をサポートする情報またはそれらの性質を説明する情報の比較に従って取得された数値的記述を通じて推定するために使用される数学的ツールです。^{[1] [2]}意味的類似性という用語は、意味的関連性と混同されることがよくあります。意味的関連性には、2 つの用語間のあらゆる関係が含まれますが、意味的類似性には「is a」関係のみが含まれます。^[3] たとえば、「車」は「バス」に似ていますが、「道路」や「運転」にも関連しています。

計算的には、オントロジーを使用して用語/概念間の距離を定義することにより、位相的な類似性を定義することで意味的類似性を推定できます。たとえば、部分的に順序付けられたセットで順序付けられ、有向非巡回グラフ(タクソノミーなど)のノードとして表される概念を比較するための単純なメトリックは、2 つの概念ノードをリンクする最短パスになります。テキスト分析に基づいて、適切なテキスト コーパスからの単語とテキスト コンテキストを相関させるベクトル空間モデルなどの統計的手段を使用して、言語の単位 (単語、文など) 間の意味的関連性を推定することもできます。提案された意味的類似性/関連性の尺度の評価は、主に 2 つの方法で行われます。前者は、専門家によって設計され、意味的類似性/関連性の度合いを推定する単語ペアで構成されたデータセットの使用に基づいています。2 番目の方法は、情報検索、推奨システム、自然言語処理などの特定のアプリケーション内での尺度の統合に基づいています。

意味的類似性の概念は意味的関連性よりも具体的であり、後者には反意語や同義語などの概念が含まれるのに対し、類似性には含まれない。^[4]しかし、多くの文献では、これらの用語は意味的距離などの用語とともに互換的に使用されている。本質的に、意味的類似性、意味的距離、および意味的関連性はすべて、「用語Aは用語Bとどの程度関係があるか」を意味している。この質問に対する答えは通常、-1から1、または0から1の間の数値であり、1は非常に高い類似性を意味する。

用語の意味的類似性を視覚化する直感的な方法は、関連が深い用語をグループ化し、関連が遠い用語の間隔を広くすることです。これは、マインド マップやコンセプト マップでも実際によく使用されます。

2 つの言語項目の意味的類似性を視覚化するより直接的な方法は、セマンティック フォールディングアプローチで確認できます。このアプローチでは、用語やテキストなどの言語項目は、たとえば 128 x 128 グリッド内のアクティブな意味的特徴ごとにピクセルを生成することによって表すことができます。これにより、それぞれの特徴セットの画像表現を比較することで、2 つの項目の意味を直接視覚的に比較できます。

意味的類似性尺度は、生物医学オントロジーに応用され、開発されてきました。^{[5] [6]} これらは主に、遺伝子とタンパク質を配列の類似性ではなく機能の類似性に基づいて比較するために使用されていますが、 ^[7]病気などの他のバイオエンティティにも拡張されています。^[8]

これらの比較は、Web 上で無料で入手できるツールを使用して行うことができます。

• ProteInOnは、相互作用するタンパク質を見つけ、割り当てられたGO用語を見つけ、 UniProtタンパク質の機能的意味的類似性を計算し、情報コンテンツを取得し、GO用語の機能的意味的類似性を計算するために使用できます。^[9]
• CMPSimはChEBIベースの意味的類似性尺度を使用して、化合物と代謝経路間の機能的類似性尺度を提供します。^[10]
• CESSMはGOベースの意味的類似性尺度を自動的に評価するためのツールを提供する。^[11]

類似性は地理情報学においても、類似した地理的特徴や特徴タイプを見つけるために応用されている。 ^[12]

• SIM-DL類似度サーバー^[13]は、地理​​的特徴タイプのオントロジーに格納された概念間の類似度を計算するために使用できます。
• 類似度計算機は、Geo-Net-PTオントロジー内の2つの地理概念の関連性を計算するために使用できます。^{[14] [15]}
• OSM ^[16] セマンティックネットワークは、OpenStreetMapのタグの意味的類似性を計算するために使用できます。^[17]

いくつかの指標では、英語の単語を手動で構築した語彙データベースであるWordNetを使用しています。データベースの構築に人間の監督があるという利点があるにもかかわらず、単語は自動的に学習されないため、データベースは複数語の用語や非増分語彙間の関連性を測定することができません。 ^{[4] [18]}

自然言語処理（NLP）は、コンピュータサイエンスと言語学の分野です。感情分析、自然言語理解、機械翻訳（テキストをある人間の言語から別の言語に自動的に翻訳する）は、それが使用されている主要な分野の一部です。たとえば、インターネット上の 1 つの情報リソースがわかっている場合、類似のリソースを見つけることがすぐに関心を引くことがよくあります。セマンティック Web は、任意の記述子だけでなく、コンテンツによって類似のデータを見つけるためのセマンティック拡張機能を提供します。^{[19] [20] [21] [22] [23] [24] [25] [26] [27]} ディープラーニング手法は、2 つのテキスト パッセージ間の意味的類似性を正確に測定する方法になりました。この方法では、各パッセージが最初に連続ベクトル表現に埋め込まれます。^{[28] [29] [30]}

意味的類似性は、異なるオントロジーのエンティティ間の対応を確立することを目的とするオントロジーアライメントにおいて重要な役割を果たします。これには、ラベル、説明、他のエンティティとの階層関係など、各エンティティのオントロジーに存在する情報を使用して、概念または用語間の類似性の度合いを定量化することが含まれます。オントロジーマッチングで使用される従来のメトリックは、エンティティラベル間の編集距離を測定するためにレーベンシュタイン距離を使用するなど、エンティティの機能間の語彙的類似性に基づいています。^[31]ただし、これらのメトリックを使用してエンティティ間の意味的類似性を捉えることは困難です。たとえば、会議を説明する2つのオントロジーを比較する場合、「貢献」と「論文」は同じ意味を共有しているため、高い意味的類似性を持つ可能性があります。ただし、語彙の違いにより、辞書的類似性だけではこのアライメントを確立することはできません。これらの意味的類似性を捉えるために、オントロジーマッチングでは埋め込みが採用されています。^[32]意味関係と文脈情報をエンコードすることで、埋め込みは、埋め込み空間におけるベクトル表現の近さに基づいてエンティティ間の類似度スコアを計算することを可能にする。このアプローチは、異なる文脈に基づいて同じ単語に異なる埋め込みを割り当てることで、同音異義語などのエンティティ命名における意味の違いを埋め込みによってモデル化できるため、オントロジーの効率的で正確なマッチングを可能にする。^[32]

オントロジー概念間のトポロジー類似性を計算するアプローチには、基本的に 2 種類あります。

• エッジベース: エッジとそのタイプをデータ ソースとして使用します。
• ノードベース: 主なデータ ソースはノードとそのプロパティです。

他の尺度では、オントロジーインスタンス間の類似性を計算します。

• ペアワイズ: 2つのインスタンスが表す概念の意味的類似性を組み合わせることで、2つのインスタンス間の機能的類似性を測定する
• グループワイズ: 概念の意味的類似性を組み合わせずに、類似性を直接計算します。

例:

• ペカールら^[33]
• チェンとクライン^[34]
• ウーら^[35]
• デル・ポゾら^[36]
• IntelliGO: Benabderrahmane 他^[6]

• レズニック^[37]
  • 情報量の概念に基づいています。概念 (用語または単語) の情報量とは、特定のコーパス内でその概念が見つかる確率の対数です。
  • 最小共通包括語(lcs)の情報内容のみを考慮します。最小共通包括語とは、語彙分類法 (例: WordNet) における概念であり、比較される 2 つの概念からの距離が最も短いものです。たとえば、animal と mammal はどちらも cat と dog の包括語ですが、これらの概念に対して mammal は animal よりも下位の包括語です。
• リン^[38]
  • Resnik の類似性に基づいています。
  • 最小共通包括概念 (LCS) と 2 つの比較対象概念の情報内容を考慮します。
• マグイットマン、メンツァー、ロイネスタッド、ヴェスピニャーニ^[39]
  • Lin の類似性を任意のオントロジー (グラフ) に一般化します。
• 江とコンラス^[40]
  • Resnik の類似性に基づいています。
  • 最小共通包摂体 (LCS) と 2 つの比較対象概念の情報量を考慮して、2 つの概念間の距離を計算します。この距離は、後で類似度を計算するときに使用されます。
• 整列、曖昧さ解消、そして歩く：意味ネットワーク上のランダムウォーク^[41]

• オントロジーに適用可能
• ノードのプロパティ（コンテンツ）を考慮する
• 関係の種類（内容）を考慮する
• eTVSMに基づく^[42]
• レズニックの類似性に基づく^[43]

• ペアワイズ類似度の最大値
• 最も一致するペアのみを考慮した複合平均（ベストマッチ平均）

• ジャカード指数

統計的類似性アプローチは、データから学習することも、事前に定義することもできます。類似性学習は、多くの場合、事前に定義された類似性測定よりも優れています。大まかに言えば、これらのアプローチはドキュメントの統計モデルを構築し、それを使用して類似性を推定します。

• LSA（潜在的意味解析）: ^{[44] [45]} (+) ベクトルベース、複数語の用語を測定するためにベクトルを追加する; (−) 非増分語彙、長い前処理時間
• PMI (点単位の相互情報量): (+) 検索エンジン (Google など) を使用するため語彙数が多い。(−) 文章全体または文書間の関連性を測定できない。
• SOC-PMI（二次共起点相互情報量）：（+）大規模コーパスから重要な隣接語のリストをソートする。（−）文全体または文書間の関連性を測定できない
• GLSA（一般化潜在意味解析）：（+）ベクトルベース、複数語の用語を測定するためにベクトルを追加、（−）非増分語彙、長い前処理時間
• ICAN（連想ネットワークの増分構築）：（+）増分、ネットワークベースの測定、活性化の拡散に適しており、2次の関連性を考慮に入れる。（−）複数語の用語間の関連性を測定できない、前処理に長い時間がかかる
• NGD（正規化されたGoogle距離）：（+）Googleのような検索エンジンを使用するため語彙が多い。（−）文章全体または文書間の関連性を測定できるが、文章や文書が長くなるほど、より工夫が必要となる（Cilibrasi & Vitanyi、2007）。^[46]
• TSS（Twitter意味類似度）: ^[47]類似度を計算するためにTwitterのオンラインツイートを使用するため、語彙数が多い。高頻度のイベントを捉えることができる高い一時解像度を持つ。オープンソース
• NCD（正規化圧縮距離）
• WikipediaとODPに基づくESA (明示的意味解析)
• SSA（顕著な意味分析）^[48]は、直接の文脈で見つかった顕著な概念を使用して用語を索引付けします。
• n° of Wikipedia (noW) ^[49]は、ゲーム「Six Degrees of Wikipedia」^[50]にヒントを得たもので、 Wikipedia の階層構造に基づいた距離測定基準です。有向非巡回グラフが最初に構築され、その後、ダイクストラの最短経路アルゴリズムを使用して、2 つの用語間の noW 値を、グラフ内の対応するトピック (つまりノード) 間の測地線距離として決定します。
• VGEM（明示的に定義された多次元意味空間のベクトル生成）：^[51]（+）増分語彙、複数語の用語を比較可能 （−）パフォーマンスは特定の次元の選択に依存する
• シムランク
• NASARI: ^[52] Wikipediaコーパスに超幾何分布を適用し、BabelNetタクソノミーと組み合わせて構築されたスパースベクトル表現。現在、多言語および統合拡張により、言語間の類似性も可能になっています。^[53]

• マーカーパッシング：自動オントロジー作成のための語彙分解とマーカーパッシングを組み合わせたFähndrichらのアプローチは、新しいタイプの意味的類似性尺度を導入しています。^[54]ここで、マーカーは、活性化量を運ぶ2つのターゲット概念から渡されます。この活性化は、概念が接続されている関係の重みに応じて増加または減少する可能性があります。これは、エッジベースとノードベースのアプローチを組み合わせたもので、記号情報によるコネクショニスト推論が含まれています。
• 良共通包摂体（GCS）に基づく意味的類似性尺度^[55]

• 意味類似性ネットワーク（ SSN）は、意味ネットワークの特殊な形式です。概念とその意味的類似性を表すように設計されています。その主な貢献は、意味的距離を計算する複雑さを軽減することです。Bendeck（2004、2008）は、オントロジー表現から意味的類似性を測定するための意味ネットワークの特殊化として、意味類似性ネットワーク（SSN）の概念を導入しました。 ^[56]実装には遺伝情報の処理が含まれます。

研究者たちは、単語のペアの類似性判断に関するデータセットを収集しており、これは計算尺度の認知的妥当性を評価するために使用されています。今日までの黄金比の基準は、人間が単語の類似性を判断した古い65語のリストです。^{[57] [58]}

• RG65 ^[59]
• MC30 ^[60]
• ワードシム353 ^[61]

• 類推
• 成分分析
• 一貫性（言語学）
• レーベンシュタイン距離
• 意味的差異
• 意味的類似性ネットワーク
• 用語の抽出
• ワード2ベク
• tf-idf  – 文書内の単語の重要度の推定リダイレクト先の簡単な説明を表示するページ

• Chicco, D; Masseroli, M (2015). 「遺伝子およびタンパク質の注釈予測と類似性検索のためのソフトウェアスイート」. IEEE/ACM Transactions on Computational Biology and Bioinformatics . 12 (4): 837–843. doi :10.1109/TCBB.2014.2382127. hdl : 11311/959408 . PMID  26357324. S2CID  14714823.
• Cilibrasi, RL & Vitanyi, PMB (2007). 「Google 類似度距離」. IEEE Trans. Knowledge and Data Engineering . 19 (3​​): 370–383. arXiv : cs/0412098 . doi :10.1109/TKDE.2007.48. S2CID  59777.
• Dumais, S (2003). 「情報アクセスへのデータ駆動型アプローチ」認知科学27 ( 3): 491–524. doi : 10.1207/s15516709cog2703_7 .
• Gabrilovich, E. および Markovitch, S. (2007)。Wikipedia ベースの明示的意味解析を使用した意味的関連性の計算、第 20 回国際人工知能合同会議 (IJCAI) の議事録、インド、ハイデラバード、2007 年 1 月。
• Lee, MD, Pincombe, B., & Welsh, M. (2005). テキスト文書の類似性に関するモデルの実証的評価。BG Bara & L. Barsalou & M. Bucciarelli (編)、認知科学協会第 27 回年次会議、CogSci2005 (pp. 1254–1259)。テキサス州オースティン: 認知科学協会。
• Lemaire, B., & Denhiére, G. (2004). コーパスからの連想ネットワークの増分構築。KD Forbus & D. Gentner & T. Regier (編)、認知科学協会第 26 回年次会議、CogSci2004。ヒルズデール、ニュージャージー: Lawrence Erlbaum Publisher。
• Lindsey, R.; Veksler, VD; Grintsvayg, A.; Gray, WD (2007) 「コーパス選択が意味的関連性の測定に与える影響」(PDF)。第 8 回国際認知モデル会議議事録、ミシガン州アナーバー。
• Navigli, R., Lapata, M. (2010). 「教師なし語義曖昧性解消のためのグラフ接続性の実験的研究」IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)、32(4)、IEEE Press、2010、pp. 678–692。
• Veksler, VD & Gray, WD (2006)。「意味的距離の尺度を評価するためのテストケースの選択」(PDF)。認知科学協会第 28 回年次会議の議事録、CogSci2006。
• Wong, W.、Liu, W.、Bennamoun, M. (2008) Featureless Data Clustering。M. Songおよび Y. Wu 著、テキストおよび Web マイニング技術に関する研究ハンドブック、IGI Global。ISBN 978-1-59904-990-8 (用語および URI クラスタリングにおける NGD および noW の使用) 

• 関連文献一覧

• 会議論文：C. d'Amato、S. Staab、N. Fanizzi。2008。記述ロジックオントロジーの概念的類似性への影響について。知識工学に関する第16回国際会議の議事録：実践とパターン、48～63ページ。Acitrezza、イタリア、Springer-Verlag
• 関連性（類似性も含む）というより一般的なトピックに関するジャーナル記事：Z. Zhang、A. Gentile、F. Ciravegna。2013。語彙意味関連性の手法の最近の進歩 - 調査。自然言語工学 19 (4)、411–479、ケンブリッジ大学出版局
• 書籍：S. Harispe、S. Ranwez、S. Janaqi、J. Montmain。2015年。自然言語とオントロジー分析からの意味的類似性、Morgan & Claypool Publishers。