エンティティリンク

自然言語処理において、エンティティ リンクは、名前付きエンティティの曖昧性解消(NED)、 名前付きエンティティの認識と曖昧性解消(NERD)、名前付きエンティティの正規化(NEN)、^[1]または概念認識とも呼ばれ、テキストで言及されているエンティティ (有名人、場所、会社など) に一意の ID を割り当てるタスクです。たとえば、「パリはフランスの首都です」という文が与えられた場合、主な考え方は、まず「パリ」と「フランス」を名前付きエンティティ として識別し、次に「パリ」がパリ市を指し、 「パリ」がパリス ヒルトンや「パリ」と呼ばれる可能性のある他のエンティティ、「フランス」がフランスの国を指すのではないことを判別することです。

エンティティ リンク タスクは 3 つのサブタスクで構成されています。

1. 名前エンティティ認識: テキストから名前エンティティを抽出します。
2. 候補生成: 名前付きエンティティごとに、ナレッジベース( Wikipedia、Wikidata、DBPediaなど) から可能な候補を選択します。
3. 曖昧さ回避: この候補セットから正しいエンティティを選択してください。

エンティティリンクでは、入力テキストから興味のある単語（人名、場所、会社名）が、ターゲット知識ベース内の対応する一意のエンティティにマッピングされます。興味のある単語は、名前付きエンティティ（NE）、言及、または表層形と呼ばれます。ターゲット知識ベースは意図されたアプリケーションによって異なりますが、オープンドメインテキストで動作することを意図したエンティティリンクシステムの場合、Wikipediaから派生した知識ベース（ WikidataやDBpediaなど）を使用するのが一般的です。^{[1] [2]この場合、個々のWikipediaページは別々のエンティティと見なされます。名前付きエンティティをWikipediaエンティティにマッピングするエンティティリンク手法は、}ウィキ化とも呼ばれます。^[3]

「パリはフランスの首都です」という例文をもう一度考えてみると、エンティティリンクシステムの予想される出力はパリとフランスになります。これらのユニフォームリソースロケータ（URL）は、ナレッジベース内のエンティティの一意のユニフォームリソース識別子（URI）として使用できます 。異なるナレッジベースを使用すると異なるURIが返されますが、Wikipediaから構築されたナレッジベースでは、1対1のURIマッピングが存在します。^[4]

ほとんどの場合、知識ベースは手動で構築されますが^{[5] 、大規模な}テキストコーパスが利用できるアプリケーションでは、利用可能なテキストから知識ベースを自動的に推論することができます。^[6]

エンティティリンクは、Webデータと知識ベースを橋渡しする重要なステップであり、Web上の膨大な量の生の、そしてノイズの多いデータに注釈を付ける上で有益であり、セマンティックWebのビジョンに貢献します。^{[7]エンティティリンクに加えて、イベント抽出[8]}やイベントリンク^[9]など を含むがこれらに限定されない他の重要なステップがあります。

エンティティリンクは、テキスト分析、レコメンデーションシステム、セマンティック検索、チャットボットなど、テキストから抽象的な表現を抽出する必要がある分野で有益です。これらすべての分野では、アプリケーションに関連する概念がテキストやその他の意味のないデータから分離されています。^{[10] [11]}

たとえば、検索エンジンが実行する一般的なタスクは、入力として与えられた文書に類似する文書を見つけること、またはそこに言及されている人物に関する追加情報を見つけることです。「フランスの首都」という表現を含む文を考えてみましょう。エンティティ リンクがないと、文書の内容を調べる検索エンジンは「パリ」という単語を含む文書を直接取得できず、いわゆる偽陰性(FN) につながります。さらに悪いことに、検索エンジンは、国名として 「フランス」に言及している文書を取得するなど、誤った一致 (または偽陽性(FP)) を生成する可能性があります。

入力文書に類似した文書を検索するための、エンティティリンクとは直交する多くのアプローチが存在する。例えば、潜在的意味解析（LSA）やdoc2vecで取得した文書埋め込みの比較などで ある。しかし、これらの技術では、元の文書の高レベルな表現を作成するのではなく、他の文書を返すため、エンティティリンクが提供するのと同じきめ細かい制御はできない。例えば、 Wikipediaのインフォボックスで提示される「パリ」に関する概略情報を取得することは、クエリの複雑さによってははるかに簡単ではなく、時には不可能なこともある。^[12]

さらに、エンティティリンクは情報検索システムのパフォーマンスを向上させるために使用されてきました^[1]。また、デジタルライブラリの検索パフォーマンスを向上させるためにも使用されています^{[13]。エンティティリンクは}セマンティック検索 の重要な入力でもあります^{[14] [15] 。}

エンティティリンクの実行にはさまざまな困難が伴います。これらの困難の中には、テキストの曖昧さなど、タスクに固有のものもあります^[16]。また、スケーラビリティや実行時間など、実際の使用に関連するものもあります。

• 名前のバリエーション: 同じエンティティがテキスト表現で表示されることがあります。これらのバリエーションの原因には、略語 ( New York、NY )、別名 ( New York、Big Apple )、またはスペルのバリエーションとエラー ( New yokr ) などがあります。
• 曖昧さ: 多くのエンティティ名は同音異義語(同じ文字列が異なる意味を持つ異なる概念に適用される。たとえば、「銀行」は金融機関または川に隣接する土地を意味する) または多義語である傾向があるため、コンテキストによっては、同じ言及が多くの異なるエンティティを指すことがよくあります。 (多義性とは同音異義語のサブタイプで、意味が歴史的または言語的起源によって関連しています。) とりわけ、 Parisという単語は、フランスの首都またはParis Hiltonを指している可能性があります。場合によっては、テキスト内の言及 (たとえば、「先月フランスの首都を訪れました」) と実際のターゲット エンティティ ( Paris )との間にテキストの類似性がないことがあります。
• 不在: 名前付きエンティティは、ターゲット知識ベース内に対応するエンティティを持たない場合があります。これは、エンティティが非常に特殊または異常である場合、または最近のイベントに関連していて知識ベースが古い場合、または知識ベースがドメイン固有である場合 (たとえば、生物学知識ベース) に発生する可能性があります。これらの場合、システムはおそらくNILエンティティリンクを返すことが期待されます。予測をいつ返すかを知ることNILは簡単ではなく、多くのアプローチが提案されています。例としては、エンティティリンクシステムで信頼スコアにしきい値を設定することや、NIL任意のエンティティとして扱われるエンティティを知識ベースに含めることが挙げられます。ただし、場合によっては、結果がまったくない場合よりも、不正確だが関連するエンティティにリンクする方がユーザーにとって役立つ場合があります。^[16]
• 規模と速度：産業用エンティティリンクシステムは、妥当な時間内に、多くの場合リアルタイムで結果を提供することが望ましい。この要件は、検索エンジン、チャットボット、データ分析プラットフォームが提供するエンティティリンクシステムにとって重要である。大規模なナレッジベースを使用する場合や、大規模なドキュメントを処理する場合、実行時間を短くすることは難しい場合がある。^[17]たとえば、Wikipediaには約900万のエンティティと、それらの間の1億7000万を超える関係が含まれている。
• 進化する情報：エンティティリンクシステムは進化する情報も処理し、ナレッジベースに更新を簡単に統合する必要があります。進化する情報の問題は、エンティティの欠落の問題と関連している場合があります。たとえば、最近のニュース記事を処理するときに、その記事には新しいためナレッジベースに対応するエントリがないイベントについての言及があります。^[18]
• 複数の言語：エンティティリンクシステムは、複数の言語で実行されるクエリをサポートする場合があります。理想的には、エンティティリンクシステムの精度は入力言語によって影響されず、ナレッジベース内のエンティティは異なる言語でも同じである必要があります。^[19]

他の概念に関連するエンティティ リンク。定義は曖昧な場合が多く、作成者によって若干異なります。

• 名前付きエンティティの曖昧さ回避（NED）は通常、エンティティリンクと同じものと考えられていますが、一部の著者（Alhelbawy et al. ^[20]）は、エンティティが知識ベース内にあることを前提としたエンティティリンクの特殊なケースであると考えています。^{[21] [22]}

• ウィキ化とは、テキストの言及を Wikipedia 内のエンティティにリンクするタスクです (通常、言語間ウィキ化の場合は範囲​​を英語版 Wikipedia に限定します)。
• レコードリンク（RL）は、複数の、そして多くの場合異種のデータセット内で同じエンティティを見つけます。^[23]これはエンティティリンクよりも広い概念と考えられており、アーカイブのデジタル化と知識ベースの結合における重要なプロセスです。^[13]
• 名前付きエンティティ認識(NER) は、非構造化テキスト内の名前付きエンティティを特定し、名前、組織、場所などの定義済みカテゴリに分類します。たとえば、次の文があります。

パリはフランスの首都です。

NER システムによって処理され、次の出力が得られます。

[パリ]_市は[フランス]_国の首都です。

NER は通常、エンティティ リンク システムの前処理ステップであり、知識ベースのエンティティにどの単語をリンクする必要があるかを事前に把握するのに役立ちます。

• 共参照解決は、テキスト内の複数の単語が同じエンティティを参照しているかどうかを認識します。たとえば、代名詞が参照する単語を理解するのに役立ちます。次の例を考えてみましょう。

パリはフランスの首都です。フランス最大の都市でもあります。

この例では、共参照解決アルゴリズムは、代名詞It がParisを指し、Franceや他のエンティティを指していないことを識別します。エンティティ リンクと比較した際立った違いは、共参照解決では一致する単語に一意の ID を割り当てず、同じエンティティを指しているかどうかを単に示すことです。その意味で、共参照解決システムからの予測は、後続のエンティティ リンク コンポーネントに役立つ可能性があります。

エンティティリンキングは、過去10年間、産業界と学界で話題となってきました。多くの課題が未解決のままですが、長所と短所が大きく異なる多くのエンティティリンキングシステムが提案されてきました。^[24]

大まかに言えば、現代のエンティティ リンク システムは次の 2 つのカテゴリに分類できます。

• テキストベースのアプローチは、大規模なテキストコーパスから抽出されたテキストの特徴（例：用語頻度-逆文書頻度（Tf-Idf）、単語の共起確率など）を利用する。 ^{[25] [16]}
• グラフベースのアプローチは、知識グラフの構造を使用してエンティティのコンテキストと関係性を表します。^{[2] [26]}

多くの場合、エンティティリンクシステムは、ナレッジグラフと、例えばナレッジグラフ自体を構築するために使用されたテキストコーパスから抽出されたテキスト特徴の両方を使用します。^{[21] [22]}

2007年に発表されたCucerzanの独創的な研究は、最初のエンティティリンクシステムの1つを公開しました。具体的には、ウィキ化、つまりテキストの言及をWikipediaページにリンクするタスクに取り組みました。^[25]このシステムは、ページをエンティティ、曖昧さ回避、またはリストページに分類します。各エンティティページに存在するエンティティのセットは、エンティティのコンテキストを構築するために使用されます。最後のステップは、各エンティティのコンテキストで手作りの特徴のバイナリベクトルを比較することによる集合的な曖昧さ回避です。Cucerzanのシステムは、最近の研究のベースラインとして今でも使用されています。^[27]

Raoら^[16]は、名前付きエンティティをターゲット知識ベース内のエンティティにリンクするための2段階アルゴリズムを提案した。まず、文字列マッチング、頭字語、既知のエイリアスを使用して候補エンティティが選択されます。次に、言語的特徴を使用した ランキングサポートベクターマシン(SVM)を使用して、候補の中から最適なリンクが選択されます。

^Tsaiら[23]などの最近のシステムでは、スキップグラムモデルで得られた単語埋め込みを言語特徴として使用しており、単語埋め込みを構築するための大規模なコーパスが利用可能なあらゆる言語に適用できます。ほとんどのエンティティリンクシステムと同様に、このシステムには、最初の候補選択と線形SVMを使用したランキングの2つのステップがあります。

エンティティの曖昧さの問題に取り組むために、さまざまなアプローチが試みられてきました。ミルンとウィッテンの独創的なアプローチは、 Wikipediaエンティティのアンカーテキストをトレーニングデータとして使用した教師あり学習を使用しています。^[28]他のアプローチでは、明確な同義語に基づいてトレーニングデータを収集しました。^[29]

最新のエンティティ リンク システムでは、入力ドキュメントやテキスト コーパスから生成されたテキスト機能に加えて、Wikipedia などの知識ベースから作成された大規模な知識グラフも使用されます。さらに、自然言語処理(NLP) に基づく多言語エンティティ リンクは、多くの言語には存在しない大規模なテキスト コーパス、または言語間で大きく異なる手動で作成された文法規則のいずれかを必要とするため、困難です。グラフ ベースのエンティティ リンクでは、単純なテキスト分析では隠されているグラフ トポロジまたはエンティティ間のマルチホップ接続の機能が使用されます。

Hanらは、曖昧性解消グラフ（候補エンティティを含む知識ベースのサブグラフ）の作成を提案している。^[2]このグラフは、各テキスト言及に対して最適な候補エンティティを選択するための集合的なランキングに使用されます。

もう一つの有名なアプローチはAIDA ^[30]であり、これは一連の複雑なグラフアルゴリズムと貪欲アルゴリズムを使用して、密なサブグラフ上の一貫した言及を識別し、コンテキストの類似性と頂点の重要度の特徴も考慮して集合的な曖昧性解消を実行します。^[26]

Alhelbawyらは、 PageRankを使用して曖昧性解消グラフ上で集合的なエンティティリンクを実行し、どのエンティティが互いに強く関連しているかを理解し、より良いリンクを表すかを理解するためのエンティティリンクシステムを発表しました。 ^{[20] PageRank（PR）や}Hyperlink-Induced Topic Search （HITS）などのグラフランキング（または頂点ランキング）アルゴリズムは、グラフ内の相対的な重要性に応じてノードにスコアを付けることを目的としています。

数式（記号や数式）は、自然言語の意味をラベル付けした意味エンティティ（例：Wikipediaの記事^[31]やWikidata項目^[32]）にリンクすることができます。これは、記号が異なる意味を持つ可能性があるため（例："E"は「エネルギー」または「期待値」など）、曖昧さを解消するために不可欠です。^{[33] [32]}数式エンティティのリンクプロセスは、Wikimediaがホストする「AnnoMathTeX」システムなどの注釈推奨を通じて促進および加速できます。^{[34] [35] [36]}

Mathematical Entity Linking (MathEL) 実験の再現性を高めるために、ベンチマーク MathMLben が作成された。^{[37] [38]}には、Wikipedia、arXiV、NIST Digital Library of Mathematical Functions (DLMF) の数式が含まれている。ベンチマークの数式エントリにはラベルが付けられ、Wikidataマークアップによって拡張されている。^[32]さらに、arXiv ^[39]と zbMATH ^[40]リポジトリの 2 つの大規模コーパスについて、数学表記の分布が調査された。MathEL の潜在的な候補として、Mathematical Objects of Interest (MOI) が特定されている。^[41]

^{シュボッツ[38]}とシャープフら^[32]は、 Wikipediaへのリンクに加えて、MathMLとLaTeXマークアップの両方で数式コンテンツをWikidataにリンクする方法を説明しています。彼らは、数学による古典的な引用を拡張するために、数式概念発見（FCD）と数式概念認識（FCR）の課題を呼びかけ、自動化されたMathELを開発しました。彼らのFCDアプローチは、頻繁に使用される数式の同等の表現を検索する際の再現率が68％、NTCIR ^[42] arXivデータセットの周囲のテキストから数式名を抽出する際の再現率が72％でした。^[36]

Scholia には、エンティティ リンクに関するトピックプロファイルがあります。

• 制御された語彙
• 明示的な意味解析
• 地理解析
• 情報抽出
• リンクされたデータ
• 名前付きエンティティ
• 固有表現認識
• レコードのリンク
• 語義の曖昧さ解消
• 著者名の曖昧さ回避
• 共参照
• 注釈