知識抽出

1. DBpedia Spotlight、OpenCalais、Dandelion dataTXT、Zemanta API、Extractiv、PoolParty Extractorは、固有表現認識によって自由形式のテキストを分析し、名前解決によって候補を曖昧さ解消し、見つかったエンティティをDBpedia知識リポジトリ^{[ 3 ]}にリンクします（Dandelion dataTXTデモはWayback Machineに2013年11月2日にアーカイブされています。またはDBpedia SpotlightのWebデモ、またはPoolParty Extractorのデモを参照）。

オバマ大統領は水曜日、昨年の経済刺激策に含まれていた学生向けの税制優遇措置を延長するよう議会に求め、この政策はより手厚い支援を提供すると主張した。

オバマ大統領は DBpedia のLinkedDataリソースにリンクされているため、追加情報が自動的に取得され、例えばセマンティック推論エンジンは、言及されたエンティティがPersonタイプ( FOAF (ソフトウェア)を使用) であり、米国大統領タイプ( YAGOを使用) であることを推論できます。反例: エンティティを認識するか、Wikipedia の記事やその他の対象にリンクするだけで、構造化データや形式的知識の追加取得を提供しないメソッド。

1. Triplify、D2R Server、Ultrawrap ( 2016年11月27日にWayback Machineにアーカイブ)、Virtuoso RDF Viewsは、リレーショナルデータベースをRDFに変換するツールです。このプロセス中に、既存の語彙とオントロジーを変換プロセス中に再利用できます。usersという名前の典型的なリレーショナルテーブルを変換する場合、 1つの列(例: name )または列の集約(例: first_nameとlast_name )が、作成されたエンティティのURIを提供する必要があります。通常は主キーが使用されます。他のすべての列は、このエンティティとのリレーションとして抽出できます。^{[ 4 ]}次に、正式に定義されたセマンティクスを持つプロパティが使用され(再利用されます)、情報を解釈します。たとえば、userテーブルのmarriedToという列は対称リレーションとして定義でき、homepage列はFOAF語彙のfoaf:homepageというプロパティに変換でき、逆関数プロパティとして適格になります。次に、ユーザーテーブルの各エントリを、foaf:Personクラス（オントロジー人口）のインスタンスにすることができます。さらに、ドメイン知識（オントロジーの形式）は、 status_idから、手動で作成したルール（ status_idが2の場合、エントリはTeacherクラスに属する）または（半）自動化された方法（オントロジー学習）によって作成できます。変換の例を以下に示します。

: Peter : marriedTo : Mary . : marriedTo a owl : SymmetricProperty . : Peter foaf : homepage <https://example.org/Peters_page> . : Peter a foaf : Person . : Peter a : Student . : Claus a : Teacher .

問題領域のリレーショナルデータベース（RDB）表現を構築する際、多くの場合、出発点はエンティティ関係図（ERD）です。通常、各エンティティはデータベーステーブルとして表現され、エンティティの各属性はそのテーブルの列となり、エンティティ間の関係は外部キーによって示されます。各テーブルは通常、特定のエンティティクラスを定義し、各列はその属性の1つです。テーブルの各行は、主キーによって一意に識別されるエンティティインスタンスを表します。テーブルの行は集合的にエンティティセットを表します。同じエンティティセットの同等のRDF表現では、次のようになります。

• テーブルの各列は属性（つまり述語）です。
• 各列の値は属性値（つまりオブジェクト）です
• 各行のキーは、エンティティID（つまり、対象）を表します。
• 各行はエンティティインスタンスを表します
• RDFでは、各行（エンティティインスタンス）は、共通の主体（エンティティID）を持つトリプルの集合によって表現されます。

したがって、RDFセマンティクスに基づいて同等のビューをレンダリングするための基本的なマッピングアルゴリズムは次のようになります。

1. テーブルごとにRDFSクラスを作成する
2. すべての主キーと外部キーをIRIに変換する
3. 各列に述語IRIを割り当てる
4. 各行にrdf:type述語を割り当て、それをテーブルに対応するRDFSクラスIRIにリンクします。
5. 主キーまたは外部キーのいずれにも該当しない各列について、主キー IRI を主語、列 IRI を述語、列の値を目的語とするトリプルを構築します。

この基本的または直接的なマッピングに関する初期の言及は、ティム・バーナーズ＝リーによるERモデルとRDFモデルの比較に見られる。 ^{[ 4 ]}

上記の 1:1 マッピングでは、レガシー データが RDF として直接的に公開されますが、与えられたユース ケースに応じて RDF 出力の有用性を向上させるために追加の改良を適用できます。通常、エンティティ関係図 (ERD) をリレーショナル テーブルに変換すると情報が失われ (詳細はオブジェクト リレーショナル インピーダンス ミスマッチを参照)、リバース エンジニアリングする必要があります。概念的な観点から、抽出のアプローチは 2 つの方向から来ることができます。最初の方向では、与えられたデータベース スキーマから OWL スキーマを抽出または学習しようとします。初期のアプローチでは、手動で作成された固定数のマッピング ルールを使用して 1:1 マッピングを改良していました。^{[ 5 ] [ 6 ] [ 7 ]}より精巧な方法では、ヒューリスティックまたは学習アルゴリズムを使用してスキーマ情報を誘導します (この方法はオントロジー学習と重複します)。 SQLスキーマに内在する構造から情報を抽出しようとするアプローチもあれば^{[ 8 ]}（例えば外部キーの分析）、テーブルの内容と値を分析して概念階層を作成するアプローチもある^{[ 9 ]}（例えば、値が少ない列はカテゴリになる候補となる）。2番目のアプローチでは、スキーマとその内容を既存のドメインオントロジーにマッピングしようとする（オントロジーアライメントも参照）。しかし、多くの場合、適切なドメインオントロジーは存在せず、最初に作成する必要がある。

XMLはツリー構造であるため、グラフ構造であるRDFではあらゆるデータを容易に表現できます。XML2RDFは、RDFのブランクノードを使用してXML要素と属性をRDFプロパティに変換するアプローチの一例です。ただし、リレーショナルデータベースの場合と同様に、このトピックはより複雑です。リレーショナルテーブルでは、主キーは抽出されたトリプルの主語となる理想的な候補です。しかし、XML要素は、コンテキストに応じて、トリプルの主語、述語、または目的語として変換できます。XSLTは、 XMLをRDFに手動で変換するための標準変換言語として使用できます。

知識抽出の前処理ステップとして、1つまたは複数の自然言語処理（NLP）ツールを用いて言語アノテーションを行う必要がある場合があります。NLPワークフローにおける個々のモジュールは通常、ツール固有の入出力フォーマットに基づいて構築されますが、知識抽出においては、言語アノテーションを表現するための構造化フォーマットが適用されています。

知識抽出に関連する典型的な自然言語処理タスクには、以下のようなものがあります。

• 品詞（POS）タグ付け
• 語幹抽出（LEMMA）または語幹化（STEM）
• 単語意味曖昧性解消（WSD、下記の意味注釈に関連）
• 固有表現認識（NER、下記IEも参照）
• 構文解析、多くの場合、構文依存関係（DEP）を採用する
• 浅い構文解析（チャンク）：パフォーマンスが問題となる場合、チャンク化によって名詞句やその他のフレーズを高速に抽出できます。
• 照応解決（下記IEにおける共参照解決を参照。ただしここでは、実体の言及と実体の抽象的な表現との間ではなく、テキスト上の言及間のリンクを作成するタスクとして捉える）
• 意味役割ラベリング（SRL、関係抽出に関連するもの。後述する意味注釈とは混同しないこと）
• 談話解析（異なる文間の関係性。実際のアプリケーションではほとんど使用されない）

自然言語処理（NLP）では、このようなデータは通常、TSV形式（タブを区切り文字とするCSV形式）で表現され、CoNLL形式と呼ばれることもあります。知識抽出ワークフローでは、このようなデータに関するRDFビューが、以下のコミュニティ標準に従って作成されています。

• NLP 交換フォーマット (NIF、多くの頻繁なタイプの注釈用) ^{[ 11 ] [ 12 ]}
• Webアノテーション（WA、エンティティリンクによく使用される）^{[ 13 ]}
• CoNLL-RDF（元々TSV形式で表現された注釈用）^{[ 14 ] [ 15 ]}

その他のプラットフォーム固有のフォーマットには以下が含まれます

• LAPPS交換フォーマット（LIF、LAPPSグリッドで使用）^{[ 16 ] [ 17 ]}
• NLPアノテーションフォーマット（NAF、NewsReaderワークフロー管理システムで使用）^{[ 18 ] [ 19 ]}

従来の情報抽出^{[ 20 ]}は、自然言語処理の技術であり、通常は自然言語のテキストから情報を抽出し、それらを適切な方法で構造化します。識別する情報の種類は、プロセスを開始する前にモデルで指定する必要があり、そのため、従来の情報抽出のプロセス全体はドメインに依存します。IEは次の5つのサブタスクに分割されます。

• 固有表現認識（NER）
• 共参照解決（CO）
• テンプレート要素の構築（TE）
• テンプレート関係構築（TR）
• テンプレートシナリオ作成（ST）

固有表現認識の目的は、テキストに含まれるすべての固有表現を認識し、分類すること（固有表現をあらかじめ定義されたカテゴリに割り当てること）です。これは、文法に基づく手法や統計モデルを適用することによって実現されます。

共参照解決は、テキスト内で固有表現認識（NER）によって認識された同等のエンティティを識別します。同等関係には、大きく分けて2種類あります。1つ目は、表現される2つの異なるエンティティ間の関係（例：IBM EuropeとIBM）であり、2つ目は、エンティティとその照応参照先間の関係（例：itとIBM）です。どちらの種類の関係も、共参照解決によって認識できます。

テンプレート要素の構築中に、IEシステムはNERとCOによって認識されるエンティティの記述的特性を識別します。これらの特性は、赤や大きいといった一般的な性質に対応します。

テンプレート関係構築では、テンプレート要素間に存在する関係を識別します。これらの関係には、対象や所在場所など、いくつかの種類がありますが、ドメインとレンジの両方がエンティティに対応するという制約があります。

テンプレートシナリオでは、本文で説明されている生産イベントは、NERとCOによって認識されるエンティティとTRによって識別される関係に関して識別され、構造化されます。

オントロジーに基づく情報抽出^{[ 10 ]}は情報抽出のサブフィールドであり、少なくとも1つのオントロジーを使用して自然言語テキストからの情報抽出プロセスをガイドします。OBIEシステムは、従来の情報抽出方法を使用して、テキスト内で使用されるオントロジーの概念、インスタンス、および関係を識別し、プロセス後にオントロジーに構造化します。したがって、入力オントロジーは、抽出される情報のモデルを構成します。^{[ 21 ]}

オントロジー学習とは、自然言語テキストから該当ドメインの用語を抽出するなど、オントロジーを自動または半自動的に作成するプロセスです。オントロジーを手動で構築するのは非常に手間と時間がかかるため、このプロセスを自動化する強い動機があります。

セマンティックアノテーションでは、^{[ 22 ]}自然言語テキストにメタデータ（多くの場合RDFaで表現）が追加され、含まれる用語の意味が機械で理解できるようになります。一般的に半自動で行われるこのプロセスでは、語彙用語と、たとえばオントロジーの概念との間のリンクが確立されるという意味で知識が抽出されます。このようにして、処理されたコンテキストにおける用語の意味が意図されていたという知識が得られ、テキストの意味は推論を行う能力を備えた機械可読データに基づいています。セマンティックアノテーションは通常、次の 2 つのサブタスクに分割されます。

1. 用語抽出
2. エンティティリンク

用語抽出レベルでは、テキストから語彙用語が抽出されます。この目的のために、トークナイザーはまず単語の境界を決定し、略語を解決します。その後、ドメイン固有の語彙集を用いて、概念に対応するテキスト中の用語が抽出され、エンティティリンキングでこれらの用語がリンクされます。

エンティティリンキング^{[ 23 ]}では、ソーステキストから抽出された語彙用語と、DBpediaなどのオントロジーまたは知識ベースの概念との間のリンク が確立されます。このために、語彙集の助けを借りて、用語の複数の意味に対して適切な候補概念が検出されます。最後に、用語のコンテキストが分析され、最も適切な曖昧性解消が決定され、用語が正しい概念に割り当てられます。

知識抽出の文脈における「意味注釈」は、自然言語処理で理解されている意味解析（これも「意味注釈」と呼ばれる）と混同しないように注意してください。意味解析は、自然言語の完全な機械可読表現を目指しますが、知識抽出における意味注釈は、そのごく基本的な側面のみを扱います。

自然言語テキストから知識を抽出するツールを分類するために、以下の基準を用いることができる。

以下の表は、自然言語ソースから知識を抽出するためのツールをいくつか示したものです。

• データベース
  • 関係データ
  • データベース
  • 文書倉庫
  • データウェアハウス
• ソフトウェア
  • ソースコード
  • 設定ファイル
  • スクリプトを作成する
• 文章
  • コンセプトマイニング
• グラフ
  • 分子マイニング
• シーケンス
  • データストリームマイニング
  • 概念ドリフト下での時間変動データストリームからの学習
• ウェブ

• データモデル
• メタデータ
• メタモデル
• オントロジー
• 知識表現
• 知識タグ
• ビジネスルール
• 知識発見メタモデル（KDM）
• ビジネスプロセスモデリング表記法（BPMN）
• 中間表現
• リソース記述フレームワーク（RDF）
• ソフトウェアメトリクス