コンセプト検索

概念検索(または概念検索) は、電子的に保存された非構造化テキスト (デジタル アーカイブ、電子メール、科学文献など) から、検索クエリで提供された情報と概念的に類似した情報を検索するために使用される自動情報検索方法です。言い換えると、概念検索クエリに応じて取得された情報で表現されているアイデアは、クエリのテキストに含まれるアイデアに 関連しています。

概念検索技術は、大規模で構造化されていないデジタル テキスト コレクションを処理する際に従来のブールキーワード検索テクノロジによって課せられる制限のために開発されました。キーワード検索では、同義語と多義語の影響により、関連性のない項目 (偽陽性) が多数含まれた結果や、関連性のある項目が過度に除外された結果 (偽陰性) が返されることがよくあります。同義語とは、同じ言語の 2 つ以上の単語のうちの 1 つが同じ意味を持つことを意味し、多義語とは、多くの単語が複数の意味を持つことを意味します。

多義性は、人間の言語を扱おうとするすべてのコンピュータ システムにとって大きな障害です。英語では、最も頻繁に使用される用語には複数の共通意味があります。たとえば、fire という単語は、燃焼活動、雇用を終了する、発射する、または刺激する (fire up のように) などの意味を持ちます。英語で最も多義的な 200 の用語では、典型的な動詞には 12 を超える共通意味または意味があります。このセットの典型的な名詞には、8 を超える共通意味があります。英語で最も多義的な 2000 の用語では、典型的な動詞には 8 を超える共通意味があり、典型的な名詞には 5 を超える共通意味があります。^[1]

多義性と同義性の問題に加えて、キーワード検索では、誤ってスペルミスした単語や、単語の語幹（または語源）のバリエーション（たとえば、strike と strike）が除外される可能性があります。キーワード検索は、光学式文字認識（OCR）スキャン プロセスによって発生するエラーの影響を受けやすく、スキャン プロセス中にドキュメントのテキストにランダム エラー（多くの場合、ノイズ テキストと呼ばれます）が発生する可能性があります。

概念検索では、キーワード検索技術のように単純に文字列を一致させるのではなく、単語の意味の曖昧さ解消（WSD）^[2]やその他の技術を採用して、単語の実際の意味とその背後にある概念を導き出すことで、これらの課題を克服できます。

一般的に、情報検索の研究と技術は、意味的と統計的の 2 つの大きなカテゴリに分けられます。意味的カテゴリに分類される情報検索システムは、人間のユーザーが提供する自然言語テキストの構文と意味の分析をある程度実装しようとします (計算言語学も参照)。統計的カテゴリに分類されるシステムは、クエリにどれだけ近いかの統計的尺度に基づいて結果を見つけます。ただし、意味的カテゴリのシステムも、情報の検索と取得を支援するために統計的手法に頼ることがよくあります。^[3]

情報検索システムに意味処理機能を提供する取り組みでは、基本的に次の 3 つのアプローチが採用されてきました。

• 補助構造
• ローカル共起統計
• 変換技術（特に行列分解）

人工知能(AI) と自然言語処理(NLP)に基づくさまざまな技術が意味処理に適用されており、そのほとんどは制御語彙やオントロジーなどの補助構造の使用に依存しています。制御語彙 (辞書とシソーラス) とオントロジーを使用すると、より広い用語、より狭い用語、および関連用語をクエリに組み込むことができます。^[4]制御語彙は、ブールキーワードクエリの最も厳しい制約のいくつかを克服する1つの方法です。長年にわたり、WordNetの大規模な同義語セットなど、一般的な関心のある追加の補助構造が構築されてきました。^[5] WordNetなどの補助構造に基づく概念検索は、古典的な情報検索の検索モデルとデータ構造を再利用することで効率的に実装できることが示されました。^[6] その後のアプローチでは、意味構成の範囲を拡張するために文法を実装しました。近年では、特定のドメイン内の概念の集合（ドメインオントロジー）を表現し、用語間の関係性を組み込むことができる データモデルの作成も実装されています。

手作りの統制語彙は、情報検索や関連するテキスト分析操作の効率性と包括性に貢献しますが、トピックが狭く定義され、用語が標準化されている場合に最も効果的です。統制語彙は、言語の急速な進化に対応するために、広範囲にわたる人的入力と監視を必要とします。また、新しい用語やトピックを絶えず導入する必要があるため、無制限の数のトピックをカバーし、何千もの固有の用語を含む、増大する非構造化テキストにはあまり適していません。統制語彙はまた、特定の時点での特定の世界観を捉える傾向があり、特定のトピック領域の概念が変化した場合に修正するのが困難です。^[7]

このアプローチを組み込んだ情報検索システムは、文書内の用語または文のスライディング ウィンドウ(たとえば、± 5 文または ± 50 語)内で用語のグループが一緒に出現する (共起する) 回数をカウントします。これは、同様のコンテキストで一緒に出現する単語は同様の意味を持つという考えに基づいています。用語の共起を判断するために使用される用語と文のスライディング ウィンドウが比較的小さいという意味で、ローカルです。

このアプローチはシンプルですが、テキストのコレクションに含まれる意味情報のほんの一部しか捉えられません。最も基本的なレベルでは、多数の実験により、テキストに含まれる情報の約4分の1だけが本質的にローカルであることが示されています。^[8] さらに、この方法を最大限に有効にするには、テキストの内容に関する事前の知識が必要ですが、大規模で構造化されていないドキュメントコレクションでは難しい場合があります。^[7]

意味処理に対する最も強力なアプローチのいくつかは、数学的変換技術の使用に基づいています。 行列分解技術は最も成功しています。広く使用されている行列分解技術には次のものがあります。^[9]

• 独立成分分析
• 半離散分解
• 非負行列分解
• 特異値分解

行列分解技術はデータ駆動型であり、補助構造に関連する多くの欠点を回避します。また、本質的にグローバルであるため、ローカル共起統計に基づく技術よりもはるかに堅牢な情報抽出と意味情報の表現が可能です。^[7]

独立成分分析は、自動的にスパース表現を作成する手法であり、^[10]半離散行列アプローチと非負行列アプローチでは、計算の複雑さを軽減するために表現の精度が犠牲になります。^[7]

特異値分解 (SVD) は、1980 年代後半にベル研究所で初めてテキストに適用されました。テキストのコレクションに潜在する意味を見つけることができるため、潜在的意味索引(LSI) と呼ばれる手法の基礎として使用されました。当初、SVD は大規模なデータセットを処理するために必要なリソース要件のために採用が遅れました。しかし、スケーラビリティとパフォーマンスに関する以前の課題が克服されたため、近年 LSI の使用が大幅に拡大しました。^[11]オープンソース化もされています。^[12] LSI はさまざまな情報検索およびテキスト処理アプリケーションで使用されていますが、主な用途は概念検索と自動ドキュメント分類です。^[13]

• eDiscovery – 概念ベースの検索技術は、企業が訴訟に備えるために電子文書開示（EDD または eDiscovery）にますます使用されています。eDiscovery では、概念ベースで構造化されていない大量のテキストをクラスタリング、分類、検索する機能は、従来の線形レビュー手法よりもはるかに効率的です。概念ベースの検索は、キーワード検索やブール検索よりも関連性の高い結果を生成する可能性が高い、信頼性が高く効率的な検索方法として受け入れられつつあります。 ^[14]

• エンタープライズ検索とエンタープライズ コンテンツ管理 (ECM) – 概念検索テクノロジは、エンタープライズ検索で広く使用されています。企業内の情報量が増加するにつれて、概念に基づいて大量の非構造化テキストをクラスタリング、分類、検索する機能が不可欠になっています。2004 年にガートナー グループは、専門家が情報の検索、取得、管理に時間の 30% を費やしていると推定しました。 ^[15] 調査会社 IDC は、従業員 2,000 人の企業は、従業員が情報の検索や既存のドキュメントの複製に費やす時間を削減することで、年間最大 3,000 万ドルを節約できると結論付けました。 ^[15]
• コンテンツベースの画像検索(CBIR) – コンテンツベースのアプローチは、大規模な視覚コーパスからデジタル化された画像やビデオを意味的に検索するために使用されています。意味的問題に対処する最も初期のコンテンツベースの画像検索システムの 1 つは、ImageScape 検索エンジンでした。このシステムでは、ユーザーは、キーフレームを使用して 1,000 万を超える画像とビデオを含む WWW インデックス内の空間的に配置されたアイコンを使用して、空、木、水などの複数の視覚オブジェクトを直接検索できます。このシステムは、情報理論を使用して、分類の不確実性を最小限に抑えるための最適な機能を決定しました。 ^[16] CBIR に関して、意味的ギャップがよく言及されます。意味的ギャップとは、視覚データから抽出できる情報と、特定の状況でユーザーが同じデータから得る解釈との間のギャップを指します。 ^[17] ACM SIGMMマルチメディア情報検索ワークショップ^[18]は、CBIR の研究に専念しています。
• マルチメディアと出版– コンセプト検索は、マルチメディアと出版業界で、さまざまな非構造化ソースからのニュース、技術情報、主題の専門知識へのアクセスをユーザーに提供するために使用されています。マルチメディア情報検索（MIR）のコンテンツベースの方法は、テキスト注釈が欠落しているか不完全な場合に特に重要になっています。^[16]
• デジタル ライブラリとアーカイブ– デジタル ライブラリとデジタル アーカイブ内の画像、ビデオ、音楽、テキスト アイテムは、概念検索技術を使用することで、大規模なユーザー グループ (特に Web 上) がアクセスできるようになりました。たとえば、EBSCO Publishingが開発したビジネス情報監視およびアラート製品である Executive Daily Brief (EDB)は、概念検索技術を使用して、企業のエンド ユーザーに幅広いビジネス コンテンツを含むデジタル ライブラリへのアクセスを提供しています。同様に、Music Genome ProjectからPandora が生まれました。Pandora は、概念検索を使用して、個々の音楽ライブラリや仮想ラジオ局を自発的に作成します。
• ゲノム情報検索 (GIR) – ゲノム情報検索 (GIR) は、ゲノム文献データベースに適用される概念検索技術を使用して、科学文献の曖昧さを克服します。
• 人事スタッフ配置と採用– 多くの人事スタッフ配置と採用組織は、関連性の低いキーワードの結果よりも正確で関連性の高い候補者の履歴書を提供する関連性の高い履歴書検索結果を生成するために、コンセプト検索テクノロジーを採用しています。

概念検索の有効性は、検索対象のデータセットや、クエリを処理して結果を表示するために使用される検索エンジンなど、さまざまな要素によって異なります。ただし、ほとんどの概念検索エンジンは、特定の種類のクエリに最適です。

• 効果的なクエリは、意図した概念を適切に伝えるのに十分なテキストで構成されます。効果的なクエリには、完全な文、段落、またはドキュメント全体が含まれる場合があります。数語のみで構成されたクエリでは、最も関連性の高い結果が返される可能性は低くなります。
• 効果的なクエリでは、検索対象ではない概念はクエリに含まれません。クエリに関連のない概念を多く含めすぎると、結果項目の関連性に悪影響を与える可能性があります。たとえば、ミシシッピ川でのボート遊びに関する情報を検索すると、1967 年の真夏の雨の日にミシシッピ川でボート遊びを検索するよりも、関連性の高い結果が返される可能性が高くなります。
• 効果的なクエリは、検索対象のドキュメントとスタイルが似ている全文の自然言語スタイルで表現されます。たとえば、検索対象のデータセットが大学レベルの高度な科学テキストで構成されている場合、入門科学教科書からの抜粋で構成されたクエリを使用しても、概念検索にはそれほど効果的ではありません。クエリが実行されるアイテムの全体的な概念、スタイル、言語をより適切に表す実質的なクエリの方が、一般的にはより効果的です。

すべての検索戦略と同様に、経験豊富な検索者は通常、最初のシードクエリから始めて概念的に関連する結果を取得し、それを使用して追加のクエリを作成および/または絞り込み、より関連性の高い結果を得るために複数の検索を通じてクエリを絞り込みます。検索エンジンによっては、結果ドキュメントで見つかったクエリ概念を使用することは、ドキュメントを選択して類似の検索機能を実行するのと同じくらい簡単です。結果の関連性を高めるために用語や概念を追加してクエリを変更することを、クエリ拡張と呼びます。^{[19]概念的に関連する単語でクエリを拡張するために、WordNetなどの}オントロジーの使用が研究されてきました。^[20]

関連性フィードバックは、クエリに対して返された結果が情報ニーズを満たしているかどうかをユーザーが判断するのに役立つ機能です。言い換えると、関連性はクエリではなく情報ニーズに対して評価されます。ドキュメントが関連性を持つのは、クエリ内のすべての単語がたまたま含まれているからではなく、明示された情報ニーズに対応している場合です。^[21] これは、最終的な結果セットを改善するために、ユーザーを検索プロセスに参加させる方法です。^[21]ユーザーは、最初の結果に基づいてクエリを絞り込み、最終的な結果の品質を向上させることができます。

一般的に、概念検索の関連性とは、クエリで表現された概念と、クエリに対して返された結果に含まれる概念との類似度を指します。結果の概念がクエリに含まれる概念に類似しているほど、結果の関連性が高いと見なされます。結果は通常、関連性によってランク付けおよび並べ替えられ、最も関連性の高い結果が結果リストの一番上に表示され、最も関連性の低い結果がリストの一番下に表示されます。

関連性フィードバックは、結果の関連性を向上させるのに非常に効果的であることが示されています。^[21] 概念検索では、クエリで使用された同じ単語が含まれているかどうかに関係なく、クエリの概念に関連するすべての項目が返されるため、重要な結果項目を見逃すリスクが減少します。^[15]

ランキングは、あらゆる現代の情報検索システムの一部であり続けるでしょう。しかし、テキストに反映される異種データ、規模、非伝統的な談話タイプの問題、そして検索エンジンが単なるスタンドアロンシステムではなく、複雑な情報管理プロセスの統合コンポーネントになるという事実により、クエリに対する新しい種類のシステム応答が必要になります。たとえば、ランキングリストの問題の1つは、結果項目の一部に存在する関係を明らかにしない可能性があることです。^[22]

1. 結果項目で使用される用語がクエリで使用される用語と異なる場合でも、結果項目は、クエリ ステートメントに含まれる概念によって表現される情報ニーズに関連している必要があります。
2. 結果項目は関連性によって並べ替えられ、ランク付けされる必要があります。
3. 関連する結果項目はすぐに見つけられ、表示される必要があります。複雑なクエリでも、関連する結果がかなり早く返される必要があります。
4. クエリの長​​さは固定ではありません。つまり、クエリは必要なだけ長くすることができます。文、段落、またはドキュメント全体をクエリとして送信できます。
5. コンセプト クエリでは、特別な構文や複雑な構文は必要ありません。クエリに含まれるコンセプトは、特別なルールを使用せずに、明確かつ目立つように表現できます。
6. 概念、キーワード、メタデータを使用した複合クエリが許可されるべきである。^[23]
7. 結果項目の関連部分は、項目を選択して検索エンジンに類似項目を検索するように指示するだけで、クエリ テキストとして使用できるようになります。
8. クエリ対応インデックスは比較的迅速に作成されるはずです。
9. 検索エンジンは、フェデレーション検索を実行できる必要があります。フェデレーション検索では、概念クエリを使用して複数のデータソースから同時に情報を検索し、その情報を結合して並べ替え、結果に表示することができます。
10. 概念検索は、クエリ テキストまたは検索対象のデータ セットのテキスト内のスペルミス、入力ミス、または OCR スキャン エラーの影響を受けないようにする必要があります。

検索エンジンの評価は長年にわたって形式化されてきました。たとえば、テキスト検索会議(TREC) は、テキスト検索方法論の大規模な評価に必要なインフラストラクチャを提供することで、情報検索コミュニティ内の研究をサポートするために 1992 年に開始されました。今日の商用検索エンジンのほとんどには、TREC で最初に開発された技術が組み込まれています。^[24]

1997 年、TREC の日本版として国立情報学研究所の IR システム用テストコレクション (NTCIR) が立ち上げられました。NTCIR は、情報検索、質問応答、自動要約などの研究に関する一連の評価ワークショップを実施しています。2001 年には、多言語情報アクセスの研究を支援するために、Cross-Language Evaluation Forum (CLEF) と呼ばれるヨーロッパの一連のワークショップが開始されました。2002 年には、コンテンツ指向のXML 検索システムの評価のために、Initiative for the Evaluation of XML Retrieval (INEX) が設立されました。

精度と再現率は、情報検索システムを評価する伝統的なパフォーマンス指標の2つです。精度は、検索された結果文書のうち、ユーザーの情報ニーズに関連するものの割合です。再現率は、コレクション全体の中で結果文書として返される関連文書の割合として定義されます。^[21]

検索エンジンのテストと評価に使用されたワークショップや公開されているテストコレクションは、情報の管理と検索方法についての重要な洞察を提供してきましたが、この分野では、非常に多くの情報が利用可能になった現在、人々や組織が情報の検索、管理、使用で直面している課題の表面をなぞったにすぎません。 ^[22] 実験研究の方法論が急速な変化のペースに追いついていないため、人々が現在利用できる情報ツールをどのように使用しているかについての科学的データはまだ不完全です。コンテキスト検索、個人情報管理、情報統合、タスクサポートなど、多くの課題にまだ対処する必要があります。^[22]

• テキスト検索会議 (TREC)、NIST
• NII 情報アクセス研究テストベッドおよびコミュニティ (NTCIR)、国立情報学研究所、東京
• クロスランゲージ教育と機能（CLEF）
• (XML検索評価イニシアチブ)、デュースブルク＝エッセン大学
• INEX (XML 検索評価イニシアチブ)、デュースブルク大学 (2007 年アーカイブ)