情報検索

情報検索( IR ) は、コンピューティングと情報科学において、情報ニーズに関連する情報システムリソースを特定して取得するタスクです。情報ニーズは、検索クエリの形式で指定できます。文書検索の場合、クエリは全文または他のコンテンツベースのインデックスに基づいて作成できます。情報検索は、文書内の情報の検索、文書自体の検索、データの説明となるメタデータの検索、テキスト、画像、音声のデータベースの検索を行う科学です^{[ 1 ]} 。クロスモーダル検索は、複数のモダリティにわたる検索を意味します。

自動情報検索システムは、いわゆる情報過多を軽減するために利用されています。情報検索システムとは、書籍、雑誌、その他の文書へのアクセスを提供するとともに、それらの文書を保存・管理するソフトウェアシステムです。ウェブ検索エンジンは、最もよく知られている情報検索アプリケーションです。

情報検索プロセスは、ユーザーがシステムにクエリを入力することから始まります。クエリとは、情報ニーズを形式的に表現したもので、例えばウェブ検索エンジンの検索文字列などが該当します。情報検索において、クエリはコレクション内の単一のオブジェクトを一意に識別するものではありません。むしろ、複数のオブジェクトがクエリに一致する可能性があり、それらの関連性は異なる場合もあります。

オブジェクトとは、コンテンツコレクションまたはデータベース内の情報によって表現されるエンティティです。ユーザーのクエリはデータベース情報と照合されます。ただし、データベースの従来のSQLクエリとは異なり、情報検索では返される結果がクエリと一致する場合と一致しない場合があるため、結果は通常ランク付けされます。この結果のランク付けは、データベース検索と比較した情報検索の重要な違いです。^{[ 2 ]}

アプリケーションによっては、データオブジェクトは、例えば、テキスト文書、画像^{[ 3 ]} 、音声^{[ 4 ]} 、マインドマップ^{[ 5 ]} 、またはビデオである場合があります。多くの場合、文書自体はIRシステムに直接保持または保存されず、代わりに文書の代替物またはメタデータによってシステム内で表現されます。

ほとんどの情報検索システムは、データベース内の各オブジェクトがクエリにどれだけ合致するかを数値スコアで計算し、この値に基づいてオブジェクトをランク付けします。そして、上位にランク付けされたオブジェクトがユーザーに表示されます。ユーザーがクエリを絞り込みたい場合は、このプロセスを繰り返すことができます。^{[ 6 ]}

ユニバックと呼ばれる機械があり、文字や数字は長い鋼鉄テープ上の磁気スポットのパターンとして符号化される。この方法により、文書の主題コード記号を先頭に付けたテキストを記録できる。この機械は、任意の方法で符号化された参照を自動的に選択し、毎分120語の速度で入力する。

コンピュータを使って関連情報を検索するというアイデアは、1945年にヴァネヴァー・ブッシュが書いた記事「As We May Think」で広まった。 ^{[ 9 ]}ブッシュは、1920年代から1930年代にかけてエマニュエル・ゴールドバーグが出願した、フィルムに保存された文書を検索する「統計機械」の特許に触発されたようだ。 ^{[ 10 ]}コンピュータが情報を検索する最初の記述は、1948年にホルムストロムによって書かれ、^{[ 11 ]}ユニバック・コンピュータの初期の言及が詳しく述べられている。自動情報検索システムは1950年代に導入され、1957年のロマンティック・コメディ映画「デスク・セット」にも登場した。1960年代には、コーネル大学のジェラード・サルトンによって最初の大規模な情報検索研究グループが結成された。 1970年代までに、クランフィールド・コレクション（数千の文書）のような小規模なテキスト・コーパスでは、さまざまな検索技術が良好な性能を発揮することが示されました。 ^{[ 9 ]}ロッキード・ダイアログ・システムのような大規模な検索システムは、1970年代初頭に実用化されました。

1992年、米国国防総省は国立標準技術研究所（NIST）と共同で、 TIPSTERテキストプログラムの一環としてテキスト検索会議（TREC）を主催しました。その目的は、膨大なテキストコレクションに対するテキスト検索手法の評価に必要なインフラを提供することで、情報検索コミュニティを調査することでした。これにより、大規模なコーパスに対応できる手法の研究が促進されました。ウェブ検索エンジンの登場は、超大規模検索システムの必要性をさらに高めています。

1990年代後半までに、ワールドワイドウェブの台頭により、情報検索は根本的に変革されました。AltaVista （1995年）やYahoo! （ 1994年）などの初期の検索エンジンはキーワードベースの検索を提供していましたが、規模とランキングの精緻化には限界がありました。1998年にGoogleが設立され、ウェブのハイパーリンク構造を使用してページの重要度を評価し、関連性ランキングを向上させるPageRankアルゴリズム[ ^{12 ]を導入したことで、画期的な進歩がもたらされました。}

2000年代には、機械学習技術の統合により、ウェブ検索システムが急速に進化しました。これらのシステムは、検索精度とパーソナライゼーションを向上させるために、ユーザー行動データ（クリックログなど）、クエリの再定式化、コンテンツベースのシグナルを組み込み始めました。2009年、マイクロソフトはBingをリリースし、後にSatori知識ベースの開発を通じてセマンティックウェブ技術を組み込むことになる機能を導入しました。学術分析^{[ 13 ]}では、構造化データの使用やエンティティ認識を含むBingのセマンティック機能が、自然言語処理を通じて検索の関連性を向上させ、ユーザーの意図を理解するという、より広範な業界の変化の一部として強調されています。

2018年に、Googleがクエリやドキュメントの文脈上の意味をよりよく理解するためにBERT（Bidirectional Encoder Representations from Transformers ）を導入したことで、大きな飛躍が起こりました。これは、深層ニューラル言語モデルが実世界の検索システムで大規模に使用された最初の事例の1つでした。 ^{[ 14 ]} BERTの双方向トレーニングにより、文脈における単語間の関係をより洗練された形で理解できるようになり、自然言語クエリの処理が改善されました。その成功により、トランスフォーマーベースのモデルは学術研究や商用検索アプリケーションで注目を集めるようになりました。^{[ 15 ]}

同時に、研究コミュニティは、従来の語彙ベースの手法を凌駕するニューラルランキングモデルの探求を開始しました。1992 年に開始された Text REtrieval Conference (TREC) などの長年のベンチマークや、より最近の評価フレームワークである Microsoft MARCO ( MAchine Reading COmprehension ) ( 2019 ) [ 16 ^]は、複数のタスクとドメインにわたる検索システムのトレーニングと評価の中心となりました。MS MARCO は、TREC のディープラーニングトラックでも採用されており、標準化されたベンチマーク環境内でニューラルランキングモデルの進歩を評価するためのコアデータセットとして機能しています。^{[ 17 ]}

ディープラーニングが情報検索システムに不可欠なものとなるにつれ、研究者たちはニューラルアプローチをスパース、デンス、ハイブリッドの3つの大まかなクラスに分類し始めました。スパースモデルは、従来の用語ベースの手法やSPLADEのような学習されたバリアントを含め、解釈可能な表現と転置インデックスに依存して、意味信号を追加した効率的な正確な用語マッチングを可能にします。^{[ 18 ]}デンスモデルは、ColBERTのようなデュアルエンコーダーアーキテクチャなど、連続ベクトル埋め込みを使用して、キーワードの重複を超えた意味的類似性をサポートします。^{[ 19 ]}ハイブリッドモデルは、スパース手法の語彙（トークン）精度とデンスモデルの意味的深さのバランスを取り、両方の利点を組み合わせることを目指しています。このモデルの分類方法は、検索システムの拡張性、関連性、効率性のバランスを取ります。^{[ 20 ]}

情報検索システムが深層学習への依存度を高めるにつれ、偏り、公平性、説明可能性といった問題も浮上してきた。現在、研究は関連性や効率性だけでなく、透明性、説明責任、そして検索アルゴリズムに対するユーザーの信頼にも焦点を当てている。

情報検索技術が用いられる分野には、以下のようなものがあります（各カテゴリ内の項目はアルファベット順です）。

情報検索戦略によって関連文書を効果的に検索するためには、通常、文書を適切な表現形式に変換する必要があります。各検索戦略は、文書表現のために特定のモデルを採用しています。右の図は、いくつかの一般的なモデルの関係性を示しています。この図では、モデルは数学的基礎とモデルの特性という2つの側面に基づいて分類されています。

情報検索システムの評価とは、システムがユーザーの情報ニーズをどの程度満たしているかを評価するプロセスです。一般的に、評価では検索対象となる文書の集合と検索クエリを考慮します。ブール検索やトップk検索向けに設計された従来の評価指標には、精度と再現率があります。これらの指標はすべて、関連性に関する真の概念を前提としています。つまり、すべての文書は特定のクエリに対して関連性があるか、ないかのいずれかであると既知であると仮定しています。しかし実際には、クエリは不適切に設定される可能性があり、関連性にもさまざまな段階が存在する可能性があります。

• キツネザル
• ルシーン
  • Solr
  • Elasticsearch
• マナティー
• マンティコア検索
• スフィンクス
• テリア検索エンジン
• ザピアン

• 1900年代以前

  1801年：ジョゼフ・マリー・ジャカールがジャカード織機を発明。これは、パンチカードを使って一連の動作を制御する最初の機械だった。

  1880年代：ヘルマン・ホレリスが、機械読み取り可能な媒体としてパンチカードを使用した電気機械式データ集計機を発明する。

  1890年の米国国勢調査データの処理に使用された、1890年式のホレリスカード、キーパンチ、および集計機。

• 1920年代～1930年代

  エマニュエル・ゴールドバーグは、光電セルとパターン認識を用いてマイクロフィルム化された文書のメタデータを検索する文書検索エンジン「統計マシン」の特許を出願した。

• 1940年代～1950年代

  1940年代後半：米軍は、ドイツ軍から押収した戦時中の科学研究文書の索引付けと検索という問題に直面した。

  1945年：ヴァネヴァー・ブッシュの「As We May Think」がアトランティック・マンスリー誌に掲載された。

  1947年：ハンス・ペーター・ルーン（1941年からIBMの研究エンジニア）は、化学化合物を検索するための機械化されたパンチカードベースのシステムの開発に着手した。

  1950年代：米国でソ連との「科学格差」に対する懸念が高まり、機械化された文献検索システム（アレン・ケント他）の開発やユージン・ガーフィールドによる引用索引の発明の動機付け、資金提供、背景となった。

  1950年：カルビン・ムーアーズが「情報検索」という用語を造語した。^{[ 26 ]}

  1951年：フィリップ・バグリーはMITの修士論文で、コンピュータによる文書検索に関する最初の実験を行った。^{[ 27 ]}

  1955年：アレン・ケントはケース・ウェスタン・リザーブ大学に入学し、後に文書・コミュニケーション研究センターの副所長となった。同年、ケントと同僚はAmerican Documentation誌に論文を発表し、精度と再現率の測定方法を記述するとともに、検索されなかった関連文書の数を決定するための統計的サンプリング方法を含む、情報検索システムを評価するための提案された「フレームワーク」の詳細を述べた。^{[ 28 ]}

  1958年：ワシントンDCで開催された国際科学情報会議では、特定された問題に対する解決策としてIRシステムが検討された。参照：国際科学情報会議議事録、1958年（米国科学アカデミー、ワシントンDC、1959年）

  1959年：ハンス・ペーター・ルーンが「情報検索のための文書の自動符号化」を発表。

• 1960年代：

  1960年代初頭：ジェラード・サルトンはハーバード大学で国際関係論の研究を開始し、後にコーネル大学に移籍した。

  1960年：メルビン・アール・マロンとジョン・ラリー・クーンズ^{[ 29 ]}は、1960年7月にJournal of the ACM 7(3):216–244に「関連性、確率的インデックス、および情報検索について」を発表しました。

  1962年：

  *シリル・W・クレバードンは、クランフィールド研究の初期調査結果を発表し、IRシステム評価のためのモデルを開発した。参照：シリル・W・クレバードン、「索引システムの比較効率に関する調査の試験および分析に関する報告書」。クランフィールド航空学コレクション、クランフィールド、イングランド、1962年。

  * ケントは『情報分析と検索』を出版した。

  1963年：

  * ワインバーグ報告書「科学、政府、情報」は、「科学情報の危機」という概念を包括的に論じた。この報告書は、アルビン・ワインバーグ博士にちなんで名付けられた。

  * ジョセフ・ベッカーとロバート・M・ヘイズは情報検索に関する著作を出版した。ベッカー、ジョセフ；ヘイズ、ロバート・メイヨー。『情報ストレージと検索：ツール、要素、理論』ニューヨーク、ワイリー（1963年）。

  1964年：

  カレン・スパーク・ジョーンズはケンブリッジ大学で「同義語と意味分類」という論文を完成させ、情報検索に適用される計算言語学の研究を続けた。

  *米国標準局は、「機械化された文書作成のための統計的関連性手法」と題したシンポジウムを主催しました。その中で、G. SaltonによるSMARTシステムに関する最初の発表論文（と思われる）を含む、非常に重要な論文がいくつか発表されました。

  1960年代半ば：

  *米国国立医学図書館（NLM）は、初の主要な機械可読データベースおよびバッチ検索システムであるMEDLARS医学文献分析検索システムを開発しました。

  * MITのプロジェクトIntrex。

  1965年：JCR・リックライダーが『未来の図書館』を出版。

  1966年：ドン・スワンソンは、シカゴ大学で将来のカタログの要件に関する研究に携わった。

  1960年代後半：F・ウィルフリッド・ランカスターはMEDLARSシステムの評価研究を完了し、情報検索に関する著書の初版を出版した。

  1968年：

  * ジェラード・サルトンは『自動情報整理と検索』を出版した。

  * ジョン・W・サモン・ジュニアのRADC技術報告書「情報ストレージと検索の数学について…」では、ベクトルモデルの概要が説明されています。

  1969年：Sammonの「データ構造解析のための非線形マッピング(IEEE Transactions on Computers)」は、 IRシステムへの視覚化インターフェースの最初の提案でした。

• 1970年代

  1970年代初頭：

  * 最初のオンラインシステム—NLMのAIM-TWX、MEDLINE、ロッキードのDialog、SDCのORBIT。

  *テオドール・ネルソンはハイパーテキストの概念を提唱し、『コンピュータライブラリ/ドリームマシン』を出版した。

  1971年：ニコラス・ジャーディンとコーネリス・J・ファン・ライスベルゲンは「情報検索における階層的クラスタリングの使用」を発表し、「クラスタ仮説」を明確にした。^{[ 30 ]}

  1975年：サルトンによる3つの非常に影響力のある出版物で、彼のベクトル処理フレームワークと用語識別モデルが完全に明確に示された。

  *インデックス理論（産業応用数学会）

  *自動テキスト分析における用語重要度理論（JASIS v. 26）

  *自動インデックス作成のためのベクトル空間モデル（CACM 18:11）

  1978年：第1回ACM SIGIR会議開催。

  1979年：CJ・ファン・ライスベルゲンが『情報検索』（バターワース社）を出版。確率モデルに重点が置かれている。

  1979年：タマス・ドスコックスは、国立医学図書館のMEDLINE向けにCITE自然言語ユーザーインターフェースを実装した。CITEシステムは、自由形式のクエリ入力、ランク付けされた出力、および関連性のフィードバックをサポートしていた。^{[ 31 ]}

• 1980年代

  1980年：英国コンピュータ協会IRグループとの共催で、ケンブリッジにて第1回ACM SIGIR国際会議が開催される。

  1982年：ニコラス・J・ベルキン、ロバート・N・オディ、ヘレン・M・ブルックスは、情報検索におけるASK（異常な知識状態）という視点を提唱した。これは重要な概念であったが、彼らが開発した自動分析ツールは最終的には期待外れに終わった。

  1983年：サルトン（とマイケル・J・マクギル）は、 『現代情報検索入門』（マグロウヒル社）を出版し、ベクトルモデルに重点を置いた。

  1985年：デビッド・ブレアとビル・マロンが「全文文書検索システムの検索有効性の評価」を発表。^{[ 32 ]}

  1986年： NLM所長のドナルド・AB・リンドバーグ医師は、MEDLINEやその他のMEDLARSデータベースへの医療専門家向け直接インターフェースを実装した。グレイトフル・メッド（グレイトフル・デッドをもじったもの）は、NLMメインフレームに接続する前にクエリ言語を組み立てるELHILLユーザーインターフェースであるMicrosearchを改良したものである。クエリ結果を取得した後、グレイトフル・メッドは検索コストを低く抑えるためにメインフレームから切断した。^{[ 33 ]}

  1980年代半ば：市販の赤外線システムのエンドユーザー向けバージョンの開発に向けた取り組み。

  1985年～1993年：可視化インターフェースに関する主要論文および実験システム。

  ドナルド・B・クラウチ、ロバート・R・コーファージ、マシュー・チャルマーズ、アンセルム・スポエリらの作品。

  1989年：CERNのティム・バーナーズ＝リーがワールドワイドウェブの最初の提案を行う。

• 1990年代

  1992年：第1回TREC会議開催。

  1997年：視覚化とマルチ参照点システムに重点を置いたKorfhageのInformation Storage and Retrieval ^{[ 34 ]が出版されました。}

  1998年：ラリー・ペイジとセルゲイ・ブリンによってGoogleが設立される。Googleは、ハイパーリンク構造に基づいてウェブページの重要度を評価するPageRankアルゴリズムを導入した。^{[ 12 ]}

  1999年：リカルド・バエザ＝イェーツとベルティエ・リベイロ＝ネトによる『現代情報検索』がアディソン・ウェスリー社から出版される。これは情報検索のすべてを網羅しようと試みた最初の書籍である。

• 2000年代

  2001年：ウィキペディアが無料の共同編集型オンライン百科事典として開設される。ウィキペディアはすぐに情報検索、特に自然言語処理と意味検索のベンチマークのための主要なリソースとなる。^{[ 35 ]}

  2009年：マイクロソフトはBingをリリースし、関連検索、意味的候補などの機能を導入し、後にディープラーニング技術をランキングアルゴリズムに組み込みました。^{[ 13 ]}

• 2010年代

  2013年： Googleのハミングバードアルゴリズムが稼働開始し、キーワードマッチングから検索クエリの意図と意味的文脈の理解へと移行した。^{[ 36 ]}

  2018年： Google AIの研究者がBERT（Bidirectional Encoder Representations from Transformers）をリリースし、言語の深い双方向理解を可能にし、情報検索における文書ランキングとクエリ理解を向上させた。^{[ 14 ]}

  2019年：マイクロソフトは、機械読解と文章ランキングモデルのトレーニングと評価用に設計された大規模データセットであるMS MARCO（Microsoft MAChine Reading CO mprehension）を発表しました。 ^{[ 16 ]}

• 2020年代

  2020年：文脈埋め込みを用いた効率的なパッセージ検索のために設計されたColBERT （Contextualized Late Interaction over BERT）モデルがSIGIR 2020で発表されました。^{[ 37 ] [ 19 ]}

  2021: SPLADEはSIGIR 2021で発表されました。これは、マスク言語モデリングとスパース性正則化を使用して語彙的特徴と意味的特徴のバランスをとるスパースニューラル検索モデルです。^{[ 38 ]}

  2022年： BEIRベンチマークがリリースされ、多様なタスクをカバーする18のデータセットでゼロショットIRを評価します。これは、密なIRモデル、疎なIRモデル、およびハイブリッドIRモデル間の比較を標準化します。^{[ 23 ]}

• SIGIR：情報検索に関する特別関心グループ
• ECIR：欧州情報検索会議
• CIKM：情報・知識管理に関する会議
• WWW：国際ワールドワイドウェブ会議

• トニー・ケント・ストリックス賞
• ジェラード・サルトン賞
• カレン・スパーク・ジョーンズ賞

• ACM SIGIR：情報検索特別関心グループ
• BCS IRSG：英国コンピュータ協会 – 情報検索専門家グループ
• テキスト検索会議（TREC）
• 情報検索評価フォーラム（FIRE）
• Information Retrieval (オンライン ブック) CJ van Rijsbergen著
• 情報検索Wiki（2015年11月24日時点のアーカイブ）
• 情報検索機能は、 2008年5月22日にWayback Machineにアーカイブされました。
• TRECによる情報検索評価技術に関する報告書
• eBayが検索関連性を測定する方法
• アテナ研究センターの情報検索性能評価ツール