テキスト検索会議

テキスト検索会議
...大規模なテキストコレクションからの情報検索の研究を促進するため。
略語	トレック
規律	情報検索
出版の詳細
出版社	NIST
歴史	1992年; 32年前 （1992年）
頻度	年間
Webサイト	trec.nist.gov

Text REtrieval Conference ( TREC )は、さまざまな情報検索(IR) 研究分野またはトラックの一覧に重点を置いた、継続的なワークショップシリーズです。この会議は、米国国立標準技術研究所(NIST) とIntelligence Advanced Research Projects Activity (国家情報長官室の一部) が共同で主催し、1992 年にTIPSTER Text プログラムの一環として開始されました。この会議の目的は、テキスト検索方法論の大規模な評価に必要なインフラストラクチャを提供することで情報検索コミュニティ内の研究をサポートおよび奨励し、研究室から製品への技術移転の速度を高めることです。

TREC の評価プロトコルは、多くの検索技術を改善してきました。2010 年の調査では、「TREC がなければ、米国のインターネット ユーザーは 1999 年から 2009 年の間に Web 検索エンジンの使用に最大 31 億 5000 万時間も費やしていただろう」と推定されています。 ^[1] Googleのチーフ エコノミストであるHal Varian氏は、「TREC データは情報検索の研究を活性化させました。標準的で、広く利用可能で、慎重に構築されたデータ セットがあることで、この分野でのさらなる革新の基盤が築かれました」と書いています。^[2]

各トラックには課題があり、NIST は参加グループにデータ セットとテスト問題を提供します。トラックに応じて、テスト問題は質問、トピック、またはターゲットの抽出可能な機能になります。均一なスコアリングが実行されるため、システムは公平に評価されます。結果の評価後、ワークショップでは参加者が考えやアイデアをまとめ、現在および将来の研究作業を発表する場が提供されます。テキスト検索会議は 1992 年に始まり、DARPA (米国国防高等研究計画) の資金提供を受け、NIST が運営しています。その目的は、テキスト検索方法論の大規模な評価に必要なインフラストラクチャを提供することで、情報検索コミュニティ内の研究をサポートすることです。

• 大規模なテキストコレクションに基づく検索の促進
• 研究アイデアの交換のためのオープンフォーラムを創設し、産業界、学界、政府間のコミュニケーションを促進する
• 現実世界の問題に対する検索方法論の大幅な改善を実証することで、研究室から商用製品への技術移転を加速します。
• 現行のシステムにより適した新しい評価手法の開発を含む、産業界や学術界が利用できる適切な評価手法の利用可能性を高めること

TREC は、政府、業界、学界の代表者で構成されるプログラム委員会によって監督されています。各 TREC に対して、NIST は一連の文書と質問を提供します。参加者は、データに対して独自の検索システムを実行し、検索された上位の文書のリストを NIST に返します。NIST は個々の結果を集約し、検索された文書の正確性を判断し、結果を評価します。TREC サイクルは、参加者が経験を共有するフォーラムであるワークショップで終了します。

TREC は関連性を次のように定義しています。「トピックの主題に関するレポートを書いていて、そのレポートで文書に含まれる情報を使用する場合、その文書は関連性があります。」^[3] ほとんどの TREC 検索タスクはバイナリ関連性を使用します。つまり、文書は関連性があるか、関連性がないかのどちらかです。一部の TREC タスクは段階的関連性を使用し、複数の関連性の度合いを捕捉します。ほとんどの TREC コレクションは完全な関連性評価を実行するには大きすぎます。これらのコレクションでは、各クエリの絶対リコールを計算することは不可能です。評価する文書を決定するために、TREC は通常、プーリングというメソッドを使用します。このメソッドでは、各寄与実行から上位 n 個の文書が集約され、結果として得られる文書セットが完全に判断されます。

1992 年に TREC-1 が NIST で開催されました。最初の会議には、学界と産業界から 28 の研究者グループが参加しました。大規模な文書コレクションからテキストを検索するためのさまざまなアプローチが紹介されました。最終的に、TREC1 では、自然言語クエリ ステートメントからのクエリの自動構築が機能する可能性があるという事実が明らかになりました。自然言語処理に基づく手法は、ベクトルまたは確率的アプローチに基づく手法と比べて優れているわけでも劣っているわけでもありません。

TREC2 は 1993 年 8 月に開催されました。31 の研究者グループが参加しました。2 種類の検索が検討されました。「アドホック」クエリを使用した検索と「ルーティング」クエリを使用した検索です。

TREC-3では、小グループの実験でスペイン語のコレクションを扱い、他のグループは複数のデータベースでのインタラクティブなクエリの作成に取り組みました。

TREC-4は、非常に短いユーザーステートメントの問題を調査するためにさらに短くしました。

TREC-5には、トピックの短いバージョンと長いバージョンの両方が含まれており、さまざまな長さのトピックでどのタイプのテクニックがうまく機能するかをより深く調査することを目的としています。

TREC-6では、音声、クロスランゲージ、高精度情報検索の3つの新しいトラックが導入されました。クロスランゲージ情報検索の目標は、ソース文書の言語に関係なく、関連文書を検索できるシステムの研究を促進することです。

TREC-7には7つのトラックがあり、そのうち2つは新しいクエリトラックと非常に大きなコーパストラックでした。クエリトラックの目的は、大規模なクエリコレクションを作成することでした。

TREC-8には7つのトラックがあり、そのうち2つ（質問応答とWebトラック）は新しいものでした。QAクエリの目的は、特定の自然言語クエリに対する回答を提供する可能性を探ることです。

TREC-9 7つのトラックを収録

TREC-10では、デジタルビデオからコンテンツに基づく検索の研究を促進するためにビデオトラック設計が導入されました。

TREC-11では、ノベルティトラックが導入されました。ノベルティトラックの目的は、従来の文書検索システムによって返されるランク付けされた文書セット内で、関連性のある新しい情報を見つけるシステムの能力を調査することです。

2003年に開催されたTREC-12では、ゲノムトラック、ロバスト検索トラック、HARD（文書からの高精度検索）の3つの新しいトラックが追加されました^[4]

新たな研究ニーズが特定されると新しいトラックが追加されます。このリストはTREC 2018の最新版です。^[5]

• CENTRE トラック –目標: CLEF 2018、NTCIR-14、TREC 2018 を並行して実行し、IR 再現性評価プロトコルを開発および調整する (2018 年の新トラック)。
• Common Core Track –目標:ニュース文書に対するアドホック検索タスク。
• 複雑な回答検索 (CAR) –目標:コーパス全体から情報を収集して、複雑な情報ニーズに答えることができるシステムを開発します。
• インシデント ストリーム トラック –目標:緊急事態時にソーシャル メディア ストリームを自動的に処理するテクノロジを研究する (TREC 2018 の新トラック)。
• ニュース トラック –目標:ワシントン ポストと提携してニュース環境でのテスト コレクションを開発 (2018 年の新機能)。
• 精密医療トラック –目標:腫瘍学の患者データを臨床試験にリンクすることに重点を置いた臨床意思決定サポート トラックの専門分野。
• リアルタイム要約トラック (RTS) –目標:ソーシャル メディア ストリームからのリアルタイム更新要約の手法を探る。

• 化学トラック –目標:学術論文や特許を含む化学関連文書の大規模検索技術を開発および評価し、専門的な検索者、特に特許検索者や化学者のニーズをよりよく満たすこと。
• 臨床意思決定支援トラック –目標:医療事例と患者ケアに関連する情報を結び付ける技術を調査する
• コンテキスト提案トラック –目標:コンテキストとユーザーの興味に大きく依存する複雑な情報ニーズに対応する検索手法を調査する。
• クラウドソーシングトラック –目標:検索の評価と検索タスクの実行の両方において、クラウドソーシングの手法を探求するための共同の場を提供すること。
• ゲノミクス トラック–目標:遺伝子配列だけでなく、研究論文や実験レポートなどのサポート ドキュメントも含めたゲノムデータの取得を研究します。最後に実行されたのは TREC 2007 です。
• 動的ドメイン トラック –目標: 複雑なドメインを探索する専門ユーザーの動的な情報ニーズに適応するドメイン固有の検索アルゴリズムを調査します。
• エンタープライズ トラック–目標:組織のデータを検索して何らかのタスクを完了する方法を学習します。最後に実行されたのは TREC 2008 です。
• エンティティトラック –目標: Web データに対してエンティティ関連の検索を実行します。これらの検索タスク (エンティティやエンティティのプロパティの検索など) は、アドホック ドキュメント検索として十分にモデル化されていない一般的な情報ニーズに対応します。
• クロス言語トラック –目標:ソース言語に関係なく、検索システムがトピック別に文書を検索する能力を調査する。 1999 年以降、このトラックはCLEFに分離しました。
• FedWebトラック –目標:クエリを転送する最適なリソースを選択し、最も関連性の高いものが最上位に表示されるように結果をマージします。
• フェデレーテッド Web 検索トラック –目標:多数の実際のオンライン Web 検索サービスからの検索結果の選択と組み合わせの手法を調査します。
• フィルタリング トラック –目標:安定した情報ニーズを前提として、新しく入ってくるドキュメントの検索をバイナリで決定します。
• HARD トラック –目標:検索者や検索コンテキストに関する追加情報を活用して、ドキュメントからの高精度な検索を実現すること。
• インタラクティブ トラック –目標:テキスト検索システムとユーザーのインタラクションを研究する。
• ナレッジベースアクセラレーション（KBA）トラック –目標：データストリームの監視に基づいてシステムがKBの変更/拡張を提案することで、（人間の）ナレッジベースキュレーターの効率を劇的に向上させる技術を開発すること。Diffeoが編成したKBAストリームコーパスを作成しました。^[6]
• 法務トラック –目標:デジタル文書コレクションで効果的な発見を行う弁護士のニーズを満たす検索テクノロジーを開発する。
• LiveQA トラック –目標: ライブ質問ストリームを介して実際のユーザーからの実際の質問に対する回答をリアルタイムで生成します。
• 医療記録トラック –目標:患者の医療記録にある非構造化情報を検索する方法を調査する。
• マイクロブログトラック –目標: Twitter などのマイクロブログ環境におけるリアルタイムの情報ニーズとその満足度の性質を調査します。
• 自然言語処理トラック –目標:計算言語学者によって開発された特定のツールがどのように検索を改善する可能性があるかを調べる。
• ノベルティ トラック –目標:システムが新しい (つまり、冗長でない) 情報を検索する能力を調査する。
• OpenSearch トラック –目標:運用中の検索エンジンの実際のユーザーを巻き込んだ IR の評価パラダイムを探求する。トラックの最初の年のタスクは、アドホック アカデミック検索でした。
• 質問回答トラック –目標:ファクトイド、リスト、定義形式の質問に答えることで、単なるドキュメント検索以上の情報検索を実現します。
• リアルタイム要約トラック –目標:ユーザーの情報ニーズに応じて、ソーシャル メディア ストリームからリアルタイムの更新要約を作成するための手法を探ります。
• 堅牢な検索トラック –目標:個々のトピックの有効性に焦点を当てます。
• 関連性フィードバックトラック –目標:関連性フィードバック プロセスをさらに深く評価すること。
• セッション トラック –目標:セッション中に情報ニーズが変化したり、より具体的になったり、より具体的でなくなったりする複数のクエリ セッションを測定する方法を開発します。
• スパムトラック –目標:現在のスパム フィルタリングアプローチと提案されているスパム フィルタリング アプローチの標準的な評価を提供すること。
• タスク トラック –目標: クエリが与えられた場合に、ユーザーが実行しようとしている可能性のあるタスクをシステムが誘導できるかどうかをテストします。
• 時間的要約トラック –目標:ユーザーが時間の経過に伴ってイベントに関連する情報を効率的に監視できるシステムを開発する。
• テラバイトトラック –目標: IRコミュニティが従来の IR テスト コレクション ベースの評価を非常に大規模なコレクションに拡張できるかどうか、またその方法を調査します。
• トータル リコール トラック –目標:ループ内に人間の評価者を含む方法を含め、非常に高いリコールを達成する方法を評価します。
• ビデオトラック –目標:デジタルビデオの自動セグメンテーション、インデックス作成、コンテンツベースの検索を研究する。2003年に、このトラックはTRECVIDという独立した評価になりました。
• Web トラック –目標:一般的な Web 検索でよく見られる情報検索行動を調査する。

1997年に、TRECの日本版であるNTCIR（ NII Test Collection for IR Systems）が立ち上げられ（最初のワークショップは1999年） 、2000年には、言語間情報検索の研究に特化したヨーロッパ版のCLEFが立ち上げられました。情報検索評価フォーラム（FIRE）は、TREC、CLEF、NTCIRの南アジア版を構築することを目的として2008年に開始されました。

NIST は、ワークショップの最初の 6 年間で検索システムの有効性が約 2 倍になったと主張しています。^[7]この会議は、英語以外の文書、音声、ビデオ、および言語間の検索の大規模な評価が行われた最初の会議でもありました。さらに、この課題は多数の出版物のきっかけとなりました。TREC で最初に開発された技術は、現在、世界の多くの商用検索エンジンに組み込まれています。RTII による独立したレポートでは、「1999 年から 2009 年にかけての Web 検索エンジンの改善の約 3 分の 1 は、TREC によるものです。これらの機能強化により、Web 検索エンジンの使用時間が最大 30 億時間節約された可能性があります。... さらに、レポートでは、NIST とそのパートナーが TREC に投資した 1 ドルごとに、民間部門と学術界の両方で米国の情報検索研究者に少なくとも 3.35 ドルから 5.07 ドルの利益がもたらされたことが示されています。」と報告されています。 ^{[8] [9]}

ある研究では、アドホック検索の最新技術は2009年までの10年間で大幅に進歩していないと示唆しているが^[10]、これは数ギガバイトの小さなニュースやウェブのコレクションで話題に関連する文書を検索する場合のみを指している。他の種類のアドホック検索では進歩があった。たとえば、既知のアイテムのウェブ検索用のテストコレクションが作成され、アンカーテキスト、タイトルの重み付け、URLの長さの使用による改善が見られたが、これらは古いアドホックテストコレクションでは役に立たなかった技術である。2009年には、新しい10億ページのウェブコレクションが導入され、過去のテストコレクションとは異なり、スパムフィルタリングがアドホックウェブ検索に有用な技術であることが判明した。

TREC で開発されたテスト コレクションは、研究者が最先端の技術を進歩させるのに役立つだけでなく、新しい (商用) 検索製品の開発者が標準テストでその有効性を評価するのにも役立ちます。過去 10 年間で、TREC はエンタープライズ メール検索、ゲノム検索、スパム フィルタリング、e-Discovery、およびその他のいくつかの検索ドメイン用の新しいテストを作成しました。^{[いつ? ] [引用が必要]}

TREC システムは、多くの場合、さらなる研究のベースラインを提供します。例:

• Googleのチーフエコノミスト、ハル・ヴァリアン氏は「より良いデータはより良い科学を生み出す。情報検索の歴史はこの原則をよく表している」と述べ、TRECの貢献について述べている。^[11]
• TRECの法務部門は、研究と商用ベンダーの評価の両面でeディスカバリーコミュニティに影響を与えてきました。^[12]
• 世界最高のJeopardy!プレイヤーを打ち負かしたIBM Watson（別名DeepQA ）を構築したIBMの研究チームは^[13] 、 TRECのQAトラックのデータとシステムをベースラインパフォーマンス測定として使用しました。^[14]

この会議は、多様な国際的な研究者や開発者のグループで構成されています。^{[15] [16] [17]} 2003年には、22か国から学界と産業界から93のグループが参加しました。

• コンピュータサイエンスの賞一覧

• NIST の TREC ウェブサイト
• 予想屋
• TREC の本 (Amazon で)