Loading article…
| 評価フォーラムの会議とラボ | |
|---|---|
 情報アクセスの解放 | |
| 略語 | 音部記号 |
| 規律 | 情報検索 |
| 出版の詳細 | |
| 出版社 | Springerと CEUR のワークショップ議事録 |
| 歴史 | 2000年（2000年から2009年まではCross-Language Evaluation Forumとして知られていました） |
| 頻度 | 年間 |
| Webサイト | 詳しくはこちら |
評価フォーラム会議およびラボ（旧称：Cross-Language Evaluation Forum）、またはCLEF は、多言語情報アクセス（現在はヨーロッパ言語に重点を置いた）の研究を推進する組織です。その具体的な機能は、情報検索システムをテストするための基本的なフレームワークを維持し、研究者が比較可能な標準の開発に使用できるデータのリポジトリを作成することです。[1] この組織は、2000年の最初の設立ワークショップ以来、毎年9月にヨーロッパで会議を開催しています。1997年から1999年にかけて、米国で毎年開催されている同様の評価会議であるTRECには、ヨーロッパ言語のCross-Language IRの評価のためのトラックが含まれていました。このトラックは、NISTと、長年にわたって成長してきたヨーロッパのボランティアのグループが共同で調整しました。1999年末、一部の参加者により、活動をヨーロッパに移し、独立して立ち上げることが決定されました。その目的は、より多くの言語にカバー範囲を広げ、英語以外の言語の単一言語システムの評価を含む、より幅広い問題に焦点を当てることであった。長年にわたり、CLEFはEUの資金提供によるさまざまなプロジェクトやイニシアチブによってサポートされてきました。 [2]
CLEF 2019は会議の20周年を記念し、20年間の評価活動で得られた教訓をまとめた 本[3]を出版して祝った。
CLEFの構造
2010年以前、[4] CLEFは、TRECと同様に、いくつかの評価ラボやトラックから構成される、ヨーロッパデジタル図書館会議と共催されるワークショップとして組織されていました。2010年に、CLEFは、評価ラボ、ラボワークショップ、およびメインの会議トラックを備えた自立した会議へと移行しました。2012年には、以前はダグシュトゥール城で毎年開催されていた構造化テキストの検索とアクセスに関するワークショップであるINEXがCLEFと合併し、その評価ラボの1つになりました。
各CLEF会議の前に、評価ラボの参加者は一連のチャレンジタスクを受け取ります。タスクは、情報検索システムのさまざまな側面をテストし、その開発を促進するように設計されています。研究者グループは、これらのタスクを満たすキャンペーンを提案および組織し、その結果は特定の分野における最先端のベンチマークとして使用されます。 [5] [6]
当初、CLEFは主にかなり典型的な情報検索タスクに焦点を当てていましたが、より具体的なタスクに移行しました。たとえば、2005年のインタラクティブ画像検索タスクでは、Flickr [7]の画像を使用してノンフィクションテキストを説明しました。2010年の医療検索タスクでは、コンピューター断層撮影、MRI、放射線画像の検索に焦点を当てました。[8] 2017年には、CLEFは、写真やビデオクリップからの生物種の識別、著者の文体分析、健康関連情報へのアクセスなど、いくつかのタスクに対応しました。
CLEFワークショップとカンファレンスのリスト
参考文献
- ^ Peters, Carol; Braschler, Martin; Choukri, Khalid; Gonzalo, Julio; Kluck, Michael.言語間情報検索システムの評価の将来。言語間評価フォーラム第 2 回ワークショップ、CLEF 2001。CiteSeerX 10.1.1.109.7647 。
- ^ Peters, Carol、Martin Braschler。「ヨーロッパ研究レター：言語間システム評価：CLEFキャンペーン」情報科学技術協会誌52.12（2001）：1067-1072。
- ^ Ferro, Nicola; Peters, Carol (2019).変化する世界における情報検索評価 - CLEF 20年の経験から学んだ教訓。情報検索シリーズの第41巻。第41巻。Springer International Publishing、ドイツ。doi : 10.1007 / 978-3-030-22948-1。ISBN 978-3-030-22947-4。
- ^ 2010 年以前の CLEF の歴史
- ^ 「CLEF特集号」。情報検索。7 （ 1–2）。2004年。doi :10.1023/B:INRT.0000009472.59294.f6。
- ^ Fredric C. Gey、Noriko Kando、Carol Peters「Cross-Language Information Retrieval: the way ahead」、Information Processing & Management vol. 41, no. 3、p.415-431、2005 年 5 月、doi :10.1016/j.ipm.2004.06.006
- ^ Karlgren, Jussi ; Gonzalo, Julio; Clough, Paul (2006). iclef 2006 の概要: flickr www 写真共有リポジトリの検索。第 7 回 Cross-Language Evaluation Forum ワークショップ CLEF 2006。。
- ^ Mueller, Henning (2010 年 5 月 20 日). 「医療検索タスク」. ImageCLEF - 言語間画像検索評価. 2010 年5 月 27 日閲覧。
外部リンク
- CLEFホームページ
- 2010 年以前の CLEF の歴史