Loading article…
クランフィールド実験は、 1960年代に航空大学（現在はクランフィールド大学）のシリル・W・クレバードンが索引システムの効率を評価するために実施した情報検索に関する一連の実験研究である。[1] [2] [3]実験は主に2つの段階に分かれており、どちらもコンピュータ化されていなかった。抄録、結果として得られた索引、および結果のコレクション全体が後に電子形式で配布され、数十年にわたって広く使用された。
最初の一連の実験では、既存の索引付け方法のいくつかを比較し、その効率性をテストしました。クエリはコレクション内の論文の著者によって生成され、それらのシステムの専門家によって索引検索に変換されました。この一連の実験では、索引カードにデータを記録する方法の配置に小さな変更を加えた後、1 つの方法が最低効率から最高効率に変わりました。結論としては、基礎となる方法論よりも実装の具体的な詳細の方が重要ではないようでした。これにより、実験の方法論についてかなりの議論が起こりました。
これらの批判は、現在ではクランフィールド 2 として知られる 2 番目の一連の実験にもつながりました。クランフィールド 2 では、方法論を逆にすることで、さらなる洞察を得ようとしました。クランフィールド 1 では、インデックス システムに従って専門家が特定のリソースを見つける能力をテストしましたが、クランフィールド 2 では、代わりに人間の言語で質問した結果を調査し、元の対象文書であるかどうかに関係なく、インデックス システムが関連する回答を提供するかどうかを確認しました。これもまた、かなりの議論の的となりました。
クランフィールドの実験は、情報検索の分野に非常に大きな影響を与えました。情報検索は、科学研究の量が爆発的に増加した第二次世界大戦後の時代に、それ自体が大きな関心を集めたテーマでした。この実験は、何年にもわたって継続的に議論され、その結果をテストするためのいくつかのコンピュータ プロジェクトにつながりました。この実験は、現代のWeb 検索エンジンのような自然言語インデックスが一般的になる前の 40 年間にわたって、大きな影響を与えました。
背景
ヴァネヴァー・ブッシュによる1945年7月の論文「As We May Think 」は、情報検索の分野を初めて完全に説明したものとしてよく知られています。この論文では、「 memex 」と呼ばれる仮想の機械について説明されており、この機械は人類の知識すべてを索引形式で保持し、誰でも検索できるようになっています。[4]
1948年、王立協会は科学情報会議を開催し、これらの概念のいくつかを初めて正式に検討しました。これにより、英国、米国、オランダでこの分野で少数の実験が行われました。異なるシステムを比較する唯一の主要な取り組みは、ガルが主導し、第二次世界大戦末期にドイツで捕獲された航空レポートのコレクションとして始まった軍事技術情報局の作品コレクションを使用していました。結果の判断は2つのシステムの専門家によって行われましたが、検索されたさまざまな文書が検索に関連しているかどうかについて意見が一致せず、各グループが結果の30%以上を間違っているとして却下しました。コンセンサスが得られなかったため、それ以上のテストは中止されました。[5]
このテーマに関する2回目の会議である国際科学情報会議は、 1958年にワシントンDCで開催されました。その頃までに、コンピュータ開発は自動索引検索が可能なレベルに達していました。この会議で、シリル・W・クレバードンは「気合いを入れて」、後にクランフィールド1として知られることになるプロジェクトを開始するために、米国国立科学財団から資金援助を受けることに成功しました。 [6]
クランフィールド 1
最初の一連の実験では、概念的基盤が大きく異なる 4 つの索引システムを直接比較しました。4 つのシステムは次のとおりです。
- 図書館で広く導入されている階層的なシステムである世界十進分類法。
- 古典的な図書館の索引カードコレクションの主題見出しをアルファベット順に並べたアルファベット順主題カタログ、
- ファセット分類スキームは、主題の組み合わせによって新しい主題を生み出すことを可能にする。
- モーティマー・タウベのユニターム座標索引システムでは、参照が任意の数の別々の索引カードで見つかる場合があります。[6]
初期の一連の実験では、参加者は航空宇宙関連の文書のコレクションのインデックスを作成するように求められました。各インデックスは、その方法論の専門家によって作成されました。次に、元の文書の著者は、その文書を返すはずの検索用語のセットを作成するように求められました。次に、インデックス作成の専門家は、著者の検索用語に基づいてインデックスにクエリを生成するように求められました。次に、クエリを使用してインデックスを調べ、目的の文書が返されるかどうかを確認しました。[6]
これらのテストでは、ファセットシステム以外のすべてがほぼ同数の「正しい」結果を生成しましたが、ファセットコンセプトは遅れをとりました。これらの結果を検討し、カード上の異なる形式を使用してファセットシステムを再インデックスし、テストを再実行しました。この一連のテストでは、ファセットシステムが明らかに勝者になりました。これは、システムの背後にある基礎理論よりも、実装の詳細が重要であることを示唆しています。[6]
1962年に発表されたこれらの実験の結果は、さまざまなシステムの支持者と、実験全体に不満を抱く研究者の両方の間で大きな議論を巻き起こした。[7]しかし、1つの結論は明確に支持されたようで、キーワードに基づく単純なシステムは、複雑な分類スキームと同様に機能するようだ。これは重要なことで、前者は実装が劇的に簡単である。[8]
クランフィールド 2
最初の一連の実験では、さまざまな技術の使用に精通した専門家が、インデックスの作成とサンプルクエリに対するインデックスの使用の両方を担当しました。各システムには、クエリの構造化方法に関する独自の概念があり、これは今日ではクエリ言語として知られています。最初の実験に対する批判の多くは、実験が本当にシステムをテストしているのか、それともユーザーがクエリをクエリ言語に翻訳する能力をテストしているのかということに集中していました。[6]
この結果、クエリを言語に変換するという問題を検討する2番目の実験シリーズ、クランフィールド2が生まれました。このために、クエリの生成をブラックボックスとして考えるのではなく、各ステップを細分化しました。このアプローチの結果は当時としては革命的なものでした。検索用語を元の形式のままにしておくことを提案したのです。これは今日では自然言語クエリとして知られています。[6]
もう一つの大きな変更点は、結果の判定方法でした。最初のテストでは、インデックスが検索の生成に使用された正確な文書を返した場合にのみ成功とみなされました。しかし、これは実際のクエリの典型ではありませんでした。航空機の着陸装置に関する情報を探しているユーザーは、そのトピックに関するコレクションの多くの論文のいずれかで満足するかもしれませんが、Cranfield 1 は、関連する資料が返されたにもかかわらず、そのような結果を失敗と見なします。2 番目のシリーズでは、結果は、指定された元の文書を返すのではなく、クエリが関連する一連の論文を生成したかどうかについて定性的な回答を提供する第三者によって判定されました。[7]
議論は続く
2 回のテストの結果は、その後も何年もの間、かなりの議論の対象となった。特に、 1958 年に情報科学者協会を設立したジェイソン・ファラデインとクレバードンの間では、論争が続いた。2 人は、相手が発表する会議に必ず出席し、質疑応答の時間に、自分たちのやっていることのすべてが間違っている理由を説明した。この論争は、「... 激しく容赦なく、時には礼儀の限界をはるかに超える」と評されている。[7]この合唱には、米国のドン・R・スワンソンも加わり、数年後にはクランフィールド実験に対する批判を発表した。[7]
これらの批判にもかかわらず、クランフィールド2はその後の多くの実験を評価する基準を設定した。特に、自然言語用語から始めて、完全一致ではなく関連性で結果を判断するというクランフィールド2の方法論は、多くの反対意見にもかかわらず、その後の実験でほぼ普遍的なものとなった。[7]
影響
1967年にクランフィールド2の終了とともに、コーパス全体が機械可読形式で公開されました。[9]今日、これはクランフィールド1400、またはそのテーマのさまざまなバリエーションとして知られています。名前は、1398の要約で構成されるコレクション内の文書の数を指します。コレクションには、225のクエリと、実験実行から得られたすべてのクエリとドキュメントのペアの関連性の判断も含まれています。[10]要約のメインデータベースは約1.6 MBです。[11]
実験は、コンピュータのメインメモリが数キロバイト、ネットワークアクセスがおそらく数メガバイトだった時代に行われた。例えば、ミッドレンジのIBM System/360 Model 50は、 64～512KBのコアメモリ[12]（低めの傾向）を搭載し、標準的なハードドライブには80MB強の容量が保存されていた。[13] 1960年代から1970年代にかけてシステムの機能が成長するにつれ、クランフィールド文書コレクションは長年にわたって繰り返し使用される主要なテストベッドコーパスとなった。[14]
現在、このコレクションはパイロット実験以外の実用的なテストに使用するには小さすぎます。その代わりに、より幅広い主題にわたる189万件の文書を含むTRECコレクション、またはさらに最近の2500万件のウェブページを含むGOV2コレクションが主に使用されています。[10]
参照
参考文献
引用
- ^ Cleverdon, CW (1960). 「索引システムの比較効率に関する Aslib Cranfield 研究プロジェクト」. ASLIB Proceedings . 12 (12). エメラルド: 421–431. doi :10.1108/eb049778. ISSN 0001-253X.
- ^ Cleverdon, Cyril (1967). 「The Cranfield Tests on Index Language Devices」. ASLIB Proceedings . 19 (6). エメラルド: 173–194. doi :10.1108/eb050097. ISSN 0001-253X.
- ^ Cleverdon, CW; Keen, EM (1966).索引システムのパフォーマンスを決定する要因。第 1 巻: 設計、第 2 巻: 結果。英国クランフィールド: Aslib クランフィールド研究プロジェクト。
- ^ Buckland, Michael K. (1992 年 5 月). 「Emanuel Goldberg、電子文書検索、および Vannevar Bush の Memex」. Journal of the American Society for Information Science . 43 (4): 284–94. doi :10.1002/(SICI)1097-4571(199205)43:4<284::AID-ASI3>3.0.CO;2-0.
- ^ Gull, Cloyd (1956年10月1日). 「特別図書館の資料の整理に関する7年間の取り組み」. American Documentation . 7 (4): 320–329. doi :10.1002/asi.5090070408.
- ^ abcdef ロバートソン2008、p.3。
- ^ abcde ロバートソン2008、p.4。
- ^ サラセビッチ、テフコ (2016)。情報科学における関連性の概念。モーガン＆クレイプール。p. 13。ISBN 9781598297690。
- ^ ロバートソン 2008、7ページ。
- ^ ab マニング、ラガヴァン、シュッツェ 2008.
- ^ クランフィールド。
- ^ IBM System/360 モデル 50 機能特性(PDF) . IBM. 1967. A22-6898-1.
- ^ 「IBM アーカイブ: IBM 1302 ディスク ストレージ ユニット」。IBM。2003 年 1 月 23 日。2011年 7 月 20 日閲覧。
- ^ ロバートソン 2008、5、7頁。
文献
- リッチモンド、フィリス A. ( 1963)。「クランフィールド プロジェクトのレビュー」。アメリカ ドキュメンテーション。14 (4): 307–311。doi : 10.1002 /asi.5090140408。ISSN 0096-946X 。
- ランカスター、FW（1965）。クランフィールドシステム評価技術の応用に関するケーススタディ。化学ドキュメンテーションジャーナル、5（2）、92-96。
- ロバートソン、スティーブン( 2008)。「IR における評価の歴史について」。情報科学ジャーナル。34 (4): 439–456。doi : 10.1177 /0165551507086989。S2CID 8032578。
- 「クランフィールド 1400 コーパス」。
- マニング、クリストファー。ラガヴァン、プラバーカール。シュッツェ、ハインリッヒ (2008)。 「標準テスト問題集」。情報検索の概要。ケンブリッジ大学出版局。
外部リンク
- ACM SIGIR 博物館のクランフィールド論文