ボットシーア

BotSeerは、Webロボットの研究やRobot Exclusion Protocolの導入と遵守の傾向を調査するために使用されるWebベースの情報システムおよび検索ツールでした。Yang Sun、 ^[1]、 Isaac G. Councill、^[2]、 Ziming Zhuang ^[3]、C. Lee Gilesによって作成および設計されました。BotSeerは、2007年から2010年頃まで運用されていました。

BotSeer は、Web ロボットの規制と動作を研究するためのリソースとして、また効果的な robots.txt ファイルの作成とクローラーの実装に関する情報として機能しました。ペンシルベニア州立大学の情報科学技術学部の World Wide Web で公開されていました。

BotSeerはrobots.txt検索、ロボットバイアス分析^{[4] [5]}、ロボット生成ログ分析などのサービスを提供していました。BotSeerのプロトタイプでは、18のオープンソースクローラープロジェクトから6,000のドキュメントファイルとソースコードを検索することもできました。

BotSeer は、1,320 万の Web サイトから取得した 220 万の robots.txt ファイルと、実際のロボットの動作と関連分析の大規模な Web サーバー ログをインデックス化して分析しました。BotSeer の目的は、研究者、Web マスター、Web クローラー開発者、その他の Web ロボット関連の研究と情報ニーズを支援することでした。しかし、一部の人々は BotSeer を否定的に受け止め、robots.txt 規約の目的に反すると主張しました。^[6]

BotSeerは、ウェブクローラーの倫理、パフォーマンス、動作をテストするためにハニーポット^[7]も設置していました。

• 「ウェブマスターが検索結果を形作る可能性」。Newsvine。AP通信。2007年11月28日。 2011年12月11日閲覧。

• 「ウェブ管理者に支持される Google」。Network World。2007 年 11 月 15 日。2007 年 12 月 18 日時点のオリジナルよりアーカイブ。2007年 12 月 19日閲覧。

• 「BotSeer: Robots.txt と Web クローラー検索エンジン」。2010 年 2 月 8 日にオリジナルからアーカイブ。2011年 12 月 11 日に取得。