WebCrawlerは検索エンジンであり、今日でもウェブ上で最も古い検索エンジンの1つです。長年にわたり、メタ検索エンジンとして機能していました。WebCrawlerは、全文検索を提供する最初のウェブ検索エンジンでした。[ 1 ]

ブライアン・ピンカートンは、当初はデスクトップアプリケーションであったWebCrawlerの開発を、1994年1月27日にワシントン大学で開始した。[ 2 ] 1994年3月15日、彼は上位25のウェブサイトのリストを作成した。[ 1 ]
WebCrawlerは1994年4月21日にサービスを開始し、データベースには4,000以上の異なるウェブサイトが登録されていました[ 2 ]。また、1994年11月14日には、 「核兵器の設計と研究」に関する100万件目の検索クエリを処理しました[ 2 ] [ 3 ] 。
1994年12月1日、WebCrawlerはDealerNetとStarwaveという2つのスポンサーを獲得し、WebCrawlerの運営資金を提供した。[ 2 ] 1995年10月3日からは、WebCrawlerは広告収入のみで運営されるようになったが、広告と検索結果は分離された。[ 2 ]
1995年6月1日、アメリカ・オンライン(AOL)はWebCrawlerを買収した。[ 2 ] AOLに買収された後、WebCrawlerは1995年9月1日にマスコットキャラクター「スパイディ」を発表した。[ 2 ]
1996年4月から[ 2 ] WebCrawlerには、同じくAOLが所有していた人間が編集したインターネットガイドGNN Selectも含まれるようになった。 [ 4 ] [ 5 ]
1997年4月1日、ExciteはAOLからWebCrawlerを1230万ドルで買収した。[ 2 ] [ 6 ]
WebCrawlerは1997年6月16日にデザインが刷新され、検索トピックに関連する資料への代替リンクを提案するWebCrawlerショートカットが追加されました。[ 7 ]
WebCrawlerは、2001年にExcite独自のデータベースを使用するようになるまで、Exciteによって独自のデータベースを持つ独立した検索エンジンとして維持されていました。これにより、WebCrawlerは独立した検索エンジンとしての地位を事実上失いました。 [ 8 ]同年後半、Excite(当時はExcite@Homeと呼ばれていました)は倒産し、WebCrawlerは2001年にInfoSpaceに買収されました。 [ 2 ]

WebCrawlerの開発者であるピンカートンは、 2012年時点でAmazon A9.comの検索部門を率いていた。 [ 9 ] [ 10 ]
2016年7月、InfoSpaceは親会社BlucoraからOpenMailに4500万ドルで売却され、WebCrawlerはOpenMailの所有となった。[ 11 ] OpenMailは後にSystem1に改名された。[ 12 ]
WebCrawlerは初期の頃は非常に成功していた。[ 15 ]一時はサーバーの過負荷によりピーク時には使用できなくなった。[ 16 ] 1996年2月にはインターネット上で2番目に訪問数の多いウェブサイトだったが、 1997年にはYahoo!、Infoseek、Lycos、Exciteなどの競合検索エンジンやディレクトリに急速に追い抜かれた。[ 17 ]