アパッチ・ナッチ

アパッチ・ナッチ

スクリーンショット Nutch Webインターフェース検索
原作者	ダグ・カッティング、マイク・カファレラ
開発者	Apache ソフトウェア財団
安定版リリース	1.x 1.20 / 2024年4月24日; 5か月前[1] ( 2024-04-24 ) 2.x 2.4 / 2019年10月11日; 4年前[1] (2019-10-11)
リポジトリ	Nutch Githubリポジトリ
書かれた	ジャワ
オペレーティング·システム	クロスプラットフォーム
タイプ	ウェブクローラー
ライセンス	Apache ライセンス 2.0
Webサイト	翻訳元

Apache Nutchは、高度に拡張可能でスケーラブルなオープンソースの Web クローラーソフトウェア プロジェクトです。

Nutch は完全にJava プログラミング言語でコーディングされていますが、データは言語に依存しない形式で書き込まれます。高度にモジュール化されたアーキテクチャを備えているため、開発者はメディアタイプの解析、データの取得、クエリ、クラスタリング用のプラグインを作成できます。

フェッチャー (「ロボット」または「Web クローラー」) は、このプロジェクト専用にゼロから作成されました。

Nutch は、 LuceneとHadoop の両方の作成者であるDoug CuttingとMike Cafarellaによって開発されました。

2003 年 6 月、1 億ページ規模のデモ システムが開発され、成功を収めました。クロールとインデックス作成のタスクを複数のマシンで処理するニーズを満たすために、Nutch プロジェクトではMapReduce機能と分散ファイル システムも実装しました。この 2 つの機能は、 Hadoopと呼ばれる独自のサブプロジェクトに分離されました。

2005年1月、NutchはApache Incubatorに参加し、同年6月にそこから卒業してLuceneのサブプロジェクトになりました。2010年4月以来、NutchはApache Software Foundationの独立したトップレベルプロジェクトと見なされています。^[2]

2014年2月、Common Crawlプロジェクトは、オープンで大規模なウェブクロールのためにNutchを採用しました。^[3]

かつて Nutch プロジェクトの目標は、世界規模の大規模 Web 検索エンジンをリリースすることでした。しかし、それはもう当てはまりません。^{[引用が必要]}

IBMリサーチは、Commercial Scale Out（CSO）プロジェクトの一環として、Nutch/Luceneのパフォーマンス^{[8]を研究しました[9] 。その結果、Nutch/Luceneなどの}スケールアウトシステムは、 POWER5などのスケールアップコンピュータでは達成できないレベルのパフォーマンスをブレー​​ドクラスタで達成できることがわかりました。

ClueWeb09データセット（TRECなどで使用）はNutchを使用して収集され、平均速度は1秒あたり755.31ドキュメントでした。^[10]

• Hadoop – 大規模クラスター上で実行される分散アプリケーションをサポートする Java フレームワーク。

• Common Crawl – 公開されているインターネット全体のクロール。2014年にNutchの使用を開始しました。^[3]
• クリエイティブ・コモンズ・サーチ – 2004年から2006年にかけて使用されたNutchの実装。^{[11] [12] [13]}
• DiscoverEd –クリエイティブ・コモンズが開発したオープン教育リソース検索プロトタイプ
• Krugle はNutch を使用して、Web ページをクロールし、コード、アーカイブ、技術的に興味深いコンテンツを探します。
• mozDex (非アクティブ)
• Wikia Search - 2008年に開始、2009年に閉鎖^{[14] [15]}

• 公式サイト