スクレイピー

スクレイピー
開発者	Zyte (旧 Scrapinghub)
初回リリース	2008年6月26日
安定リリース	2.12.0 / 2024年11月18日; 18日前
リポジトリ	github.com/scrapy/scrapy ;
書かれた	パイソン
オペレーティング·システム	Windows、macOS、Linux 対応
タイプ	ウェブクローラー
ライセンス	BSDライセンス
Webサイト	スクレイピー

Scrapy（/ ˈ s k r eɪ p aɪ /^[2] スクレイピー）は、Pythonで書かれた無料のオープンソースのウェブクローリングフレームワークです。もともとウェブスクレイピング用に設計されましたが、 API を使用してデータを抽出したり、汎用ウェブクローラーとして使用したりすることもできます。 ^[3] 現在は、ウェブスクレイピングの開発およびサービス会社であるZyte（旧称Scrapinghub）によって管理されています。

Scrapyプロジェクトのアーキテクチャは、一連の指示を与えられた自己完結型のクローラーである「スパイダー」を中心に構築されています。Django ^[4]などの他のDon't Repeat Yourselfフレームワークの精神に従い、開発者がコードを再利用できるようにすることで、大規模なクローリングプロジェクトの構築と拡張が容易になります。

Scrapyを使用している有名な企業や製品には、Lyst、^[5]^[6] Parse.ly、^[7] Sayone Technologies、^[8] Sciences Po Medialab、^[9] Data.gov.ukの世界政府データサイト^{[10]などがあります。}

歴史

Scrapyはロンドンを拠点とするウェブアグリゲーションおよび電子商取引会社Mydecoで誕生し、MydecoとInsophia（ウルグアイのモンテビデオに拠点を置くウェブコンサルティング会社）の従業員によって開発および保守されました。最初の公開リリースは2008年8月にBSDライセンスの下で行われ、マイルストーン1.0リリースは2015年6月に行われました。^[11] 2011年に、Zyte（旧Scrapinghub）が新しい公式メンテナーになりました。^[12]^[13]

参考文献

^ 「リリース 2.12.0」。2024年11月18日。 2024年11月29日閲覧。
^ “Commit 975f150”. GitHub . 2021-10-18時点のオリジナルよりアーカイブ。2021-10-18に取得。
^ Scrapy の概要 2018 年 9 月 17 日にWayback Machineにアーカイブされました。
^ 「よくある質問」。よくある質問、Scrapy 2.8.0 ドキュメント。2020年11月11日時点のオリジナルよりアーカイブ。2015年7月28日閲覧。
^ Bell, Eddie; Heusser, Jonathan. 「機械学習を使用したスケーラブルなスクレイピング」。2016年6月4日時点のオリジナルよりアーカイブ。2015年7月28日閲覧。
^ “Scrapy | Scrapyを使用している企業”. 2020年11月12日時点のオリジナルよりアーカイブ。2015年7月28日閲覧。
^ Montalenti, Andrew (2012年10月27日). 「PythonでのWebクロールとメタデータ抽出」。PythonでのWebクロールとメタデータ抽出 - Speaker Deck。2020年9月19日時点のオリジナルよりアーカイブ。 2015年5月11日閲覧。
^ 「Scrapy Companies」。Scrapy | Scrapyを使用している企業。2020年11月12日時点のオリジナルよりアーカイブ。2017年11月9日閲覧。
^ 「Hyphe v0.0.0: 新しいウェブクローラーの最初のリリースが公開されました!」 2013年11月17日。2016年6月13日時点のオリジナルよりアーカイブ。 2015年7月28日閲覧。
^ Ben Firshman [@bfirsh] (2010 年 1 月 21 日)。「World Govt Data サイトでは、Django、Solr、Haystack、Scrapy などのエキサイティングな流行語が使用されています http://bit.ly/5jU3La #opendata #datastore」(ツイート) – Twitter経由。
^ Medina, Julia (2015年6月19日). 「Scrapy 1.0 公式リリース公開!」. scrapy-users (メーリングリスト). 2010年1月25日時点のオリジナルよりアーカイブ。 2015年7月28日閲覧。
^ Hoffman, Pablo (2013). 主要著者および寄稿者リスト。2017年5月29日時点のオリジナルよりアーカイブ。2013年11月18日閲覧。
^ インタビュー Scraping Hub 2020-10-29 にWayback Machineにアーカイブされました。

[wikidata-30da4a21e74d85a436537eb8ec3b987b2172e12d-v18-1] 「リリース 2.12.0」。2024年11月18日。 2024年11月29日閲覧。

[2] “Commit 975f150”. GitHub . 2021-10-18時点のオリジナルよりアーカイブ。2021-10-18に取得。

[3] Scrapy の概要 2018 年 9 月 17 日にWayback Machineにアーカイブされました。

[4] 「よくある質問」。よくある質問、Scrapy 2.8.0 ドキュメント。2020年11月11日時点のオリジナルよりアーカイブ。2015年7月28日閲覧。

[5] Bell, Eddie; Heusser, Jonathan. 「機械学習を使用したスケーラブルなスクレイピング」。2016年6月4日時点のオリジナルよりアーカイブ。2015年7月28日閲覧。

[6] “Scrapy | Scrapyを使用している企業”. 2020年11月12日時点のオリジナルよりアーカイブ。2015年7月28日閲覧。

[7] Montalenti, Andrew (2012年10月27日). 「PythonでのWebクロールとメタデータ抽出」。PythonでのWebクロールとメタデータ抽出 - Speaker Deck。2020年9月19日時点のオリジナルよりアーカイブ。 2015年5月11日閲覧。

[8] 「Scrapy Companies」。Scrapy | Scrapyを使用している企業。2020年11月12日時点のオリジナルよりアーカイブ。2017年11月9日閲覧。

[9] 「Hyphe v0.0.0: 新しいウェブクローラーの最初のリリースが公開されました!」 2013年11月17日。2016年6月13日時点のオリジナルよりアーカイブ。 2015年7月28日閲覧。

[10] Ben Firshman [@bfirsh] (2010 年 1 月 21 日)。「World Govt Data サイトでは、Django、Solr、Haystack、Scrapy などのエキサイティングな流行語が使用されています http://bit.ly/5jU3La #opendata #datastore」(ツイート) – Twitter経由。

[11] Medina, Julia (2015年6月19日). 「Scrapy 1.0 公式リリース公開!」. scrapy-users (メーリングリスト). 2010年1月25日時点のオリジナルよりアーカイブ。 2015年7月28日閲覧。

[list-12] Hoffman, Pablo (2013). 主要著者および寄稿者リスト。2017年5月29日時点のオリジナルよりアーカイブ。2013年11月18日閲覧。

[13] インタビュー Scraping Hub 2020-10-29 にWayback Machineにアーカイブされました。