Loading article…
 | |
 Heritrix 管理コンソールのスクリーンショット。 | |
| 安定リリース | 3.5.0 [1]
/ 2024年10月29日 |
|---|---|
| リポジトリ |
|
| 書かれた | ジャワ |
| オペレーティング·システム | Linux / Unix系/ Windows (サポート対象外) |
| タイプ | ウェブクローラー |
| ライセンス | Apacheライセンス |
| Webサイト | github.com/internetarchive/heritrix3/wiki |
Heritrix は、 Web アーカイブ用に設計されたWeb クローラーです。これは、インターネット アーカイブによって作成されました。フリー ソフトウェア ライセンスの下で利用可能で、Javaで書かれています。メイン インターフェイスは、 Web ブラウザーを使用してアクセスでき、オプションでクロールを開始するために使用できる コマンド ライン ツールがあります。
Heritrix は、2003 年初頭に作成された仕様に基づいて、インターネット アーカイブと北欧の国立図書館によって共同で開発されました。最初の公式リリースは 2004 年 1 月に行われ、インターネット アーカイブの従業員やその他の関係者によって継続的に改良されてきました。
長年、Heritrix はインターネット アーカイブのウェブ コレクションのコンテンツをクロールするために使用される主要なクローラーではありませんでした。[2] 2011 年現在、コレクションへの最大の貢献者はAlexa Internetです。[2] Alexaは、 ia_archiverというクローラーを使用して、独自の目的でウェブをクロールします。その後、Alexa はコンテンツをインターネット アーカイブに寄贈します。[2]インターネット アーカイブ自体も Heritrix を使用して独自のクロールを行っていましたが、規模は小さいものでした。[2]
2008年から、インターネットアーカイブは独自の大規模なクロールを行うためのパフォーマンス改善を開始し、現在ではほとんどのコンテンツを収集しています。[3] [検証に失敗]
Heritrix を使用したプロジェクト
多くの組織や国立図書館がHeritrixを使用しています。その中には次のようなものがあります。[要出典]
- オーストリア国立図書館、ウェブアーカイブ
- アレクサンドリア図書館のインターネットアーカイブ
- フランス国立図書館
- 大英図書館
- カリフォルニアデジタルライブラリのウェブアーカイブサービス
- サイトシーアX
- Internet2 のドキュメント化
- インターネットメモリ財団
- カナダ図書館・文書館
- アメリカ議会図書館[4]
- アイスランド国立大学図書館
- フィンランド国立図書館
- ニュージーランド国立図書館
- オランダ王立図書館(Koninklijke Bibliotheek) [5]
- ネットアークヴェット.dk
- イスラエル国立図書館
Arc ファイル
以前のバージョンの Heritrix では、デフォルトでクロールした Web リソースが Arc ファイルに保存されていました。このファイル形式は、ARC (ファイル形式)とはまったく関係ありません。この形式は、1996 年からインターネット アーカイブで Web アーカイブを保存するために使用されています。最近では、デフォルトでWARC ファイル形式で保存されます。これは ARC に似ていますが、より正確に指定され、より柔軟です。Heritrix は、URL を使用して各リソースのディレクトリとファイル名を指定するWgetクローラーに似たディレクトリ形式でファイルを保存するように構成することもできます。
Arc ファイルは、多数の小さなファイルを管理しなくて済むように、アーカイブされた複数のリソースを 1 つのファイルに保存します。ファイルは URL レコードのシーケンスで構成され、各レコードにはリソースの要求方法に関するメタデータを含むヘッダーがあり、その後にHTTP ヘッダーと応答が続きます。Arc ファイルのサイズは 100 ～ 600 MB です。[引用が必要]
例：
filedesc://IA-2006062.arc 0.0.0.0 20060622190110 text/plain 76
1 1 InternetArchive
URL IPアドレス アーカイブ日 コンテンツタイプ アーカイブ長
http://foo.edu:80/hello.html 127.10.100.2 19961104142103 text/html 187
HTTP / 1.1 200 OK
日付: 木、2006 年 6 月 22 日 19:01:15 GMT
サーバー: Apache
最終更新日: 土、2006 年 6 月 10 日 22:33:11 GMT
コンテンツ長: 30
コンテンツ タイプ: text/html
<html>
こんにちは世界！！！
</html>
Arc ファイルを処理するツール
Heritrix には、Arc ファイルの内容を抽出するために使用できるarcreaderというコマンドライン ツールが含まれています。次のコマンドは、指定された Arc ファイル (CDX 形式) に保存されているすべての URL とメタデータを一覧表示します。
アークリーダー IA-2006062.arc
次のコマンドは、レコードがオフセット 140 から始まると仮定して、上記の例から hello.html を抽出します。
arcreader -o 140 -f ダンプ IA-2006062.arc
その他のツール:
- アーク処理ツール
- WERA (Web ARchive Access) 2011-03-07 にWayback Machineにアーカイブされました
コマンドラインツール
Heritrix にはいくつかのコマンドライン ツールが付属しています。
- htmlextractor – 指定されたURLに対してHeritrixが抽出するリンクを表示します。
- hoppath.pl – 完了したクロールから指定された URL へのホップ パス (リンクのパス) を再作成します。
- manifest_bundle.pl – クロールマニフェストファイルによって参照されるすべてのリソースを非圧縮または圧縮されたtarボールにまとめます。
- cmdline-jmxclient – Heritrix のコマンドライン制御を有効にします
- arcreader – ARC ファイルの内容を抽出します (上記参照)
さらなるツールはインターネットアーカイブのwarctoolsプロジェクトの一部として利用可能です。[6]
参照
.svg/500px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}
参考文献
この編集時点で、この記事は「Re: インターネット アーカイブの制御は「/ を許可しない」だけでよいのか?」のコンテンツを使用しています。このライセンスはCreative Commons Attribution-ShareAlike 3.0 Unported Licenseの下では再利用が許可されていますが、 GFDLの下では許可されていません。関連するすべての条件に従う必要があります。
- ^ 「リリース 3.5.0」。2024年10月29日。 2024年11月22日閲覧。
- ^ abcde Kris (2011 年 9 月 6 日)。「Re: インターネット アーカイブを「Disallow /」以外に制御する方法はありますか?」Pro Webmasters Stack Exchange。Stack Exchange, Inc. 2013 年1 月 7 日閲覧。
- ^ 「Wayback Machine: 現在 240,000,000,000 の URL が存在 - Internet Archive Blogs」。blog.archive.org。2017年9月 11 日閲覧。
- ^ 「About - Web Archiving (Library of Congress)」www.loc.gov 。 2017年10月29日閲覧。
- ^ “Web アーカイブ技術の側面 - Koninklijke Bibliotheek”. www.kb.nl 。2017 年9 月 11 日に取得。
- ^ "warctools". 2017年8月25日. 2017年9月11日に取得– GitHub経由。
- Burner, M. (1997). 「永遠に向かって這い進む - World Wide Web のアーカイブの構築」。Web Techniques . 2 (5). 2008 年 1 月 1 日時点のオリジナルよりアーカイブ。
- Mohr, G.、Kimpton, M.、Stack, M.、Ranitovic, I. (2004)。「アーカイブ品質の Web クローラー Heritrix の紹介」(PDF)。第 4 回国際 Web アーカイブ ワークショップ (IWAW'04) の議事録。2011 年 6 月 12 日にオリジナル(PDF)からアーカイブ。2007年 3 月 9 日に取得。
{{cite conference}}: CS1 maint: 複数の名前: 著者リスト (リンク) - Sigurðsson, K. (2005). 「Heritrix による増分クロール」(PDF)。第 5 回国際 Web アーカイブ ワークショップ (IWAW'05) の議事録。2011年 6 月 12 日にオリジナル(PDF)からアーカイブ。2006 年 6 月 23 日に取得。
外部リンク
インターネットアーカイブのツール:
- Heritrix - 公式ウィキ
- NutchWAX 2011-09-28 にWayback Machineでアーカイブ- ウェブアーカイブコレクションを検索
- Wayback (オープンソース Wayback Machine) 2011-09-16 にアーカイブされたWayback Machine - NutchWax を使用して Web アーカイブ コレクションを検索およびナビゲートします
関連ツールへのリンク:
- Arc ファイル形式
- WindowsでHeritrixを実行する方法
- WERA (Web ARchive Access) 2011-03-07 にWayback Machineでアーカイブ- NutchWAX を使用して Web アーカイブ コレクションを検索およびナビゲート