Loading article…
オーストラリアウェブアーカイブ（AWA ）は、オーストラリア国立図書館（NLA）がオンライン図書館データベースアグリゲータであるTroveプラットフォーム上でホストする、アーカイブされたオーストラリアのウェブサイトの公開オンラインデータベースです。NLA独自のPANDORAアーカイブ、オーストラリア政府ウェブアーカイブ（AGWA）、オーストラリア国立図書館の「.au」ドメインコレクションで構成されています。アクセスは、公開されているTroveの単一のインターフェースを介して行われます。[1] [2] [3]オーストラリアウェブアーカイブは2019年3月に作成され、[4]世界最大のウェブアーカイブの1つです。 [5]その目的は、現在および将来にわたって歴史家や研究者にリソースを提供することです。[5]
3つのコンポーネントの歴史
PANDORAサービスは1996年10月にウェブサイトのアーカイブを開始しました。[6]
2005年、NLAは大規模なクロール収集によって収集されたオーストラリアのウェブドメイン全体（サフィックスが「.au」のURL [4]）の年間スナップショットのアーカイブ化を開始しました。 [ 7 ]その後、1996年まで遡る.auウェブドメインの最も古いウェブサイトがインターネットアーカイブから取得されました。 2019年に、このコンテンツはTroveを通じて初めて一般公開されました。[9]
PANDORAのインフラストラクチャは、選択的な小規模アーカイブには適していますが、Webコンテンツの大規模な「一括収集」には適していません。そのため、アーカイブされたWebサイトの配信をライブWebサイトインターフェイス内に統合し、アーカイブされたWebサイトをユーザーにシームレスに配信するWebアーカイブサービスという新しい技術システムを開発する必要がありましたが、これは技術的に実現が困難です。[10]
アグワ
オーストラリア政府のウェブサイトは連邦政府の記録であり、したがって1983年公文書館法に従って管理される出版物である。[11]
オーストラリア政府ウェブアーカイブ（AGWA）は、連邦政府のウェブサイトを大量にアーカイブする組織です。NLAは、2011年6月にウェブサイトの定期的な収集を開始しました。 [12] 2010年5月に行政協定が締結され、NLAが政府のウェブサイトを収集、保存し、アクセス可能にする上で、それ以前のようにウェブサイトや文書ごとに事前の許可を求める必要がなくなったことで、大きな障害が克服されました。このサービスは、収集にHeritrixウェブクローラー、ストレージにWARCファイル、サービスの提供にOpen Waybackを使用しています。政府による出版物は膨大ですが、突然の消失など、コンテンツを保存するために克服すべき課題は数多くあります。2014年3月、AGWAは一般公開されました。[10]
AGWAは、アーカイブ法に基づく「国立公文書館として保存する」（RNA）資料としてのウェブサイトの保存および保持要件を満たしていますが、ビデオや文書ファイル（ PDFやWord文書など）は常にキャプチャされるとは限らないため、個別に管理する必要があります。[11]
2015年初頭の時点で、AGWAには2005年以降のコンテンツが含まれており、その量は15テラバイトを占める約1億4,400万ファイルに上ります。これには、約1,000のシードURLの一括収集を通じて収集された連邦政府のウェブサイトのみが含まれていました。収集のスケジュールはまだ定期的には確立されていませんでしたが、収集は年に約3回行われていました。[10]
合併
2017年、AGWAとPANDORAアーカイブは他のウェブアーカイブコレクションと統合され、Troveウェブアーカイブコレクションを形成しました。[9]さらなる開発とオーストラリアウェブアーカイブの作成後、AGWA経由でアーカイブされ、現在AWAに含まれている政府のウェブサイトは、「詳細検索」オプションを使用して個別に検索できます。[9]
AWAの説明
NLA は、ウェブ アーカイブを「ウェブ上でアクセス可能な状態でキャプチャされ、静的コピーに保存されたウェブサイトのスナップショットのコレクション」と説明しています。AWA にアーカイブされたコレクションは、「オーストラリアとオーストラリア人の文化、社会、政治、研究、商業生活と活動に関連する」ものです。AWA は、選択されたウェブサイトと出版物の定期的なアーカイブと、重要なイベントに関連するアドホックな収集の両方を通じてウェブ マテリアルを収集します。[9]
2019年3月に開始された時点で、AWAにはすでに約600テラバイトのデータ、90億件のレコードが含まれていました。[5] [13]インターネットアーカイブがホストするウェイバックマシンよりも多くの機能があり、社内で構築された検索エンジンを使用して全文検索が可能です。開発者は、不要な「ノイズ」をフィルタリングする技術も考案しました。データはライブラリサーバーに残りますが、コンテンツが増えるにつれて、将来的にはクラウドへの移行が想定されています。 [5]幅広いユーザーによる使いやすさ、特に検索機能は、開発中の主要な焦点でした。[9]
アーカイブは開発者が使用した技術の組み合わせに基づいて完全に検索可能です。各チームは、Googleのページランキングアルゴリズム（ページのクリック頻度に基づく）のバージョンを採用し、より優れた高品質のリソースにつながるように修正することで、独自の複雑な検索アルゴリズムを作成しました。その他の技術には、ベイジアンフィルター（事実上スパムフィルター）、YahooのNot Safe For Work分類子、機械学習などがあります。[14]
検索前に「gov.auウェブドメインに制限する」オプションがあり、[15] AGWA経由でアーカイブされた政府のウェブサイトは、「詳細検索」オプションを使用して個別に検索できます。[9]詳細検索のその他のオプションには、スナップショットの期間、ドメイン、ファイルタイプによる制限があります。[16]
1990年代の初期のウェブサイトの多くは、主にウェブプラットフォームの頻繁な変更のために現在失われていますが、オーストラリアウェブアーカイブは、現在および将来のウェブページ、特にオーストラリアのコンテンツを保存するのに役立つ重要な取り組みです。[4]アーカイブには引き続き資料が追加され、その他のオンライン資料は、 1960年の国立図書館法、1968年の著作権法の納本規定、およびNLAのデジタルコレクション選択ポリシーに従って収集されます。[9]
アジア太平洋地域のウェブサイト
アジア太平洋地域のウェブサイトはAWAには含まれていませんが、NLAはインターネットアーカイブと提携して「特定のイベントや社会政治的グループに関連する厳選されたアジア太平洋地域のウェブサイト」を収集し、保存しています。[17]
参照
参考文献
- ^ 「オーストラリアのネットワーク化されたドキュメンタリーリソースの保存とアクセス」。パンドラアーカイブ。 2020年4月30日閲覧。
- ^ 「アーカイブされたウェブサイト」オーストラリア国立図書館。2020年3月23日。 2020年4月30日閲覧。
- ^ Koerbin, Paul (2015年2月11日). 「オーストラリア政府ウェブアーカイブ」.オーストラリア国立図書館. 2020年4月30日時点のオリジナルよりアーカイブ。 2020年4月30日閲覧。
- ^ abc Bruns, Axel (2019年3月14日). 「オーストラリアウェブアーカイブは画期的な成果だが、これからは困難が伴う」The Conversation . 2020年4月30日閲覧。
- ^ abcd Nott, George (2019年3月11日). 「国立図書館がオーストラリアのインターネットに関する『膨大な』アーカイブを公開」. Computerworld . 2020年5月6日閲覧。
- ^ 「歴史と実績」. PANDORA. 2009年2月18日. 2020年5月6日閲覧。
- ^ McKenzie, Amelia (2019年3月12日). 「オーストラリアのウェブ史の保存：オーストラリアウェブアーカイブの始まり」オーストラリア国立図書館. 2020年5月6日閲覧。
- ^ 「アーカイブされたウェブサイト（1996年～現在）」。Trove 。 2020年5月6日閲覧。
- ^ abcdefg 「オーストラリアウェブアーカイブについて」。Troveヘルプセンター。2020年3月17日時点のオリジナルよりアーカイブ。2020年5月8日閲覧。
- ^ abc Koerbin, Paul (2015年2月11日). 「オーストラリア政府ウェブアーカイブ：政府のオンラインドキュメンタリー遺産の収集が大規模に」オーストラリア国立図書館。2020年5月1日時点のオリジナルよりアーカイブ。 2020年5月6日閲覧。
- ^ ab 「オーストラリア政府ウェブサイトのアーカイブ化」オーストラリア国立公文書館。 2020年5月8日閲覧。
- ^ 「アーカイブされたウェブサイト」オーストラリア国立図書館。2018年12月7日。 2020年5月6日閲覧。
- ^ 注: AWA のヘルプ ページには 400 テラバイト、80 億レコードと記載されています
- ^ 「オーストラリアのウェブアーカイブをチェック」Southern Phone 2019年4月11日。 2020年5月8日閲覧。
- ^ 「オーストラリアウェブアーカイブ」。Trove 。2020年5月8日閲覧。
- ^ 「オーストラリアウェブアーカイブ - 高度な検索」。Trove 。 2020年5月8日閲覧。
- ^ 「アーカイブされたウェブサイト」オーストラリア国立図書館。2020年3月23日。 2020年5月8日閲覧。
外部リンク
- 公式サイト