Loading article…
 | |
| 開発者 | Apache ソフトウェア財団 |
|---|---|
| 安定版リリース | 1.9.1 / 2021年10月3日[1] |
| リポジトリ | OODT リポジトリ |
| 書かれた | ジャワ |
| オペレーティング·システム | クロスプラットフォーム |
| タイプ | 検索とインデックス API |
| ライセンス | Apache ライセンス 2.0 |
| Webサイト | oodt.apache.org |
Apacheオブジェクト指向データ テクノロジー(OODT) は、Apache Software Foundationによって管理されているオープン ソースのデータ管理システムフレームワークです。OODT はもともと、NASA の科学アーカイブのデータのキャプチャ、処理、共有をサポートするために、NASA ジェット推進研究所で開発されました。
歴史
このプロジェクトは、ダニエル・J・クライトン、ショーン・ケリー、スティーブ・ヒューズによって開始されたNASAジェット推進研究所の内部プロジェクトとして始まりました。当初の取り組みの焦点は、2000年のCODATA会議でクライトンらが発表した論文に記載されているように、XMLを使用した情報統合と検索にありました。[2]
OODT は、惑星データ システムと国立がん研究所 EDRN (早期発見研究ネットワーク) プロジェクトに導入された後、2005 年にNASAの軌道炭素観測所(OCO) プロジェクトを通じて大規模データ処理および管理の時代に入りました。OCO における OODT の役割は、1 日あたり数十のジョブと数十ギガバイトのデータではなく、1 日あたり 10,000 ジョブと数百テラバイトのデータを処理する新しいデータ管理処理フレームワークを導入することでした。このため、これらの新しい要件をサポートするために OODT を全面的に見直す必要がありました。NASA JPL のChris Mattmann博士は、2005 年から 2009 年にかけて 3 ～ 4 人の開発者チームを率いて、これらの新しい要件をサポートするために OODT を完全に再設計しました。
Mattmann 氏が参加したApache NutchとHadoopの新たな取り組みの影響を受けて、OODT は全面的に見直され、Apache Software Foundation のようなプロジェクトにさらに適合するようになりました。さらに、Mattmann 氏は当時 Apache Software Foundation の代表であったJustin Erenkrantz博士と親しい関係にあり、OODT を Apache Software Foundation に導入するというアイデアが浮上しました。2009 年、Mattmann 氏と彼のチームは NASA と JPL から OODT を Apache に導入する承認を受け、財団が管理する最初の NASA プロジェクトとなりました。7 年後、プロジェクトはバージョン 1.0 をリリースしました。
特徴
OODTは、ビッグデータ処理と情報統合という2つの標準的なユースケースに焦点を当てています。どちらもMattmannのICSE 2006 [3]およびSMC-IT 2009 [4]の論文で説明されています。OODTは3つのコアサービスを提供します。
ファイルマネージャー
ファイル マネージャーは、ファイルの場所とそのメタデータを追跡し、ステージング領域からアクセスが制御されたストレージにファイルを転送する役割を担います。
ワークフローマネージャー
ワークフロー マネージャーは、複雑なプロセスの制御フローとデータ フローをキャプチャし、再現性と科学的パイプラインの構築を可能にします。
リソース マネージャー
リソース マネージャーは、ワークフロー タスクやその他のジョブの基礎となるリソースへの割り当てを処理します。たとえば、Python ジョブは Python がインストールされているノードに送信され、大容量のディスクや CPU を必要とするジョブは、それらの要件を満たすノードに適切に送信されます。
OODT は、3 つのコア サービスに加えて、これらのサービスに基づいて構築される 3 つのクライアント指向フレームワークを提供します。
ファイルクローラー
ファイル クローラーはメタデータを自動的に抽出し、Apache Tika を使用してファイルの種類を識別し、関連情報をファイル マネージャーに取り込みます。
カタログとアーカイブのクロール フレームワーク
プッシュ/プル フレームワークはリモート ファイルを取得し、システムで使用できるようにします。
カタログおよびアーカイブ サービス プロダクション ジェネレーション エグゼクティブ (CAS-PGE)
科学的アルゴリズム ラッパー (CAS-PGE、Catalog and Archive Service Production Generation Executive の略) は、科学的コードをカプセル化し、環境に依存しない実行を可能にします。また、その際に出所をキャプチャし、アルゴリズムを運用システムに簡単に統合できるようにします。
CAS RESTful サービス
ファイル マネージャー、ワークフロー マネージャー、およびリソース マネージャー コンポーネントの機能を公開する RESTful API のセット。
OPSUI モニターダッシュボード
JAX-RS [引用が必要]仕様を介して、基盤となる OODT 製品/ワークフロー/リソース管理制御システムからのサービスを公開するための Web アプリケーション。この段階では、 Apache Wicket [引用が必要]コンポーネントを使用して構築されています。
OODTの再設計の全体的な動機は、2013年にNature誌に発表されたMattmannの論文「A Vision for Data Science」で説明されています。 [5]
OODTはJavaで書かれており、REST API [6]を通じてPython（プログラミング言語）を含む他の言語でも使用されています。
注目すべき用途
OODTは最近、土壌水分アクティブパッシブ[7]やニューホライズンズ[8]などのNASAミッションに貢献していることが注目されています。OODTはスクエアキロメートルアレイ望遠鏡[9]にも電力を供給しており、地球科学、惑星科学、電波天文学、その他の分野での使用範囲が広がっています。OODTはバイオインフォマティクスでも使用されており、Knowledgentビッグデータプラットフォームの一部です。[10]
参考文献
- ^ 「[お知らせ] Apache OODT 1.9.1 リリース」 。 2022年9月27日閲覧。
- ^ Crichton, Daniel; Hughes, John; Hyon, Jason; Kelly, Sean (2000)。「XML を使用した科学検索と取得」。第 2 回科学技術データに関する全国会議、米国 CODATA 全国委員会、国立研究会議。
- ^ Mattmann, Chris A.; Crichton, Daniel J.; Medvidovic, Nenad; Hughes, Steve (2006-01-01)。「高度に分散されたデータ集約型の科学アプリケーションのためのソフトウェア アーキテクチャ ベースのフレームワーク」。第28 回国際ソフトウェア エンジニアリング会議の議事録。ICSE '06。ニューヨーク、ニューヨーク、米国: ACM。pp. 721–730。doi :10.1145 / 1134285.1134400。ISBN 978-1595933751. S2CID 7699385。
- ^ Mattmann, CA; Freeborn, D.; Crichton, D.; Foster, B.; Hart, A.; Woollard, D.; Hardman, S.; Ramirez, P.; Kelly, S. (2009-07-01)。「軌道上炭素観測所および NPP サウンダ PEATE ミッション用の再利用可能なプロセス制御システム フレームワーク」。2009年 3 月 IEEE 宇宙ミッション情報技術課題国際会議。pp. 165–172。doi : 10.1109 / SMC-IT.2009.27。ISBN 978-0-7695-3637-8. S2CID 705732。
- ^ Mattmann, Chris A. (2013-01-24). 「コンピューティング: データサイエンスのビジョン」. Nature . 493 (7433): 473–475. Bibcode :2013Natur.493..473M. doi : 10.1038/493473a . ISSN 0028-0836. PMID 23344342.
- ^ 「Apache OODT API - OODT - Apache Software Foundation」。cwiki.apache.org 。 2016年6月27日閲覧。
- ^ 「Apache - Twitter 上の ASF」 。2016年 6 月 27 日閲覧。
- ^ 「Apache - Twitter 上の ASF」 。2016年 6 月 27 日閲覧。
- ^ 「Apache - Twitter 上の ASF」 。2016年 6 月 27 日閲覧。
- ^ 「OODT の利点に関する Q&A - オブジェクト指向データテクノロジー - Knowledgent Perspectives」 2014 年 7 月 30 日。2015 年 4 月 14 日時点のオリジナルよりアーカイブ。2016年 6 月 27 日に取得。
外部リンク
- http://oodt.apache.org