ディスカバリーネット

Discovery Net は、 Web サービスとグリッド サービス (OGSA およびOpen Grid Services Architecture ) 標準に基づいてユーザーがリモート サービスの実行を調整できるようにする科学的ワークフロー システムの最も初期の例の 1 つです。このシステムは、英国 e-Science プログラム ( E-Science § UK プログラム)の資金提供を受けた Discovery Net パイロット プロジェクトの一環として、インペリアル カレッジ ロンドンで設計および実装されました。Discovery Net によって開拓された概念の多くは、その後、さまざまな他の科学的ワークフロー システムに組み込まれました。

Discovery Net システムは、UK e-Science プログラム ( E-Science § UK プログラム) の下でEPSRCが資金提供した 200 万ポンドの研究プロジェクトである Discovery Net パイロット プロジェクト (2001 ～ 2005 年) の一環として開発されました。このプロジェクトの研究は、インペリアル カレッジ ロンドンで、コンピューティング、物理学、生化学、地球科学および工学の各学部の共同作業として実施されました。このプロジェクトは単一機関プロジェクトであるため、EPSRC が資金提供した他の 10 のパイロット プロジェクト (すべて複数機関によるもの) と比べてユニークでした。

Discovery Net プロジェクトの目的は、さまざまな高スループット デバイスによって生成されたデータから科学的発見を行うe-Scienceプラットフォームの開発における主要な問題を調査し、対処することでした。当初は、ライフ サイエンス、地質災害監視、環境モデリング、再生可能エネルギーのアプリケーションからの要件を考慮しました。プロジェクトは、Discovery Netワークフロープラットフォームとワークフロー システムの開発を含むすべての目的を首尾よく達成しました。長年にわたり、システムは進化し、バイオインフォマティクス、ケモインフォマティクス、健康情報科学、テキスト マイニング、金融およびビジネス アプリケーション など、他の多くの分野のアプリケーションにも対応できるようになりました。

プロジェクト内で開発された Discovery Net システムは、科学ワークフローシステムの最も初期の例の 1 つです。分散データ ソースと分析ツールの統合をサポートするワークフロー モデルに基づく e-Science プラットフォームであり、エンド ユーザーはインターネットまたはグリッド全体に存在するデバイス、センサー、データベース、分析コンポーネント、計算リソースから新しい知識を引き出すことができます。

このシステムは多層アーキテクチャに基づいており、ワークフロー サーバーは、統合やリモートの計算リソースやデータ リソースへのアクセス、コラボレーション ツール、ビジュアライザー、公開メカニズムなど、ワークフローの作成と実行に必要な多数のサポート機能を提供します。アーキテクチャ自体は、ワークフロー サーバーの内部 (Ghanem 他 2009) に重点を置き、長年にわたって進化し、複数のアプリケーション ドメインやさまざまな実行環境にわたる拡張性をサポートしています。

Discovery Net ワークフローは、DPML (Discovery Process Markup Language) を使用して表現および保存されます。DPML は、計算のデータ フロー モデル (分析ワークフロー用) と制御フロー モデル (複数の分離したワークフローのオーケストレーション用) の両方をサポートするワークフロー グラフの XML ベースの表現言語です。

ほとんどの最新のワークフロー システムと同様に、このシステムはドラッグ アンド ドロップのビジュアル インターフェイスをサポートしており、ユーザーはノードを接続することでアプリケーションを簡単に構築できます。

DPML では、ワークフロー グラフ内の各ノードは実行可能なコンポーネント (たとえば、特定のデータ ソースからデータを抽出できる計算ツールやラッパー) を表します。各コンポーネントには、ユーザーが設定できる多数のパラメーターと、データを受信および送信するための多数の入力ポートと出力ポートがあります。

グラフ内の各有向エッジは、出力ポート (エッジの末尾) から入力ポート (エッジの先頭) への接続を表します。ポートは、そのポートからまたはポートへの 1 つ以上の接続がある場合に接続されています。さらに、グラフ内の各ノードは、コンポーネントの入力ポートと出力ポートを説明するメタデータを提供します。これには、コンポーネントに渡すことができるデータのタイプや、ユーザーが変更する可能性のあるサービスのパラメータが含まれます。このような情報は、ワークフローの検証や、コンポーネントの有意義な連鎖を保証するために使用されます。入力ポートと出力ポート間の接続は、タイプに互換性がある場合にのみ有効であり、これは厳密に適用されます。

このシステムの重要な貢献は、科学的ワークフロー内の計算のデータフロー モデルと制御フロー モデルを明確に分離していることです。これは、完全なデータフロー フラグメントを制御フロー構造のブロック構造フラグメントに埋め込むことを可能にする埋め込みの概念によって実現されます。これにより、他の科学的ワークフロー システム ( Taverna ワークベンチやKepler 科学的ワークフロー システムなど) と比較してワークフロー グラフが簡素化され、そのプロパティの分析に形式手法を適用する機会も得られます。

システム設計の重要な特徴は、ワークフロー エンジン自体内でのデータ管理のサポートです。科学実験では通常、大量の異種分散データ セットが生成および使用されるため、これは重要な特徴です。したがって、システムは中間データ製品の永続性とキャッシュをサポートするとともに、リモート コンピューティング リソースを使用して潜在的に大規模なデータ セットに対するスケーラブルなワークフロー実行をサポートするように設計されています。

Discovery Net システムの 2 つ目の重要な側面は、型付けされたワークフロー言語と、ユーザーが定義した任意のデータ型をサポートする拡張性に基づいています。データの型付けにより、科学的なワークフロー開発が簡素化され、ワー​​クフローの最適化が強化され、ワー​​クフロー検証のエラー チェックが強化されます。システムには、さまざまな科学アプリケーションでのデータ マイニングをサポートするために、いくつかの既定のデータ型が含まれていました。これには、表形式データのリレーショナル モデル、遺伝子配列を表すバイオインフォマティクスデータ モデル ( FASTA )、およびTipsterアーキテクチャに基づくテキスト マイニングのスタンドオフ マークアップ モデルが含まれます。

各モデルには、データのインポートおよびエクスポート コンポーネントのセットと、システムにすでに存在する汎用のインポート、エクスポート、および視覚化ツールと統合される特定のビジュアライザーが関連付けられています。たとえば、広く使用されている SMILES ( Simplified molecular input line entry specifications ) 形式で表された化合物は、データ テーブル内にインポートでき、3 次元表現または構造式を使用して適切にレンダリングできます。リレーショナル モデルは、データ統合の基本データ モデルとしても機能し、一般的なデータ クリーニングおよび変換タスクの大部分に使用されます。

このシステムは、マラリアゲノムのケーススタディのための完全にインタラクティブな分散ゲノム注釈パイプラインのデモンストレーションに基づいて、ACM SC02 (スーパーコンピューティング 2002) 会議および展示会で「最も革新的なデータ集約型アプリケーション賞」を受賞しました。システムの機能の多く (アーキテクチャ機能、ビジュアル フロントエンド、リモート Web およびグリッド サービスへの簡素化されたアクセス、ワークフロー ストアの組み込み) は当時斬新とみなされ、その後、他の学術システムや商用システム、特にバイオインフォマティクス ワークフロー管理システムに採用されるようになりました。

オリジナルの Discovery Net プロジェクト以外にも、このシステムは数多くの科学的アプリケーションで使用されています。たとえば、ウェルカム トラストが資金提供している BAIR: Biological Atlas of Insulin Resistance プロジェクトや、英国のEPSRCとBBSRCが資金提供している多数のプロジェクトなどです。Discovery Net のテクノロジーとシステムは、インペリアル カレッジのスピンアウト企業である InforSense Ltd を通じて商用製品にも発展し、同社はこのシステムをさらに拡張して、さまざまな商用アプリケーションに適用したほか、SIMDAT、TOPCOMBI、BRIDGE、ARGUGRID ^[要出典]などの研究プロジェクトにも利用しています。^[1]

• アパッチ タベルナ

1. Ghanem, M; Guo, Y ; Rowe, A; Wendel, P (2002)。「高スループット情報科学のためのグリッドベースの知識発見サービス」。高性能分散コンピューティングに関する第 11 回 IEEE 国際シンポジウムの議事録。p. 416。doi : 10.1109/HPDC.2002.1029946。ISBN 0-7695-1686-6. S2CID  28782519。
2. Ćurčin, V; Ghanem, M; Guo, Y; Köhler, M; Rowe, A; Syed, J; Wendel, P (2002)。「ディスカバリー ネット」。知識発見とデータ マイニングに関する第 8 回 ACM SIGKDD 国際会議の議事録- KDD '02。pp. 658–63。doi :10.1145/ 775047.775145。ISBN 1-58113-567-X. S2CID  14652611。
3. Jameel Syed、Moustafa Ghanem、Yike Guo。「発見プロセス: 表現と再利用」。英国シェフィールドで開催された第 1 回 UK e-Science 全員参加カンファレンスの議事録。2002 年 9 月。
4. ニコラオス・ジャンナダキス、ムスタファ・ガネム、イーケ・グオ。e-サイエンスのための情報統合。英国シェフィールドで開催された第 1 回英国 e サイエンス全員参加会議の議事録。 2002 年 9 月。
5. Ghanem, Moustafa M; Guo, Yike; Lodhi, Huma; Zhang, Yong (2002). 「ローカルパターンを使用した科学テキストの自動分類」ACM SIGKDD Explorations Newsletter . 4 (2): 95. doi :10.1145/772862.772876. S2CID  6328759.
6. Rowe, A; Kalaitzopoulos, D; Osmond, M; Ghanem, M; Guo, Y (2003). 「ハイスループットバイオインフォマティクスのためのディスカバリーネットシステム」.バイオインフォマティクス. 19 補足 1: i225–31. doi : 10.1093/bioinformatics/btg1031 . PMID  12855463.
7. Alsairafi, Salman; Emmanouil, Filippia-Sofia; Ghanem, Moustafa; Giannadakis, Nikolaos; Guo, Yike; Kalaitzopoulos, Dimitrios; Osmond, Michelle; Rowe, Anthony; Syed, Jameel; Wendel, Patrick (2016). 「ディスカバリーネットの設計: 知識発見のためのオープングリッドサービスに向けて」。国際高性能コンピューティングアプリケーションジャーナル。17 (3) : 297。doi : 10.1177 /1094342003173003。S2CID  15707637。
8. Giannadakis, Nikolaos; Rowe, Anthony; Ghanem, Moustafa; Guo, Yi-ke (2003). 「InfoGrid: 知識発見のための情報統合の提供」.情報科学. 155 (3–4): 199–226. doi :10.1016/S0020-0255(03)00170-1.
9. Moustafa Ghanem、Yike Guo、Anthony Rowe。バイオインフォマティクスをサポートする統合データおよびテキストマイニング。第 3 回 UK e-Science All-hands Conference AHM 2004 の議事録、英国ノッティンガム。2004 年 9 月。
10. Vasa Curcin、Moustafa Ghanem、Yike Guo。グリッド上の SARS 分析。第 3 回 UK e-Science All-hands Conference AHM 2004 の議事録、英国ノッティンガム。2004 年 9 月
11. Peter Au、Vasa Curcin、Moustafa Ghanem、Nikolaos Giannadakis、Yike Guo、Mohammad Jafri、Michelle Osmond、Anthony Rowe、Jameel Syed、Patrick Wendel、Yong Zhang。グリッドベースのデータマイニングが重要な理由: グリッド上での自然災害との闘い: SARS から地滑りまで。第 3 回 UK e-Science 全員参加カンファレンス AHM 2004 の議事録。2004 年 9 月
12. Curcin, V; Ghanem, M; Yike Guo; Rowe, A; He, W; Hao Pei; Lu Qiang; Yuanyuan Li (2004)。「統合システム生物学のための IT サービス インフラストラクチャ」。IEEE国際サービスコンピューティング会議、2004 年。(SCC 2004)。議事録。2004 年。pp. 123–31。doi :10.1109/ SCC.2004.1357998。ISBN 0-7695-2225-4. S2CID  28687432。
13. ムスタファ・ガーネム、ヴァーサ・クルチン、イーク・グオ、ニール・デイヴィス、ロブ・ガイザウスカス、イークン・グオ、ヘンク・ハーケマ、イアン・ロバーツ、ジョナサン・ラトクリフ。GoTag: 英国の共有 e-サイエンス インフラストラクチャの使用におけるケース スタディ。第 4 回英国 e-サイエンス オールハンド ミーティング 2005。2005 年 9 月
14. ニール・デイヴィス、ヘンク・ハーケマ、ロブ・ガイザウスカス、イークン・グオ、ムスタファ・ガネム、トム・バーンウェル、イーク・グオ、ジョナサン・ラトクリフ。GO タグ付け生物医学抄録への 3 つのアプローチ。 CEUR ワークショップ議事録。 2006 年 4 月。
15. Ghanem, Moustafa; Azam, Nabeel; Boniface, Mike; Ferris, Justin (2006)。「産業製品設計のためのグリッド対応ワークフロー」(PDF)。2006第 2 回 IEEE 国際 e-Science およびグリッド コンピューティング会議 (e-Science'06)。p. 96。doi : 10.1109/E- SCIENCE.2006.261180。ISBN 0-7695-2734-5。
16. Moustafa Ghanem、Nabeel Azam、Mike Boniface。グリッドベース システムにおけるワークフローの相互運用性。Cracow Grid Workshop 2006。2006 年 10 月
17. Vasa Curcin、Moustafa Ghanem、Yike Guo、Kostas Stathis、Francesca Toni。「議論エージェントを使用した次世代サービス指向アーキテクチャの構築」。第 3 回グリッド サービス エンジニアリングおよび管理に関する国際会議 (GSEM 2006)。Springer Verlag。2006 年 9 月。
18. Patrick Wendel、Arnold Fung、Moustafa Ghanem、Yike Guo。「コモディティ サービスを使用した Java ベースのグリッド スケジューラの設計」。2006 年 UK e-Science All Hands Meeting の議事録。英国ノッティンガム、2006 年 9 月。
19. Qiang Lu、Xinzhong Li、Moustafa Ghanem、Yike Guo、Haiyan Pan。Rを Discovery Net に統合する。2006 年 UK e-Science All Hands Meeting の議事録。2006 年 9 月。
20. 「CSDL | IEEE コンピュータ協会」。doi :10.1109/E-SCIENCE.2006.17. S2CID 18097525  。 {{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です
21. Richards, M; Ghanem, M; Osmond, M; Guo, Y; Hassard, J (2006). 「大気汚染データのグリッドベース分析」。生態学的モデリング。194 (1–3): 274–286. doi :10.1016/j.ecolmodel.2005.10.042。
22. Syed, Jameel; Ghanem, Moustafa; Guo, Yike (2007)。「Discovery Net における科学的発見プロセスのサポート」。並行性と計算: 実践と経験。19 (2): 167。doi : 10.1002/ cpe.1049。S2CID 16212949  。
23. Vasa Curcin、Moustafa Ghanem、Yike Guo、John Darlington。e-サイエンス ワークフローによる薬物有害反応のマイニング。2008 年第 4 回カイロ国際生物医学工学会議の議事録。CIBEC 2008。2008 年 12 月。
24. Curcin, V; Ghanem, M ( 2008)。「科学的ワークフロー システム - 1 つのシステムですべてに対応できるか?」2008 カイロ国際バイオメディカル エンジニアリング会議。pp. 1–9。doi :10.1109/ CIBEC.2008.4786077。ISBN 978-1-4244-2694-2. S2CID  1885579。
25. Ghanem, Moustafa; Curcin, Vasa; Wendel, Patrick; Guo, Yike (2009)。「Discovery Net での分析ワークフローの構築と使用」。グリッド コンピューティング環境におけるデータ マイニング手法。pp. 119–39。doi :10.1002 / 9780470699904.ch8。ISBN 978-0-470-69990-4。
26. Curcin, Vasa; Ghanem, Moustafa M; Guo, Yike (2009). 「計算ツリー ロジックによる科学的ワークフローの分析」Cluster Computing . 12 (4): 399. doi :10.1007/s10586-009-0099-6. S2CID  12600641.
27. Antje Wolf、Martin Hofmann-Apitius、Moustafa Ghanem、Nabeel Azam、Dimitrios Kalaitzopoulos、Kunqian Yu、Vinod Kasam。DockFlow - 4 つの異なるドッキング ツールを統合した仮想スクリーニング用のプロトタイプ PharmaGrid。Proceedings of HealthGrid 2009 Volume 147、pp. 3–12 Studies in Health Technology and Informatics 2009 年 5 月

• EPSRC が資金提供した e-Science パイロット プロジェクトのリスト "https://web.archive.org/web/20100723012926/http://www.epsrc.ac.uk/about/progs/rii/escience/Pages/fundedprojects.aspx"
• SIMDAT「http://www.simdat.org/」。
• BRIDGE プロジェクト "http://www.bridge-grid.eu/ 2008-02-20 にWayback Machineでアーカイブ"
• ARGUGRID プロジェクト "http://www.argugrid.eu/ 2010-09-06 にWayback Machineでアーカイブ"
• BAIR プロジェクト: "https://web.archive.org/web/20100430111119/http://www.bair.org.uk/"
• インフォセンス株式会社「https://web.archive.org/web/20100328015758/http://www.inforsense.com/」