Loading article…
科学的ワークフローシステムは、科学的アプリケーションにおける一連の計算またはデータ操作ステップ、つまりワークフローを構成および実行するために特別に設計された、ワークフロー管理システムの特殊な形式です。 [1]
アプリケーション
分散科学者は、コンピューティング リソース、データ セット、デバイスの分散システムを使用して、大規模な科学実験や知識発見アプリケーションを共同で実行できます。科学ワークフロー システムは、このビジョンを実現する上で重要な役割を果たします。
より専門的な科学ワークフローシステムでは、視覚的なプログラミングフロントエンドが提供されており、ユーザーはノードを接続することで視覚的なグラフとしてアプリケーションを簡単に構築できます。また、プラットフォームに依存しない方法でそのようなアプリケーションを構築するためのツールも開発されています。 [2]ワークフローのグラフ内の各有向エッジは通常、1つのアプリケーションの出力から次のアプリケーションの入力への接続を表します。このようなエッジのシーケンスはパイプラインと呼ばれることがあります。
バイオインフォマティクス ワークフロー管理システムは、バイオインフォマティクスに重点を置いた専門的な科学的ワークフロー システムです。
科学的なワークフロー
最も単純なコンピュータ化された科学ワークフローは、データ、プログラム、およびその他の入力を呼び出し、視覚化や分析結果を含む出力を生成するスクリプトです。これらは、コマンドラインインターフェイスを備えたPythonなどのスクリプト言語を使用してRやMATLABなどのプログラムで実装されるか、最近ではJupyter Notebookなどのオープンソース Web アプリケーションを使用して実装されます。
科学的なワークフローを従来のビジネス プロセス ワークフローと区別する動機は多数あります。これには次のものが含まれます。
- 個々のアプリケーション サイエンティストが独自のワークフローを作成できる使いやすい環境を提供します。
- 科学者にインタラクティブなツールを提供し、ワークフローを実行して結果をリアルタイムで表示できるようにします。
- 科学者間でワークフローを共有および再利用するプロセスを簡素化します。
- 科学者がワークフロー実行結果とワークフロー作成手順の由来を追跡できるようにします。
科学者に焦点を当てることで、科学ワークフローシステムの設計の焦点は、定義済みリソース上で複雑な計算の実行を最適化するためにグリッドコンピューティング環境で一般的に考慮されるワークフロースケジューリングアクティビティから離れ、どのようなデータタイプ、ツール、分散リソースを科学者が利用できるようにすべきか、そしてそれらをどのように簡単にアクセス可能にし、特定のサービス品質要件を満たすようにするかというドメイン固有の視点に移行します [3]
科学的ワークフローは現在、eサイエンスを促進するサイバーインフラストラクチャの重要な要素として認識されています。通常、ミドルウェア層の上に配置される科学的ワークフローは、科学者が分析および視覚化パイプラインをモデル化、設計、実行、デバッグ、再構成、再実行できる手段です。確立された科学的方法の一部は、結果の起源、結果の取得方法、使用された実験方法、マシンのキャリブレーションとパラメーターなどの記録を作成することです。eサイエンスでも同じですが、起源データは、呼び出されたワークフローアクティビティ、アクセスされたサービスとデータベース、使用されたデータセットなどの記録です。このような情報は、科学者がワークフローの結果を解釈し、他の科学者が実験結果に対する信頼を確立するのに役立ちます。[4]
ワークフローの共有
myExperimentなどのソーシャル ネットワーキング コミュニティは、科学的ワークフローの共有と共同開発を促進するために開発されました。Galaxyは、ワークフロー定義とワークフロー結果を Galaxy インストール上で直接編集および公開するための共同メカニズムを提供します。
分析
すべての科学的ワークフロー システムの根底にある重要な前提は、科学者自身がワークフロー システムを使用して、視覚的なフローチャート、ロジック図、または最後の手段としてワークフロー ロジックを記述するコードに基づいてアプリケーションを開発できることです。強力なワークフロー システムにより、プログラマー以外の人でも、まずシンプルなフローチャート ツールを使用してワークフローの手順を簡単に概説し、次にさまざまなデータ取得、分析、レポート作成ツールをフックすることができます。生産性を最大限に高めるには、通常、基礎となるプログラミング コードの詳細を非表示にする必要があります。
ワークフロー分析技術は、そのようなワークフローの特性を分析し、実行前に特定の特性を確認するために使用できます。科学的ワークフローの制御フローの側面とDiscovery Netシステムのデータフローの側面を検証およびプロファイリングするための理論的な形式分析フレームワークの例は、Curcin らによる論文「ワークフロー分析ツールの設計と実装」に記載されています。[5]
著者らは、プログラム分析と検証をワークフローの世界に導入するには、ワークフロー グラフ内のノードとアークの実行プロパティ、ワークフロー パターン間の機能的等価性の理解など、ワークフロー言語の実行セマンティクスの詳細な理解が必要であると指摘しています。このような分析を行うのは難しく、これらの問題に対処するには、コンピューター サイエンスの研究で使用される形式手法 (ペトリ ネットなど) を基にして、ワークフローとワークフロー システムの両方の特性について推論するユーザー レベルのツールを開発する必要があります。過去にはこのようなツールがなかったため、自動化されたワークフロー管理ソリューションは、あれば便利な学術的なおもちゃから、早期導入者やワークフロー愛好家の狭い範囲以外で使用される実稼働レベルのツールへと成熟することができませんでした。
注目すべきシステム
注目すべき科学的ワークフローシステムには以下のものがある: [6]
- Anduril、バイオインフォマティクスと画像解析
- Apache Airavata、汎用ワークフロー管理システム[7]
- 汎用ワークフロー管理システムであるApache Airflow
- Apache Taverna は、バイオインフォマティクス、天文学、生物多様性で広く使用されています。
- クラウドベースのバイオインフォマティクスプラットフォーム「BioBIKE 」
- Bioclipse は、複雑なアクションを一種のワークフローとして実行できるスクリプト環境を備えたグラフィカル ワークベンチです。
- Collective Knowledge は、 JSON API とクロスプラットフォーム パッケージ マネージャーを備えた Python ベースの一般的なワークフローと実験のクラウドソーシング フレームワークです。
- Common Workflow Language は、コミュニティによって開発されたYAMLベースのワークフロー言語であり、複数のエンジン実装でサポートされています。
- Cuneiform、関数型ワークフロー言語。
- Discovery Net は、科学的なワークフローシステムの最も初期の例の1つです。
- ギャラクシー、当初はゲノミクスをターゲットにしていた
- GenePatternは、数百のゲノム解析ツールへのアクセスを提供する強力な科学的ワークフローシステムです。[8]
- 科学的なワークフロー管理システムであるKepler
- オープンソースのデータ分析プラットフォームKNIME
- バイオインフォマティクスデータ分析ワークフローシステム「Nextflow」
- OnlineHPC、オンライン科学ワークフローデザイナーおよび高性能コンピューティングツールキット
- Orange、オープンソースのデータ視覚化と分析
- Pegasus、オープンソースの科学的ワークフロー管理システム[9]
- Pipeline Pilot、ケミインフォマティクスワークフローに対応するための多くのツールを備えたグラフィカルプログラミング[10]
- Swift 並列スクリプト言語。科学ワークフロー システムの多くの機能が組み込まれたスクリプト言語です。
- VisTrails は、 Pythonで開発された科学的なワークフロー システムです。
280以上の計算データ分析ワークフローシステムが特定されていますが[11]、データ分析ワークフローと科学的ワークフローの区別は流動的で、すべての分析ワークフローシステムが科学的目的で使用されるわけではありません。
参照
参考文献
- ^ Sun, LiewChee; P, AtkinsonMalcolm; GaleaMichelle; Fong, AngTan; MartinPaul; Van, HemertJano I. (2016-12-12). 「科学的ワークフロー」. ACM Computing Surveys . 49 (4): 1–39. doi :10.1145/3012429. hdl : 20.500.11820/774ef69e-a499-4bd2-a609-09f050e682ae . S2CID 9408644.
- ^ D. Johnson; et al. (2009 年 12 月)。「科学アプリケーション向けのミドルウェアに依存しないグリッド ワークフロー ビルダー」(PDF)。2009年 5 回 IEEE 国際 E-Science ワークショップ会議。pp. 86–91。doi : 10.1109 / ESCIW.2009.5407993。ISBN 978-1-4244-5946-9. S2CID 3339794。
- ^ Kyriazis, Dimosthenis; Tserpes, Konstantinos; Menychtas, Andreas; Litke, Antonis; Varvarigou, Theodora (2008). 「サービス品質の枠組みにおけるグリッドの革新的なワークフロー マッピング メカニズム」. Future Generation Computer Systems . 24 (6): 498–511. doi :10.1016/j.future.2007.07.009.
- ^ e-Science 実験の起源の自動キャプチャと効率的な保存。同時実行コンピューティング: 実践的経験。2008; 20:419–429
- ^ Curcin, V.; Ghanem, M.; Guo, Y. (2010). 「ワークフロー分析ツールの設計と実装」. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences . 368 (1926): 4193–4208. Bibcode :2010RSPTA.368.4193C. doi : 10.1098/rsta.2010.0157 . PMID 20679131.
- ^ Barker, Adam; Van Hemert, Jano (2008)、「科学的ワークフロー: 調査と研究の方向性」、並列処理と応用数学、第 7 回国際会議、PPAM 2007、改訂選択論文、コンピュータ サイエンスの講義ノート、第 4967 巻、ポーランド、グダニスク: Springer Berlin / Heidelberg、pp. 746–753、CiteSeerX 10.1.1.105.4605、doi :10.1007/978-3-540-68111-3_78、ISBN 978-3-540-68105-2
- ^ マル、スレシュ;ガードラー、ロス。スロミンスキー、アレクサンダー。ドーマ、アテ。ペレラ、スリナス。ウィーラワラナ、サンジヴァ。グナティレイク、ラヒル。ヘラス、チャトゥラ。タンチャイシン、パタナチャイ;ピアース、マーロン。マットマン、クリス。シン、ラミンダー。グナラトネ、ティリナ。チンタカ、エラン (2011-11-18)。ゲートウェイ コンピューティング環境に関する 2011 年の ACM ワークショップの議事録 - GCE '11。 p. 21.土井：10.1145/2110486.2110490。ISBN 9781450311236.S2CID 18341808 。
- ^ Reich, Michael; Liefeld, Ted; Gould, Joshua; Lerner, Jim; Tamayo, Pablo; Mesirov, Jill P (2006). 「GenePattern 2.0」. Nature Genetics . 38 (5): 500–501. doi :10.1038/ng0506-500. PMID 16642009. S2CID 5503897.
- ^ Deelman, Ewa ; Vahi, Karan; Juve, Gideon; Rynge, Mats; Callaghan, Scott; Maechling, Philip J.; Mayani, Rajiv; Chen, Weiwei; Ferreira da Silva, Rafael; Livny, Miron; Wenger, Kent (2015 年 5 月)。「Pegasus、科学自動化のためのワークフロー管理システム」。Future Generation Computer Systems。46 : 17–35。doi : 10.1016 /j.future.2014.10.008。
- ^ 「BIOVIA Pipeline Pilot | データ分析のための科学的ワークフロー オーサリング アプリケーション」。Accelrys.com。2016年 12 月 4 日閲覧。
- ^ 「既存のワークフロー システム」。Common Workflow Language wiki。2019 年 10 月 17 日時点のオリジナルよりアーカイブ。