SHIWAプロジェクト

グリッド コンピューティング内のSHIWA プロジェクト(利用可能な DCI での大規模な科学的シミュレーションのための相互運用可能なワークフローの共有) は、 MTAコンピュータおよびオートメーション研究所の LPDS (並列分散システム研究所) が主導するプロジェクトでした。プロジェクト コーディネーターはPeter Kacsuk教授でした。このプロジェクトは 2010 年 7 月 1 日に開始され、2 年間続きました。SHIWA (プロジェクト番号 261585) は、助成契約番号 261585 に基づく 欧州委員会の FP7 INFRASTRUCTURES-2010-2 コールの助成金によってサポートされました。

SHIWA プロジェクトでは、インフラストラクチャとワークフローの 相互運用性を2 つのレベルで 実現するために、SHIWA シミュレーション プラットフォーム (SSP) を開発および導入しました。

• 粗粒度の相互運用性。実行フレームワークの相互運用性を実現するために、異なるワークフロー システムをネストすることを指します。
• きめ細かな相互運用性。ワークフローをあるシステムから別のシステムに移行するための変換ワークフロー表現を指します。

プロジェクト終了後、SHIWA テクノロジーは、持続可能性を提供し、ユーザー コミュニティ ベースを拡大するために、ER フロー サポート アクション プロジェクトに引き継がれました。

あらゆる分野の科学者は、計算集約型のin silico実験や仮想組織をサポートする能力を持つ分散コンピューティングインフラストラクチャ（DCI）の活用に多大な労力を費やしてきました。過去10年間に、大規模なユーザーコミュニティを持つ多くのDCIが登場しました。たとえば、Distributed European Infrastructure for Supercomputing Applications（DEISA）^[1]、 EGEE Grid（Enabling Grids for e-Science）^[2]、ドイツのD-Gridイニシアチブ（D-Grid）^[3] 、英国のNational Grid Service（NGS）^[4] 、およびNorth American TeraGrid（TG）^{[5]などです。これらは、コンピュータリソースとアプリケーションの間に抽象化レイヤーを提供するさまざまな}ミドルウェアスタックに基づいています。たとえば、NGSとTeraGridはGlobus Toolkit上に構築され、^[6] EGEEはgLite上に構築され、^[7] DEISAはGlobus ToolkitとUnicoreの両方に依存し、^{[8] D-GridはgLite、Globus Toolkit、および}Unicoreの下で実行されます。ヨーロッパでは、この勢いは2010年に欧州グリッドイニシアチブ（EGI）の出現で最高潮に達し、分散コンピューティングに関連するすべての主要なヨーロッパの組織と国家グリッドイニシアチブ（NGI）が連合します。次世代の汎ヨーロッパDCIを作成する取り組みにおいて、EGIは国家グリッドインフラストラクチャ、リソース、およびオペレーティングミドルウェアの異種性に関連する前例のない課題に直面することになります。実稼働DCIは、通常、データリソース、メタデータなどの多数のコンポーネントに基づいて構築されます。DCI には、カタログ、認証および承認方法、ソフトウェア リポジトリなど、さまざまな機能があります。したがって、DCI 上のアプリケーションの実行を管理するのは複雑な作業です。さらに、特定の 1 つのグリッド用に開発されたソリューションを他のインフラストラクチャに移植するのは困難です。研究者からこの複雑さを隠蔽し、in-silico 実験の設計を容易にするために、ワークフロー システムが基盤インフラストラクチャ上の仮想化レイヤーとして広く使用されています。これらは、科学計算コミュニティの研究を最適化およびサポートするために、アプリケーション (ユーザー ドメイン) と DCI (インフラストラクチャ ドメイン) の両方に関する専門知識を統合するために不可欠になっています。現在のマルチ DCI 環境では、ユーザーは、使用可能なリソースの種類を拡大および拡大し、ドメイン固有のリソースを共有および再利用するために、さまざまなインフラストラクチャにアクセスする必要があります。ただし、ミドルウェア レベルでは、DCI 間の相互運用性はほとんど実現されていません。SHIWA は、EGI 生産インフラストラクチャを、in-silico 実験を設計およびシミュレートするヨーロッパの科学者にとって非常に興味深い主要な DCI であると考えています。これは、(i) シミュレーション ワークフローの記述による科学的実験の設計、および (ii) ワークフローの相互運用性技術による多数の既存の DCI 間で発生するミドルウェアの異質性に関連する課題に直接対処します。^{[引用が必要]}

SHIWA は、科学実験に DCI を多用している仮想研究コミュニティの体験を改善することを目指しました。eインフラストラクチャーへの取り組みが最近急増したことにより、科学シミュレーションは、多分野にわたる科学的課題に対応するための大規模なコンピューティングおよびデータ ストレージ設備を利用できるというメリットを享受できるようになりました。その副作用として、相互運用性のないさまざまなテクノロジが共存し、in-silico 実験用のコンピューティング インフラストラクチャーの活用が可能になっています。欧州では、分散コンピューティングおよび NGI に関連するすべての主要な欧州組織を統合する EGI の出現により、この勢いが最高潮に達しています。その結果、欧州のシミュレーション研究は現在、科学コミュニティー間の知識と専門知識の共有を制限することで効率を低下させるいくつかの相互運用性の問題によって妨げられています。SHIWA は、相互運用性の問題に取り組むサービスを提供することで科学コミュニティー間の障壁を下げることを目的としたユーザー中心のプロジェクトとして設計されました。特に、SHIWAの作業プログラムは、次の3つの目標を掲げ、ワークフローベースのin-silico実験の効率を向上させることに重点を置いています。^[要出典]

• 目標 1: 仮想研究コミュニティ間でワークフローと専門知識の共有を開発する。
• 目標 2: Scientific Gateway でシミュレーション ワークフローのシステム間管理を可能にする。
• 目標 3: 仮想研究コミュニティによる in-silico 実験の設計と実現をサポートする。
• 目標 4: DCI 間の相互運用性を向上させる。
• 目標 5: 仮想研究コミュニティの複数の DCI へのアクセスを簡素化します。
• 目標 6: さまざまな分野のシミュレーション ユーザーの間で欧州の電子インフラストラクチャの使用を促進する。

ワークフローの相互運用性により、複数の異種インフラストラクチャ (DCI) にまたがる可能性のあるさまざまなワークフロー システムのワークフローを実行できます。インフラストラクチャ、サービス、ワークフロー システムの進化によるアプリケーションの移行が容易になります。ワークフローの相互運用性により、ワークフローの共有によって共通の研究方法論の採用がサポートおよび促進され、これらの共通方法論を再利用することで研究の効率と信頼性が向上し、ワークフローの寿命が延び、新しいワークフローの開発時間が短縮されます。ワークフロー システム間の相互運用性により、大規模で包括的なワークフローの開発と実施が可能になるだけでなく、さまざまな DCI 間の既存のギャップが縮小され、結果としてこれらの DCI を活用する研究コミュニティ間の協力が促進されます。ワークフロー システムにより研究者は DCI 用の包括的なワークフロー アプリケーションを構築できるため、プロジェクト コンソーシアムはワークフローの相互運用性を DCI 間の既存のギャップを埋める最も有望なアプローチとして特定しました。ワークフローと DCI の相互運用性は、これまで利用できなかった高度な機能を可能にする DCI を対象とする科学アプリケーションの品質と影響を高めるために極めて重要です。^{[引用が必要]}

• アプリケーションの要件と DCI の機能を考慮して、ワークフロー システムの特定の機能を活用できるようにします。
• 研究コミュニティによって公開されたワークフローを共有して、コラボレーション、検証済みの方法論の再利用、知識の移転をサポートします。
• 複数の異種 DCI 上でワークフロー アプリケーションを実行します。
• ワークフローベースのアプリケーション移行メンテナンスを容易にします。
• 最も適切なワークフロー システムや DCI を使用して実験を最適化します。

SHIWAは、ASKALON、^[9] MOTEUR ^[10] Pegasus、^[11] PGRADE、^[12] Galaxy、GWES、Kepler、LONI Pipeline、Taverna、ProActive、Triana ^[13]など、いくつかのワークフローシステム用のワークフロー相互運用性ソリューションを開発しました。これにより、gLiteおよびGlobusミドルウェア上に構築されたグリッドへのアクセスが提供され、ワー​​クフローベースの大規模シミュレーションを実行するための実稼働レベルのサービスが作成されます。対象となるミドルウェアとワークフローシステムは、図1.1.1で太枠のコンポーネントで示されています。このプロジェクトでは、オーストリアグリッド、Dグリッド、EGEE、NGSなどのgLiteおよびGlobusベースのグリッドにアクセスできる既存のグリッドミドルウェア相互運用性ソリューションを使用します。プロジェクトコンソーシアムでは、EMIがサポートするNordugrid Advanced Resource Connector (ARC) ^[14]とUnicoreのサポートも検討します。

• ハンガリー科学アカデミーのコンピュータ科学および制御研究所 (SZTAKI)
• インスブルック大学
• シャリテ - ベルリン大学
• フランス国立科学研究センター
• ウェストミンスター大学
• カーディフ大学
• アムステルダム大学学術医療センター
• 南カリフォルニア大学

• アクティブエオンSAS
• MAATフランス
• コリレーションシステムズ株式会社
• チューリッヒ工科大学分子システム生物学研究所
• 国立研究評議会、生物医学技術研究所

• http://www.erflow.eu/

• MTA SZTAKI 並列分散システム研究室