計算科学における多タスクコンピューティング(MTC)[1] [2] [3] [4] [5] [6] [7]は、高スループットコンピューティング(HTC)[8]と高性能コンピューティング(HPC)という2つのコンピューティングパラダイム間のギャップを埋めることを目的とした並列コンピューティングのアプローチです。
意味
MTC は HTC を彷彿とさせますが、「多くの計算タスク (つまり、依存タスクと独立タスクの両方を含む) を達成するために短期間に多くの計算リソースを使用することに重点が置かれている点が異なります。主要な指標は秒単位で測定されます (例: FLOPS、タスク/秒、MB/秒の I/O レート)。これは、月あたりの操作 (例: ジョブ) とは異なります。MTC は、ファイル システム操作を介して結合された複数の異なるアクティビティで構成される高性能計算を意味します。タスクは、小規模または大規模、単一プロセッサまたはマルチプロセッサ、計算集約型またはデータ集約型である可能性があります。タスク セットは、静的または動的、同種または異種、疎結合または密結合である可能性があります。タスクの総数、計算量、およびデータ量は非常に大きくなる可能性があります。MTC には、一般的に通信集約型であるが、HPC で一般的に見られる標準のメッセージ パッシング インターフェイスを使用して自然に表現されない疎結合アプリケーションが含まれます。これにより、異種であるが「適切に」並列化されていない多くの計算が注目されます。」[6]
Raicu らはさらに次のように述べています。「HPC には密結合 MPI 以上のものがあり、HTC には長時間実行される並列ジョブ以上のものがあります。HPC アプリケーションや科学そのものと同様に、アプリケーションはますます複雑になってきており、視野を広げれば、HPC を新しい方法で適用する多くの機会が開かれます。一部のアプリケーションには、管理が難しいほど多くの単純なタスクがあります。大量のデータを操作または生成するアプリケーションは、拡張するために高度なデータ管理が必要です。密結合 MPI タスクで構成される多くのタスクを伴うアプリケーションが存在します。疎結合アプリケーションは、タスク間に依存関係があることが多く、通常はプロセス間通信にファイルを使用します。既存の大規模システムでこれらの種類のアプリケーションを効率的にサポートするには、かなりの技術的課題が伴い、科学に大きな影響を与えます。」[6]
関連分野
関連する分野としては、複数プログラム複数データ(MPMD)、高スループットコンピューティング(HTC)、ワークフロー、キャパシティコンピューティング、または驚異的並列処理などがあります。MTCワークロードをサポートできるプロジェクトとしては、Condor、[9]、 Mapreduce、[10]、 Hadoop、[11]、 Boinc、[12]、 Cobalt [ permanent dead link ] HTC-mode、[13]、 Falkon、[14]、Swiftなどがあります。[15] [16]
参考文献
- ^ グリッドとスーパーコンピュータ上の多タスクコンピューティングに関する IEEE ワークショップ (MTAGS08) 2008、http://datasys.cs.iit.edu/events/MTAGS08/
- ^ グリッドとスーパーコンピュータ上の多タスクコンピューティングに関する ACM ワークショップ (MTAGS09) 2009、http://datasys.cs.iit.edu/events/MTAGS09/
- ^ グリッドとスーパーコンピュータ上の多タスクコンピューティングに関する IEEE ワークショップ (MTAGS10) 2010、http://datasys.cs.iit.edu/events/MTAGS10/
- ^ グリッドとスーパーコンピュータ上の多タスクコンピューティングに関する ACM ワークショップ (MTAGS11) 2011、http://datasys.cs.iit.edu/events/MTAGS11/
- ^ IEEE Transactions on Parallel and Distributed Systems、Many-Task Computing 特集号、2011 年 6 月、http://datasys.cs.iit.edu/events/TPDS_MTC/
- ^ abc I. Raicu、I. Foster、Y. Zhao。「グリッドとスーパーコンピュータの多タスクコンピューティング」、グリッドとスーパーコンピュータの多タスクコンピューティングに関する IEEE ワークショップ (MTAGS08)、2008 年
- ^ 「Many Task Computing: Bridging the performance-throughput gap」、International Science Grid This Week (iSGTW)、2009 年 1 月 28 日、http://www.isgtw.org/?pid=1001602、Wayback Machineで 2011 年 1 月 1 日にアーカイブ
- ^ M. Livny、J. Basney、R. Raman、T. Tannenbaum。「高スループットコンピューティングのメカニズム」、SPEEDUP Journal 1(1)、1997年
- ^ D. Thain、T. Tannenbaum、M. Livny、「分散コンピューティングの実践:コンドルの経験」並行性とコンピューティング:実践と経験 17( 2-4)、pp. 323-356、2005
- ^ J. Dean、S. Ghemawat。「MapReduce: 大規模クラスタでの簡素化されたデータ処理」OSDI、2004年
- ^ A. Bialecki、M. Cafarella、D. Cutting、O. O'Malley。「Hadoop: 汎用ハードウェアで構築された大規模クラスタでアプリケーションを実行するためのフレームワーク」http://lucene.apache.org/hadoop/ 2007-02-10 にWayback Machineにアーカイブ、2005 年
- ^ DP Anderson、「BOINC: パブリック リソース コンピューティングおよびストレージ システム」、IEEE/ACM 国際グリッド コンピューティング ワークショップ、2004
- ^ IBM コーポレーション。「高スループット コンピューティング (HTC) パラダイム」、IBM システム Blue Gene ソリューション: Blue Gene/P アプリケーション開発、IBM RedBooks、2008 年
- ^ I. Raicu、Y. Zhao、C. Dumitrescu、I. Foster、M. Wilde。「Falkon: 高速で軽量なタスク実行フレームワーク」、IEEE/ACM SC、2007
- ^ Y. Zhao、M. Hategan、B. Clifford、I. Foster、G. Laszewski、I. Raicu、T. Stef-Praun、M. Wilde。「Swift: 高速で信頼性の高い、疎結合の並列計算」、IEEE SWF、2007
- ^ M. Wilde、M. Hategan、JM Wozniak、B. Clifford、DS Katz、I. Foster。「Swift: 分散並列スクリプト言語」Parallel Computing、37:633–652、2011年。
