ネクストフロー

ネクストフロー

原作者	パオロ・ディ・トマソ
開発者	Seqera Labs、ゲノム制御センター
初回リリース	2013年4月9日; 11年前 (2013-04-09)
安定版リリース	v23.10.1 / 2024年1月12日; 10か月前 (2024-01-12)
プレビューリリース	v24.02.0-edge / 2024年3月9日; 9か月前 (2024-03-09)
リポジトリ	https://github.com/nextflow-io/nextflow
書かれた	Groovy、Java
オペレーティング·システム	Linux、macOS、WSL
タイプ	科学的ワークフローシステム、データフロープログラミング、ビッグデータ
ライセンス	Apache ライセンス2.0
Webサイト	次フロー

Nextflowは、主にバイオインフォマティクスデータ分析に使用される科学的ワークフローシステムです。一連の依存する計算ステップをプログラムで作成するための標準を確立し、さまざまなローカルおよびクラウドリソース上での実行を容易にします。^{[1] [2]}

多くの科学的データ分析では、かなりの量の連続した処理ステップが必要です。新しい方法を開発する場合や、特定の分析を頻繁に実行しない場合は、カスタムスクリプトで十分かもしれませんが、複雑なタスクの連続や多数のサンプルには対応できません。^{[3] [4] [5]}

Nextflowのような科学的ワークフローシステムでは、データ分析パイプラインとして分析を形式化できます。パイプラインはワークフローとも呼ばれ、計算ステップの順序と条件を指定します。これらは、さまざまなコンピューティング環境で予測可能で再現可能な動作を保証する、いわゆるワークフローエグゼキュータと呼ばれる専用プログラムによって実行されます。^{[3] [6] [7] [8]}

ワークフローシステムは、複数のサンプルへの適用、入力と中間結果の検証、ステップの条件付き実行、エラー処理、レポート生成など、ワークフロー開発の一般的な課題に対する組み込みソリューションも提供します。ワークフローシステムの高度な機能には、スケジュール機能、ワークフロー実行を監視するためのグラフィカルユーザーインターフェイス、ワークフロー全体またはそのコンポーネントをコンテナ化することによる依存関係の管理などが含まれる場合もあります。 ^{[9] [10]}

通常、科学的なワークフローシステムは、実際の分析に加えて、そのすべての機能と複雑さが構築されているため、最初は大きな学習課題を提示します。しかし、ワークフローシステムによって課される標準と抽象化は、最終的には分析ステップのトレーサビリティを向上させます。これは、科学的な環境では慣例となっているパイプライン開発のコラボレーションにおいて特に重要です。^[11]

Nextflowでは、パイプラインは計算タスクを実行するために並列に動作する個々のプロセスから構成されます。各プロセスは、入力要件と出力宣言で定義されます。プロセスは固定された順序で実行されるのではなく、すべての入力要件が満たされたときに実行を開始します。あるプロセスの出力を別のプロセスの入力として指定することで、プロセス間の論理的かつ連続的な接続が確立されます。^[12]

このリアクティブ実装はNextflowの重要な設計パターンであり、機能的データフローモデルとしても知られています。^[13]

プロセスとワークフロー全体は、Apache Groovyをベースにした Nextflow が提供するドメイン固有言語(DSL) でプログラムされます。^[14] Nextflow の DSL はワークフロー ロジックの宣言に使用されますが、開発者はプロセス内で任意のスクリプト言語を使用し、ワークフロー内で複数の言語を混在させることができます。既存のスクリプトとワークフローを Nextflow に移植することも可能です。サポートされているスクリプト言語には、bash、csh、ksh、Python、Ruby、Rなどがあります。標準の Unixシェバン宣言 ( )を使用するスクリプト言語はすべてNextflow と互換性があります。 #!/bin/bash

以下は、1 つのプロセスのみで構成されるワークフローの例です。

hello_worldの処理{入力: val greeting  
    
     

    出力:
パス"${greeting}.txt"     

    スクリプト: 
"""     echo "${greeting} World!" > ${greeting}.txt     """ }    




ワークフロー{チャネル.of ( "Hello" 、"Ciao" 、"Hola" 、" Bonjour" ) | hello_world } 
         

ワークフローでのコラボレーションを容易にするために、NextflowはGitHub、GitLabなどのソースコード管理システムとDevOpsプラットフォームをネイティブにサポートしています。^[15]

NextflowのDSLを使用すると、パイプラインコードを変更することなく、さまざまなコンピューティング環境にワークフローを展開して実行できます。Nextflowには、主要なクラウドプロバイダーを含むさまざまなプラットフォーム用の特定のエグゼキュータが付属しています。パイプライン実行には次の環境をサポートしています。^[16]

• ローカル: これは、Linux または Mac OS 上で Nextflow パイプラインが実行されるデフォルトのエグゼキュータであり、パイプラインが起動されたコンピューター上で実行されます。
• HPC ワークロード マネージャー: Nextflow は、Slurm、SGE、LSF、Moab、PBS Pro、PBS/Torque、HTCondor、NQSII、OAR などのワークロード マネージャーをサポートしています。
• Kubernetes : Nextflow は、ローカルまたはクラウドベースの Kubernetes 実装 (GKE、EKS、または AKS) で使用できます。
• クラウドバッチサービス：AWS Batch ^[17]およびAzure Batch ^[18]と互換性があります。
• その他の環境: Nextflowは、移植性のためにApache Ignite、Google Life Sciences、およびさまざまなコンテナフレームワークでも使用できます。^[19]

Nextflowでは、ソフトウェアコンテナとの緊密な統合が行われています。ワークフローや単一プロセスは、異なるコンピューティング環境での実行にコンテナを利用できるため、複雑なインストールや構成ルーチンが不要になります。^{[3] [20]}

Nextflowは、Docker、Singularity、Charliecloud、Podman、Shifterなどのコンテナフレームワークをサポートしています。これらのコンテナは、パイプラインの実行時に外部リポジトリから自動的に取得できます。さらに、Nextflow Summit 2022では、Nextflowの将来のバージョンでは、カスタマイズされたコンテナをワークフローに適切に統合するための専用のコンテナプロビジョニングサービスをサポートすることが明らかになりました。^{[21] [22]}

Nextflowはもともとスペインのゲノム規制センターで開発され、2013年7月にGitHubでオープンソースプロジェクトとしてリリースされました。^[23] 2018年10月、NextflowのプロジェクトライセンスはGPLv3からApache 2.0に変更されました。^[24]

2018年7月、Seqera Labsはゲノム規制センターからのスピンオフとして設立されました。^[20]同社はNextflowのコア開発者やメンテナーの多くを雇用しており、Nextflowに重点を置いた商用サービスとコンサルティングを提供しています。^[25]

2020年7月には、サブワークフローと追加の改善を可能にするために、 Nextflowのドメイン固有言語の大幅な拡張と改訂が導入されました。 ^[26]同年、Nextflowの月間ダウンロード数は約55,000に達しました。^[20]

nf-coreプロジェクトは、ゲノム規制センター[27]、テュービンゲンの定量生物学センター、フランシス・クリック研究所、シンガポールA*STARゲノム研究所、スウェーデン国立ゲノム基盤など、いくつかのシーケンシング施設で推奨される科学ワークフローシステム^として採用されています。 [ 20 ]これらの施設は^協力してバイオインフォマティクスパイプラインを共有、調和、キュレーションし、^{[28] [29] [30] [31]} nf-coreプロジェクトの作成につながりました。^[32]当時スウェーデン国立ゲノム基盤にいたフィル・エウェルズが主導し、 ^{[33] [34]} nf-coreは、さまざまなハードウェア、オペレーティングシステム、ソフトウェアバージョン間でのパイプラインの再現性と移植性の確保に重点を置いています。2020年7月、Nextflowとnf-coreは、オープンソースソフトウェアとしての重要性が認められ、チャン・ザッカーバーグ・イニシアチブから助成金を受けました。 ^[35] 2024年現在、nf-core組織はバイオサイエンス向けの117のNextflowパイプラインと1382以上のプロセスモジュールをホストしています。1200人以上の開発者と科学者が関与しており、バイオインフォマティクスデータ分析パイプラインの開発における最大の共同作業とコミュニティです。^[36]

Nextflow は、シーケンス データを処理し、ドメインや研究対象別にゲノム データ分析を実行するための推奨ツールです。過去 5 年間で、ゲノミクス分野のさまざまなアプリケーションや分析用に多数のパイプラインが公開されています。

注目すべきユースケースの1つは、COVID-19パンデミック時の病原体監視での役割です。^[37]生データ、変異体分析、系統指定の迅速かつ高度に自動化された処理は、新しいウイルス変異体の出現を監視し、その世界的な拡散を追跡するために不可欠でした。Nextflow対応パイプラインはこの取り組みにおいて重要な役割を果たしました。^{[38] [39] [40] [41] [42] [43] [44]}

Nextflowは非営利のプラスミドリポジトリAddgeneにとっても重要な役割を果たしており、寄託されたすべてのプラスミドの完全性を確認するために使用されています。^[45]

ゲノミクスに加えて、Nextflowは、大量の一次データに対する複雑なワークフローが求められるバイオメディカルデータ処理の他の分野でも人気を集めています。これらの分野には、薬物スクリーニング、^[46]、放射線医学における拡散磁気共鳴画像法（dMRI）^[47]、質量分析データ処理^{[48] [49] [50]、特にプロテオミクスに重点を置いた質量分析データ処理[51] [52 ] [53] [54] [55] [56] [57] [58]}などがあります。

• 公式サイト
• nf-core プロジェクト
• セケララボ

ギャラクシー スネークメイク