Dask (ソフトウェア)

ダスク

原作者	マシュー・ロックリン
開発者	ダスク
初回リリース	2015年1月8日; 9年前 (2015-01-08)
安定版リリース	2024.2.1 / 2024年2月23日; 9か月前 ( 2024-02-23 )
リポジトリ	Dask リポジトリ
書かれた	パイソン
オペレーティング·システム	Linux、Microsoft Windows、macOS
利用可能	パイソン
タイプ	データ分析
ライセンス	新しいBSD
Webサイト	ダスク

Daskは並列コンピューティング用のオープンソースの Pythonライブラリです。Dask ^[1]は、マルチコアのローカルマシンからクラウド内の大規模な分散クラスターまでPythonコードを拡張します。Daskは、 Pandas、scikit-learn、NumPyなど、PyDataエコシステム内の他のライブラリのAPIをミラーリングすることで、使い慣れたユーザーインターフェイスを提供します。また、プログラマがカスタムアルゴリズムを並列に実行するのに役立つ低レベルAPIも公開しています。

Daskは2014年12月にMatthew Rocklin ^[2]によって作成され^{[3] 、} GitHubで9.8k以上のスターと500人以上の貢献者を擁しています。^[4]

Daskは小売、金融、政府機関、生命科学および地球物理学の研究所で使用されています。Walmart 、^[5] Wayfair、^[6] JDA、^[7] GrubHub、^[8] General Motors、 [9 ^] Nvidia、 [ 10 ^] Harvard Medical School、^[7] Capital One ^[11]、NASA ^[12]などがDaskを使用している組織です。

ダスクには2つの部分がある: ^[13]

• ビッグデータコレクション（高レベルと低レベル）
• 動的なタスクスケジューリング

Daskの高レベル並列コレクションであるDataFrames ^[14] 、 Bags ^[15]、Arrays ^[16]は、メモリに収まらない可能性のあるデータセットに対して並列に動作します。

Daskのタスクスケジューラ^[10]はタスクグラフを並列に実行します。これは1000ノードのクラスタに拡張できます。これにより、高レベルのコレクションだけでなく、低レベルのコレクションを使用したカスタムのユーザー定義ワークロードも強化されます。

Daskは、高レベルコレクションと低レベルコレクションと呼ばれる いくつかのユーザーインターフェース^{[17]をサポートしています。}

• Dask Array: 並列NumPy配列
• Dask Bag: 並列Pythonリスト
• Dask DataFrame: 並列Pandas DataFrame
• 機械学習: ^[18]並列scikit-learn
• Xarrayのような外部プロジェクトからのその他のもの^[19]

• 遅延: ^[20]並列関数評価
• 将来: ^[21]リアルタイム並列関数評価

内部的には、これらの各ユーザー インターフェイスは同じ並列コンピューティング マシンを採用しています。

Dask の高レベル コレクションは、pandas、NumPy、または scikit-learn のワークロードのスケールアップに関心のあるユーザーにとって自然なエントリ ポイントです。Dask の DataFrame、Array、および Dask-ML は、それぞれ Pandas DataFrame、Numpy Array、および scikit-learn の代替であり、元のインターフェイスとは若干異なります。

Dask Array ^[16]は、配列ベースのワークロードを並列化し、スライス、算術、縮小、数学などの使い慣れたNumPy APIを維持する高レベルのコレクションであり、Numpyユーザーが配列操作を簡単にスケールアップできるようにします。

Dask 配列は、多数の小さな n 次元 Numpy 配列で構成され、ブロック アルゴリズムを使用してメモリより大きい配列での計算を可能にします。操作中、Dask は配列操作をタスク グラフに変換し、大きな Numpy 配列を複数の小さなチャンクに分割し、各チャンクの作業を並列に実行します。各チャンクの結果が結合されて、最終的な出力が生成されます。

Dask DataFrame ^[14]は、DataFrameベースのワークロードを並列化する高レベルのコレクションです。Dask DataFrameは、インデックスに沿って分割された多数の小さなPandas DataFrameで構成されています。使い慣れたPandas APIが維持されているため、PandasユーザーはDataFrameワークロードを簡単にスケールアップできます。DataFrame操作中、Daskはタスクグラフを作成し、メモリフットプリントを削減し、中間結果の共有と削除を通じて並列性を高める方法で、構成要素であるDataFrameに対する操作をトリガーします。

Dask Bag ^[15]は、セットとリストのハイブリッドである、順序付けられていない繰り返しオブジェクトのコレクションです。Dask Bagは、JSONレコード、テキストデータ、ログファイル、またはfilter、fold、map、groupbyなどの操作を使用して、ユーザー定義のPythonオブジェクトなどの半構造化または非構造化データの計算を並列化するために使用されます。Dask Bagは、既存のPython反復可能オブジェクトから作成することも、Avro形式のテキストファイルやバイナリファイルから直接データを読み込むこともできます。

Dask の低レベル インターフェースでは、さらにカスタマイズが可能です。これは、Dask DataFrame、Bag、または配列の範囲外のデータに適しています。Dask には、次の低レベル コレクションがあります。

• 遅延: 並列関数評価
• 未来: リアルタイム並列関数評価

Dask delayed ^[20]は、Dask ArrayやDask DataFrameのような高レベルコレクションに適合しない汎用Pythonコードを並列化するために使用されるインターフェースです。Dask delayedで装飾されたPython関数は、実行を延期し、関数とその引数を使用してタスクグラフを生成することにより、遅延評価戦略を採用しています。Python関数は、.computeが呼び出されたときにのみ実行されます。Dask delayedは、関数dask.delayedとして、またはデコレータ@dask.delayedとして使用できます。

Dask Futures ^[21]は、Dask delayedの即時（非遅延）代替手段であり、呼び出し可能オブジェクトの非同期実行のための高レベルインターフェースを提供するPythonのconcurrent.futuresインターフェースを拡張するリアルタイムタスクフレームワークを提供します。

高レベルと低レベルのインターフェースを組み合わせることは一般的です。たとえば、ユーザーは Dask array/bag/dataframe を実行してデータを読み込んで前処理し、次に Dask delayed に切り替えてドメイン固有のカスタム アルゴリズムを実行し、最後に Dask array/dataframe に戻ってクリーンアップして結果を保存することができます。

Daskの高レベルおよび低レベルのコレクションは、タスクの有向非巡回グラフ^[22]を作成します。これは、計算タスク間の関係を表します。タスクグラフ内のノードは、計算単位を実行するPython関数を表し、エッジは上流タスクと下流タスク間のデータ依存関係を表します。タスクグラフが生成されると、タスクスケジューラは、指定されたタスクグラフに基づいて、並列性を向上させ、データ依存関係を尊重する方法でタスクをワーカーに割り当てることで、ワークフローを管理します。

Dask は、単一マシン スケジューラと分散スケジューラ の 2 つのスケジューラ ファミリを提供します。

単一マシン スケジューラは、ローカル プロセスまたはスレッド プールに基本機能を提供するデフォルトのスケジューラであり、単一マシンで使用することを目的としています。使い方はシンプルで安価ですが、拡張性はありません。

ローカルスレッド

スレッド スケジューラは、Python の parallel.futures.ThreadPoolExecuter を利用して計算を実行します。メモリ使用量が少なく、セットアップも必要ありません。すべての計算が同じプロセスで行われるため、スレッド スケジューラではタスクのオーバーヘッドが最小限に抑えられ、タスク間のデータ転送によるコストも発生しません。Python のグローバル インタープリタ ロックにより、ローカル スレッドは、主に非 Python コードの計算の場合にのみ並列処理を提供します。これは、Pandas DataFrame、Numpy 配列、またはその他の Python/ C / C++ベースのプロジェクトの場合です。

ローカルプロセス

マルチプロセス スケジューラは、Python の parallel.futures.ProcessPoolExecutor を利用して計算を実行します。タスクとその依存関係はメイン プロセスからローカル プロセスに転送され、実行され、結果がメイン プロセスに転送されます。これにより、Python の Global Interpretable Lock の問題を回避でき、主に Python コードによる計算タスクの並列処理が可能になります。ただし、メイン プロセスとローカル プロセス間でデータを転送すると、特に転送されるデータのサイズが大きい場合にパフォーマンスが低下します。

シングルスレッド

シングル スレッド スケジューラは並列処理なしで計算を実行します。デバッグの目的で使用されます。

Daskの分散スケジューラ^[23]は、ローカルマシン上にセットアップすることも、クラスター上にスケールアウトすることもできます。Daskは、Hadoop YARN、Kubernetes、または高性能コンピューティング（HPC）クラスター用の PBS、 Slurm 、SGD、LSFなどのリソースマネージャーと連携できます。

Dask-ML は、scikit-learn の適合、変換、予測の推定 API と互換性があり、scikit-learn 互換ラッパーを通じて、 XGBoost、LightGBM、PyTorch、Keras、TensorFlowなどの機械学習およびディープラーニング フレームワークと適切に統合されています。

選択されたscikit-learn推定器とユーティリティは、Joblibライブラリを使用して複数のCPUコアでジョブを実行することにより並列化できます^[24]。プロセスの数はn_jobsパラメータによって決まります。デフォルトでは、Joblibライブラリはマルチプロセスバックエンドとしてlokyを使用します。Daskは、計算制約のあるワークロードのために、Joblibでサポートされているscikit-learnアルゴリズムをマシンのクラスターに拡張するのに役立つ代替のJoblibバックエンドを提供します。

メモリに制約のあるワークロードの場合、Daskは、scikit-learn内で並列化されていないタスクを並列化およびスケールアウトするための並列メタ推定器^[25]や、ハイパーパラメータ検索と並列推定器をスケーリングするための増分ハイパーパラメータ最適化^{[26]などの代替手段を提供します。 [27]}

XGBoost ^[28]とLightGBM ^[29]は、勾配ブースティングに基づく人気のアルゴリズムで、どちらも分散学習のためにDaskと統合されています。DaskはXGBoostやLightGBMを動かすのではなく、必要なクラスター、スケジューラ、ワーカーの設定を容易にし、データを機械学習フレームワークに渡して分散トレーニングを実行します。

Daskを使用したXGBoostモデルのトレーニング^[30]では、 Daskクラスターは中央スケジューラと複数の分散ワーカーで構成されており、Dask中央スケジューラを実行しているのと同じプロセスでXGBoostスケジューラを起動し、Daskワーカーを実行しているのと同じプロセスでXGBoostワーカーを起動することで実現します。その後、DaskワーカーはPandas DataFrameをローカルのXGBoostワーカーに渡して分散トレーニングを行います。

Skorch ^[31]はPyTorch用のscikit-learn互換ラッパーであり、これによりDask-MLをPyTorchと一緒に使用できるようになります。

SciKeras ^[32]はKerasモデル用のscikit-learn互換ラッパーであり、これによりDask-MLをKerasで使用できるようになります。

小売での使用例としては、次のようなものがあります。

• ウォルマートは、 5億の店舗商品の組み合わせの需要を予測するためにDaskを使用しています。需要の高い商品をすべての店舗で十分な量提供するために、大規模な計算を実行しています。DaskがサポートするRAPIDSとXGBoostを使用することで、100倍の加速を達成しました。^[10]
• Blue YonderはDaskを使用して、毎日テラバイト単位のデータを処理しています。^[33] DaskでPandasのようなコードを記述し、それを直接本番環境にプッシュすることができます。これにより、フィードバックサイクルが短くなり、無駄が少なくなります。
• Grubhubは前処理とETLのためにTensorFlowと並行してDask ^{[2] [34]}を使用しています。Daskにより、Pythonでの作業を継続しながら必要な機能を得ることができます。

Daskは、ハーバード大学医学大学院、ハワード・ヒューズ医学研究所、チャン・ザッカーバーグ・イニシアティブ、カリフォルニア大学バークレー校先端バイオイメージングセンターで高解像度の4次元細胞画像に使用されています。^[7]これらの研究は、3次元細胞の進化と動きを時間の経過とともに最大限詳細に記録します。これにより、従来の方法では分析が難しい大量のデータが生成されます。Daskは、NumPy、Pandas、scikit-learnコードに似たAPIを使用して、データ分析ワークフローの拡張を支援します。

Dask は、ノバルティス生物医学研究所でも機械学習のプロトタイプを拡張するために使用されています。

• Capital One ^[35]はETLとMLパイプラインを加速するためにDaskを使用している
• バークレイズ^[36]は金融システムモデリングにDaskを使用している

Daskは、 NASA、LANL、PANGEOなどの企業によって気候科学、エネルギー、水文学、気象学、衛星画像の分野で使用されています。 ^[37]地球科学および英国気象庁。^[38]

海洋学者は地球の海洋の膨大なシミュレーションデータセットを作成し、研究者は世界中のセンサーからの大規模な地震学データセットを調べ、衛星や気象観測所から大量の観測データを収集し、大規模なシミュレーションを実行することができます。

^{Daskは、Pangeo [39]}やxarray [ ^19]などの多くのライブラリ、 Prophet ^[40]やtsfresh ^[41 ]などの時系列ソフトウェア、scikit-learn ^[42] 、 RAPIDS ^[43]、XGBoost ^[28]などのETL/MLソフトウェア、 Apache Airflow ^[44]やPrefect ^[45]などのワークフロー管理ツールに統合されています。

Dask ^[1]はもともと、営利目的のPythonコンサルティング会社Continuum Analyticsで開発されました。同社は最終的に、多くのオープンソースパッケージとAnaconda Pythonディストリビューションの作成者であるAnaconda , Inc. ^[46]となりました。Daskは、オープンソースでの計算を高速化するためにDARPA ^[48]が資金提供したプロジェクトで あるBlaze ^{[47]プロジェクトから生まれました。}

Blaze は、もともと Anaconda の共同創設者であるTravis Oliphant 氏と Peter Wang氏が主導した、Python の計算、ストレージ、圧縮、およびデータ サイエンス API を再定義しようとする野心的なプロジェクトでした。ただし、パッケージ内のエコシステムという Blaze のアプローチは、新しいユーザーが簡単に導入することを困難にしていました。

Daskのチームは、ソフトウェアエコシステムを書き直すのではなく、適切なコンポーネントで既存のエコシステムを拡張することを意図していました。このアイデアを念頭に置いて、2014年12月21日^[3]にMatthew RocklinがDaskを作成しました。Daskの目的^{[49]は、もともと}NumPyを並列化して、当時の金融業界で一般的だった1台のワークステーションコンピューターを使用できるようにすることでした。

Daskを実際に採用した最初のプロジェクトは、Xarray ^[50]（地理科学でよく使用される）とScikit-Image ^[51]（画像処理でよく使用される）でした。Daskは作成後数か月以内にXarrayに統合されました。これにより、Daskに最初のユーザーコミュニティが生まれ、現在も続いています。

^{Pandas DataFrames [52]やscikit-learn [42]}などの機械学習ツール向けの軽量な並列処理ソリューションの需要があることを理解し、 Daskはすぐに他のプロジェクトもサポートするように進化しました。

2018年以降、NASA、英国気象庁、Blue Yonder、Nvidiaなどの学術界、ハイテク企業、大企業の他のチームや機関もDaskに興味を持ち、自社のシステムに統合し始めました。

^Daskは、米国政府（DARPA助成金）、ゴードン・アンド・ベティ・ムーア財団、アナコンダ、NSF、NASA （パンゲオなどの協力による米国の研究助成金）、Nvidiaなど、多様なソースから支援を受けています。[53]

2020年、マシュー・ロックリンはCoiled Computing, Inc. ^{[54]を設立し、Dask開発へのさらなるサポートを提供し、企業がクラウドでDaskクラスターを展開できるようにしました。2021年5月、同社は}ベッセマー・ベンチャー・パートナーズが主導するシリーズA資金調達で2,100万ドルを調達しました。^[55]

• 公式サイト