ディープスピード

DeepSpeed'は、 PyTorchを使用した深層学習モデルの分散トレーニングと推論のためのオープンソースの最適化ライブラリです。^{[ 1 ]}

このライブラリは、計算能力とメモリ使用量を削減し、既存のコンピュータハードウェア上で並列処理を向上させて大規模な分散モデルをトレーニングするように設計されています。^{[ 2 ] [ 3 ]} DeepSpeed は、低遅延、高スループットのトレーニングに最適化されています。1 兆個以上のパラメータを持つモデルをトレーニングするための Zero Redundancy Optimizer (ZeRO) が含まれています。^{[ 4 ]}機能には、混合精度トレーニング、シングル GPU、マルチ GPU、マルチノードトレーニング、カスタムモデル並列処理などがあります。DeepSpeed のソースコードはApache License の下でライセンスされており、 GitHubで入手できます。^{[ 5 ]}

同チームは、スループットが最大6.2倍向上し、収束速度が2.8倍速くなり、通信量が4.6分の1に減少したと主張した。^{[ 6 ]}

• ディープラーニングソフトウェアの比較
• ディープラーニング
• 機械学習
• テンソルフロー

• ラジバンダリ、サムヤム。ラズリー、ジェフ。ルワセ、オラトゥンジ。彼、玉雄（2019）。 「ZeRO: 1 兆のパラメータ モデルのトレーニングに向けたメモリの最適化」。arXiv : 1910.02054 [ cs.LG ]。

• 大規模AI - マイクロソフトリサーチ
• GitHub - microsoft/DeepSpeed
• ZeROとDeepSpeed：新たなシステム最適化により、1000億を超えるパラメータを持つモデルのトレーニングが可能に - マイクロソフトリサーチ