ペタスケールコンピューティングとは、1秒間に少なくとも1京回(10¹⁵回)の演算、または浮動小数点演算(FLOPS)を実行できる高性能コンピューティングシステムを指します。[ 1 ](注:FLOPSはスーパーコンピュータの性能の標準的な指標です。)これらのシステムはペタフロップスシステムと呼ばれることが多く、従来のスーパーコンピュータと比べて生の性能が大幅に向上しており、膨大なデータセットや複雑な計算を処理できます。
ペタスケールコンピューティングは、気候や気象モデリング、天体物理学シミュレーション、先端材料設計、リアルタイム医療画像処理などの大規模アプリケーションに一般的に応用されています。[ 1 ]
浮動小数点演算/秒(FLOPS) は、コンピュータ (スーパーコンピュータを含む) の性能を測る指標の 1 つです。FLOPS はさまざまな精度で記録できますが、標準的な測定方法 ( TOP500スーパーコンピュータ リストで使用されている) では、High Performance LINPACK (HPLinpack)ベンチマークを使用して、64 ビット (倍精度浮動小数点形式) の演算を 1 秒あたりで測定します。[ 2 ] [ 3 ]
この指標は通常、単一のコンピューティング システムを指しますが、比較のために分散コンピューティング システムを測定するためにも使用できます。標準の指標/定義には含まれていない LINPACK ベンチマークを使用した代替の精度測定方法があることに留意してください。[ 3 ] HPLinpack は、実際のアプリケーションにおけるスーパーコンピュータの有用性の良い一般的な指標ではない可能性があると認識されていますが、パフォーマンス測定の一般的な標準です。[ 4 ] [ 5 ]
ペタFLOPSの壁は、2006年に理化学研究所のMDGRAPE-3スーパーコンピュータによって初めて破られ、 [ 6 ] [ 7 ]その後、2007年9月16日に分散コンピューティングのFolding@homeプロジェクトによって破られました。[ 8 ] IBMの単一のペタスケールシステムであるRoadrunnerは、2008年に運用を開始しました。[ 9 ] IBMが構築したRoadrunnerは、1.026ペタFLOPSの持続性能を持っていました。Jaguarは、2008年後半にペタFLOPSのマイルストーンを破った次のコンピュータとなり、2009年のアップデート後に1.759ペタFLOPSの性能に達しました。[ 10 ]
2020年、富岳は世界最速のスーパーコンピュータとなり、同年6月に415ペタフロップスを達成した。その後、同年11月には最大演算性能(Rmax)442ペタフロップスを達成した。
2022年、エクサスケールコンピューティング(10 18 FLOPSの計算能力)は、 Frontierの開発により、ペタスケールコンピューティングを能力の面で上回り、2022年6月にはRmax 1.102エクサFLOPSで富岳を凌駕した。[ 11 ]
現代の人工知能(AI)システムは、モデルパラメータをトレーニングするために大量の計算能力を必要とします。OpenAIは、 GPT-4をトレーニングするために25,000個のNvidia A100 GPUを使用し、合計133セプティリオンの浮動小数点演算を行いました。[ 12 ]