国立計算科学センター

1992年のCCSの創設により、以下のような一連のIntel Paragonコンピュータが登場しました。

• Intel Paragon XP/S 5 (1992):  Intel Paragon XP/S 5 は、16 MB ノードの 8 x 8 グループと 32 MB ノードの 8 x 8 グループからなる 16 行 x 8 列の長方形メッシュに配置された 128 個の GP 計算ノードを 提供しました。また、2 行 x 2 列のメッシュに 4 個の 128 MB MP 計算ノードも利用可能でした。 さらに、128  MB MP ブートノード、4 個の 32  MB GP サービスノード、および 6 個のI/Oノードがあり、そのうち 5 個は 4.8  GB RAIDディスクに接続され、残りの 1 個は 16  GB RAID ディスクに接続されていました。これにより、合計 40  GB のシステムディスク容量が提供されました。^{[ 11 ]}
• Intel Paragon XP/S 35 (1992): Intel Paragon XP/S 35 は、16 行 x 32 列の長方形メッシュに配置された 512 個の演算プロセッサを提供しました。さらに、5 つのサービス ノードと 27 個の I/O ノードがあり、それぞれが 4.8  GB の RAID ディスクに接続されていました。これにより、合計 130  GB のシステム ディスク容量が提供されました。5 つのサービス ノードと 512 個の演算ノードはそれぞれ 32  MB のメモリを持っていました。^{[ 12 ]}
• Intel Paragon XP/S 150 (1995): ORNLに納入された当時、世界最速のコンピュータであった^{Intel Paragon} XP/S 150は、16行×64列の長方形メッシュに配置された1,024個のノードを提供しました。これらはMPノードであり、ノードごとに2つの計算プロセッサが搭載されていました。ほとんどのノードは64MBでした^が 、64個のノードは128MBでした 。さらに、5つのサービスノードと127個のI/Oノード（119個の通常のI/Oノードと4個の高性能SCSI-16 I/Oノード）があり、それぞれ4.8GBの RAIDディスクに接続されていました。これにより、合計610GB のシステムディスク容量が提供されました。^{[ 14 ]}

Eagle はORNL のコンピュータ科学・数学部門が運用する184 ノードのIBM RS/6000  SP でした。176 個の Winterhawk-II「シン」ノードがあり、それぞれに 4 つの 375 MHz Power3 -II プロセッサと 2  GB のメモリが搭載されていました。Eagle には、ファイルシステム サーバーやその他のインフラストラクチャ タスクで使用するために、それぞれ 2 つの 375  MHz Power3-II プロセッサと 2  GB のメモリを搭載した 8 つの Winterhawk-II「ワイド」ノードもありました。Eagle の計算パーティションの推定計算能力は 1 テラフロップ以上でした。^{[ 15 ]}

Falconは、CCSが運用する64ノードのCompaq AlphaServer SCで、初期評価プロジェクトの一環として取得されました。ノードあたり2GBのメモリと2TBのファイバーチャネルディスクを備えた4つの667MHz  Alpha EV67プロセッサを搭載しており、推定計算能力は342ギガフロップスでした。^{[ 16 ]}  

出典: ^{[ 17 ]} (2001–2008) ^{[ 18 ]}

Cheetahは、CCSが運用する4.5テラフロップスのIBM pSeriesシステムでした。Cheetahの計算パーティションは、それぞれ32個の1.3GHz Power4プロセッサを搭載した27個のp690ノードで構成されていました 。ログインおよびI/Oパーティションは、それぞれ4個の1.7GHz  Power4プロセッサを搭載した8個のp655ノードで構成されていました。すべてのノードは、IBMのフェデレーション・インターコネクトを介して接続されていました。

Power4のメモリ階層は、3つのレベルのキャッシュで構成されていました。第1レベルと第2レベルはPower4チップ上にあり（1つのチップに2つのプロセッサ）、レベル1の命令キャッシュは128KB  （ プロセッサあたり64KB）、データキャッシュは64KB  （ プロセッサあたり32KB）でした。レベル2のキャッシュは1.5MBで、 2つのプロセッサ間で共有されてい ました。レベル3のキャッシュは32MBで、チップ外にありました。1ノードあたり16個のチップ、つまり32個のプロセッサが搭載されていました。

Cheetahの計算ノードのほとんどは32GB のメモリを搭載していた。5つの ノードは64GB、2つのノードは128GB のメモリを搭載していた。Cheetahの一部のノードには、 一時的な作業領域として使用できる約160GBのローカルディスク容量があった。

2002年6月、Cheetahは、世界のトップスーパーコンピュータの半期ごとのリストであるTOP500によると、世界で8番目に速いコンピュータにランク付けされました。 ^{[ 19 ]}

出典: ^{[ 20 ]}

Ramは、NCCSのサポートシステムとして提供されたSGI Altixスーパーコンピュータであった。

Ramは2003年に導入され、2007年まで割り当てられたNCCSプロジェクトの前処理および後処理支援システムとして使用された。

Ramは、1.5GHzで動作するIntel Itanium2プロセッサを256個搭載し 、各プロセッサは6MB のL3キャッシュ、256KのL2キャッシュ、32KのL1キャッシュを備えていた。Ramは プロセッサあたり8GBのメモリを搭載し、合計2TB の共有メモリを実現していた。これに対し、オークリッジ国立研究所（ORNL）初のスーパーコンピュータである1985年設置のCray XMPは、SGI Altixのメモリの100万分の1しか搭載していなかった。

PhoenixはNCCSの主要システムとして提供されたCray X1Eでした^{。出典： [ 21 ]}

初代X1は2003年に設置され、その後数回のアップグレードを経て、2005年に最終構成となった。2005年10月から2008年までの間に、約1700万プロセッサ時間分の処理能力を提供した。このシステムは、気候、燃焼、高エネルギー物理学、核融合、化学、コンピュータ科学、材料科学、天体物理学など、40を超える大規模研究プロジェクトを支援した。

最終構成において、Phoenixは1,024個のマルチストリーミングベクトルプロセッサ（MSP）を搭載していた。各MSPは2MB のキャッシュと18ギガフロップスのピーク演算性能を備えていた。4つのMSPで1つのノードを構成し、8GB の共有メモリを使用していた。メモリ帯域幅は非常に高く、キャッシュ帯域幅の約半分であった。インターコネクトはメモリシステムの拡張機能として機能し、各ノードが他のノード上のメモリに高帯域幅かつ低遅延で直接アクセスできるようにしていた。

出典: ^{[ 22 ]}

Jaguarは2005年に25テラフロップスのCray XT3として始まりました。その後、7,832個の演算ノードを備えたXT4にアップグレードされました。各ノードには、2.1GHzで動作するクアッドコアAMD Opteron 1354プロセッサ 、8GB のDDR2-800メモリ（一部のノードはDDR2-667メモリを使用）、およびSeaStar2ルーターが搭載されていました。その結果、31,328個の処理コア、62TBを超える メモリ、600TBを超える ディスク容量、そして263テラフロップス（毎秒263兆回の浮動小数点演算）のピーク性能を持つシステムとなりました。

2008年、JaguarはCray XT5にアップグレードされ、持続的なペタフロップスで科学アプリケーションを実行できる最初のシステムとなった。2012年にTitanへと最終的に変貌を遂げた時点で、^{[ 23 ]} Jaguarには約30万個の処理コアが搭載され、理論上の性能ピークは3.3ペタフロップスであった。Jaguarには224,256個のx86ベースのAMD Opteronプロセッサコアが搭載され、 Cray Linux Env​​ironmentと呼ばれるLinuxのバージョンで動作していた。

2009年11月から2010年11月まで、Jaguarは世界で最も強力なコンピュータだった。

出典: ^{[ 24 ]}

Hawkは、ハイエンドな可視化に特化した64ノードのLinuxクラスタだった。

Hawkは2006年に導入され、2008年5月にLensという名の512コアシステムに置き換えられるまで、センターの主要な可視化クラスタとして使用されていました。^{[ 25 ]}

各ノードには、シングルコアのOpteronプロセッサが2基と2GB のメモリが搭載されていました。クラスタはQuadrics Elan3ネットワークで接続され、高帯域幅かつ低遅延の通信を実現していました。クラスタには、AGP8x接続のNVIDIAグラフィックスカードが2種類（5900とQuadroFX 3000G）搭載されていました。3000Gカードを搭載したノードはEVEREST PowerWallに直接接続され、PowerWall専用として確保されていました。

Ewok は、Linux を実行するIntel ベースのInfiniBandクラスタでした。このシステムは、センターのユーザー向けのエンドツーエンドのリソースとして提供されました。Jaguar スーパーコンピュータから実行されるジョブのワークフロー自動化と高度なデータ分析に使用されました。このシステムは 81 ノードで構成されていました。各ノードには、2 つの 3.4  GHz Pentium IV プロセッサ、3.4  GHz Intel Xeon 中央処理装置 (CPU)、および 6  GB のメモリが搭載されていました。追加のノードには、4 つのデュアルコア AMD プロセッサと 64  GB のメモリが搭載されていました。このシステムは、スクラッチ領域として 13 TB Lustre ファイルシステムで構成されていました 。^{[ 26 ]}

出典: ^{[ 27 ]}

ユージーンは、NCCSが運用する27テラフロップスのIBM Blue Gene/Pシステムでした。オークリッジ国立研究所（ORNL）の職員向けに年間約4500万処理時間を提供し、ORNLと主要な提携大学間の研究協力の促進に貢献しました。

システムは、各ノードあたり2,048個の850MHz  IBMクアッドコア450d PowerPCプロセッサと2GB のメモリで構成されていた。Eugeneには64個のI/Oノードがあり、投入されたジョブはそれぞれ少なくとも1つのI/Oノードを使用する必要があった。つまり、各ジョブは実行ごとに最低32個のノードを消費していたことになる。

ユージーンは2011年10月に正式に運用停止となった。しかし、同年12月13日、ユージーンのハードウェアの一部がアルゴンヌ国立研究所のアルゴンヌリーダーシップコンピューティング施設（ALCF）に寄贈された。^{[ 28 ]}

Eosは、合計47.104 TBのメモリを搭載した736ノードのCray XC30 クラスタでした。プロセッサはIntel Xeon E5-2670でした。16のI/Oサービスノードと2つの外部ログインノードを備えていました。計算ノードはブレードに編成されていました。各ブレードには4つのノードが含まれていました。各ノードには、それぞれ8つの物理コアを持つ2つのソケットがありました。IntelのHyperThreading（HT）テクノロジーにより、各物理コアは2つの論理コアとして動作し、各ノードは32コアを持っているかのように機能することができました。合計で、Eosの計算パーティションには、11,776の従来のプロセッサコア（HTテクノロジーが有効になっている場合は23,552の論理コア）が含まれていました。^{[ 29 ]}

Eosは、ツールやアプリケーションの移植、Titan上での機能実行を準備するための小規模なジョブ、ソフトウェアの生成、検証、最適化のためのスペースを提供した。^{[ 30 ]}

Titanは、理論上のピーク性能が毎秒27,000兆回の計算（27ペタフロップス）を超えるハイブリッドアーキテクチャのCray XK7システムでした。高度な16コアのAMD Opteron CPUとNVIDIA Keplerグラフィックス処理ユニット（GPU）の両方を搭載していました。この組み合わせにより、Titanは前身のスーパーコンピュータであるJaguarの10倍の速度と5倍のエネルギー効率を実現し、エネルギー消費量はわずかに増加しただけで、物理的な設置面積は同じでした。 ^{[ 31 ]}

Titanは18,688個の計算ノード、合計710TBのシステムメモリ 、およびCrayの高性能Geminiネットワークを備えていました。299,008個のCPUコアがシミュレーションをガイドし、付属のGPUが数百の計算を同時に処理しました。このシステムは、解決までの時間の短縮、モデルの複雑性の向上、シミュレーションのリアリズムの向上をもたらしました。^{[ 32 ]} 2012年11月、TitanはTOP500スーパーコンピュータリストで1位を獲得しました。^{[ 33 ]}

タイタンは7年間の運用を経て、フロンティア・スーパーコンピュータのためのスペースを確保するため、2019年8月に運用を終了した。^{[ 34 ]}

OLCF のセンター全体で使用されているLustre ファイルシステムであるSpiderは、OLCF のほとんどの計算リソースの運用作業ファイルシステムです。Spider は非常に高性能なシステムであり、20,000 を超えるクライアントを持ち、32 PB のディスク容量を提供し、1  TB/s を超える速度でデータを転送できます。Spider は、複数のメタデータ サーバー間で高可用性と負荷分散を実現し、パフォーマンスを向上させるために、Atlas1 と Atlas2 の 2 つのファイルシステムで構成されています。^{[ 35 ]}

HPSS はORNL のアーカイブ用大容量ストレージ リソースで、テープおよびディスク ストレージ コンポーネント、Linux サーバー、および高性能ストレージ システム(HPSS) ソフトウェアで構成されています。テープ ストレージはStorageTek SL8500 ロボット テープ ライブラリによって提供され、各ライブラリは最大 10,000 個のカートリッジを収納できます。^{[ 36 ]}各ライブラリには、24 台のT10K-A ドライブ、60 台の T10K-B ドライブ、36 台の T10K-C ドライブ、および 72 台の T10K-D ドライブがあります。^{[ 37 ]}

EVEREST（Exploratory Visualization Environment for Research in Science and Technology）は、データ探索と分析のための大規模な施設です。EVERESTは長さ30フィート、高さ8フィートで、最大の特徴は、総画素数3500万画素のプロジェクター27台からなるPowerWallです。プロジェクターは9×3の配列で配置され、それぞれ3500ルーメンの明るさで非常に明るい映像を提供します。

11,520×3,072ピクセルの解像度を持つこの壁面ディスプレイは、膨大な量の視覚情報を提供します。この壁面ディスプレイはコンピューティングセンターの他の部分と統合されており、大規模高性能コンピューティングと大規模データ可視化の間で、高帯域幅のデータパスを構築します。

EVERESTは14ノードのクラスタによって制御されています。各ノードには4つのデュアルコアAMD Opteronプロセッサが搭載されています。これらの14ノードには、プロジェクターに接続されたNVIDIA QuadroFX 3000Gグラフィックスカードが備わっており、非常に高いスループットのビジュアライゼーション機能を提供します。ビジュアライゼーションラボは、将来のビジュアライゼーション機能の開発のための実験施設として機能します。ラボ内には、12パネルのタイル状LCD、テストクラスタノード、インタラクションデバイス、およびビデオ機器が設置されています。

Rheaは 521 ノードの汎用 Linux クラスタです。Rhea は Titan スーパーコンピュータで生成されたシミュレーションデータの前処理と後処理を通じて、大規模な科学的発見のための経路を提供します。Rhea の最初の 512 ノードにはそれぞれ、 Intel の HT テクノロジーを備えた 8 コア 2.0 GHz Intel Xeon プロセッサが 2 基と 128  GB のメイン メモリが搭載されています。Rhea には、大容量メモリ GPU ノードが 9 基あります。これらのノードにはそれぞれ 1  TB のメイン メモリと 2 基の NVIDIA K80 GPU、および 2 基の 14 コア 2.30  GHz Intel Xeon プロセッサ (HT テクノロジー搭載) が搭載されています。Rhea は OLCF の高性能 Lustre ファイルシステム Atlas に接続されています。^{[ 38 ]}

Wombatは、従来のx86ベースのアーキテクチャではなく、64ビットARMアーキテクチャをベースとしたHPE製のシングルラック型クラスタです。このシステムは、ARMアーキテクチャの探求を目的としたコンピュータサイエンス研究プロジェクトを支援するために利用可能です。

Wombat クラスターには 16 個の計算ノードがあり、そのうち 4 個には 2 個の AMD GPU アクセラレータが接続されています (システム全体で 8 個の GPU)。各計算ノードには、2 個の 28 コア Cavium ThunderX2 プロセッサ、256  GB RAM (16 個の DDR4 DIMM)、および ノー​​ドローカルストレージ用の 480 GB SSD が搭載されています。ノードは EDR InfiniBand (~100 Gbit/s) で接続されています 。^{[ 39 ]}

IBM AC922 Summit、またはOLCF-4は、ORNLの200ペタフロップスのフラッグシップスーパーコンピュータです。Summitは2018年6月に最初に稼働を開始し、2019年11月のTOP500リストでは、High Performance Linpack (HPL) 性能が148.6ペタフロップスで世界最速のコンピュータとなっています。^{[ 40 ]} Summitはまた、エクサスケール性能に到達した最初のコンピュータでもあり、単精度および半精度浮動小数点演算の組み合わせにより、1.88エクサオプスのピークスループットを達成しています。^{[ 41 ]}

前身のTitanと同様に、SummitはNVIDIAのNVLinkを使用して9,216個のPower9 CPUと27,648個のNVIDIA Volta V100 GPUを統合するハイブリッドアーキテクチャを採用しています。 ^{[ 42 ]} Summitは4,608個のノード（Titanの18,688個のノードのほぼ4分の1）を備え、各ノードには512GB のDDR4（ Double Data Rate 4 Synchronous Dynamic Random-Access Memory）と96GB のHBM2（ High Bandwidth Memory）が搭載されており、総ストレージ容量は250ペタバイトです。^{[ 43 ]}

当初は2021年に納入され、翌年にユーザーがアクセスできるようになる予定だったFrontierは、 ORNL初の持続可能なエクサスケールシステムであり、毎秒1京（100京）回の演算を実行できることを意味します。このシステムは100台以上のCray Shastaキャビネットで構成され、ピーク性能は約1.5エクサフロップスと予想されています。^{[ 44 ] [ 45 ]}