Loading article…
Tesla Dojoは、コンピュータービジョンによるビデオ処理と認識のためにテスラが設計・構築したスーパーコンピュータです。[1]これは、テスラの機械学習モデル のトレーニングに使用され、完全自動運転（FSD）の先進運転支援システムを改善します。テスラによると、2023年7月に生産が開始されました。[2]
Dojoの目標は、テスラの400万台以上の車の実際の運転状況からキャプチャされた数百万テラバイトのビデオデータを効率的に処理することです。 [3]この目標は、従来のスーパーコンピュータの設計とはかなり異なるアーキテクチャにつながりました。[4] [5]
歴史
テスラは、先進運転支援システム「オートパイロット」の開発のため、複数の超並列コンピューティングクラスターを運用している。5,760基のNvidia A100グラフィック処理装置（GPU）を使用するその主要な無名のクラスターは、2021年の第4回国際コンピュータビジョンおよびパターン認識合同会議（CCVPR 2021）で、同様のコンポーネントを使用するNvidia Seleneスーパーコンピューターの性能をスケーリングした結果、約81.6ペタフロップスで「世界でおよそ5番目のスーパーコンピューター」[6]であるとAndrej Karpathy氏によって宣伝された。[7]ただし、主要なテスラGPUクラスターの性能は、単精度浮動小数点数（FP32）または倍精度浮動小数点数（ FP64）を使用して測定されたかどうかが明確でなかったため、議論の的となっている。 [8]テスラは、トレーニング用に2つ目の4,032 GPUクラスター、オブジェクトの自動ラベル付け用に3つ目の1,752 GPUクラスターも運用している。[9] [10]
名前が付けられていない主要なテスラGPUクラスターは、現実世界のテスラ車内で稼働しているテスラオートパイロットカメラから毎秒36フレームで撮影された、それぞれ10秒間のビデオクリップ100万本の処理に使用されてきた。これらのビデオクリップには合計で60億のオブジェクトラベルと深度および速度データが含まれており、データセットの合計サイズは1.5 ペタバイトであった。このデータセットは、テスラ車のオートパイロットコンピューターが道路を理解できるようにするためのニューラルネットワークのトレーニングに使用された。 [6] 2022年8月までに、テスラは主要なGPUクラスターを7,360 GPUにアップグレードした。[11]
Dojoは、2019年4月にテスラの「Autonomy Investor Day」でマスク氏によって初めて言及されました。[12] 2020年8月、[6] [13]マスク氏は、電力と熱の問題により「約1年先」になると述べました。[14]
[Dojo] の明確な目標はスケーラビリティです。コヒーレンシ、仮想メモリ、グローバル ルックアップ ディレクトリなど、一般的な CPU に見られるいくつかのメカニズムは、スケーラビリティがあまり高くないため、あまり重視していません。代わりに、メッシュ全体にわたって非常に高速で分散化された SRAM [静的ランダム アクセス メモリ] ストレージに依存しています。これは、一般的な分散システムよりも桁違いに高速な相互接続速度によって支えられています。
— エミル・タルペス、テスラハードウェアエンジニア、2022年The Next Platform記事[5]
Dojoは、2021年8月19日のテスラの人工知能（AI）デーで正式に発表されました。 [15]テスラは、D1チップの詳細と、3,000個のD1チップを収容するデータセンターである「Project Dojo」の計画を明らかにしました。[16]最初の「トレーニングタイル」は、その前の週に完成し、納品されていました。[9] 2021年10月、テスラは、電気電子技術者協会（IEEE）標準754の拡張として、 Configurable Float8（CFloat8）およびConfigurable Float16（CFloat16）浮動小数点形式と算術演算を説明する「Dojoテクノロジー」ホワイトペーパーをリリースしました。[17]
2022年9月に開催されたAIデーで、テスラは複数のシステムトレイと1つのキャビネットを製造したと発表した。テスト中、同社はプロジェクト・ドージョーが カリフォルニア州サンノゼの変電所をトリップさせる前に2.3メガワット（MW）の電力を消費したと述べた。 [18]当時、テスラは1日に1つのトレーニングタイルを組み立てていた。[10]
2023年8月、テスラはDojoを本番環境での使用向けに稼働させ、さらに10,000個のNvidia H100 GPUで構成された新しいトレーニングクラスターも稼働させた。[19]
2024年1月、マスク氏はDojoについて「見返りが非常に大きい可能性があるので、挑戦する価値のあるロングショットだ。しかし、確率が高いわけではない」と述べた。[20]
2024年6月、マスク氏は、テキサスのギガファクトリーで現在行われている建設工事はコンピューティングクラスターのためのものであり、「テスラAI」とNvidiaやその他のハードウェアを均等に組み合わせ、総熱設計電力が当初130MW、最終的には500MWを超える予定であると主張した。 [21]
受付
さまざまなアナリストは、Dojoは「素晴らしいが、スーパーコンピューティングを変革することはない」、「完全に自社開発されているため、ゲームチェンジャーである」、「自動運転車の開発を大幅に加速する」、「テスラFSDの将来、そしてより広い意味でのAIにとってゲームチェンジャーとなる可能性がある」と述べている。[1]
2023年9月11日、 モルガン・スタンレーはテスラ株（ TSLA ）の目標株価をこれまでの250ドルから400ドルに引き上げ、テスラのスーパーコンピューター「Dojo」がテスラの時価総額を5,000億ドル押し上げる可能性があるとして、同株を電気自動車セクターのトップピックと呼んだ。[24]
技術アーキテクチャ
Dojoスーパーコンピュータの基本ユニットはD1チップであり、[25]元AMD CPU設計者のガネーシュ・ベンカタラマナンが率いるテスラのチームによって設計され、エミル・タルペス、デブジット・ダス・サルマ、ダグラス・ウィリアムズ、ビル・チャン、ラジブ・クリアンが参加した。[5]
D1チップは、7ナノメートル（nm）の半導体ノードを使用して台湾セミコンダクター・マニュファクチャリング・カンパニー（TSMC）によって製造され、500億個のトランジスタと645 mm 2 （1.0平方インチ）の大きなダイサイズを備えています。[26] [27]
2022年の人工知能（AI）デーで、テスラはDojoが複数のExaPODを展開することで拡張されることを発表しました。[23]
- ExaPODあたり 10 キャビネット(1,062,000 コア、3,000 D1 チップ)
- キャビネットあたり 2 つのシステム トレイ(106,200 コア、300 D1 チップ)
- システム トレイあたり 6 つのトレーニング タイル(53,100 コア、ホスト インターフェイス ハードウェアを含む)
- トレーニング タイルあたり 25 個の D1 チップ(8,850 コア)
- D1チップあたり354個のコンピューティングコア
テスラのオートパイロットハードウェア担当シニアディレクターのベンカタラマナン氏によると、Dojoの計算能力は1エクサフロップス（100万テラフロップス）を超えるとのことだ。 [28]比較のために、Nvidiaによると、2021年8月時点で、（Dojo導入前の）テスラAIトレーニングセンターでは720のノードが使用されており、各ノードには8つのNvidia A100 Tensor Core GPUが搭載され、合計5,760のGPUが使用され、最大1.8エクサフロップスのパフォーマンスを実現していた。[29]
D1チップ
D1 プロセッシング チップの各ノード (コンピューティング コア) は、スーパースカラーコアを備えた汎用64 ビットCPUです。内部命令レベルの並列処理をサポートし、同時マルチスレッド(SMT) を備えています。仮想メモリはサポートされておらず、限られたメモリ保護メカニズムを使用しています。Dojo ソフトウェア/アプリケーションがチップ リソースを管理します。
D1命令セットは、64ビットスカラーと64バイトのSIMD（単一命令複数データ）ベクトル命令の両方をサポートしています。 [30]整数ユニットは、縮小命令セットコンピュータ（RISC-V）とカスタム命令を混合し、8、16、32、または64ビットの整数をサポートします。カスタムベクトル数学ユニットは、機械学習カーネル用に最適化されており、精度と数値範囲が混在する複数のデータ形式をサポートしており、その多くはコンパイラで構成可能です。[5]最大16のベクトル形式を同時に使用できます。[5]
ノード
各 D1 ノードは、最大 8 つの命令を保持する 32 バイトのフェッチ ウィンドウを使用します。これらの命令は、1 サイクルあたり 2 つのスレッドをサポートする 8 幅のデコーダーに送られ、その後、スレッドごとに 2 つの整数ユニット、2 つのアドレス ユニット、および 1 つのレジスタ ファイルを持つ 4 幅の 4 ウェイ SMT スカラー スケジューラに送られます。ベクトル命令は、パイプラインのさらに下方にある 2 ウェイ SMT を備えた専用ベクトル スケジューラに渡され、64 バイトの SIMD ユニットまたは 4 つの 8×8×4 行列乗算ユニットのいずれかに送られます。[30]
ネットワークオンチップ（NOC）ルータは、コアを2次元メッシュネットワークにリンクします。各隣接ノードとの間で4方向に1パケットずつ送受信でき、クロックサイクルごとにローカルSRAMに64バイトの読み取りと書き込みを1回ずつ実行できます。[30]
ハードウェア ネイティブ操作により、データ、セマフォ、バリア制約がメモリと CPU 間で転送されます。システム全体のダブル データ レート 4 (DDR4)同期ダイナミック ランダム アクセス メモリ(SDRAM) メモリは、バルク ストレージのように機能します。
メモリ
各コアには 1.25 メガバイト(MB) の SRAM メイン メモリが搭載されています。ロード速度とストア速度はそれぞれ 400 ギガバイト(GB)/秒と 270 GB/秒に達します。チップには明示的なコア間データ転送命令があります。各 SRAM には、一対のデコーダーにデータを供給する独自のリスト パーサーと、ベクトル レジスタ ファイルにデータを供給する収集エンジンが搭載されており、これらを組み合わせることでノード間で直接情報を転送できます。[5]
死ぬ
12個のノード（コア）がローカルブロックにグループ化されています。ノードは1つのダイ上に18×20のアレイに配置され、そのうち354個のコアがアプリケーションに使用できます。[5]ダイは2 ギガヘルツ（GHz）で動作し、合計440 MBのSRAM（360コア×1.25 MB/コア）を備えています。[5] 16ビットブレイン浮動小数点（BF16）数またはTesla提案である構成可能な8ビット浮動小数点（CFloat8）数を使用すると376テラフロップスに達し、FP32では22テラフロップスに達します。 [17]
各ダイは、他のダイとリンクするために周囲に沿って576の双方向シリアライザ/デシリアライザ（SerDes ）チャネルで構成され、4つのダイエッジ全体で毎秒8TBの速度でデータを転送します。 [5]各D1チップの熱設計電力は約400ワットです。[31]
トレーニングタイル
水冷式トレーニング タイルは、25 個の D1 チップを 5×5 アレイにパッケージ化しています。[5]各タイルは、40 個の入出力(I/O) チップを介して 36 TB/秒の総帯域幅をサポートします。これは、チップ メッシュ ネットワークの帯域幅の半分です。各タイルは、10 TB/秒のオンタイル帯域幅をサポートします。各タイルには 11 GB の SRAM メモリ (25 個の D1 チップ × 360 コア/D1 × 1.25 MB/コア) があります。各タイルは、BF16/CFloat8 精度で 9 ペタフロップスを実現します (25 個の D1 チップ × 376 TFLOP/D1)。各タイルの消費電力は 15 キロワットです。[5] 52 ボルトで288 アンペアです。[31]
システムトレイ
6つのタイルがシステムトレイに集約され、ホストインターフェースと統合されています。各ホストインターフェースには512個のx86コアが含まれており、Linuxベースのユーザー環境を提供します。[18]以前は、Dojoシステムトレイはトレーニングマトリックスと呼ばれていました。これには、6つのトレーニングタイル、4台のホストサーバーにわたる20個のDojoインターフェースプロセッサカード、およびイーサネットリンクされた補助サーバーが含まれています。53,100個のD1コアがあります。
Dojo インターフェース プロセッサ
Dojo インターフェイス プロセッサ カード (DIP) はタイル アレイの端に配置され、メッシュ ネットワークに接続されます。ホスト システムは DIP に電力を供給し、さまざまなシステム管理機能を実行します。DIP メモリと I/O コプロセッサは、32 GB の共有 HBM ( HBM2eまたはHBM3 ) と、メッシュ ネットワークを回避するイーサネット インターフェイスを保持します。各 DIP カードには、合計 32 GB の 4 つのメモリ バンクを備えた 2 つの I/O プロセッサがあり、帯域幅は 800 GB/秒です。
DIP は、カードあたり 32 GB/秒の帯域幅を提供するPCI-Express 4.0 x16 スロットに差し込みます。タイル エッジあたり 5 枚のカードにより、ホスト サーバーに 160 GB/秒、タイルに 4.5 TB/秒の帯域幅が提供されます。
テスラトランスポートプロトコル
Tesla トランスポート プロトコル (TTP) は、PCI-Express 上の独自の相互接続です。50 GB/秒の TTP プロトコル リンクは、イーサネット上で実行され、単一の 400 Gb/秒ポートまたは 200 Gb/秒ポートのペア セットのいずれかにアクセスします。2 次元メッシュ ネットワーク全体を横断するには 30 ホップかかる場合がありますが、イーサネット上の TTP では 4 ホップしかかからず (帯域幅が低い場合)、垂直レイテンシが短縮されます。
キャビネットとExaPOD
Dojo は、タイルをキャビネット内で垂直に積み重ねて、タイル間の距離と通信時間を最小限に抑えます。Dojo ExaPod システムには 120 個のタイルが含まれており、合計 1,062,000 個の使用可能なコアがあり、BF16 および CFloat8 形式で 1 エクサフロップスに達します。1.3 TB のオンタイル SRAM メモリと 13 TB のデュアル インライン 高帯域幅メモリ(HBM) を備えています。
ソフトウェア
DojoはPyTorchフレームワークをサポートしています。「CやC++ほど低レベルではなく、CUDAのようなものでもありません。」[5] SRAMは単一のアドレス空間として表示されます。[5]
FP32はAIタスクに必要な精度と範囲を超えており、FP16では不十分であるため、Teslaは8ビットと16ビットの設定可能な浮動小数点形式（それぞれCFloat8とCFloat16）を考案しました。これにより、コンパイラーは仮数部と指数部の精度を動的に設定でき、より高速なベクトル処理とストレージ要件の削減と引き換えに、より低い精度を受け入れることができます。[5] [17]
参考文献
- ^ ab Bleakley, Daniel (2023-06-22). 「Tesla、来月FSDトレーニング用スーパーコンピューター「Dojo」の構築を開始」The Driven . 2023-06-30閲覧。
- ^ 「テスラ株が急騰、アナリストはDojoによる6000億ドルの価値上昇を予測」ロイター2023年9月11日2023年9月11日閲覧。
- ^ ディケンズ、スティーブン（2023年9月11日）。「テスラのDojoスーパーコンピューター：スーパーコンピューティングのパラダイムシフト？」フォーブス。 2023年9月12日閲覧。
- ^ ab Vigliarolo, Brandon (2021年8月25日). 「TeslaのDojoは素晴らしいが、スーパーコンピューティングを変革することはない」. TechRepublic . 2021年8月25日閲覧。
- ^ abcdefghijklmn Morgan, Timothy Prickett (2022年8月23日). 「Teslaの革新的で自家製の「Dojo」AIスーパーコンピューターの内部」. The Next Platform . 2023年4月12日閲覧。
- ^ abc Peckham, Oliver (2021年6月22日). 「『Dojo』に先駆けて、Teslaが大規模な先駆的スーパーコンピューターを公開」HPCwire。
- ^ Swinhoe, Dan (2021年6月23日). 「Tesla details pre-Dojo supercomputer, could be up to 80 petaflats」. Data Center Dynamics . 2023年4月14日閲覧。
- ^ Raden, Neil (2021年9月28日). 「TeslaのDojoスーパーコンピューター - 誇大広告から事実を選別する」. diginomica . 2023年4月14日閲覧。
- ^ ab Swinhoe, Dan (2021年8月20日). 「TeslaがDojoスーパーコンピューターの詳細を発表、Dojo D1チップとトレーニングタイルモジュールを公開」。データセンターダイナミクス。 2023年4月14日閲覧。
- ^ ab 「TeslaがDojoスーパーコンピューターキャビネットの設置を開始、地元の変電所が故障」。データセンターダイナミクス。2022年10月3日。 2023年4月14日閲覧。
- ^ Trader, Tiffany (2022年8月16日). 「TeslaがGPU搭載AIスーパーを強化 — 次はDojoか?」HPCwire . 2023年4月14日閲覧。
- ^ ブラウン、マイク（2020年8月19日）。「テスラ道場：イーロン・マスクが完全自動運転は「飛躍的進歩」を迎えると述べる理由」。Inverse 。 2021年2月25日時点のオリジナルよりアーカイブ。 2021年9月5日閲覧。
- ^ イーロン・マスク [@elonmusk] (2020年8月14日)。「テスラは、膨大な量のビデオデータを処理するために、Dojoと呼ばれるNNトレーニングコンピューターを開発しています。これはすごいです！興味があれば、ぜひ当社のAIまたはコンピューター/チップチームへの参加を検討してください」（ツイート）– Twitter経由。
- ^ イーロン・マスク [@elonmusk] (2020年8月19日)。「Dojo V1.0はまだ完成していません。約1年かかります。チップだけではありません。電力と冷却の問題も難しいです」(ツイート) – Twitter経由。
- ^ Jin, Hyunjoo (2021年8月20日). 「マスク氏、テスラは来年ヒューマノイドロボットのプロトタイプを発売する可能性が高いと語る」ロイター. 2021年8月20日閲覧。
- ^ モリス、ジェームズ（2021年8月20日）。「イーロン・マスクは、ヒューマノイドロボットで私たちが知っている雇用を終わらせることを目指しています」。フォーブス。 2023年4月13日閲覧。
- ^ abc 「Tesla Dojo Technology: Teslaの設定可能な浮動小数点形式と算術のガイド」(PDF)。Tesla, Inc. 2021年10月12日時点のオリジナル(PDF)からアーカイブ。
- ^ ab ランバート、フレッド（2022年10月1日）。「テスラ、非常に強力で電力網をトリップさせるほどの新しいDojoスーパーコンピューターを発表」Electrek 。2023年4月13日閲覧。
- ^ Mann, Tobias (2023年8月30日). 「Teslaは10K Nvidia H100 GPUクラスターでDojoへの賭けをヘッジする」www.theregister.com . 2024年3月27日閲覧。
- ^ Kolodny, Lora (2024-03-21). 「テスラがライバルのスーパーコンピューターの構築を目指している一方で、イーロン・マスクの企業はNvidiaのハードウェアを大量に購入している」CNBC 。 2024年3月22日閲覧。
- ^ @elonmusk (2024年6月20日)。「今年の電力と冷却は約130MWの規模になるが、今後18か月ほどで500MW以上に増加する。Tesla AIハードウェアを半分ずつ、Nvidia/その他を半分ずつにすることを目標にしている。勝つためにプレイするか、まったくプレイしないかだ」(ツイート) – Twitter経由。
- ^ Shetty、Kamalesh Mohanarangam、Amrita (2022-09-02)。「TeslaのDojoスーパーコンピューター：完全自律走行車の探求におけるゲームチェンジャー」。Frost ＆Sullivan 。 2023年6月30日閲覧。
{{cite web}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ ab モリス、ジェームズ (2022年10月6日). 「AIデーでのテスラの最大のニュースは、オプティマスロボットではなく、Dojoスーパーコンピューターだった」 .フォーブス. 2023年4月13日閲覧。
- ^ Thorbecke, Catherine (2023-09-11). 「モルガン・スタンレーがDojoスーパーコンピューターの市場価値が5000億ドル増加すると予測したことを受け、テスラ株が急騰 | CNN Business」CNN 。 2023年9月12日閲覧。
- ^ Bellan, Rebecca; Alamalhodaei, Aria (2021年8月20日). 「イーロン・マスクのテスラAIデーのトップ4のハイライト」. techcrunch.com . Techcrunch . 2021年8月20日閲覧。
- ^ Kostovic, Aleksandar (2021-08-20). 「Tesla が人工知能トレーニングを制覇するために設計された D1 Dojo チップに 500 億個のトランジスタを搭載」Tom's Hardware 。 2023-06-30閲覧。
- ^ Moore, Samuel K. (2024-04-30). 「ウェーハスケールコンピューターの波が到来 TSMC の技術により、現在は 1 つのバージョン、2027 年にはより高度なバージョンが実現可能」IEEE Spectrum . 2024-06-23閲覧。
- ^ Novet、ジョーダン（2021年8月20日）。「テスラ、データセンター内でAIモデルをトレーニングするためのチップを発表」cnbc.com。CNBC。2021年8月20日閲覧。
- ^ Shahan, Zachary (2021年8月19日). 「NVIDIA: TeslaのAIトレーニング用スーパーコンピューターはNVIDIAのGPUで稼働」CleanTechnica . 2021年8月19日時点のオリジナルよりアーカイブ。
- ^ abc タルペス、エミール;サルマ、デブジット・ダス。ウィリアムズ、ダグ。アローラ、サヒル。クンジャン、トーマス。フローリング、ベンジャミン。ジャロット、アンキット。ション、クリストファー。プールナ、チャンドラセカール。サマント、ヴァイデヒ。シシリア、ジョン。ニヴァルティ、アナンサ・クマール。ラマチャンドラン、ラグヴィル。フィッシャー、ティム。ベン・ハーツバーグ（2023-05-15）。 「テスラのエクサスケールコンピュータ、DOJOのマイクロアーキテクチャ」。IEEEマイクロ. 43 (3): 31-39。土井：10.1109/MM.2023.3258906。ISSN 0272-1732。
- ^ ab ハミルトン、ジェームズ（2021年8月）。「Tesla Project Dojoの概要」。展望。
外部リンク
ウィキメディア・コモンズの Tesla Dojo に関連するメディア- ケネディ、パトリック（2022年8月23日）。「Tesla Dojo AI Tile マイクロアーキテクチャ」。Serve The Home。
- ケネディ、パトリック（2022年8月23日）。「HC34のTesla DojoカスタムAIスーパーコンピューター」。Serve The Home。