CUDA

CUDA ( Compute Unified Device Architecture ) は、 Nvidiaが開発した独自の^{[ 3 ]}並列コンピューティングプラットフォームおよびアプリケーション プログラミング インターフェイス(API) であり、ソフトウェアが特定の種類のグラフィックス処理ユニット(GPU)を使用して汎用処理を高速化し、人工知能、科学計算、および高性能コンピューティングにおけるその有用性を大幅に拡大します。CUDA は 2004 年に作成され、2007 年に正式にリリースされました。^{[ 4 ]}導入当初はCompute Unified Device Architectureの頭文字^をとった略語でしたが、Nvidia は後にこの略語の当初^の意味を削除し、現在で^{はほとんど展開していません。 [ 6 ]}

CUDAは、必要に応じてGPUとCPUに直接アクセスできるようにデータを管理するソフトウェアレイヤーであると同時に、並列計算を可能にするAPIライブラリでもあります。^{[ 7 ] [ 8 ]} CUDAプラットフォームには、ドライバやランタイムカーネルに加えて、プログラマを支援するコンパイラ、ライブラリ、開発者ツールが含まれています。

CUDAはC言語で記述されていますが、C++、Fortran、Python、Juliaなどの他のプログラミング言語と連携するように設計されています。このアクセシビリティにより、並列プログラミングの専門家がGPUリソ​​ースを使用しやすくなります。これは、グラフィックスプログラミングの高度なスキルを必要とするDirect3DやOpenGLなどの以前のAPIとは対照的です。^{[ 9 ]} CUDA搭載GPUは、 OpenMP、OpenACC、OpenCLなどのプログラミングフレームワークをサポートしています。^{[ 10 ] [ 7 ]}

グラフィックス処理ユニット（GPU）は、特殊なプロセッサです。3Dグラフィックスなどのリアルタイム高解像度で計算負荷の高いタスクの要求に対応します。2012年までに、GPUは高度に並列化されたマルチコアシステムへと進化し、大量のデータを効率的に処理できるようになりました。この設計は、以下のような大量のデータを並列処理するアルゴリズムにおいて、汎用中央処理装置（CPU）よりも効果的です。

• 暗号学的ハッシュ関数
• 機械学習
• 分子動力学シミュレーション
• 物理エンジン

CUDA の起源は 2000 年代初頭に遡り、スタンフォード大学のコンピュータサイエンス博士課程の学生であったイアン・バックが、グラフィックスのレンダリング以外の目的で GPU を使用する実験を始めたことに始まります。バックはプリンストン大学の学部生時代に、最初はビデオゲームを通して GPU に興味を持つようになりました。卒業後、彼は Nvidia でインターンシップを行い、GPU アーキテクチャについてより深く学びました。スタンフォードでは、当初はQuakeやDoomなどのゲームでグラフィックス性能の限界を押し上げるために、 32 枚のGeForceグラフィックス カードを使用して 8K ゲーミング リグを構築しました。しかし、彼の興味は汎用並列コンピューティングにおける GPU の可能性を探ることに移っていきました。^{[ 11 ]}

そのため、バックはGPU上での汎用コンピューティングを可能にするために設計されたプログラミング言語Brookを開発した。彼の研究はNvidiaと国防高等研究計画局（DARPA）の支援を集めた。2004年、Nvidiaはバックを雇用し、当時GPUコンピューティングのアーキテクチャ担当ディレクターであったジョン・ニコルズ^{[ 12 ]}と組ませた。彼らは協力してBrookをCUDAへと変革し始めた^{[ 11 ]}。CUDAは2007年に正式にリリースされた。

CUDAは、GPUを科学アプリケーション向けの汎用ハードウェアとして位置づけるという同社の戦略の中核となった。2015年までに、CUDAの開発は機械学習と人工ニューラルネットワークのワークロードの高速化にますます重点を置くようになった。^{[ 13 ]}

以下の表は、CUDAオントロジーのおおまかな概要を示しています。

CUDA プラットフォームは、CUDA アクセラレーション ライブラリ、OpenACCなどのコンパイラ ディレクティブ、およびC、C++、Fortran、Pythonなどの業界標準プログラミング言語の拡張機能を通じて、ソフトウェア開発者が利用できます。C/C++ プログラマは、nvcc ( Nvidia のLLVMベースの C/C++ コンパイラ) ^{[ 14 ]}または clang 自体^{[ 15 ]}を使用してPTXにコンパイルされた 'CUDA C/C++' を使用できます。Fortran プログラマは、 The Portland Groupの PGI CUDA Fortran コンパイラを使用してコンパイルされた 'CUDA Fortran' を使用できます。Pythonプログラマーは、cuPyNumericライブラリを使用して、Nvidia GPU上でアプリケーションの処理速度を向上させることができます。

CUDA プラットフォームは、ライブラリ、コンパイラ ディレクティブ、CUDA C/C++、CUDA Fortran に加えて、Khronos GroupのOpenCL ^{[ 16 ]}、Microsoft のDirectCompute、OpenGL Compute Shader、C++ AMP ^{[ 17 ]}などの他の計算インターフェイスもサポートしています。また、 Python、Perl、Fortran、Java、Ruby、Lua、Common Lisp、Haskell、R、MATLAB、IDL、Julia用のサードパーティ ラッパーも利用可能で、 Mathematicaではネイティブ サポートされています。

コンピュータゲーム業界では、GPU はグラフィックスのレンダリングやゲームの物理演算(破片、煙、火、流体などの物理効果) に使用されます。例としては、PhysXやBullet などがあります。CUDA は、計算生物学、暗号学、その他の分野における非グラフィックス アプリケーションを1 桁以上高速化するためにも使用されています。^{[ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ]}

CUDA は、低レベルAPI (CUDAドライバAPI、非シングルソース) と高レベル API (CUDAランタイムAPI、シングルソース) の両方を提供します。最初の CUDA SDK は、2007 年 2 月 15 日にMicrosoft WindowsおよびLinux向けに公開されました。Mac OS X のサポートは、後にバージョン 2.0 ^{[ 23 ]}で追加され、2008 年 2 月 14 日にリリースされたベータ版^{[ 24 ]}に取って代わりました。CUDA は、 GeForce、Quadro、Teslaラインを含む、G8x シリーズ以降のすべての Nvidia GPU で動作します。CUDA は、ほとんどの標準的なオペレーティングシステムと互換性があります。

CUDA 8.0には、以下のライブラリが付属しています（コンパイル用および実行用、アルファベット順）。

• cuBLAS – CUDA基本線形代数サブルーチンライブラリ
• CUDART – CUDAランタイムライブラリ
• cuFFT – CUDA高速フーリエ変換ライブラリ
• cuRAND – CUDA乱数生成ライブラリ
• cuSOLVER – CUDAベースの密行列および疎行列直接解法のコレクション
• cuSPARSE – CUDA スパース行列ライブラリ
• NPP – NVIDIAパフォーマンスプリミティブライブラリ
• nvGRAPH – NVIDIAグラフ分析ライブラリ
• NVML – NVIDIA管理ライブラリ
• NVRTC – CUDA C++ 用 NVIDIA ランタイムコンパイルライブラリ

CUDA 8.0には、以下のソフトウェアコンポーネントが付属しています。

• nView – NVIDIA nViewデスクトップ管理ソフトウェア
• NVWMI – NVIDIAエンタープライズ管理ツールキット
• GameWorks PhysXは、マルチプラットフォーム対応のゲーム物理エンジンです。

CUDA 9.0～9.2には、以下のコンポーネントが付属しています。

• CUTLASS 1.0 – カスタム線形代数アルゴリズム、
• NVIDIA Video Decoder は CUDA 9.2 で非推奨になりましたが、現在は NVIDIA Video Codec SDK で利用可能です。

CUDA 10には、以下のコンポーネントが付属しています。

• nvJPEG – ハイブリッド（CPUとGPU）JPEG処理

CUDA 11.0～11.8には、以下の他のコンポーネントが含まれています。^{[ 25 ] [ 26 ] [ 27 ] [ 28 ]}

• CUBは、サポートされるC++ライブラリの新しい1つです。
• MIGマルチインスタンスGPUサポート
• nvJPEG2000 – JPEG 2000エンコーダおよびデコーダ

CUDAは、グラフィックスAPIを使用した従来の汎用GPUコンピューティング（GPGPU）に比べて、いくつかの利点があります。

• 分散読み取り–コードはメモリ内の任意のアドレスから読み取ることができる 
• 統合仮想メモリ（CUDA  4.0以降）
• 統合メモリ（CUDA  6.0以降）
• 共有メモリ– CUDA は、スレッド間で共有できる高速な共有メモリ領域を公開します。これはユーザー管理キャッシュとして使用でき、テクスチャルックアップを使用した場合よりも高い帯域幅を実現できます。^{[ 29 ]} 
• GPUとの間のダウンロードと読み出しの高速化
• 整数演算とビット演算を完全にサポートし、整数テクスチャのルックアップもサポートします。

• ホストコンピュータでもGPUデバイスでも、すべてのCUDAソースコードは現在C++構文規則に従って処理されます。^{[ 30 ]}これは常にそうだったわけではありません。以前のバージョンのCUDAはC構文規則に基づいていました。^{[ 31 ]} C++コンパイラでCコードをコンパイルするより一般的なケースと同様に、古いCスタイルのCUDAソースコードはコンパイルに失敗したり、本来の意図どおりに動作しなかったりする可能性があります。
• OpenGLなどのレンダリング言語との相互運用性は一方通行であり、OpenGLは登録されたCUDAメモリにアクセスできますが、CUDAはOpenGLメモリにアクセスできません。
• ホストメモリとデバイスメモリ間のコピーは、システムバスの帯域幅とレイテンシによりパフォーマンスの低下を招く可能性があります（これは、GPUのDMAエンジンによって処理される非同期メモリ転送によって部分的に軽減できます）。
• 最高のパフォーマンスを得るには、スレッドは少なくとも32個のグループで実行し、スレッドの総数は数千個に及ぶ必要があります。32個のスレッドすべてが同じ実行パスをたどる限り、プログラムコードの分岐はパフォーマンスに大きな影響を与えません。ただし、本質的に分岐するタスク（例えば、レイトレーシング中に空間分割データ構造を走査する場合）では、 SIMD実行モデルが大きな制約となります。
• 最新バージョンでは、エミュレーション機能やフォールバック機能は利用できません。
• コンパイラがターゲットGPUデバイスの制限に合わせて最適化を行う方法によっては、有効なC++コードであっても、コンパイル時にエラーとして検出され、コンパイルが失敗する場合があります。
• C++のランタイム型情報（RTTI）およびC++スタイルの例外処理は、ホストコードでのみサポートされており、デバイスコードではサポートされていません。
• 第1世代のCUDA演算能力1.xデバイスの単精度演算では、非正規化数はサポートされておらず、代わりにゼロにフラッシュされます。また、除算と平方根演算の精度は、IEEE 754準拠の単精度演算よりもわずかに低くなっています。演算能力2.0以上をサポートするデバイスでは、非正規化数がサポートされ、除算と平方根演算はデフォルトでIEEE 754に準拠しています。ただし、コンパイラフラグを設定して正確な除算と正確な平方根を無効にし、非正規化数をゼロにフラッシュするようにすれば、必要に応じて演算能力1.xデバイスの以前の高速なゲームグレードの演算を実現できます。^{[ 32 ]}
• OpenCLとは異なり、CUDA対応GPUはNvidiaからのみ入手可能であり、これはCUDAが独自技術であるためである。^{[ 33 ] [ 3 ]}他のGPUにCUDAを実装しようとする試みには以下のようなものがある。
  • プロジェクト Coriander: CUDA C++11 ソースを OpenCL 1.2 C に変換します。TensorFlowを実行することを目的とした CUDA-on-CL のフォークです。^{[ 34 ] [ 35 ] [ 36 ]}
  • CU2CL: CUDA 3.2 C++ を OpenCL C に変換する。^{[ 37 ]}
  • GPUOpen HIP：AMDおよびNvidia製GPU向けに設計された、CUDAおよびROCmの上に構築された薄い抽象化レイヤー。CUDA C++ソースをインポートするための変換ツールを備えています。CUDA 4.0、C++11、およびfloat16をサポートしています。
  • ZLUDAは、AMD GPUおよび旧Intel GPU上のCUDAの代替品であり、ネイティブに近いパフォーマンスを発揮します。^{[ 38 ]}開発者のAndrzej Janik氏は、2021年と2022年にそれぞれIntelとAMDからソフトウェア開発の契約を個別に受けました。しかし、ビジネスユースケースがなかったため、どちらの企業も公式にはリリースしませんでした。AMDとの契約には、Janik氏がAMD向けに独自にコードをリリースできる条項が含まれており、これによりAMD GPUのみをサポートする新バージョンをリリースすることが可能になりました。^{[ 39 ]}
  • ChipStarは、高度なOpenCL 3.0またはLevel Zeroプラットフォーム上でCUDA/HIPプログラムをコンパイルおよび実行できます。^{[ 40 ]}
  • SCALEは、AMD GPU上でCUDAソースコードを事前にコンパイルするためのCUDA互換プログラミングツールキットであり、将来的には他のGPUのサポートも拡大することを目指している。^{[ 41 ]}

このC++のサンプルコードは、画像からテクスチャを読み込み、GPU上の配列に格納します。

texture < float , 2 , cudaReadModeElementType > tex ;void foo () { cudaArray * cu_array ;// 配列を割り当てますcudaChannelFormatDesc description = cudaCreateChannelDesc < float > (); cudaMallocArray ( & cu_array , & description , width , height );// 画像データを配列にコピーするcudaMemcpyToArray ( cu_array , image , width * height * sizeof ( float ), cudaMemcpyHostToDevice );//テクスチャパラメータを設定します (デフォルト) tex.addressMode [ 0 ] = cudaAddressModeClamp ; tex.addressMode [ 1 ] = cudaAddressModeClamp ; tex.filterMode = cudaFilterModePoint ; tex.normalized = false ; //座標を正規化しません// 配列をテクスチャにバインドするcudaBindTextureToArray ( tex , cu_array );// カーネルを実行dim3 blockDim ( 16 , 16 , 1 ); dim3 gridDim (( width + blockDim . x - 1 ) / blockDim . x , ( height + blockDim . y - 1 ) / blockDim . y , 1 ); kernel <<< gridDim , blockDim , 0 >>> ( d_data , height , width );// 配列をテクスチャからアンバインドするcudaUnbindTexture ( tex ); }__global__ void kernel ( float * odata , int height , int width ) { unsigned int x = blockIdx . x * blockDim . x + threadIdx . x ; unsigned int y = blockIdx . y * blockDim . y + threadIdx . y ; if ( x < width && y < height ) { float c = tex2D ( tex , x , y ); odata [ y * width + x ] = c ; } }

以下は、GPU 上で 2 つの配列の積を計算するPythonの例です。非公式の Python 言語バインディングはPyCUDAから入手できます。^{[ 42 ]}

import numpy import pycuda.autoinitfrom numpy.typing import NDArray , float32 from pycuda.compiler import SourceModule from pycuda.driver import Function , In , Outmod : SourceModule = SourceModule ( """ __global__ void multiply_them(float* dest, float* a, float* b) {  const int i = threadIdx.x;  dest[i] = a[i] * b[i]; } """ )multiply_them : Function = mod . get_function ( "multiply_them" )a : NDArray [ float32 ] = numpy 。ランダム。ランドン( 400 ) 。astype ( numpy.float32 ) b : NDArray [ float32 ] = numpy.float32​​​ランダム。ランドン( 400 ) 。astype ( numpy . float32 )dest : NDArray [ float32 ] = numpy . zeros_like ( a ) multiply_them ( Out ( dest ), In ( a ), In ( b ), block = ( 400 , 1 , 1 ))print ( dest - a * b )

行列乗算演算を簡略化するための追加のPythonバインディングは、 pycublasプログラムで見つけることができます。^{[ 43 ]}

import numpyfrom pycublas import CUBLASMatrixA : CUBLASMatrix = CUBLASMatrix ( numpy.mat ([[ 1 , 2 , 3 ] , [ 4 , 5 , 6 ] ], numpy.float32 )) B : CUBLASMatrix = CUBLASMatrix ( numpy.mat ([ [ 2 , 3 ] , [ 4 , 5 ] , [ 6 , 7 ] ] , numpy.float32 ) ) C : CUBLASMatrix = A * B print ( C.np_mat ( ) )

CuPyはNumPyを直接置き換える：^{[ 44 ]}

クピーをインポートcupy.typingからNDArrayとfloat64をインポートしますa : NDArray [ float64 ] =キューピー。ランダム。randn ( 400 ) b : NDArray [ float64 ] =キューピー。ランダム。ランドン( 400 )dest : NDArray [ float64 ] =キューピー。ゼロのような( a )print ( dest - a * b )

表記に関する注記：NvidiaのプロフェッショナルソフトウェアおよびNvidiaがLLVMに提供したコードでは、計算能力XYはSMXYまたはsm_XY（例：10.3はSM103またはsm_103）とも表記されます。^{[ 45 ]}

以下は、CUDA SDKのバージョンとマイクロアーキテクチャに基づいてサポートされているCUDAコンピューティング機能をコード名順に一覧にした表です。

注：CUDA SDK 10.2はmacOS向けの最後の公式リリースであり、以降のリリースではmacOSのサポートは提供されません。

バージョン別のCUDA演算能力と、それに関連するGPU半導体およびGPUカードモデル（様々なアプリケーション分野別に分類）：

* – OEM専用製品

注: 演算能力の高い GPU は、演算能力の低い GPU 向けに作成された PTX コードを実行できます。ただし、CUDA コードを、1 つのファミリー (同じ「X」) の GPU でのみ動作する形式にコンパイルすることは可能です。既存のコードがこのようにコンパイルされている場合、新しい GPU で動作させるには再コンパイルが必要になります。^{[ 45 ]}

^{[ 66 ]}

• 3Dグラフィックスの高速レンダリング
• 動画ファイル形式の高速相互変換
• 暗号化、復号化、圧縮の高速化
• バイオインフォマティクス、例：NGS DNAシーケンス BarraCUDA ^{[ 123 ]}
• 分散計算、例えばタンパク質の天然構造の予測など
• 医療分析シミュレーション、例えばCTスキャンやMRIスキャン画像に基づく仮想現実など
• 物理シミュレーション^{[ 124 ]} 、特に流体力学において
• 機械学習問題におけるニューラルネットワークのトレーニング
• 大規模言語モデル推論
• 顔認識
• SETI@homeなどのボランティアによるコンピューティングプロジェクトや、 BOINCソフトウェアを使用するその他のプロジェクト
• 分子動力学
• 暗号通貨のマイニング
• ストラクチャー・フロム・モーション（SfM）ソフトウェア

CUDAは、 Intel OneAPIやAMD ROCmといった他のGPUコンピューティングスタックと競合する。

NvidiaのCUDAはクローズドソースであるのに対し、IntelのOneAPIとAMDのROCmはオープンソースである。

• 配列プログラミング
• BrookGPU – スタンフォード大学グラフィックスグループのコンパイラ
• CUDAバイナリ（cubin） – ファットバイナリの一種
• GPUを用いた分子モデリング
• 数値ライブラリコレクション– NEC製ベクトルプロセッサ向け
• OptiX – NVIDIAによるレイトレーシングAPI
• 並列コンピューティング
• rCUDA – リモートコンピュータ上で計算を行うためのAPI
• ストリーム処理
• SYCL – Khronos Groupによるオープンスタンダードで、単一ソースの最新 C++を使用して GPU を含むさまざまなプラットフォームをプログラミングできます。これは、より高レベルの CUDA Runtime API (単一ソース)に似ています。
• Vulkan – 低レベルで高性能な3DグラフィックスおよびコンピューティングAPI

• Buck, Ian; Foley, Tim; Horn, Daniel; Sugerman, Jeremy; Fatahalian, Kayvon; Houston, Mike; Hanrahan, Pat (2004-08-01). "Brook for GPUs: グラフィックスハードウェア上でのストリームコンピューティング" . ACM Transactions on Graphics . 23 (3): 777– 786. doi : 10.1145/1015706.1015800 . ISSN 0730-0301 . 
• Nickolls, John; Buck, Ian; Garland, Michael; Skadron, Kevin (2008-03-01). "CUDAによるスケーラブルな並列プログラミング：CUDAはアプリケーション開発者が待ち望んでいた並列プログラミングモデルなのか？" . ACM Queue . 6 (2): 40– 53. doi : 10.1145/1365490.1365500 . ISSN 1542-7730 . 

• 公式サイト
• CUDAの教科書