神経処理ユニット

AIアクセラレータは、 Appleシリコン、Qualcomm、Samsung、Huawei ^{[ 7 ]}、およびGoogle Tensorスマートフォンプロセッサ^{[ 8 ]}で使用されています。グラフィックスレンダリング用のGPUの一部として使用される場合、GPUの従来の部分でシーンをはるかに低い解像度とフレームレート（たとえば、540p、30fps  ）でレンダリングし、NPU上の事前学習済みAIモデルを使用してその基本画像をリアルタイムでより滑らかで高解像度の出力（たとえば、2160p、240fps）に変換することで、リソース使用量を大幅に削減できます 。

ビジョン処理ユニットは、CNN（畳み込みニューラルネットワーク）やSIFT（スケール不変特徴変換）などのマシンビジョンアルゴリズムに特化したアクセラレータです。ARヘッドセットやドローンなど、物体を視覚的に追跡する必要のあるデバイスで使用されます。^{[ 9 ] [ 10 ] [ 11 ]}

最近では（2017年頃）、Appleのプロセッサ^{[ 12 ]}、そして（2022年頃）、Intel ^{[ 13 ]}とAMDのプロセッサ^{[ 14 ]}にも搭載されています。Intel Meteor Lakeプロセッサのすべてのモデルには、コンピュータビジョンとディープラーニングの推論を高速化するための汎用プロセッサユニット（VPU）が内蔵されています。^{[ 15 ]}

コンシューマー向けデバイスでは、NPUは小型で電力効率が高く、小規模モデルを実行する際に十分な速度を発揮するように設計されています。そのため、INT4、INT8、FP8、FP16などのデータ型を使用した低ビット幅演算をサポートするように設計されています。一般的な指標は、1秒あたりの演算回数（TOPS）です。TOPSは演算の種類を明示的に指定していませんが、通常はINT8の加算と乗算です。^{[ 16 ]}

アクセラレータはクラウドコンピューティングサーバーで使用されています。たとえば、 Google Cloud Platformのテンソル処理ユニット(TPU) [ ^{17 ]}やAmazon Web ServicesのTrainiumおよびInferentiaチップ^{[ 18 ]}などです。このカテゴリのデバイスにはベンダー固有の用語^が多数存在し、支配的な設計のない新興技術です。

2010年代後半以降、NvidiaやAMDなどの企業が設計したグラフィックス処理ユニットには、低精度行列乗算演算専用の機能ユニットという形で、AI専用のハードウェアが搭載されることが多くなっています。これらのGPUは、トレーニングと推論の両方において、AIアクセラレータとして一般的に使用されています。^{[ 19 ]}

NPUは低精度（FP16、INT8など）の行列乗算演算に特化していますが、科学計算ではより高精度の行列乗算をエミュレートするために使用できます。最新のGPUはNPU部分の高速化に重点を置いているため、NPUでエミュレートされたFP64（Ozakiスキーム）を使用すると、ネイティブFP64を上回る可能性があります。これは、NVIDIA TITAN RTXでFP16エミュレートFP64を使用した場合と、NVIDIAコンシューマーGPUおよびA100 GPUでINT8エミュレートFP64を使用した場合に実証されています。コンシューマーGPUはFP64ハードウェア容量が限られているため特に恩恵を受け、6倍の高速化を示しました。^{[ 20 ]} CUDA Toolkit 13.0 Update 2以降、cu BLASは、ネイティブよりも高速な場合は、同等の精度のINT8エミュレートFP64行列乗算を自動的に使用します。これは、バージョン12.9で導入されたFP16エミュレートFP32機能に加えてのものです。^{[ 21 ]}