半精度浮動小数点形式

コンピューティングにおいて、半精度（FP16またはfloat16と呼ばれることもある）は、コンピュータ メモリ内で16 ビット（最近のコンピュータでは 2 バイト）を占める2 進 浮動小数点 コンピュータ数値形式です。これは、特に画像処理やニューラル ネットワークなど、高精度が必須ではないアプリケーションで浮動小数点値を格納するためのものです。

現代のほとんどの使用法はIEEE 754-2008標準に準拠しており、16 ビットの基数 2形式はbinary16と呼ばれ、指数には 5 ビットが使用されます。これにより、±65,504 の範囲の値を表現でき、1 を超える最小値は 1 + 1/1024 になります。

コンピュータによっては、半精度の方が倍精度よりも1桁以上高速になることがあります。たとえば、あるクラウドプロバイダーでは、半精度では550 PFLOPS、倍精度では37 PFLOPSです。^[1]

16ビット浮動小数点形式としては、1982年の日立のHD61810 DSP（指数部4ビット、仮数部12ビット）^[2] 、 1991年のトーマス・J・スコットのWIF（指数部5ビット、仮数部10ビット）^[3]、 1995年の3dfx Voodoo Graphicsプロセッサ（日立と同じ） ^[4]など、いくつか存在していました。

ILMは、広いダイナミックレンジを処理できるが、単精度または倍精度浮動小数点のハードドライブとメモリのコストがかからない画像形式を探していました。^[5] SGI（Silicon Graphics）のJohn Aireyが率いるハードウェアアクセラレーションプログラマブルシェーディンググループは、1997年に「bali」設計作業の一環としてs10e5データ型を使用しました。これは、SIGGRAPH 2000の論文^[6]（セクション4.3を参照）に記載されており、さらに米国特許7518615で文書化されています。^{[7]これは、オープンソースの}OpenEXR画像形式での使用により普及しました。

NvidiaとMicrosoftは、2002年初頭にリリースされたCg言語でhalf データ型を定義し、2002年後半にリリースされたGeForce FXのシリコンに実装しました。 ^[8]しかし、高速化された16ビット浮動小数点のハードウェアサポートは、Nvidiaによって後に廃止され、 2015年にTegra X1モバイルGPUで再導入されました。

2012 年のF16C拡張により、x86 プロセッサはマシン命令を使用して半精度浮動小数点数を単精度浮動小数点数に変換できるようになりました。

IEEE 754規格^[9]では、バイナリ16を次の形式に 規定しています。

• 符号ビット: 1ビット
• 指数幅: 5 ビット
• 有効 桁精度: 11 ビット (10 ビットは明示的に保存)

フォーマットは次のようになります。

指数フィールドがすべてゼロで格納されていない限り、この形式には暗黙的に値 1 の先頭ビットがあると想定されます。したがって、メモリ形式には仮数部の 10 ビットのみが表示されますが、合計精度は 11 ビットです。IEEE 754 の用語では、仮数は 10 ビットですが、仮数部の精度は 11 ビットです (log ₁₀ (2 ^{11 ) ≈ 3.311 10 進数桁、または 4 桁 ±}最後の桁が5 単位よりわずかに小さい)。

半精度2進浮動小数点指数はオフセット2進表現を使用してエンコードされ、ゼロオフセットは15です。IEEE 754標準では指数バイアスとも呼ばれます。^[9]

• E _min = 00001 ₂ − 01111 ₂ = −14
• E_最大= 11110 ₂ − 01111 ₂ = 15
• 指数バイアス= 01111 ₂ = 15

したがって、オフセット バイナリ表現で定義されているように、実際の指数を取得するには、格納されている指数からオフセット 15 を減算する必要があります。

格納された指数 00000 ₂と 11111 ₂は特別に解釈されます。

最小の正（非正規）値は 2 ⁻²⁴ ≈ 5.96 × 10 ⁻⁸です。最小の正の正規値は 2 ⁻¹⁴ ≈ 6.10 × 10 ⁻⁵です。表現可能な最大値は (2−2 ⁻¹⁰ ) × 2 ¹⁵ = 65504 です。

これらの例は、浮動小数点値のビット表現で示されています。これには、符号ビット、(バイアスされた)指数、および仮数部が含まれます。

デフォルトでは、仮数のビット数が奇数であるため、 1/3 は倍精度の場合と同様に切り捨てられます。丸めポイントを超えるビットは0101です。これは、最後の桁の単位の 1/2 未満です。

65520 以上の数値は無限大に丸められます。これは偶数に丸める場合です。他の丸め戦略ではこのカットオフは変更されます。

ARMプロセッサは（浮動小数点制御レジスタビットを介して）「代替半精度」形式をサポートしており、指数値が31（11111 ₂）の特殊なケースを排除しています。^[10] これはIEEE形式とほぼ同じですが、無限大やNaNのエンコードはありません。代わりに、指数が31の場合は、65536から131008の範囲の正規化された数値がエンコードされます。

半精度は、MATLAB、OpenEXR、JPEG XR、GIMP、OpenGL、Vulkan、^[11] Cg、Direct3D、D3DXなど、いくつかのコンピュータグラフィックス環境でピクセルを格納するために使用されます。8ビットまたは16ビットの整数に対する利点は、ダイナミックレンジが広くなるため、画像のハイライトとシャドウの詳細をより多く保持でき、ガンマ補正を回避できることです。32ビット単精度浮動小数点に対する利点は、必要なストレージと帯域幅が半分になることです（精度と範囲を犠牲にします）。^[5]

半精度はメッシュの量子化に便利です。メッシュデータは通常、頂点に32ビット単精度浮動小数点数を使用して保存されますが、状況によっては精度を16ビット半精度に下げて、精度を犠牲にして半分のストレージのみで済むようにすることが許容されます。メッシュの量子化は、要件に応じて8ビットまたは16ビットの固定精度で行うこともできます。^[12]

機械学習やニューラル ネットワーク用のハードウェアとソフトウェアでは、半精度が使用される傾向があります。このようなアプリケーションでは、通常、大量の計算が行われますが、高い精度は必要ありません。ハードウェアは通常、16 ビットの半精度浮動小数点数をサポートしていないため、ニューラル ネットワークでは、単精度浮動小数点数を 16 ビットに切り捨てた bfloat16形式がよく使用されます。

ハードウェアに半精度演算を実行する命令がある場合、単精度や倍精度よりも高速になることが多い。システムに1つの命令で複数の浮動小数点数を処理できるSIMD命令がある場合、2倍の数の数値を同時に処理することで、半精度演算を2倍高速化できる。^[13]

Zigはその型で半精度のサポートを提供しているf16。^[14]

.NETSystem.Half 5では、標準ライブラリ型で半精度浮動小数点数が導入されました。 ^{[15] [16]} 2024年1月現在^{[アップデート]}、.NET言語（C#、F#、Visual Basic、C++/CLI、C++/CX）にはリテラル（C#では1.0fhas typeSystem.Singleまたは1.0mhas typeなどSystem.Decimal）や型のキーワードはありません。^{[17] [18] [19]}

SwiftはSwift 5.3でFloat16型による半精度浮動小数点数を導入した。^[20]

OpenCLはIEEE 754-2008半精度ストレージ形式のhalfデータ型を使用して半精度浮動小数点数もサポートしています。^[21]

2024年現在^{[アップデート]}、Rustはf16IEEE半精度16ビット浮動小数点数用の新しい型の追加に取り組んでいます。 ^[22]

Juliaは型を使用して半精度浮動小数点数をサポートしていますFloat16。^[23]

C++はC++23以降、型とともに半精度を導入しましたstd::float16_t。^[24] GCCはすでにそのサポートを実装しています。^[25]

ARMアーキテクチャのいくつかのバージョンでは半精度がサポートされています。^[26]

x86 命令セットにおける半精度のサポートは、F16C命令セット拡張で規定されており、2009年にAMDによって初めて導入され、2012年までにAMDとIntelのCPUに広く採用されました。これは、Intel Sapphire Rapidsプロセッサに実装されたAVX-512_FP16命令セット拡張にまでさらに拡張されました。^[27]

RISC-Vでは、ZfhおよびZfhmin 拡張機能により、16ビット半精度浮動小数点数のハードウェアサポートが提供されます。Zfhmin拡張機能はの最小限の代替手段ですZfh。^[28]

Power ISAでは、VSXとまだ承認されていないSVP64拡張により、PowerISA v3.1B以降で16ビット半精度浮動小数点数のハードウェアサポートが提供されます。^{[29] [30]}

• bfloat16 浮動小数点形式: 8 ビットの指数と 7 ビットの仮数を持つ代替の 16 ビット浮動小数点形式
• Minifloat : 小さな浮動小数点形式
• IEEE 754 : 浮動小数点演算の IEEE 標準 (IEEE 754)
• ISO/IEC 10967、言語に依存しない算術演算
• プリミティブデータ型
• RGBE画像フォーマット
• 電源管理バス § Linear11 浮動小数点形式

• Khronos Vulkan 符号付き 16 ビット浮動小数点形式

• ミニ浮動小数点数 (浮動小数点数形式の調査)
• OpenEXR サイト
• D3DXの半精度定数
• OpenGLの半精度処理
• 高速ハーフフロート変換
• アナログデバイスバリアント（4ビット指数）
• IEEE 倍精度、単精度、半精度間の変換を行う C ソース コードはここにあります。
• 半精度浮動小数点変換の Java ソースコード
• 拡張されたGCC機能の1つである半精度浮動小数点