bfloat16 浮動小数点形式

bfloat16 （脳内浮動小数点）^{[1] [2]}浮動小数点形式は、コンピュータメモリ内で16ビットを占めるコンピュータ数値形式です。浮動小数点基数を使用して、数値の広いダイナミックレンジを表します。この形式は、機械学習とセンサー近傍のコンピューティングを加速することを目的として、32ビットIEEE 754単精度浮動小数点形式（binary32）の短縮版（16ビット）です。^{[3] 8つの}指数ビットを保持することで32ビット浮動小数点数のダイナミックレンジをほぼ維持しますが、binary32形式の24ビットの仮数部ではなく、8ビットの精度のみをサポートします。単精度32ビット浮動小数点数よりもbfloat16数は整数計算には不向きですが、これはbfloat16数の本来の用途ではありません。 Bfloat16は、ストレージ要件を削減し、機械学習アルゴリズムの計算速度を向上させるために使用されます。^[4]

bfloat16 形式は、Google の人工知能研究グループである Google Brain によって開発されました。Intel Xeonプロセッサ( AVX - 512 BF16 拡張)、Intel Data Center GPU、Intel Nervana NNP-L1000、Intel FPGA、^{[5] [6] [7]} AMD Zen、AMD Instinct 、NVIDIA GPU、Google Cloud TPU、^{[8] [9] [10]} AWS Inferentia、AWS Trainium、ARMv8.6-A、^[11] Apple のM2 ^[12]およびA15チップ以降など、多くの CPU、GPU、AI プロセッサで利用されています。CUDA [13] Intel oneAPI Math Kernel Library、AMD ^ROCm [ 14 ] AMD ^Optimizing CPU Libraries、PyTorch、TensorFlowなど、多くのライブラリが bfloat16 をサポートしています。^{[10] [15]これらのプラットフォームでは、bfloat16は}混合精度演算にも使用でき、bfloat16の数値を操作してより広いデータ型に拡張することができます。

bfloat16 の形式は次のとおりです。

• 符号ビット: 1ビット
• 指数幅: 8 ビット
• 有効桁 精度:従来の単精度浮動小数点形式の24ビットに対して、8ビット(明示的に格納される7ビットと暗黙の先頭ビット)

bfloat16 形式は、IEEE 754 単精度32 ビット浮動小数点の短縮版であり、IEEE 754 単精度 32 ビット浮動小数点との間で高速な変換が可能です。bfloat16 形式への変換では、指数ビットは保持されますが、有効桁フィールドは切り捨て (つまり0 への丸めに相当) または他の丸めメカニズムによって削減され、NaN特殊ケースは無視されます。指数ビットを保持することで、32 ビット浮動小数点の範囲は ≈ 10 ⁻³⁸から ≈ 3 × 10 ³⁸に維持されます。^[16]

ビットは次のように配置されます。

bfloat16 バイナリ浮動小数点指数は、ゼロ オフセットが 127 であるオフセット バイナリ表現を使用してエンコードされます。これは、IEEE 754 標準では指数バイアスとも呼ばれます。

• E_最小= 01 _H −7F _H = −126
• E_最大= FE _H −7F _H = 127
• 指数バイアス= 7F _H = 127

したがって、オフセット バイナリ表現で定義された実際の指数を取得するには、指数フィールドの値からオフセット 127 を減算する必要があります。

指数フィールドの最小値と最大値 (00 _Hと FF _H ) は、IEEE 754 標準形式と同様に特別に解釈されます。

最小の正の正規値は 2 ⁻¹²⁶ ≈ 1.18 × 10 ⁻³⁸であり、最小の正（非正規）値は 2 ⁻¹²⁶⁻⁷ = 2 ⁻¹³³ ≈ 9.2 × 10 ⁻⁴¹です。

最も一般的な使用例は、IEEE 754 binary32と bfloat16 間の変換です。次のセクションでは、変換プロセスと変換における丸め方式について説明します。bfloat16 との間の形式変換には、他にも考えられるシナリオがあることに注意してください。たとえば、int16 と bfloat16 です。

• binary32からbfloat16へ。bfloat16が最初にストレージフォーマットとして導入されたとき^[15] 、 IEEE 754 binary32（32ビット浮動小数点）からbfloat16への変換は切り捨て（0への丸め）でした。後に、それが行列乗算ユニットの入力になると、変換はハードウェアプラットフォームに応じてさまざまな丸めメカニズムを持つことができます。たとえば、Google TPUの場合、変換の丸め方式は最も近い偶数への丸めです。^[17] ARMはIEEE以外の奇数への丸めモードを使用します。^[18] NVIDIAの場合、最も近い偶数への丸めモードで浮動小数点数をbfloat16精度に変換できます。^[19]
• bfloat16からbinary32へ。binary32はbfloat16のすべての正確な値を表現できるため、変換では有効ビットに16個のゼロを埋め込むだけです。^[17]

IEEE 754 と同様に、正と負の無限大は対応する符号ビットで表され、指数部8ビットはすべて設定され（FF _hex）、仮数部ビットはすべてゼロになります。明示的には、

val s_exponent_signcnd
+無限大 = 0_11111111_0000000
-無限大 = 1_11111111_0000000

IEEE 754 と同様に、NaN値は符号ビット、8 つの指数ビットがすべて設定され (FF _hex )、すべての有効ビットがゼロではない状態で表されます。明示的には、

val s_exponent_signcnd
+NaN = 0_11111111_klmnopq
-NaN = 1_11111111_klmnopq

ここで、 k、l、m、n、o、p、 qのうち少なくとも 1 つが 1 です。IEEE 754 と同様に、NaN 値は quiet または signaling にすることができますが、2018 年 9 月現在、signaling bfloat16 NaN の使用例は知られていません。

Bfloat16 は、32 ビットIEEE 754 単精度浮動小数点形式(binary32) の数値範囲を維持しながら、精度を 24 ビットから 8 ビットに削減するように設計されています。つまり、精度は 2 ～ 3 桁の小数点であり、bfloat16 は約 3.4 × 10 ³⁸までの有限値を表現できます。

これらの例は、浮動小数点値のビット表現、16 進数および2 進数で示されています。これには、符号、(バイアスされた) 指数、および仮数部が含まれます。

3f80 = 0 01111111 0000000 = 1
c000 = 1 10000000 0000000 = −2

7f7f = 0 11111110 1111111 = (2 8 − 1) × 2 −7 × 2 127 ≈ 3.38953139 × 10 38 (bfloat16精度の最大の有限正値)
0080 = 0 00000001 0000000 = 2 −126 ≈ 1.175494351 × 10 −38（bfloat16精度および単精度浮動小数点の最小正規化された正の値）

通常の bfloat16 数値の最大の正の有限値は 3.38953139 × 10 ^{38で、単精度で表現できる最大の正の有限値である (2 24} − 1) × 2 ⁻²³ × 2 ¹²⁷ = 3.402823466 × 10 ³⁸よりわずかに小さくなります。

0000 = 0 00000000 0000000 = 0
8000 = 1 00000000 0000000 = −0

7f80 = 0 11111111 0000000 = 無限大
ff80 = 1 11111111 0000000 = −無限大

4049 = 0 10000000 1001001 = 3.140625 ≈ π ( パイ )
3eab = 0 01111101 0101011 = 0.333984375 ≈ 1/3

ffc1 = x 11111111 1000001 => qNaN 
ff81 = x 11111111 0000001 => sNaN

• 半精度浮動小数点形式: IEEE 754で定義されている 16 ビット浮動小数点、1 ビット符号、5 ビット指数、11 ビット仮数。
• ISO/IEC 10967、言語に依存しない算術演算
• プリミティブデータ型
• ミニフロート
• グーグルブレイン
• TPU での bfloat16 の使用に関する Google に対する訴訟