混合精度演算

浮動小数点数は通常、符号ビット、指数部、仮数部（または仮数部）の順に、左から右へ1つのビット列にパックされます。例として、IEEE 754規格の32ビット浮動小数点数（「FP32」、「float32」、「binary32」）は、次のようにパックされます。

IEEE 754バイナリ浮動小数点数は次のとおりです。

PyTorch は自動混合精度 (AMP) を実装しており、自動キャスト、勾配スケーリング、損失スケーリングを実行します。^{[ 6 ] [ 7 ]}

• 重みはマスターコピーに高精度で保存され、通常はFP32形式です。
• オートキャストとは、トレーニング中に浮動小数点数をFP32からFP16など、異なる精度間で自動的に変換することを意味します。例えば、マスターコピーの重みがFP32で格納されている場合でも、行列乗算は精度を損なうことなくFP16で実行できることがよくあります。低精度の重みは順伝播時に使用されます。
• 勾配スケーリングとは、トレーニング中に勾配に定数係数を乗算することであり、通常は重みオプティマイザの更新前に行われます。これは、FP16 のような低精度データタイプを使用する際に勾配がゼロにアンダーフローするのを防ぐために行われます。数学的には、スケーリングされていない勾配が${\displaystyle \mathbf {g} }$スケーリングされた勾配は${\displaystyle s\mathbf {g} }$どこ${\displaystyle s}$はスケーリング係数です。オプティマイザの更新処理では、スケーリングされた勾配は、重みを更新するために、より高い精度にキャストされてから、再びスケーリングダウンされます（より高い精度になっているため、アンダーフローは発生しません）。
• 損失スケーリングとは、トレーニング中に損失関数に定数係数を乗じることであり、通常は逆伝播の前に行われます。これは、低精度データタイプを使用する際に勾配がゼロにアンダーフローするのを防ぐために行われます。スケーリングされていない損失が$\displaystyle {\mathcal {L}}}$スケーリングされた損失は${\displaystyle k{\mathcal {L}}}$どこ${\displaystyle k}$はスケーリング係数です。勾配スケーリングと損失スケーリングは数学的に等価であるため、${\displaystyle {\frac {\partial (k{\mathcal {L}})}{\partial \mathbf {w} }}=k{\frac {\partial {\mathcal {L}}}{\partial \mathbf {w} }}}$損失スケーリングは、勾配スケーリングの実装の一つです。

PyTorch AMPは、損失スケーリングのスケールファクターを自動的に調整するために指数バックオフを使用します。つまり、スケールファクターを定期的に増加させます。勾配にNaN（オーバーフローを示す）が含まれる場合は、重みの更新がスキップされ、スケールファクターが減少します。