浮動小数点演算

数値表現とは、数値を符号化する方法を指定するもので、通常は数字列として表現される。

数字列で数値を表現する方法はいくつかあります。標準的な数学表記では、数字列の長さは任意で、小数点の位置は明示的な「点」文字（ドットまたはコンマ）を配置することで示されます。小数点が指定されていない場合、その数字列は暗黙的に整数を表し、指定されていない小数点は、最下位桁の隣、つまり数字列の右端に位置します。固定小数点システムでは、小数点の位置が数字列内で指定されます。したがって、固定小数点方式では、小数点が中央にある8桁の10進数列を使用することができ、その場合、「00012345」は0001.2345を表します。

科学的記数法では、与えられた数値は10のべき乗でスケーリングされ、特定の範囲（通常は1から10の間）に収まるように調整されます。小数点（基数）は最初の桁の直後に現れます。10のべき乗として、スケーリング係数は数値の末尾に別々に示されます。たとえば、木星の衛星イオの公転周期は152,853.5047秒、標準形式の科学的記数法では次のように表されます。1.528535047 × 10⁵^秒。

浮動小数点表現は、概念的には科学的記数法に似ています。論理的には、浮動小数点数は以下で構成されます。

• 指定された基数(またはベース)における、指定された長さの符号付き (正または負) 数字列。この数字列は、仮数、仮数、または係数と呼ばれます。^{[注 1 ]}仮数の長さによって、数値を表現できる精度が決まります。基数小数点の位置は、常に仮数内のどこかにあると想定されます。多くの場合、最上位桁の直後または直前、あるいは最右 (最下位) 桁の右側です。この記事では、基数小数点が最上位 (最左) 桁の直後に設定されるという慣例に従います。
• 符号付き整数指数（特性またはスケールとも呼ばれる）^{[ nb 2 ]}は、数値の大きさを変更します。

浮動小数点数の値を求めるには、仮数を指数で累乗した基数を乗算します。これは、基数を暗黙の位置から指数の値に等しい桁数だけずらすことに相当します。指数が正の場合は右に、指数が負の場合は左に移動します。

10進法（おなじみの十進表記）を例にとると、152,853.5047は、10 桁の精度を持つ有効数字として表されます。1528535047に指数として 5 を付けます。実際の値を求めるには、仮数の最初の桁の後に小数点を付け、その結果に10を掛けます。^5つ与える1.528535047 × 10 ⁵または152,853.5047。このような数値を保存する場合、基数（10）は保存する必要はありません。なぜなら、基数はサポートされている数値の範囲全体で同じであり、推測できるからです。

象徴的に言えば、この最終値は次のようになります。 $${\displaystyle {\frac {s}{b^{\,p-1}}}\times b^{e},}$$

ここで、 sは仮数（暗黙の小数点を無視）、pは精度（仮数の桁数）、bは底（この例では 10 ）、eは指数です。

歴史的に、浮動小数点数を表現するためにいくつかの基数が使用されてきましたが、最も一般的だったのは基数2（バイナリ）で、次に基数10（ 10進浮動小数点）が続き、その他にもあまり一般的ではない種類として、基数16（16進浮動小数点^{[ 4 ] [ 5 ] [ nb 3 ]}）、基数8（8進浮動小数点^{[ 1 ] [ 5 ] [ 6 ] [ 4 ] [ nb 4 ]}）、基数4（4進浮動小数点^{[ 7 ] [ 5 ] [ nb 5 ]}）、基数3（バランス型3進浮動小数点^{[ 1 ]}）、さらには基数256 ^{[ 5 ] [ nb 6 ]}などがあります。65,536 . ^{[ 8 ] [ nb 7 ]}

浮動小数点数は有理数です。なぜなら、ある整数を別の整数で割ったものとして表現できるからです。例えば、1.45 × 10 ³は (145/100)×1000 または145,000 / 100。基数は表現できる分数を決定します。たとえば、1/5 はバイナリ基数では浮動小数点数として正確に表現できませんが、1/5 は 10 基数 (0.2、または2 × 10 ⁻¹ )。ただし、1/3 はバイナリ (0.010101...) または 10 進数 (0.333...) のどちらでも正確には表せませんが、基数 3では自明です (0.1 または 1×3 ⁻¹ )。無限展開が発生する場合、基数とその素因数に依存します。

仮数部（符号を含む）と指数部がコンピュータに格納される方法は、実装に依存します。一般的な IEEE フォーマットについては後述および他の場所で詳しく説明しますが、例として、バイナリ単精度 (32 ビット) 浮動小数点表現では、${\displaystyle p=24}$したがって、仮数は24ビットの文字列になります。例えば、数πの最初の33ビットは次のようになります。 $${\displaystyle 11001001\ 00001111\ 1101101{\下線 {0}}\ 10100010\ 0.}$$

このバイナリ展開では、位置を0（最左端のビット、または最上位ビット）から32（最右端のビット）までとします。24ビットの仮数は、 下線で示されている位置23で停止します。上記0。次のビットは位置24にあり、ラウンドビットまたは丸めビット と呼ばれます。これは、33ビット近似値を最も近い24ビット数に丸めるために使用されます（中間値には特定のルールがありますが、ここでは該当しません）。このビットは、この例では、 1 が左端の 24 ビットで構成される整数に加算され、次のようになります。 $${\displaystyle 11001001\ 00001111\ 1101101{\下線 {1}}。}$$

これをIEEE 754エンコーディングを使用してメモリに格納すると、仮数sになります。仮数は、最左ビットの右側にバイナリ小数点があると想定されます。したがって、πのバイナリ表現は、左から右に次のように計算されます。 $${\displaystyle {\begin{aligned}&{\biggl (}\sum _{n=0}^{p-1}{\text{bit}}_{n}\times 2^{-n}{\biggr )}\times 2^{e}\\&\qquad {}=\left(1\times 2^{-0}+1\times 2^{-1}+0\times 2^{-2}+0\times 2^{-3}+\cdots +1\times 2^{-23}\right)\times 2^{1}\\[2mu]&\qquad {}\approx 1.57079637\times 2\\[3mu]&\qquad {}\approx 3.1415927\end{aligned}}}$$

ここでpは精度 (この例では24 ですが、 nは仮数のビットの左からの位置です (0で終了23ここで）eは指数です（この例では1）。

非ゼロ数の仮数の最上位桁が非ゼロであることが要求される場合があります（対応する指数が最小の指数より小さくなる場合を除く）。このプロセスは正規化と呼ばれます。バイナリ形式（数字のみを使用する）の場合、0と1 ) このゼロ以外の数字は必ず1.したがって、メモリに表現する必要がないため、フォーマットの精度が1ビット高くなります。このルールは、先頭ビット規約、暗黙のビット規約、隠しビット規約^{[ 1 ]}、または想定ビット規約などと呼ばれています。

浮動小数点表現は、コンピュータ上で実数の近似値を表現する最も一般的な方法です。しかし、他にも代替手段があります。

• 固定小数点表現は、バイナリまたは小数点の位置に関する特定の規則（例えば、右から6ビットまたは6桁）をソフトウェアで実装し、それに基づいて制御される整数ハードウェア演算を使用します。これらの表現を操作するハードウェアは浮動小数点よりもコストが低く、通常の整数演算も実行できます。バイナリ固定小数点は通常、整数演算しかできない組み込みプロセッサ上の特殊用途アプリケーションで使用されますが、10進固定小数点が商用アプリケーションで一般的です。
• 対数数体系(LNS) は、実数をその絶対値の対数と符号ビットで表します。値の分布は浮動小数点数に似ていますが、値から表現への曲線 (つまり、対数関数のグラフ) は (0 を除いて) 滑らかです。浮動小数点演算とは逆に、対数数体系では乗算、除算、べき乗は簡単に実装できますが、加算と減算は複雑です。チャールズ・クレンショー、フランク・オルバー、ピーター・ターナーによる (対称)レベルインデックス演算(LI および SLI)は、一般化された対数表現に基づく方式です。
• テーパー浮動小数点表現。Positを含むUnumフォーマットで使用されます。
• 単純な有理数（例えば1/3 や 1/10）の中には、精度に関わらず、バイナリ浮動小数点数で正確に表現できないものがあります。異なる基数を使用することで、それらのいくつか（例えば1/10 を 10 進浮動小数点数で表現するなど）を表現できますが、可能性は限られています。有理数演算を実行するソフトウェア パッケージは、数値を整数の分子と分母を持つ分数として表現するため、任意の有理数を正確に表現できます。このようなパッケージでは、通常、個々の整数に対して「 bignum 」演算を使用する必要があります。
• 区間演算は、数値を区間として表現し、結果の上限と下限を保証する演算手法です。一般的に、他の演算、特に浮動小数点演算に基づいています。
• Mathematica、Maxima、Mapleなどの数式処理システムは、次のような無理数を扱うことができます。${\displaystyle \pi }$または$\displaystyle {\sqrt {3}}}$完全に「形式的」な方法（記号計算）で、仮数の特定のエンコーディングを扱うことなく。このようなプログラムは、次のような式を評価できます。${\displaystyle \sin(3\pi )}$まさにその通りです。なぜなら、中間計算ごとに近似値を使用するのではなく、基礎となる数学を直接処理するようにプログラムされているからです。

浮動小数点数は通常、左から右へ、符号ビット、指数部、仮数部の順にコンピュータデータに格納されます。現存するハードウェア実装を持つIEEE 754バイナリ形式（基本形式と拡張形式）では、以下のように割り当てられます。

指数は正または負の値をとることができますが、バイナリ形式では、固定の「バイアス」が加算された符号なし数として格納されます。このフィールドのすべての値が 0 の場合は、ゼロと非正規数用に予約されています。すべての値が 1 の場合は、無限大と NaN 用に予約されています。正規数の指数範囲は、単精度では [−126, 127]、倍精度では [−1022, 1023]、四倍精度では [−16382, 16383] です。正規数には、非正規値、ゼロ、無限大、および NaN は含まれません。

IEEEバイナリ交換フォーマットでは、正規化された仮数の先頭ビットは常に1であるため、コンピュータデータには実際には格納されません。これは「隠された」ビットまたは「暗黙の」ビットと呼ばれます。このため、単精度フォーマットでは仮数の精度は24ビット、倍精度フォーマットでは53ビット、4倍精度フォーマットでは113ビット、8倍精度フォーマットでは237ビットとなります。

例えば、上記で示したように、πを24ビット精度に丸めると、次のようになります。

• 符号 = 0  ; e = 1  ; s = 110010010000111111011011 (隠しビットを含む)

指数バイアス（127）と指数（1）の合計は128なので、これは単精度形式で次のように表されます。

• 0 10000000 10010010000111111011011 (隠しビットを除く) = 40490FDB ^{[ 28 ]}を16進数で表す。

32ビット浮動小数点のレイアウトの例は次のとおりです。

64ビット（「倍精度」）レイアウトも同様です。

丸めは、浮動小数点演算 (または浮動小数点形式への変換) の正確な結果が、仮数の桁数よりも多くの桁数を必要とする場合に使用されます。 IEEE 754 では正しい丸めが要求されます。つまり、丸められた結果は、無限精度の算術を使用して値を計算し、その後丸めた場合と同じになります (ただし、実装では、これを保証するために 3 ビットだけ追加する必要があります)。丸め方式 (または丸めモード) にはいくつかの種類があります。 歴史的には、切り捨てが一般的なアプローチでした。 IEEE 754 の導入以来、デフォルトの方法 (最も近い値に丸め、同数の場合は偶数に丸める、バンカーズ ラウンドと呼ばれることもあります) がより一般的に使用されています。 この方法は、算術演算の理想的な (無限精度の) 結果を最も近い表現可能な値に丸め、その表現を結果として与えます。^{[ nb 8 ]}同数の場合は、仮数が偶数で終わる値が選択されます。 IEEE 754規格では、平方根や変換を含むすべての基本的な代数演算において、数値（NaN以外）の結果が得られる場合、同じ丸め処理を適用することが求められています。つまり、IEEE 754演算の結果は、NaNの表現を除き、結果のすべてのビットで完全に決定されます。（cosやlogなどの「ライブラリ」関数は必須ではありません。）

代替の丸め方法も利用可能です。IEEE 754では、以下の丸めモードが規定されています。

• 最も近い整数に丸め、同数の場合は指定された桁の最も近い偶数に丸める（デフォルトであり、最も一般的なモード）。
• 最も近い値に丸め、同点の場合はゼロから遠ざかる方向に丸める（バイナリ浮動小数点数ではオプション、10進数では一般的に使用される）
• 切り上げ（+∞方向へ。負の値は0方向へ切り上げる）
• 切り捨て（−∞方向へ。したがって、負の値はゼロから遠ざかる方向に切り捨てられる）
• ゼロ方向に丸める（切り捨て。これは、-3.9を-3に、3.9を3に変換する浮動小数点数から整数への変換の一般的な動作に似ています）。

代替モードは、導入される誤差の量を制限する必要がある場合に役立ちます。誤差の制限が必要なアプリケーションは、多倍長浮動小数点演算と区間演算です。代替丸めモードは、数値的不安定性の診断にも役立ちます。サブルーチンの結果が、+ 無限大と − 無限大への丸めで大きく異なる場合、数値的に不安定で丸め誤差の影響を受けている可能性が高いです。^{[ 35 ]}

倍精度バイナリ浮動小数点数を10進数文字列に変換することは一般的な操作ですが、正確かつ最小限の計算量で結果を生成するアルゴリズムは、1990年にSteeleとWhiteによるDragon4が登場するまで出版されませんでした。それ以降の改良点には以下のようなものがあります。

• David M. Gay のdtoa.c は、Dragon4 の多くのアイデアを実用的なオープンソースで実装したものです。^{[ 36 ]}
• Grisu3は、bignumの使用を排除することで4倍の高速化を実現しています。約0.5%のケースで失敗するため、フォールバックと組み合わせて使用​​する必要があります。^{[ 37 ]}
• Errol3は、Grisu3に似ているが、より遅い、常に成功するアルゴリズムである。フォールバック付きの早期終了型Grisuほど優れていないようだ。^{[ 38 ]}
• Ryūは、Grisu3よりも高速でシンプルな、常に成功するアルゴリズムです。^{[ 39 ]}
• Schubfachは、Ryūと同様のアイデアに基づいた、常に成功するアルゴリズムで、ほぼ同時期に独立して開発されました。^{[ 40 ]}特定のベンチマークでは、RyūやGrisu3よりも優れたパフォーマンスを発揮します。^{[ 41 ]}

多くの最新の言語ランタイムは、Dragon4 のフォールバックを備えた Grisu3 を使用しています。^{[ 42 ]}

10進数文字列を2進数浮動小数点表現に解析する問題は複雑で、正確なパーサーは1990年のClingerの研究（dtoa.cに実装）まで登場しなかった。^{[ 36 ]}同様に、より高速な解析の方向でさらなる研究が進められた。^{[ 43 ]}

浮動小数点数を加算する簡単な方法は、まず同じ指数で表現することです。以下の例では、2番目の数（指数が小さい方）を3桁右にシフトし、その後、通常の加算方法で計算を進めます。

 123456.7 = 1.234567 × 10^5 101.7654 = 1.017654 × 10^2 = 0.001017654 × 10^5

 したがって： 123456.7 + 101.7654 = (1.234567 × 10^5) + (1.017654 × 10^2) = (1.234567 × 10^5) + (0.001017654 × 10^5) = (1.234567 + 0.001017654) × 10^5 = 1.235584654 × 10^5

詳細：

 e=5; s=1.234567 (123456.7) + e=2; s=1.017654 (101.7654)

 e=5; s=1.234567 + e=5; s=0.001017654 (シフト後) -------------------- e=5; s=1.235584654 (真の合計: 123558.4654)

これは真の結果、つまりオペランドの正確な合計です。7桁に丸められ、必要に応じて正規化されます。最終結果は

 e=5; s=1.235585 (最終合計: 123558.5)

2番目のオペランド（654）の下位3桁は実質的に失われます。これは丸め誤差です。極端な場合、2つのゼロ以外の数値の合計が、そのうちの1つと等しくなることがあります。

 e=5; s=1.234567 + e=−3; s=9.876543

 e=5; s=1.234567 + e=5; s=0.00000009876543 (シフト後) ---------------------- e=5; s=1.23456709876543 (真の合計) e=5; s=1.234567（丸めと正規化後）

上記の概念的な例では、正しい丸めを保証するために加算器が多数の追加桁を提供する必要があるように思われるが、慎重な実装技術を用いたバイナリ加算または減算では、オペランドの精度を超えて保持する必要があるのはガードビット、丸めビット、および1つの追加のスティッキービットのみである。^{[ 18 ] [ 44 ]： 218-220}

ほぼ等しい2つの数の近似値を引き算すると、有効性が失われるという別の問題が発生します。次の例では、 e  =  5; s  =  1.234571 とe  =  5; s  =  1.234567 は、有理数 123457.1467 と 123456.659 の近似値です。

 e=5; s=1.234571 − e=5; s=1.234567 ---------------- e=5; s=0.000004 e=−1; s=4.000000（丸めと正規化後）

浮動小数点の差は、数値が近いため正確に計算されます。これは、段階的アンダーフローがサポートされているアンダーフローの場合でも、スターベンツの補題によって保証されます。それにもかかわらず、元の数値の差はe = −1; s = 4.877000 であり、これは近似値の差e = −1; s = 4.000000と 20% 以上異なります。極端な場合、精度の有効桁がすべて失われる可能性があります。^{[ 18 ] [ 45 ]}この相殺は、計算結果のすべての桁が意味を持つと仮定することの危険性を示しています。これらのエラーの結果に対処することは、数値解析のトピックです。精度の問題も参照してください。        

乗算を行うには、仮数部同士を掛け合わせ、指数部同士を足し合わせ、結果を四捨五入して正規化します。

 e=3; s=4.734612 × e=5; s=5.417242 ----------------------- e=8; s=25.648538980104 (真の積) e=8; s=25.64854（四捨五入後） e=9; s=2.564854（正規化後）

同様に、除算は、被除数の指数から除数の指数を引いて、被除数の仮数を除数の仮数で割ることによって行われます。

乗算や除算には、相殺や吸収の問題はありませんが、演算を連続して実行すると小さな誤差が蓄積される可能性があります。^{[ 18 ]}実際には、デジタルロジックでこれらの演算を実行する方法は非常に複雑になることがあります（ブースの乗算アルゴリズムと除算アルゴリズムを参照）。^{[ nb 9 ]}

浮動小数点数のリテラルは言語によって異なります。通常、科学的表記を表すにはeまたはを使用します。Cプログラミング言語とIEEE 754規格では、10 ではなく 2 を底とする指数を持つ16 進数リテラル構文も定義されています。Cのような言語では、10 進指数が省略されている場合、整数と区別するために小数点が必要です。他の言語には整数型がありません ( JavaScriptなど)、または数値型のオーバーロードを許可しています ( Haskellなど)。これらの場合、 などの数字列も浮動小数点リテラルとして使用できます。E123

浮動小数点リテラルの例は次のとおりです。

• 99.9
• -5000.12
• 6.02e23
• -3e-45
• 0x1.fffffep+127C言語およびIEEE 754

• 1991年2月25日、サウジアラビアのダーランでMIM-104パトリオットミサイルシステムの機能低下により、飛来するスカッドミサイルを迎撃できず、米陸軍第14需品分遣隊の兵士28名の死亡につながった。^{[ 50 ]} 兵器管制コンピュータは、起動からの経過時間を10分の1秒単位の整数でカウントしていた。速度と位置の計算で浮動小数点数（秒）に変換するために、ソフトウェアは当初、この数値を0.1の24ビット固定小数点バイナリ近似値で乗算していた。具体的には$${\displaystyle 0.00011001100110011001100_{2}=0.1\times (1-2^{-20}).}$$ ソフトウェアの一部は後に、より正確な浮動小数点変換を使用するように変更されましたが、一部は更新されず、依然として 24 ビット近似を使用していました。^{[ 51 ]} これらのソフトウェアの部分は、 1 時間あたり約 3.43 ミリ秒ずつずれていきました。20 時間後には、約 68.7 ミリ秒のずれが、 レーダー追跡システムがスカッドを見失うのに十分でした。ダハランミサイル砲台の制御システムは、飛来するスカッドを追跡して迎撃できなかったとき、約 100 時間稼働していました。^{[ 50 ]} 迎撃の失敗は、浮動小数点を使用したこと自体が原因ではなく、時間を表す際に異なる誤差を持つ 2 つの異なる単位変換近似を減算したことが原因でした。そのため、差の単位変換誤差は相殺されず、稼働時間とともに無限に増加しました。^{[ 51 ]}
• サラミスライスとは、取引の「目に見えない」部分を別の口座に移す手法のことである。

機械精度は、浮動小数点システムの精度を表す量であり、浮動小数点アルゴリズムの後方誤差解析に用いられます。単位丸め誤差またはマシンイプシロンとも呼ばれます。通常はΕmach_で表され、その値は使用される丸め方法によって異なります。

ゼロに丸めると、 $${\displaystyle \mathrm {E} _{\text{mach}}=B^{1-P},\,}$$ 一方、最も近い値に丸めると、 $${\displaystyle \mathrm {E} _{\text{mach}}={\tfrac {1}{2}}B^{1-P},}$$ ここで、Bはシステムの基数であり、Pは仮数の精度（基数B）である。

これは、浮動小数点システムの正規化された範囲内で、 ゼロ以外の実数xを表現する際の相対誤差を制限するため重要です。$${\displaystyle \left|{\frac {\operatorname {fl} (x)-x}{x}}\right|\leq \mathrm {E} _{\text{mach}}.}$$

後方誤差解析は、その理論がジェームズ・H・ウィルキンソンによって開発され普及したもので、数値関数を実装するアルゴリズムが数値的に安定していることを確立するために使用できます。^{[ 52 ]}基本的なアプローチは、丸め誤差のために計算結果が厳密には正しくないとしても、わずかに摂動された入力データを持つ近傍の問題の正確な解であることを示すことです。必要な摂動が小さく、入力データの不確実性のオーダーであれば、結果は、ある意味でデータが「ふさわしい」精度になります。この場合、アルゴリズムは後方安定であると定義されます。安定性は、特定の数値手順の丸め誤差に対する感度の尺度です。対照的に、特定の問題に対する関数の条件数は、入力の小さな摂動に対する関数の固有の感度を示し、問題を解くために使用される実装とは無関係です。^{[ 53 ]}

簡単な例として、長さ2のベクトルの内積を表す単純な式を考えてみましょう。${\displaystyle x}$そして${\displaystyle y}$、 それから $${\displaystyle {\begin{aligned}\operatorname {fl} (x\cdot y)&=\operatorname {fl} {\big (}\operatorname {fl} (x_{1}\cdot y_{1})+\operatorname {fl} (x_{2}\cdot y_{2}){\big )},&&{\text{ where }}\operatorname {fl} (){\text{ indicates correctly rounded floating-point arithmetic}}\\&=\operatorname {fl} {\big (}(x_{1}\cdot y_{1})(1+\delta _{1})+(x_{2}\cdot y_{2})(1+\delta _{2}){\big )},&&{\text{ where }}\delta _{n}\leq \mathrm {E} _{\text{mach}},{\text{ from above}}\\&={\big (}(x_{1}\cdot y_{1})(1+\delta _{1})+(x_{2}\cdot y_{2})(1+\delta _{2}){\big )}(1+\delta _{3})\\&=(x_{1}\cdot y_{1})(1+\delta _{1})(1+\delta _{3})+(x_{2}\cdot y_{2})(1+\delta _{2})(1+\delta _{3}),\end{aligned}}}$$ など $${\displaystyle \operatorname {fl} (x\cdot y)={\hat {x}}\cdot {\hat {y}},}$$

どこ

$${\displaystyle {\begin{aligned}{\hat {x}}_{1}&=x_{1}(1+\delta _{1});&{\hat {x}}_{2}&=x_{2}(1+\delta _{2});\\{\hat {y}}_{1}&=y_{1}(1+\delta _{3});&{\hat {y}}_{2}&=y_{2}(1+\delta _{3}),\\\end{aligned}}}$$

どこ

$${\displaystyle \delta _{n}\leq \mathrm {E} _{\text{mach}}}$$

_{定義により、これはわずかに摂動された（Εマッハ}のオーダーの）2 つの入力データの合計であり、後方安定です。数値線形代数におけるより現実的な例については、Higham 2002 ^{[ 54 ]}および以下の他の参考文献を参照してください。

IEEE 754 の個々の算術演算はULP の半分以内の精度が保証されていますが、より複雑な数式ではさまざまな理由で誤差が大きくなる可能性があります。問題やデータが悪条件である場合、つまり正しい結果がデータのわずかな変動に過敏な場合、精度の低下は相当なものになる可能性があります。しかし、条件の良い関数であっても、そのデータに対して数値的に不安定なアルゴリズムを使用すると、精度が大きく低下する可能性があります。プログラミング言語で表現された一見同等の式でも、数値的安定性は大きく異なる場合があるのです。このような精度低下のリスクを取り除くためのアプローチの 1 つは、数値的に安定したアルゴリズムの設計と解析であり、これは数値解析と呼ばれる数学の分野の目標です。数値不安定性のリスクから保護できるもう 1 つのアプローチは、アルゴリズムの中間値 (仮値) を最終結果に必要な精度よりも高い精度で計算することであり、^{[ 55 ]}これにより、そのようなリスクを排除するか、桁違いに低減することができます。 ^{[ 56 ]} IEEE 754 四倍精度と拡張精度は、倍精度で計算する場合にこの目的のために設計されています。^{[ 57 ] [ nb 11 ]}

例えば、次のアルゴリズムは関数を計算するための直接的な実装です。${\displaystyle f(x)={\frac {x-1}{\exp(x-1)-1}}}$状態が良い${\displaystyle x=1}$^{[ nb 12 ]}しかし、1.0 付近で計算すると数値的に不安定になり、演算によって保持される有効桁の最大半分を失うことが示されています。^{[ 58 ]}

#include <math.h>double f ( double x ) { double y = x - 1.0 ; double z = exp ( y ); if ( z != 1.0 ) { z = y / ( z - 1.0 ); } return z ; }

アルゴリズムの数値解析によると、以下の一見分かりにくい変更をz = y / (z - 1.0);行に加えると、

z = log ( z ) / ( z - 1.0 );

すると、アルゴリズムは数値的に安定し、完全な倍精度で計算できるようになります。^{[ 58 ]}

数値的に安定なプログラムの特性を厳密に維持するためには、コンパイラによる慎重な処理が不可欠です。コンパイラが行う特定の「最適化」（例えば、演算順序の変更など）は、適切に動作するソフトウェアの目標に反する場合があります。この分野におけるコンパイラと言語設計の欠点については議論があり、C99は数値精度を維持するために最適化が厳密に規定されている言語の一例です。詳細は、本記事末尾の外部参考文献をご覧ください。

高品質な浮動小数点ソフトウェアを作成するための技術の詳細な説明はこの記事の範囲外であるため、読者は^{[ 54 ] [ 59 ]}およびこの記事の末尾にあるその他の参考文献を参照してください。Kahanは、より慎重な数値解析に加えて、またはその代わりに、数値異常のリスクを桁違いに大幅に低減できるいくつかの経験則を提案しています^{[ 59 ]}。これらには、前述のように、すべての式と中間結果をハードウェアでサポートされている最高精度で計算すること（一般的な経験則は、目的の結果の2倍の精度を保持すること、つまり、最終的な単精度結果の場合は倍精度で計算し、倍精度結果までの場合は倍精度拡張または4倍精度で計算すること^{[ 60 ]}）が含まれます。また、入力データと結果を、入力データが必要とし、サポートする精度のみに丸めます（最終結果に、入力データが必要とし、サポートする精度を超える過剰な精度を持たせると、誤解を招く可能性があり、ストレージコストが増加し、速度が低下し、余分なビットが数値手順の収束に影響を与える可能性があります。^{[ 61 ]}特に、以下に示す反復例の最初の形式は、この経験則を使用すると正しく収束します）。いくつかの追加の問題と手法について簡単に説明します。

小数部分はバイナリ浮動小数点では正確に表現できないことが多いため、このような演算は、土星の衛星の公転周期や陽子の質量など、広範囲にわたる実世界の量を測定するために単純に使用される場合に最も適しており、正確であることが期待される小数文字列で表現された量の相互作用をモデル化することが期待される場合は最悪です。^{[ 56 ] [ 59 ]}後者の例としては、金融計算があります。このため、金融ソフトウェアはバイナリ浮動小数点表現を使用しない傾向があります。^{[ 62 ]} C#およびPythonプログラミング言語の「decimal」データ型と、 IEEE 754-2008規格の decimal 形式は、人間が入力した正確な小数値に適用した場合のバイナリ浮動小数点表現の問題を回避し、数値が小数で印刷されたときに常に期待どおりに演算が動作するように設計されています。

数学から期待されることが、浮動小数点演算の分野では実現されない場合がある。例えば、${\displaystyle (x+y)(x-y)=x^{2}-y^{2}\,}$そして、${\displaystyle \sin ^{2}{\theta }+\cos ^{2}{\theta }=1\,}$しかし、これらの事実は、関係する量が浮動小数点演算の結果である場合には当てはまらない。

等価性テスト（）の使用は、if (x==y) ...浮動小数点数を扱う際には注意が必要です。 のような単純な式でさえ0.6 / 0.2 - 3 == 0、ほとんどのコンピュータでは真になりません^{[ 63 ]}（たとえば、IEEE 754 倍精度では、0.6 / 0.2 - 3はほぼ に等しくなります） 。−4.440 892 098 500 63 × 10 ⁻¹⁶ )。したがって、このようなテストは、「あいまい」比較 ( if (abs(x-y) < epsilon) ...、ここで epsilon は十分に小さく、アプリケーションに合わせて調整されています。たとえば 1.0E−13 など) に置き換えられることがあります。これを行うことの妥当性は大きく異なり、epsilon を制限するために数値解析が必要になる場合があります。^{[ 54 ]}丸め誤差によるこのような不整合のリスクを最小限に抑えるために、プライマリ データ表現から導出された値とその比較は、より広い拡張精度で実行する必要があります。^{[ 59 ]}このようなテストが不要になるようにコードを整理する方が良い場合がよくあります。たとえば、計算幾何学では、点が他の点によって定義された線または平面上にあるか、または線から外れているかの正確なテストは、適応精度または正確な算術方法を使用して実行できます。^{[ 64 ]}

浮動小数点演算における小さな誤差は、数学的アルゴリズムが膨大な回数演算を実行すると大きくなる可能性があります。いくつかの例としては、行列の逆行列計算、固有ベクトル計算、微分方程式の解法などがあります。これらのアルゴリズムは、うまく機能するためには、反復改良などの数値的手法を用いて非常に慎重に設計する必要があります。 ^{[ 65 ]}

浮動小数点値のベクトルの合計は科学計算における基本的なアルゴリズムであり、そのため、有効数字の損失が発生する可能性がある場合を認識することが不可欠です。たとえば、非常に多くの数値を加算する場合、個々の加数は合計に比べて非常に小さくなります。これにより、有効数字の損失が発生する可能性があります。典型的な加算は次のようになります。

3253.671 + 3.141276 ----------- 3256.812

加数の下位3桁は事実上失われます。たとえば、すべて約3に等しい多数の数を加算する必要があるとします。1000個の数を加算した後、累積和は約3000になります。失われた桁は回復されません。カハン加算アルゴリズムを使用すると、エラーを減らすことができます。^{[ 54 ]}

丸め誤差は、反復数値計算手順の収束性と精度に影響を与える可能性があります。例えば、アルキメデスは、六角形から始めて辺の数を順次倍にして、円に内接および外接する多角形の周長を計算することでπを近似しました。前述のように、計算は数学的に等価でありながら誤差が生じにくい方法で再構成できます（数値解析）。外接多角形の漸化式の2つの形式は次のとおりです。

• ${\textstyle t_{0}={\frac {1}{\sqrt {3}}}}$
• 最初の形式:${\textstyle t_{i+1}={\frac {{\sqrt {t_{i}^{2}+1}}-1}{t_{i}}}}$
• 第二形式：${\textstyle t_{i+1}={\frac {t_{i}}{{\sqrt {t_{i}^{2}+1}}+1}}}$
• ${\displaystyle \pi \sim 6\times 2^{i}\times t_{i}}$収束して${\displaystyle i\rightarrow \infty }$

以下は、IEEEの「double」（53ビットの精度を持つ仮数）演算を用いた計算例です。

i 6 × 2 i × t i、第1形式 6 × 2 i × t i、第2形式 --------------------------------------------------------- 0 3 .4641016151377543863 3 .4641016151377543863 1 3 .2153903091734710173 3 .2153903091734723496 2 3.1 596599420974940120 3.1 596599420975006733 3 3.14 60862151314012979 3.14 60862151314352708 4 3.14 27145996453136334 3.14 27145996453689225 5 3.141 8730499801259536 3.141 8730499798241950 6 3.141 6627470548084133 3.141 6627470568494473 7 3.141 6101765997805905 3.141 6101766046906629 8 3.14159 70343230776862 3.14159 70343215275928 9 3.14159 37488171150615 3.14159 37487713536668 10 3.141592 9278733740748 3.141592 9273850979885 11 3.141592 7256228504127 3.141592 7220386148377 12 3.1415926 717412858693 3.1415926 707019992125 13 3.1415926 189011456060 3.14159265 78678454728 14 3.1415926 717412858693 3.14159265 46593073709 15 3.14159 19358822321783 3.141592653 8571730119 16 3.1415926 717412858693 3.141592653 6566394222 17 3.1415 810075796233302 3.141592653 6065061913 18 3.1415926 717412858693 3.1415926535 939728836 19 3.141 4061547378810956 3.1415926535 908393901 20 3.14 05434924008406305 3.1415926535 900560168 21 3.14 00068646912273617 3.141592653589 8608396 22 3.1 349453756585929919 3.141592653589 8122118 23 3.14 00068646912273617 3.14159265358979 95552 24 3 .2245152435345525443 3.14159265358979 68907 25 3.14159265358979 62246 26 3.14159265358979 62246 27 3.14159265358979 62246 28 3.14159265358979 62246 真の値は3.14159265358979323846264338327...です。

漸化式の 2 つの形式は明らかに数学的に等価ですが、^{[ nb 13 ]}最初の形式は 1 に非常に近い数から 1 を減算するため、有効桁の損失がますます問題になります。漸化式を繰り返し適用すると、最初は精度が向上しますが、その後悪化します。53 ビット演算では約 16 桁の精度が可能であるにもかかわらず、精度は約 8 桁を超えることはありません。漸化式の 2 番目の形式を使用すると、値は 15 桁の精度に収束します。

浮動小数点演算の結合性の欠如は、一般的に、コンパイラが整数演算や固定小数点演算ほど効果的に算術式を並べ替えることができないことを意味し、共通部分式の削除や自動ベクトル化などの最適化の障害となります。^{[ 66 ]}多くのコンパイラ（ICC、GCC、Clang、MSVCなど）の「高速演算」オプションは、再結合を有効にするとともに、IEEE 754 に NaN や無限数がないなどの安全でない仮定を伴います。一部のコンパイラは、再結合のみを有効にしたり、より積極的な最適化のためにコードの特定の領域をマークしたりする、よりきめ細かいオプションも提供しています。^{[ 67 ]}いずれの場合も、プログラマは、「高速」演算を使用するプログラムの部分で、上記で述べた精度の落とし穴の多くにさらされます。^{[ 68 ]}

一部のコンパイラ（GCC および Clang [GCC がインストールされているとき]）では、「高速」演算を有効にすると、プログラムが起動時に非正規浮動小数点演算を無効にする可能性があり、生成されたコードだけでなく、そのようなコードをライブラリとして使用するすべてのプログラムの浮動小数点動作にも影響を及ぼします。これは GCC 13 で修正されました。^{[ 69 ]}

ほとんどのFortranコンパイラでは、ISO/IEC 1539-1:2004 Fortran 規格で許可されているように、再関連付けがデフォルトであり、「括弧の保護」設定 (これもデフォルトで有効) によって、破損がほぼ防止されます。この設定により、コンパイラは括弧の境界を超えて再関連付けを行うことができません。^{[ 70 ]} Intel Fortran コンパイラは注目すべき例外です。^{[ 71 ]}

「高速」な数学における一般的な問題は、部分式が場所ごとに同じように最適化されない可能性があり、予期しない差異が生じることです。この問題の解釈の一つは、現在実装されている「高速」な数学のセマンティクスが十分に定義されていないということです。「高速」な数学の最適化を形式化しようとする試みの一つとして、検証済みコンパイラであるIcingが挙げられます。^{[ 72 ]}