浮動小数点演算

コンピューティングにおいて、浮動小数点演算( FP ) は、ある基数( 仮数部)の固定桁数の符号付きシーケンスで形成される実数のサブセットに対する演算であり、その基数の整数指数でスケーリングされます。この形式の数は浮動小数点数と呼ばれます。^{[1] : 3  [2] : 10}

たとえば、2469/200 は 5 桁の 10 進数の浮動小数点数です 。ただし、2469/200 = 12.345 とは異なり、7716/625 = 12.3456 は 5 桁の 10 進数の浮動小数点数ではなく、6 桁が必要です。5 桁のみの最も近い浮動小数点数は 12.346 です。また、1/3 = 0.3333… は、有限の桁数を持つ 10 進数の浮動小数点数ではありません。実際には、ほとんどの浮動小数点システムでは2 進数を使用しますが、10 進数 ( 10 進浮動小数点) も一般的です。 $${\displaystyle 2469/200=12.345=\!\underbrace {12345} _{\text{significand}}\!\times \!\underbrace {10} _{\text{base}}\!\!\!\!\!\!\!\overbrace {{}^{-3}} ^{\text{exponent}}}$$

加算や除算などの浮動小数点演算は、浮動小数点数自体ではない結果を近くの浮動小数点数に丸めることで、対応する実数演算を近似します。^{[1] : 22  [2] : 10} たとえば、5 桁の 10 進数による浮動小数点演算では、合計 12.345 + 1.0001 = 13.3451 は 13.345 に丸められる可能性があります。

浮動小数点という用語は、数値の基数点が数値の左、右、または有効桁間のどこにでも「浮動」できることを意味します。この位置は指数によって示されるため、浮動小数点は科学的記数法の一種と見なすことができます。

浮動小数点システムは、固定桁数で、銀河間の距離や原子内の陽子間の距離など、桁数の異なる数値を表すのに使用できます。このため、浮動小数点演算は、高速処理を必要とする非常に小さい実数や非常に大きい実数を表現するためによく使用されます。このダイナミックレンジの結果、表現できる数値は均等間隔ではなく、表現可能な2つの連続する数値の差は指数によって異なります。^[3]

長年にわたり、コンピュータではさまざまな浮動小数点表現が使用されてきました。1985 年に、浮動小数点演算のIEEE 754標準が制定され、1990 年代以降、最も一般的に使用されている表現は IEEE によって定義されたものとなっています。

浮動小数点演算の速度は、通常FLOPSで測定され、特に集中的な数学計算を伴うアプリケーションの場合、 コンピュータ システムの重要な特性です。

浮動小数点ユニット( FPU、俗に数学コプロセッサ) は、浮動小数点数の演算を実行するために特別に設計されたコンピュータ システムの一部です。

数値表現は、通常は数字の文字列として数値をエンコードする方法を指定します。

数字の文字列で数字を表す方法はいくつかあります。標準的な数学表記では、数字の文字列の長さは任意で、小数点の位置は、明示的な「小数点」文字(ドットまたはカンマ) を配置することで示されます。小数点が指定されていない場合、文字列は暗黙的に整数を表し、明示されていない小数点は文字列の右端から外れ、最下位桁の隣になります。固定小数点システムでは、文字列内の位置が小数点として指定されます。したがって、固定小数点方式では、小数点が中央にある 8 桁の小数点の文字列が使用されることがあります。この場合、「00012345」は 0001.2345 を表します。

科学的記数法では、与えられた数値は10 の累乗でスケール化され、特定の範囲（通常は 1 から 10 の間）に収まるようにし、小数点は最初の数字の直後に表示されます。10 の累乗の場合、スケール係数は数値の末尾に別途示されます。たとえば、木星の衛星イオの公転周期は152,853.5047秒、これは標準形式の科学的記数法で表すと次のようになります。1.528535047 × 10 ⁵秒。

浮動小数点表現は、概念的には科学的記数法に似ています。論理的には、浮動小数点数は次のように構成されます。

• 与えられた基数(または基数) における与えられた長さの符号付き(正または負を意味する) 数字列。この数字列は、仮数部、仮数部、または係数と呼ばれます。^{[注 1]}仮数部の長さによって、数値を表現できる精度が決まります。基数点の位置は常に仮数部内のどこか、つまり最上位桁の直後または直前、または右端 (最下位) 桁の右側にあると想定されます。この記事では一般に、基数点を最上位 (左端) 桁の直後に設定するという慣例に従います。
• 符号付き整数指数（特性またはスケールとも呼ばれる）^{[nb 2]}は、数値の大きさを変更します。

浮動小数点数の値を導出するには、指数で累乗した基数を仮数部に掛けます。これは、基数点を暗黙の位置から指数の値に等しい桁数だけシフトすることと同じです。指数が正の場合は右に、指数が負の場合は左にシフトします。

10進法（おなじみの10進数表記）を例に挙げると、152,853.5047は10進数で10桁の精度を持ち、仮数部として表される。1,528,535,047と指数の 5 を足した値です。実際の値を求めるには、仮数部の最初の桁の後に小数点を付け、その結果に 10 を掛けます。⁵与える1.528535047 × 10 ⁵、または152,853.5047。このような数値を保存する場合、基数 (10) はサポートされている数値の範囲全体で同じであり、推測できるため、保存する必要はありません。

象徴的に言えば、この最終的な値は次のようになります。 $${\displaystyle {\frac {s}{b^{\,p-1}}}\times b^{e},}$$

ここで、sは仮数部（暗黙の小数点は無視します）、pは精度（仮数の桁数）、bは基数（この例では 10 ）、eは指数です。

歴史的に、浮動小数点数を表すためにいくつかの基数が使用されてきたが、2進数（2進数）が最も一般的で、次に10進数（ 10進浮動小数点）が続き、他には16進数（16進浮動小数点^{[4] [5] [nb 3]}）、8進数（8進浮動小数点^{[1] [5] [6] [4] [nb 4]}）、4進数（4進浮動小数点^{[7] [5] [nb 5]}）、3進数（平衡3進浮動小数点[1]）、さらには256進数^{[5] [nb 6]}や10進数（10進浮動小数点^[1]）などのあまり一般的ではない変種もあった。65,536 . ^{[8] [注 7]}

浮動小数点数は有理数です。なぜなら、ある整数を別の整数で割ることで表現できるからです。例えば、1.45 × 10 ³は (145/100)×1000 または145,000 /100。基数によって表現できる分数が決まります。たとえば、1/5 は 2 進数では浮動小数点数として正確に表現できませんが、10 進数では 1/5 を正確に表現できます (0.2、または2 × 10 ⁻¹）。しかし、 1/3 は 2 進数 (0.010101...) や 10 進数 (0.333...) で正確に表すことはできませんが、3 を基数とすると自明です (0.1 または 1×3 ⁻¹ ) 。無限拡大が発生する状況は、基数とその素因数によって異なります。

仮数部（符号を含む）と指数部がコンピュータに格納される方法は、実装に依存します。一般的な IEEE 形式については、後述および他の場所で詳しく説明しますが、例として、バイナリ単精度（32 ビット）浮動小数点表現では、となり、仮数は 24ビットの文字列になります。たとえば、数πの最初の 33 ビットは次のとおりです。 ${\displaystyle p=24}$$${\displaystyle 11001001\ 00001111\ 1101101{\underline {0}}\ 10100010\ 0.}$$

この2進数展開では、0（左端のビット、または最上位ビット）から32（右端のビット）までの位置を示します。24ビットの仮数は、下線付きのビットで示される位置23で停止します。0より上です。次のビットは位置 24 にあり、丸めビットまたは丸めビットと呼ばれます。これは 33 ビットの近似値を最も近い 24 ビットの数値に丸めるために使用されます (中間値には特定のルールがありますが、ここでは当てはまりません)。この例では、 1 が左端の 24 ビットで形成される整数に加算され、次のようになります。 $${\displaystyle 11001001\ 00001111\ 1101101{\underline {1}}.}$$

これを IEEE 754 エンコードを使用してメモリに格納すると、これが仮数 sになります。仮数は、左端のビットの右側に 2 進小数点を持つものと想定されます。したがって、π の 2 進表現は、次のように左から右に計算されます。 $${\displaystyle {\begin{aligned}&\left(\sum _{n=0}^{p-1}{\text{bit}}_{n}\times 2^{-n}\right)\times 2^{e}\\={}&\left(1\times 2^{-0}+1\times 2^{-1}+0\times 2^{-2}+0\times 2^{-3}+1\times 2^{-4}+\cdots +1\times 2^{-23}\right)\times 2^{1}\\\approx {}&1.57079637\times 2\\\approx {}&3.1415927\end{aligned}}}$$

ここでpは精度（この例では24 ）、 nは仮数の左からのビット位置（0で終了23）であり、eは指数（この例では1 です。

非ゼロ数の仮数部の最上位桁が非ゼロであることが要求されることがある（対応する指数が最小の桁より小さい場合を除く）。このプロセスは正規化と呼ばれる。バイナリ形式（0と1）、この非ゼロの数字は必ず1。したがって、メモリ内で表現する必要がなく、フォーマットの精度が1ビット高くなります。この規則は、先行ビット規則、暗黙のビット規則、隠しビット規則、^{[1] 、}想定ビット規則などと呼ばれます。

浮動小数点表現は、コンピュータで実数の近似値を表現する最も一般的な方法です。ただし、他にも方法があります。

• 固定小数点表現では、バイナリまたは小数点の位置に関する特定の規則 (たとえば、右から 6 ビットまたは 6 桁) のソフトウェア実装によって制御される整数ハードウェア操作を使用します。これらの表現を操作するハードウェアは、浮動小数点よりもコストが低く、通常の整数操作を実行するためにも使用できます。バイナリ固定小数点は通常、整数演算のみを実行できる組み込みプロセッサ上の特殊用途アプリケーションで使用されますが、商用アプリケーションでは 10 進固定小数点が一般的です。
• 対数数システム(LNS) は、実数をその絶対値の対数と符号ビットで表します。値の分布は浮動小数点に似ていますが、値と表現の曲線 (つまり、対数関数のグラフ) は滑らかです (0 を除く)。浮動小数点演算とは逆に、対数数システムでは、乗算、除算、累乗は簡単に実装できますが、加算と減算は複雑です。Charles Clenshaw、 Frank Olver 、Peter Turner の (対称)レベル インデックス演算(LI および SLI) は、一般化された対数表現に基づく方式です。
• Unumで使用されるテーパー浮動小数点表現。
• いくつかの単純な有理数 (例: 1/3 や 1/10) は、精度に関係なく、2 進浮動小数点数では正確に表現できません。異なる基数を使用すると、それらのいくつか (例: 10 進浮動小数点数での 1/10) を表現することができますが、可能性は限られています。有理数演算を実行するソフトウェア パッケージは、整数の分子と分母を持つ分数として数値を表現するため、任意の有理数を正確に表現できます。このようなパッケージでは、通常、個々の整数に対して「 bignum」演算を使用する必要があります。
• 区間演算を使用すると、数値を区間として表現し、結果の境界を保証できます。これは通常、他の演算、特に浮動小数点演算に基づいています。
• Mathematica、Maxima、Mapleなどのコンピュータ代数システムは、多くの場合、 やのような無理数を、特定の仮数のエンコードを処理せずに、完全に「形式的な」方法 (記号計算) で処理できます。このようなプログラムは、中間計算ごとに近似値を使用するのではなく、基礎となる数学を直接処理するようにプログラムされているため、「 」のような式を正確に評価できます。${\displaystyle \pi }$${\displaystyle {\sqrt {3}}}$${\displaystyle \sin(3\pi )}$

1914年、スペインの技術者レオナルド・トーレス・ケベドは『オートマチックに関するエッセイ』^[9]を出版し、チャールズ・バベッジの解析機関をベースにした特殊用途の電気機械式計算機を設計し、浮動小数点数を一貫した方法で保存する方法を説明した。彼は、数値はn x 10のような指数形式で保存されると述べ、機械による浮動小数点数の一貫した操作を実装できる3つの規則を提示した。トーレスにとって、「n は常に同じ桁数（たとえば6）であり、 nの最初の桁は10分の1のオーダー、2番目の桁は100分の1のオーダー、などとなり、各数量はn ; m の形式で表記される」というものである。彼が提案した形式は、現在浮動小数点データに使用されている固定サイズの仮数部の必要性を示しており、仮数部の小数点の位置を固定して各表現が一意になるようにし、1920年の電気機械式算数計の場合のようにタイプライターで入力できる構文を指定してそのような数値をフォーマットする方法を示しています。 ^{[10] [11] [12]}${\displaystyle ^{m}}$

1938年、ベルリンのコンラート・ツーゼは、最初のバイナリでプログラム可能な機械式コンピュータであるZ1を完成させました。^[13]これは、7ビットの符号付き指数、17ビットの仮数部（1つの暗黙のビットを含む）、および符号ビットを備えた24ビットのバイナリ浮動小数点数表現を使用します。^[14] 1941年に完成した、より信頼性の高いリレーベースのZ3は、正の無限大と負の無限大の両方の表現を持ち、特に、 などの無限大を使用した定義済みの演算を実装し、 などの未定義の演算で停止します。 ${\displaystyle ^{1}/_{\infty }=0}$${\displaystyle 0\times \infty }$

ツーゼはまた、IEEE標準の特徴を40年も先取りして、NaN表現を含む慎重に丸められた浮動小数点演算も提案したが、完成しなかった。 ^[15]対照的に、フォン・ノイマンは1951年のIASマシンでは浮動小数点数を推奨せず、固定小数点演算の方が望ましいと主張した。^[15]${\displaystyle \pm \infty }$

浮動小数点ハードウェアを搭載した最初の商用コンピュータは、1942年から1945年に設計されたツーゼのZ4コンピュータでした。1946年にベル研究所は10進浮動小数点数を実装したモデルVを発表しました。^[16]

Pilot ACE はバイナリ浮動小数点演算機能を備えており、1950 年に英国国立物理学研究所で運用が開始されました。その後、33 台がEnglish Electric DEUCEとして市販されました。演算は実際にはソフトウェアで実装されていますが、クロック レートが 1 メガヘルツであるため、このマシンの浮動小数点演算と固定小数点演算の速度は当初、多くの競合コンピュータよりも高速でした。

1954 年には、バイアス指数の使用を導入したIBM 704が大量生産されました。その後数十年にわたり、浮動小数点ハードウェアは通常はオプション機能であり、それを備えたコンピュータは「科学コンピュータ」または「科学計算」(SC) 機能を備えていると言われました (科学計算拡張機能(XSC)も参照)。汎用パーソナルコンピュータがハードウェアの浮動小数点機能を標準機能として備えたの は、1989 年に Intel i486 が発売されてからでした。

1962 年に導入されたUNIVAC 1100/2200 シリーズは、次の 2 つの浮動小数点表現をサポートしていました。

• 単精度: 36 ビット、1 ビットの符号、8 ビットの指数、および 27 ビットの仮数として構成されます。
• 倍精度: 72 ビット、1 ビットの符号、11 ビットの指数、および 60 ビットの仮数として構成されます。

1962 年に発表されたIBM 7094 は単精度と倍精度の表現をサポートしていましたが、UNIVAC の表現とは関係がありませんでした。実際、1964 年に IBM はSystem/360メインフレームで16 進浮動小数点表現を導入しました。これらの同じ表現は、現代のz/Architectureシステムでも引き続き使用できます。1998 年に IBM はメインフレームに IEEE 互換の 2 進浮動小数点演算を実装しました。2005 年には、IBM は IEEE 互換の 10 進浮動小数点演算も追加しました。

当初、コンピュータは浮動小数点数にさまざまな表現を使用していました。メインフレーム レベルでの標準化の欠如は、1970 年代初頭まで、高レベルのソース コードの作成と保守を行う人々にとって継続的な問題でした。これらのメーカーの浮動小数点標準は、ワード サイズ、表現、丸め動作、および演算の一般的な精度が異なっていました。複数のコンピューティング システム間での浮動小数点の互換性は、1980 年代初頭までに標準化が切実に必要となり、32 ビット (または 64 ビット)ワードが一般的になるや否やIEEE 754標準が作成されました。この標準は、 i8087数値コプロセッサを設計していた Intel の提案に大きく基づいており、同時期に68000 を設計していた Motorolaも重要な情報を提供しました。

1989年、数学者でコンピュータ科学者のウィリアム・カーハンは、この提案の立案者としてチューリング賞を受賞した。彼は学生のジェローム・クーネンと客員教授のハロルド・ストーンの助けも受けていた。^[17]

x86 の革新には次のようなものがあります。

• ビット文字列レベルで正確に指定された浮動小数点表現。これにより、準拠するすべてのコンピュータがビットパターンを同じように解釈します。これにより、浮動小数点数をあるコンピュータから別のコンピュータに正確かつ効率的に転送できるようになります (エンディアンを考慮に入れた後)。
• 算術演算の正確に指定された動作: 無限に正確な算術演算を使用して値を生成し、特定のルールに従って丸めたかのように結果を生成する必要があります。これは、準拠したコンピュータ プログラムが特定の入力を与えられたときに常に同じ結果を生成することを意味し、これにより、これまで非決定論的な動作と思われていた浮動小数点演算の神秘的な評判が緩和されます。
• 例外的な状況(オーバーフロー、ゼロ除算など) が計算を通じて無害な方法で伝播し、その後ソフトウェアによって制御された方法で処理される機能。

浮動小数点数は 2 つの固定小数点要素で構成され、その範囲は表現のビット数または桁数によってのみ決まります。要素は範囲に比例して決まりますが、浮動小数点数の範囲は仮数範囲に比例し、指数要素の範囲に比例して決まります。指数要素の範囲は数値に非常に広い範囲を与えます。

一般的なコンピュータ システムでは、倍精度(64 ビット) の 2 進浮動小数点数は、係数が 53 ビット (暗黙の 1 ビットを含む)、指数が 11 ビット、符号ビットが 1 ビットです。2 ¹⁰ = 1024 なので、この形式の正の正規浮動小数点数の全範囲は、2 ⁻¹⁰²²  ≈ 2 × 10 ⁻³⁰⁸から約 2 ¹⁰²⁴  ≈ 2 × 10 ³⁰⁸までです。

システム（ B、P、L、U） 内の通常の浮動小数点数の数は、

• Bはシステムのベースであり、
• Pは仮数の精度（基数B）である。
• Lはシステムの最小の指数であり、
• Uはシステムの最大の指数であり、

は。 ${\displaystyle 2\left(B-1\right)\left(B^{P-1}\right)\left(U-L+1\right)}$

最小の正の正規浮動小数点数が存在する。

アンダーフローレベル = UFL = 、${\displaystyle B^{L}}$

先頭の桁が 1、残りの桁が 0 で、指数部が最小値になります。

最大の浮動小数点数がある。

オーバーフローレベル = OFL = 、${\displaystyle \left(1-B^{-P}\right)\left(B^{U+1}\right)}$

仮数部の各桁の値は B − 1 となり、指数部には可能な最大値が設定されます。

さらに、厳密には −UFL と UFL の間に表現可能な値があります。つまり、正と負のゼロ、および非正規数です。

IEEEは1985 年にIEEE 754 (別名 IEC 60559)で 2 進浮動小数点数のコンピュータ表現を標準化しました。この最初の標準は、ほぼすべての現代のマシンで採用されています。2008 年に改訂されました。IBM メインフレームは、IEEE 754 2 進形式に加えて、IBM 独自の 16 進浮動小数点形式と IEEE 754-2008 10 進浮動小数点形式をサポートしています。Cray T90シリーズには IEEE バージョンがありましたが、SV1 では依然として Cray 浮動小数点形式が使用されています。^{[引用が必要]}

この規格では、いくつかの詳細が異なるだけで、密接に関連した多くの形式が規定されています。これらの形式のうち 5 つは基本形式と呼ばれ、その他は拡張精度形式および拡張可能精度形式と呼ばれます。特に、コンピューター ハードウェアと言語で広く使用されている形式は次の 3 つです。^{[引用が必要]}

• 単精度(binary32) は、通常、 C 言語ファミリの「float」型を表すために使用されます。これは、32 ビット (4 バイト) を占めるバイナリ形式で、その仮数は 24 ビット (約 7 桁の 10 進数) の精度を持ちます。
• 倍精度(binary64) は、通常、 C 言語ファミリの「double」型を表すために使用されます。これは、64 ビット (8 バイト) を占めるバイナリ形式で、その仮数は 53 ビット (約 16 桁の 10 進数) の精度を持ちます。
• 拡張倍精度は、あいまいに「拡張精度」形式とも呼ばれます。これは、少なくとも 79 ビット (非表示/暗黙のビット規則が使用されない場合は 80 ビット) を占めるバイナリ形式で、その有効桁の精度は少なくとも 64 ビット (10 進数で約 19 桁) です。C言語ファミリのC99およびC11標準では、付録 F (「IEC 60559 浮動小数点演算」) で、このような拡張形式を「long double」として提供することを推奨しています。^[18]最小要件を満たす形式 (64 ビットの有効桁精度、15 ビットの指数、したがって 80 ビットに収まる) は、 x86アーキテクチャによって提供されます。多くの場合、このようなプロセッサでは、この形式を「long double」で使用できますが、拡張精度は MSVC では利用できません。^[19]アライメントの目的で、多くのツールはこの 80 ビットの値を 96 ビットまたは 128 ビットのスペースに格納します。^{[20] [21]}他のプロセッサでは、「long double」は4倍精度などのより大きな形式を表す場合があり、^[22]拡張精度の形式が利用できない場合は単に倍精度を表す場合もあります。^[23]

浮動小数点表現の精度を上げると、通常、中間計算によって発生する累積丸め誤差の量が減少します。^[24] その他のIEEE形式には次のものがあります。

• Decimal64およびDecimal128浮動小数点形式。これらの形式 (特に Decimal128) は、 Decimal32形式とともに、小数点の正確な丸めを可能にするため、金融取引で広く使用されています。
• 4 倍精度(binary128)。これは 128 ビット (16 バイト) を占めるバイナリ形式で、その仮数は 113 ビット (約 34 桁の 10 進数) の精度を持ちます。
• 半精度はバイナリ16とも呼ばれ、16ビットの浮動小数点値です。NVIDIA Cgグラフィックス言語やopenEXR標準で使用されています（実際にはIEEE 754標準での導入より前から存在していました）。^{[25] [26]}

^{絶対値が 2 24}未満の整数は単精度形式で正確に表現でき、絶対値が 2 ⁵³未満の整数は倍精度形式で正確に表現できます。さらに、そのような数の 2 倍の広範囲の累乗を表現できます。これらの特性は、倍精度浮動小数点数はあるが 32 ビット整数しかないプラットフォームで 53 ビット整数を取得するために、純粋な整数データに使用されることがあります。

この標準では、いくつかの特殊な値とその表現が指定されています。正の無限大( +∞ )、負の無限大 ( −∞ ) 、通常の (「正の」) ゼロとは異なる負のゼロ( −0 )、および「非数」値 ( NaN ) です。

IEEE 標準で定義されている浮動小数点数の比較は、通常の整数の比較とは少し異なります。負のゼロと正のゼロは等しいと評価され、すべての NaN は、それ自体を含むすべての値と等しくありません。すべての有限浮動小数点数は、厳密に+∞より小さく、厳密に−∞より大きく、その値 (実数セット内) と同じ方法で順序付けられます。

浮動小数点数は通常、左から右に、符号ビット、指数フィールド、および仮数部または仮数としてコンピュータ データにパックされます。既存のハードウェア実装がある IEEE 754 バイナリ形式 (基本および拡張) の場合、次のように割り当てられます。

指数は正または負の値を取ることができますが、バイナリ形式では、固定の「バイアス」が追加された符号なしの数値として保存されます。このフィールドの値がすべて 0 の場合は、ゼロと非正規数用に予約されています。値がすべて 1 の場合は、無限大と NaN 用に予約されています。正規数の指数範囲は、単精度の場合は [-126, 127]、倍精度の場合は [-1022, 1023]、4 倍精度の場合は [-16382, 16383] です。正規数には、非正規値、ゼロ、無限大、NaN は含まれません。

IEEE バイナリ交換形式では、正規化された仮数の先頭の 1 ビットは、実際にはコンピュータ データに格納されません。これは、「隠し」または「暗黙の」ビットと呼ばれます。このため、単精度形式では実際の仮数の精度は 24 ビット、倍精度形式では 53 ビット、4 倍精度形式では 113 ビットになります。

たとえば、π を 24 ビットの精度に丸めると、次のようになることが上記で示されました。

• sign = 0 ; e = 1 ; s = 110010010000111111011011 (隠しビットを含む)

指数バイアス（127）と指数（1）の合計は128なので、単精度形式では次のように表されます。

• 0 10000000 10010010000111111011011（隠しビットを除く）= 16進数で40490FDB ^[27]となる。

32ビット浮動小数点のレイアウトの例は次の通りです。

64 ビット (「ダブル」)レイアウトも同様です。

広く使用されているIEEE 754標準形式に加えて、特定のドメイン固有の領域では他の浮動小数点形式が使用されているか、使用されていました。

• Microsoftバイナリ フォーマット (MBF)は、Microsoft の最初の製品であるAltair BASIC (1975)、TRS-80 LEVEL II、CP/MのMBASIC、IBM PC 5150のBASICA、MS-DOSのGW-BASIC、およびバージョン 4.00 より前のQuickBASICを含む Microsoft BASIC 言語製品用に開発されました。QuickBASIC バージョン 4.00 および 4.50 は IEEE 754-1985 フォーマットに切り替わりましたが、/MBF コマンド オプションを使用して MBF フォーマットに戻すことができます。MBF は、1975 年春に、ビル ゲイツの寮の同室者であったモンテ ダビドフによって、シミュレートされたIntel 8080上でMITS Altair 8800用に設計および開発されました。 1975 年 7 月の最初のリリースでは、 MITS Altair 8800 の4 キロバイト メモリのコストのため、単精度 (32 ビット) 形式がサポートされました。1975 年 12 月、8 キロバイト バージョンに倍精度 (64 ビット) 形式が追加されました。単精度 (40 ビット) バリアント形式は、他の CPU、特にMOS 6502 ( Apple //、Commodore PET、Atari )、Motorola 6800 (MITS Altair 680)、Motorola 6809 ( TRS-80 Color Computer ) に採用されました。1975 年から 1987 年までのすべての Microsoft 言語製品は、Microsoft バイナリ形式を使用していましたが、Microsoft は 1988 年から現在のリリースまで、すべての製品で IEEE-754 標準形式を採用しました。 MBFは、MBF単精度形式（32ビット、「6桁BASIC」）^{[28] [29]、} MBF拡張精度形式（40ビット、「9桁BASIC」）^[29] 、およびMBF倍精度形式（64ビット）^{[28] [30]}で構成されます。それぞれ8ビットの指数、それに続く符号ビット、そしてそれぞれ23、31、55ビットの仮数で表されます。
• Bfloat16 形式は、 IEEE 754 半精度形式と同じ量のメモリ (16 ビット) を必要としますが、指数に 5 ビットではなく 8 ビットを割り当てるため、IEEE 754 単精度数と同じ範囲が提供されます。トレードオフとして、末尾の仮数フィールドが 10 ビットから 7 ビットに削減されるため、精度が低下します。この形式は主に、範囲が精度よりも重要である機械学習モデルのトレーニングに使用されます。多くの機械学習アクセラレータは、この形式のハードウェア サポートを提供しています。
• TensorFloat-32 ^[31]形式は、Bfloat16 の指数部の 8 ビットと半精度形式の末尾の仮数部の 10 ビットを組み合わせたもので、サイズは 19 ビットになります。この形式はNvidiaによって導入され、Nvidia Ampere アーキテクチャに基づくGPUの Tensor Core でハードウェア サポートが提供されています。この形式の欠点は、サイズが 2 の累乗ではないことです。ただし、Nvidia によると、この形式はハードウェア内部でのみ計算を高速化するために使用し、入力と出力は 32 ビット単精度の IEEE 754 形式で保存する必要があります。^[31]
• ホッパーアーキテクチャGPUは2つのFP8形式を提供します。1つは半精度と同じ数値範囲（E5M2）で、もう1つは精度は高いが範囲は狭い（E4M3）です。[ ^{32] [33]}

浮動小数点形式で表現されるすべての数値は、その性質上、関連する基数で終端展開される有理数です (たとえば、基数 10 での終端 10 進展開、基数 2 での終端 2 進展開)。 πや √2 などの無理数、または終端しない有理数は、近似値で表す必要があります。 精度の桁数 (またはビット数) によっても、正確に表現できる有理数のセットが制限されます。 たとえば、10 進数の精度が 8 桁しかない場合、10 進数 123456789 は正確に表現できません (表現可能な 2 つの値にまたがる 12345678 × 10 ¹または 12345679 × 10 ¹のいずれかに丸められます)。同じことが終端しない桁にも当てはまります(. 5 は.55555555 または .55555556 に丸められます)。

数値が、コンピュータ実装でサポートされているネイティブの浮動小数点表現ではない形式 (文字列など) で表現されている場合、その実装で使用する前に変換が必要になります。数値を浮動小数点形式で正確に表現できる場合、変換は正確です。正確な表現がない場合は、変換時に元の値を表すために使用する浮動小数点数を選択する必要があります。選択された表現は元の値とは異なり、このように調整された値は丸められた値と呼ばれます。

有理数が無限展開を持つかどうかは、基数によって異なります。たとえば、基数 10 では、数 1/2 は無限展開を持ちます (0.5)。一方、数 1/3 は無限展開を持ちません (0.333...)。基数 2 では、分母が 2 の累乗である有理数 (1/2 や 3/16 など) のみが無限展開を持ちます。分母が 2 以外の素因数を持つ有理数は、無限の 2 進展開を持ちます。つまり、10 進形式で記述すると短くて正確に見える数値でも、2 進浮動小数点数に変換すると近似値が必要になる場合があります。たとえば、10 進数 0.1 は有限精度の 2 進浮動小数点数では表現できません。正確な 2 進表現では、"1100" のシーケンスが無限に続きます。

e = −4; s = 1100110011001100110011001100110011...、

ここで、前と同様に、sは仮数部、e は指数です。

24ビットに丸めると、

e = −4; s = 110011001100110011001101、

これは実際には 10 進数では 0.100000001490116119384765625 になります。

さらに別の例として、実数πを2進数で無限のビット列として表すと、

11.0010010000111111011010101000100010000101101000110000100011010011...

しかし、

11.0010010000111111011011

24 ビットの精度に 丸めて近似した場合。

2進単精度浮動小数点数では、これはs  = 1.10010010000111111011011、e  = 1と表されます。これは10進値では

3.141592 7410125732421875,

一方、πの真の値のより正確な近似値は

3.14159265358979323846264338327950 ...

丸めの結果は、真の値と約 0.03 ppm 異なり、最初の 7 桁の π の 10 進表現と一致します。この差は離散化誤差であり、マシン イプシロンによって制限されます。

同じ指数を持つ 2 つの連続する表現可能な浮動小数点数間の算術的な差は、 ULP ( Unit in the Last Place ) と呼ばれます。たとえば、表現可能な数 1.45a70c22 _hexと 1.45a70c24 _hexの間に表現可能な数がない場合、ULP は 2×16 ⁻⁸、つまり 2 ⁻³¹です。2 を底とする指数部分が 0 の数、つまり絶対値が 1 以上 2 未満の数の場合、ULP は単精度でちょうど 2 ⁻²³または約 10 ⁻⁷になり、倍精度でちょうど 2 ⁻⁵³または約 10 ⁻¹⁶になります。IEEE 準拠のハードウェアの必須の動作は、結果が ULP の半分以内になることです。

丸めは、浮動小数点演算 (または浮動小数点形式への変換) の正確な結果に、仮数の桁数より多くの桁数が必要な場合に使用されます。IEEE 754 では、正しい丸めが要求されています。つまり、丸められた結果は、無限精度の算術演算を使用して値が計算され、その後丸められたかのようになります (ただし、実装では、これを保証するために必要なのは 3 つの追加ビットだけです)。丸めスキーム (または丸めモード) にはいくつかの種類があります。歴史的には、切り捨てが一般的なアプローチでした。IEEE 754 の導入以降、デフォルトの方法 (最も近い値に丸め、偶数に丸める、銀行家の丸めと呼ばれることもある) がより一般的に使用されています。この方法では、算術演算の理想的な (無限精度の) 結果を最も近い表現可能な値に丸め、その表現を結果として返します。^{[nb 8]}同点の場合は、仮数が偶数で終わる値が選択されます。 IEEE 754 標準では、数値 (非 NaN) 結果がある場合、平方根や変換を含むすべての基本的な代数演算に同じ丸めを適用することが要求されています。つまり、IEEE 754 演算の結果は、NaN の表現を除いて、結果のすべてのビットで完全に決定されます。(コサインやログなどの「ライブラリ」関数は必須ではありません。)

代替の丸めオプションも利用できます。IEEE 754 では、次の丸めモードが指定されています。

• 最も近い数字に丸めます。必要な位置にある最も近い偶数に丸めます (デフォルトであり、最も一般的なモードです)
• 最も近い値に丸めます。同点の場合はゼロから遠ざかる方向に丸めます (2 進浮動小数点の場合はオプション、10 進数では通常使用されます)
• 切り上げ（+∞ 方向へ。負の結果はゼロ方向へ切り上げ）
• 切り捨て（−∞に向かって切り捨て、負の結果はゼロから離れて切り捨て）
• ゼロに向かって丸める（切り捨て。これは、浮動小数点数から整数への変換の一般的な動作に似ており、-3.9 を -3 に、3.9 を 3 に変換します）

代替モードは、導入される誤差の量を制限する必要がある場合に便利です。制限された誤差を必要とするアプリケーションには、多倍長浮動小数点演算や区間演算があります。代替丸めモードは、数値不安定性の診断にも役立ちます。サブルーチンの結果が+無限大と-無限大への丸めの間で大幅に異なる場合、数値的に不安定であり、丸め誤差の影響を受けている可能性があります。^[34]

倍精度の 2 進浮動小数点数を 10 進文字列に変換することは一般的な操作ですが、正確かつ最小限の結果を生成するアルゴリズムは、1990 年に Steele と White の Dragon4 が登場するまで印刷されていませんでした。それ以降の改良には次のようなものがあります。

• David M. Gayのdtoa.cは、Dragon4の多くのアイデアを実用的なオープンソースで実装したものです。^[35]
• Grisu3はbignumsの使用を排除することで4倍の速度向上を実現。約0.5%のケースで失敗するため、フォールバックを使用する必要があります。^[36]
• Errol3はGrisu3に似ているが、より遅い常時成功アルゴリズムである。フォールバック付きの早期終了Grisuほど良くないようだ。^[37]
• RyuはGrisu3よりも高速でシンプルな常時成功アルゴリズムです。^[38]
• Schubfachは、Ryūと似たアイデアに基づいた常に成功するアルゴリズムで、ほぼ同時に独立して開発されました。^[39]特定のベンチマークではRyūやGrisu3よりも優れたパフォーマンスを発揮します。^[40]

多くの現代言語ランタイムは、Dragon4フォールバックを備えたGrisu3を使用しています。^[41]

10進文字列を2進FP表現に解析する問題は複雑であり、正確なパーサーはClingerの1990年の研究（dtoa.cで実装）まで登場しませんでした。^[35]さらに、より高速な解析の方向への研究も進んでいます。^[42]

表示と理解を容易にするために、例では IEEE 754 の 10進数 32形式のように 7 桁の精度の 10 進基数を使用します。基本原理は基数や精度に関係なく同じですが、正規化はオプションです (結果の数値には影響しません)。ここで、s は仮数、e は指数を表します。

浮動小数点数を加算する簡単な方法は、最初に同じ指数で表すことです。以下の例では、2 番目の数値 (指数が小さい方) を 3 桁右にシフトし、その後通常の加算方法を実行します。

  123456.7 = 1.234567 × 10^5
  101.7654 = 1.017654 × 10^2 = 0.001017654 × 10^5

  したがって:
  123456.7 + 101.7654 = (1.234567 × 10^5) + (1.017654 × 10^2)
                      = (1.234567 × 10^5) + (0.001017654 × 10^5)
                      = (1.234567 + 0.001017654) × 10^5
                      = 1.235584654 × 10^5

詳細:

  e=5; s=1.234567 (123456.7)
+ e=2; s=1.017654 (101.7654)

  e=5; s=1.234567
+ e=5; s=0.001017654 (シフト後)
--------------------
  e=5; s=1.235584654 (真の合計: 123558.4654)

これは真の結果であり、オペランドの正確な合計です。必要に応じて7桁に丸められ、その後正規化されます。最終結果は

  e=5; s=1.235585 (最終合計: 123558.5)

2 番目のオペランドの下位 3 桁 (654) は、実質的に失われます。これが丸め誤差です。極端な場合、2 つの非ゼロの数値の合計が、そのうちの 1 つに等しくなることがあります。

  e=5; s=1.234567
+ e=−3; s=9.876543

  e=5; s=1.234567
+ e=5; s=0.00000009876543 (シフト後)
----------------------
  e=5; s=1.23456709876543 (真の合計)
  e=5; s=1.234567 (四捨五入および正規化後)

上記概念的な例では、正しい丸めを保証するために加算器によって多数の追加桁数を提供する必要があるように見えますが、慎重な実装技術を使用した2進加算または減算では、ガードビット、丸めビット、および1つの追加のスティッキービットのみをオペランドの精度を超えて運ぶ必要があります。^{[43] [44] : 218–220}

2 つのほぼ等しい数の近似値を減算すると、有意性が失われるという別の問題が発生します。次の例では、 e  = 5; s  = 1.234571 とe  = 5; s  = 1.234567 は、有理数 123457.1467 と 123456.659 の近似値です。

  e=5; s=1.234571
− e=5; s=1.234567
----------------
  e=5; s=0.000004
  e=−1; s=4.000000（四捨五入および正規化後）

浮動小数点の差は、数値が近いため正確に計算されます。段階的アンダーフローがサポートされている場合は、アンダーフローの場合でも、ステルベンツの補題によってこれが保証されます。それにもかかわらず、元の数値の差はe  = −1; s = 4.877000 であり、近似値の差e  = −1; s = 4.000000 とは 20% 以上異なります 。極端な場合には、精度の重要な桁がすべて失われることがあります。^{[43] [45]}このキャンセルは、計算結果のすべての桁が意味があると想定することの危険性を示しています。これらのエラーの結果に対処することは、数値解析のトピックです。精度の問題も参照してください。

乗算するには、指数を加算しながら仮数を乗算し、結果を丸めて正規化します。

  e=3; s=4.734612
× e=5; s=5.417242
-----------------------
  e=8; s=25.648538980104 (真の積)
  e=8; s=25.64854（四捨五入後）
  e=9; s=2.564854（正規化後）

同様に、除算は、除数の指数から被除数の指数を減算し、被除数の仮数を除数の仮数で割ることによって実行されます。

乗算や除算には相殺や吸収の問題はありませんが、演算が連続して実行されると小さな誤差が蓄積される可能性があります。^[43]実際には、これらの演算がデジタルロジックで実行される方法は非常に複雑になる可能性があります（ブースの乗算アルゴリズムと除算アルゴリズムを参照）。^{[nb 9]}

浮動小数点数のリテラルは言語によって異なります。通常、科学的記数法を表すためにeまたは が使用されます。Cプログラミング言語とIEEE 754標準では、10 ではなく 2 を底とする指数を持つ 16 進数リテラル構文も定義されています。C などの言語では、 10 進指数が省略される場合、整数と区別するために小数点が必要です。その他の言語には整数型がないか ( JavaScriptなど)、数値型のオーバーロードが許可されていません ( Haskellなど)。これらの場合、 などの数字文字列も浮動小数点リテラルである可能性があります。 E123

浮動小数点リテラルの例は次のとおりです。

• 99.9
• -5000.12
• 6.02e23
• -3e-45
• 0x1.fffffep+127CおよびIEEE 754

コンピュータの浮動小数点計算では、次の 3 種類の問題が発生する可能性があります。

• ∞/∞やゼロ除算など、演算は数学的に定義されていない場合があります。
• 演算は原理的には正当であるが、特定の形式ではサポートされていない場合があります。たとえば、 -1 の平方根や 2 の逆正弦を計算する場合 (どちらも複素数になります) などです。
• 演算は原則として合法ですが、指数が大きすぎるか小さすぎて指数フィールドにエンコードできないため、結果を指定された形式で表現できない場合があります。このようなイベントは、オーバーフロー (指数が大きすぎる)、アンダーフロー(指数が小さすぎる)、または非正規化(精度の低下) と呼ばれます。

IEEE 標準以前は、このような状況が発生すると、通常、プログラムが終了するか、プログラマがキャッチできるようなトラップがトリガーされていました。この動作はシステムに依存していたため、浮動小数点プログラムは移植可能ではありませんでした。(IEEE 754 で使用される「例外」という用語は、例外的な状況を意味する一般的な用語であり、必ずしもエラーではありません。また、C++ や Java などのプログラミング言語で通常定義されている用語とは異なります。C++ や Java では、「例外」は代替の制御フローであり、IEEE 754 用語で「トラップ」と呼ばれるものに近いものです。)

ここでは、IEEE 754 に従って例外を処理するために必要なデフォルトの方法について説明します (IEEE 754 のオプションのトラッピングやその他の「代替例外処理」モードについては説明しません)。算術例外は (デフォルトでは) 「スティッキー」ステータス フラグ ビットに記録する必要があります。「スティッキー」とは、次の (算術) 演算ではリセットされず、明示的にリセットされるまで設定されたままであることを意味します。したがって、「スティッキー」フラグを使用すると、例外条件のテストを完全な浮動小数点式またはサブルーチンの完了まで延期できます。スティッキー フラグがなければ、無視できない例外条件は、すべての浮動小数点演算の直後に明示的にテストする必要があります。デフォルトでは、演算は計算を中断することなく、常に仕様に従って結果を返します。たとえば、1/0 は +∞ を返し、ゼロ除算フラグ ビットも設定します (このデフォルトの ∞ は、後続の演算で使用されるときに有限の結果を返すことが多いように設計されているため、無視しても問題ありません)。

しかし、元の IEEE 754 標準では、このような算術例外フラグ ビットのセットを処理するための操作は推奨されていませんでした。そのため、これらはハードウェアで実装されていましたが、当初のプログラミング言語の実装では、通常、それらにアクセスする手段が提供されていませんでした (アセンブラを除く)。時間の経過とともに、一部のプログラミング言語標準 ( C99 /C11 や Fortran など) は、ステータス フラグ ビットにアクセスして変更する方法を指定するように更新されました。IEEE 754 標準の 2008 バージョンでは、算術フラグ ビットにアクセスして処理するための操作がいくつか指定されています。プログラミング モデルは、単一の実行スレッドに基づいており、複数のスレッドによるそれらの使用は、標準外の手段で処理する必要があります (たとえば、 C11 では、フラグにスレッド ローカル ストレージがあることが規定されています)。

IEEE 754 では、ステータス フラグ (「スティッキー ビット」) に記録される 5 つの算術例外が指定されています。

• inexact、丸められた（返された）値が演算の正確な結果と異なる場合に設定されます。
• アンダーフロー、丸められた値が小さい場合（IEEE 754 で指定されているとおり）、不正確である場合（または 1985 年版の IEEE 754 に従って、非正規化損失がある場合に限定される）、ゼロを含む非正規値を返す場合に設定されます。
• オーバーフロー。丸められた値の絶対値が大きすぎて表現できない場合に設定されます。どの丸めが使用されるかに応じて、無限大または最大有限値が返されます。
• ゼロ除算。有限のオペランドを与えられた場合に結果が無限大になる場合に設定され、+∞ または −∞ のいずれかの無限大を返します。
• 無効。有限または無限の結果を返すことができない場合に設定します。例: sqrt(−1) または 0/0 で、静かな NaN を返します。

各例外のデフォルトの戻り値は、大多数のケースで正しい結果を返すように設計されているため、大多数のコードでは例外を無視できます。inexact は正しく丸められた結果を返し、underflow は大きさが最小の正の正規数以下の値を返すため、ほとんどの場合無視できます。^[46] ゼロ除算は正確に無限大を返します。これは通常、有限数を除算するためゼロになります。そうでない場合はその後無効な例外が発生するため、これも通常無視できます。 たとえば、並列に接続された n 個の抵抗器の有効抵抗 (図 1 を参照) は で与えられます。を 0 に設定して短絡が発生すると、 は +infinity を返し、最終的には予想どおり 0 になります^{[47] (別の例については、} IEEE 754 の設計原理の連分数の例を参照してください)。 ${\displaystyle R_{\text{tot}}=1/(1/R_{1}+1/R_{2}+\cdots +1/R_{n})}$${\displaystyle R_{1}}$${\displaystyle 1/R_{1}}$${\displaystyle R_{tot}}$

オーバーフローや無効な例外は通常無視できませんが、必ずしもエラーを表すわけではありません。たとえば、ルート検索ルーチンは、通常の操作の一環として、渡された関数をそのドメイン外の値で評価し、NaNと無効な例外フラグを返すことがあります。このフラグは、有効な開始点が見つかるまで無視されます。^[46]

浮動小数点数がすべての実数を正確に表現できないこと、また浮動小数点演算が真の算術演算を正確に表現できないという事実は、多くの驚くべき状況を引き起こします。これは、コンピューターが一般的に数値を表現する際の 精度が有限であることに関係しています。

たとえば、10進数の0.1と0.01は、2進浮動小数点数として正確に表現することはできません。24ビットの仮数を持つIEEE 754 binary32形式では、0.1の近似値を2乗しても、0.01にも、それに最も近い表現可能な数値にもなりません。10進数0.1は、2進数ではe  = −4 ; s  = 110011001100110011001101と表現され、

この数を二乗すると

これを24ビット精度に丸めて二乗すると、

しかし、0.01に最も近い表現可能な数値は

また、π (および π/2) が表現不可能なため、tan(π/2) を計算しても無限大にはならず、通常の浮動小数点形式ではオーバーフローも発生しません (tan の正確な実装を前提としています)。π/2 を正確に表現できないため、標準の浮動小数点ハードウェアで tan(π/2) を計算することは不可能です。C でのこの計算:

/* 正しい近似値を確実に得るための十分な桁数。 */ 
double pi = 3.1415926535897932384626433832795 ; double z = tan ( pi / 2.0 );   
   

結果は 16331239353195370.0 になります。単精度 (tanf関数を使用) では、結果は -22877332.0 になります。

同様に、sin(π) の計算ではゼロにはなりません。結果は倍精度で(およそ) 0.1225 × 10 ⁻¹⁵ 、単精度で-0.8742 × 10 ^{−7になります。 [注 10]}

浮動小数点の加算と乗算は両方とも可換ですが( a + b = b + aおよびa × b = b × a )、必ずしも結合的ではありません。つまり、( a + b ) + c は必ずしもa + ( b + c )と等しくありません。 7 桁の仮数部を持つ 10 進演算を使用すると、次のようになります。

a = 1234.567、b = 45.67834、c = 0.0004

(a + b) + c:
     1234.567 (ア)
   + 45.67834 (b)
   ____________
     1280.24534は1280.245に丸められる。

    1280.245 (a + b)
   + 0.0004 (c)
   ____________1280.2454は1280.245
    に丸められます     ← (a + b) + c

a + (b + c):
   45.67834 (バ)
 + 0.0004 (c)
 ____________
   45.67874

   1234.567 (ア)
 + 45.67874 (b + c)
 ____________1280.24574 は1280.246
   に丸められます   ← a + (b + c)

これらは必ずしも分配的であるとは限りません。つまり、( a + b ) × c はa × c + b × cと同じではない可能性があります。

1234.567 × 3.333333 = 4115.223
 1.234567 × 3.333333 = 4.115223
                       4115.223 + 4.115223 = 4119.338
 しかし
 1234.567 + 1.234567 = 1235.802
                       1235.802 × 3.333333 = 4119.340

有意性の喪失、π や 0.1 などの数値を正確に表現できないこと、その他のわずかな不正確さに加えて、次の現象が発生する可能性があります。

• 1991年2月25日、MIM-104パトリオットミサイル砲台の威力低下により、サウジアラビアのダフラーンで飛来するスカッドミサイルを迎撃することができず、米陸軍第14補給部隊の兵士28名が死亡した。^{[50]このエラーは実際には}固定小数点演算によって発生したが、^[51]根本的な問題は浮動小数点演算でも同じであったと思われる。
• サラミスライスとは、取引の「目に見えない」部分を別のアカウントに移す手法です。^{[説明が必要]}

マシン精度は、浮動小数点システムの精度を特徴付ける量であり、浮動小数点アルゴリズムの後方誤差分析に使用されます。これは、単位丸めまたはマシンイプシロンとも呼ばれます。通常、Ε _machと表記され、その値は使用される特定の丸めによって異なります。

ゼロに丸める場合、 最も近い値に丸めます。 ここで、 Bはシステムの基数、P は仮数の精度 (基数B ) です。 $${\displaystyle \mathrm {E} _{\text{mach}}=B^{1-P},\,}$$$${\displaystyle \mathrm {E} _{\text{mach}}={\tfrac {1}{2}}B^{1-P},}$$

これは、浮動小数点システムの正規化された範囲内で 任意の非ゼロの実数xを表す際の相対誤差を制限するため重要です。$${\displaystyle \left|{\frac {\operatorname {fl} (x)-x}{x}}\right|\leq \mathrm {E} _{\text{mach}}.}$$

後方誤差解析は、ジェームズ・H・ウィルキンソンによって開発され普及した理論で、数値関数を実装するアルゴリズムが数値的に安定していることを証明するのに使用できます。^[52]基本的なアプローチは、計算結果が丸め誤差のために正確には正しくないとしても、わずかに乱れた入力データを持つ近似の問題に対する正確な解であることを示すことです。必要な乱れが小さく、入力データの不確実性と同じ程度であれば、結果はある意味でデータが「値する」ほど正確です。アルゴリズムは後方安定であると定義されます。安定性は、与えられた数値手順の丸め誤差に対する感度の尺度です。対照的に、与えられた問題に対する関数の条件数は、その関数が入力の小さな乱れに対して持つ固有の感度を示し、問題を解くために使用される実装とは無関係です。^[53]

簡単な例として、（長さ2）ベクトルとの内積を与える簡単な式を考えてみましょう。すると、 となり 、 ${\displaystyle x}$${\displaystyle y}$$${\displaystyle {\begin{aligned}\operatorname {fl} (x\cdot y)&=\operatorname {fl} {\big (}\operatorname {fl} (x_{1}\cdot y_{1})+\operatorname {fl} (x_{2}\cdot y_{2}){\big )},&&{\text{ where }}\operatorname {fl} (){\text{ indicates correctly rounded floating-point arithmetic}}\\&=\operatorname {fl} {\big (}(x_{1}\cdot y_{1})(1+\delta _{1})+(x_{2}\cdot y_{2})(1+\delta _{2}){\big )},&&{\text{ where }}\delta _{n}\leq \mathrm {E} _{\text{mach}},{\text{ from above}}\\&={\big (}(x_{1}\cdot y_{1})(1+\delta _{1})+(x_{2}\cdot y_{2})(1+\delta _{2}){\big )}(1+\delta _{3})\\&=(x_{1}\cdot y_{1})(1+\delta _{1})(1+\delta _{3})+(x_{2}\cdot y_{2})(1+\delta _{2})(1+\delta _{3}),\end{aligned}}}$$$${\displaystyle \operatorname {fl} (x\cdot y)={\hat {x}}\cdot {\hat {y}},}$$

どこ

$${\displaystyle {\begin{aligned}{\hat {x}}_{1}&=x_{1}(1+\delta _{1});&{\hat {x}}_{2}&=x_{2}(1+\delta _{2});\\{\hat {y}}_{1}&=y_{1}(1+\delta _{3});&{\hat {y}}_{2}&=y_{2}(1+\delta _{3}),\\\end{aligned}}}$$

どこ

$${\displaystyle \delta _{n}\leq \mathrm {E} _{\text{mach}}}$$

_{定義により、これはわずかに摂動を受けた（Ε mach}のオーダー）2つの入力データの合計であり、したがって後方安定である。数値線形代数のより現実的な例については、Higham 2002 ^[54]および以下の他の参考文献を参照のこと。

IEEE 754 の個々の算術演算はULP の半分以内の精度が保証されていますが、より複雑な数式ではさまざまな理由で誤差が大きくなる可能性があります。問題またはそのデータが悪条件である場合、つまり正しい結果がデータのわずかな変動に非常に敏感である場合、精度の低下は大きくなります。ただし、そのデータに対して数値的に不安定なアルゴリズムが使用されると、条件が良好な関数であっても精度が大幅に低下する可能性があります。つまり、プログラミング言語での式の明らかに同等な定式化でも、数値的安定性が著しく異なる場合があります。このような精度低下のリスクを取り除く 1 つの方法は、数値的に安定したアルゴリズムの設計と分析であり、これは数値解析と呼ばれる数学の分野の目的です。数値不安定性のリスクを防ぐことができるもう一つのアプローチは、アルゴリズム内の中間値（スクラッチ値）を最終結果に必要な精度よりも高い精度で計算することであり、^[55]これにより、そのようなリスクを排除するか、桁違いに減らすことができます。 ^[56] IEEE 754 4倍精度と拡張精度は、倍精度で計算する場合にこの目的のために設計されています。^{[57] [注 11]}

例えば、次のアルゴリズムは、1.0で条件が満たされる関数A ( x )=( x −1)/(exp( x −1)−1)を直接計算する実装であるが、 ^[注12] 1.0付近で計算すると数値的に不安定になり、演算によって得られる有効桁数の半分までが失われることが示される。^[58]

ダブルA （ダブルX ）  
{
        ダブルY , Z ; // [1]    
        Y = X - 1.0 ;    
        Z = exp ( Y ) ;  
        ( Z != 1.0 )の場合   
                Z = Y / ( Z - 1.0 ); // [2]       
        Zを返します。 
}

しかし、中間計算がすべて拡張精度で実行される場合（例えば、行[1]をC99 long doubleに設定するなど）、最終的なdouble結果の完全な精度まで維持することができます。^{[nb 13]}あるいは、アルゴリズムの数値解析により、行[2]に次の自明でない変更を加えると、次のようになることがわかります。

Z = log ( Z ) / ( Z - 1.0 );      

すると、アルゴリズムは数値的に安定し、完全な倍精度で計算できるようになります。

このように注意深く構築された数値的に安定したプログラムの特性を維持するには、コンパイラによる慎重な処理が必要です。コンパイラが行う特定の「最適化」(たとえば、操作の順序変更) は、適切に動作するソフトウェアの目標に反する可能性があります。この分野でのコンパイラと言語設計の欠陥については、いくつかの議論があります。C99 は、数値精度を維持するためにこのような最適化が注意深く指定されている言語の例です。この記事の下部にある外部参照を参照してください。

高品質の浮動小数点ソフトウェアを書くための技術の詳細についてはこの記事の範囲外なので、^{[54] [59]}およびこの記事の末尾にある他の参考文献を参照してください。Kahan は、より注意深い数値解析に加えて、またはその代わりに、数値異常のリスクを桁違いに大幅に減らすことができるいくつかの経験則を提案しています^[59]。これには、前述のように、すべての式と中間結果をハードウェアでサポートされている最高の精度で計算すること (一般的な経験則は、必要な結果の 2 倍の精度を持ち、つまり最終的な単精度の結果の場合は倍精度で計算し、倍精度までの結果の場合は拡張倍精度または 4 倍精度で計算することです^[60] ) 。入力データと結果を、入力データで要求されサポートされている精度のみに丸めます（最終結果に入力データで要求されサポートされている精度を超える余分な精度を持たせると、誤解を招く可能性があり、ストレージコストが増加し、速度が低下し、余分なビットが数値手順の収束に影響を与える可能性があります。^[61]特に、以下に示す反復例の最初の形式は、この経験則を使用すると正しく収束します）。次に、いくつかの追加の問題と手法について簡単に説明します。

小数はしばしば2進浮動小数点数では正確に表現できないため、このような演算は、単に幅広いスケールの現実世界の量（土星の周りの衛星の軌道周期や陽子の質量など）を測定するために使用される場合は最も効果的であり、正確であることが期待される10進文字列として表現された量の相互作用をモデル化することが期待される場合は最も効果的ではありません。^{[56] [59]}後者の例としては、金融計算があります。このため、金融ソフトウェアでは2進浮動小数点数表現を使用しない傾向があります。^[62] C#およびPythonプログラミング言語の「10進」データ型、およびIEEE 754-2008標準の10進形式は、人間が入力した正確な10進数値に適用された場合の2進浮動小数点数表現の問題を回避し、数値が10進数で印刷されたときに演算が常に期待どおりに動作するように設計されています。

数学からの期待は、浮動小数点計算の分野では実現されない場合があります。たとえば、、および であることがわかっていますが、関係する量が浮動小数点計算の結果である場合、これらの事実は信頼できません。 ${\displaystyle (x+y)(x-y)=x^{2}-y^{2}\,}$${\displaystyle \sin ^{2}{\theta }+\cos ^{2}{\theta }=1\,}$

if (x==y) ...浮動小数点数を扱う場合、等価性テスト ( ) の使用には注意が必要です。 のような単純な式でさえ0.6/0.2-3==0、ほとんどのコンピュータでは真になりません^[63] (たとえば、IEEE 754 倍精度では、 は0.6/0.2 - 3およそ -4.44089209850063e-16 に等しくなります)。したがって、このようなテストは「あいまいな」比較 ( if (abs(x-y) < epsilon) ...、ここで epsilon は 1.0E−13 のように十分に小さく、アプリケーションに合わせて調整されます) に置き換えられることがあります。これを行う賢明さは大きく異なり、epsilon を制限するために数値解析が必要になる場合があります。^[54]主要なデータ表現から導出された値とその比較は、丸め誤差によるこのような不一致のリスクを最小限に抑えるために、より広く拡張された精度で実行する必要があります。^[59]このようなテストが不要になるようにコードを編成する方がよい場合がよくあります。例えば、計算幾何学では、ある点が他の点によって定義された直線や平面上にあるか外れているかを正確に判定するテストは、適応精度法や正確な算術法を使って実行することができます。^[64]

浮動小数点演算における小さな誤差は、数学アルゴリズムが膨大な回数の演算を実行すると大きくなる可能性があります。いくつかの例としては、行列の逆変換、固有ベクトルの計算、微分方程式の解法などがあります。これらのアルゴリズムがうまく機能するためには、反復改良などの数値的アプローチを使用して、非常に慎重に設計する必要があります。 ^[65]

浮動小数点値のベクトルの加算は科学計算の基本的なアルゴリズムであるため、有意性の喪失がいつ発生するかを認識することが重要です。たとえば、非常に多くの数を加算する場合、個々の加数は合計に比べて非常に小さいです。これにより有意性の喪失が発生する可能性があります。典型的な加算は次のようになります。

3253.671
+ 3.141276
-----------
3256.812

加数の下位3桁は事実上失われます。例えば、ほぼ3に等しい多くの数を加算する必要があるとします。1000個の数を加算した後、合計は約3000になります。失われた桁は回復されません。Kahan加算アルゴリズムを使用すると、エラーを減らすことができます。^[54]

丸め誤差は、反復的な数値計算の収束と精度に影響を与える可能性があります。たとえば、アルキメデスは、円に内接する多角形と円に外接する多角形の周囲長を計算し、六角形から始めて、辺の数を 2 倍に増やしていき、円周率を近似しました。前述のように、計算は数学的に同等でありながらエラーが発生しにくい方法で並べ替えることができます (数値解析)。外接多角形の漸化式の 2 つの形式は次のとおりです。^{[引用が必要]}

• ${\textstyle t_{0}={\frac {1}{\sqrt {3}}}}$
• 最初のフォーム:${\textstyle t_{i+1}={\frac {{\sqrt {t_{i}^{2}+1}}-1}{t_{i}}}}$
• 2番目の形式:${\textstyle t_{i+1}={\frac {t_{i}}{{\sqrt {t_{i}^{2}+1}}+1}}}$
• ${\displaystyle \pi \sim 6\times 2^{i}\times t_{i}}$収束すると${\displaystyle i\rightarrow \infty }$

以下は、IEEE「double」（53 ビットの精度を持つ仮数）演算を使用した計算です。

i 6 × 2 i × t i、第 1 形式 6 × 2 i × t i、第 2 形式
-------------------------------------------------- -------
 0    3 .4641016151377543863       3 .4641016151377543863
 1    3 .2153903091734710173       3 .2153903091734723496
 2    3.1 596599420974940120       3.1 596599420975006733
 3    3.14 60862151314012979       3.14 60862151314352708
 4    3.14 27145996453136334       3.14 27145996453689225
 5    3.141 8730499801259536       3.141 8730499798241950
 6    3.141 6627470548084133       3.141 6627470568494473
 7    3.141 6101765997805905       3.141 6101766046906629
 8    3.14159 70343230776862       3.14159 70343215275928
 9    3.14159 37488171150615       3.14159 37487713536668
10    3.141592 9278733740748       3.141592 9273850979885
11    3.141592 7256228504127       3.141592 7220386148377
12    3.1415926 717412858693       3.1415926 707019992125
13    3.1415926 189011456060       3.14159265 78678454728
14    3.1415926 717412858693       3.14159265 46593073709
15    3.14159 19358822321783       3.141592653 8571730119
16    3.1415926 717412858693       3.141592653 6566394222
17    3.1415 810075796233302       3.141592653 6065061913
18    3.1415926 717412858693       3.1415926535 939728836
19    3.141 4061547378810956       3.1415926535 908393901
20    3.14 05434924008406305       3.1415926535 900560168
21    3.14 00068646912273617       3.141592653589 8608396
22    3.1 349453756585929919       3.141592653589 8122118
23    3.14 00068646912273617       3.14159265358979 95552
24    3 .2245152435345525443       3.14159265358979 68907
25                               3.14159265358979 62246
26                               3.14159265358979 62246
27                               3.14159265358979 62246
28                               3.14159265358979 62246
              真の値は3.14159265358979323846264338327 です...

2 つの形式の漸化式は数学的には明らかに同等ですが、^{[注 14]}最初の形式では 1 に極めて近い数値から 1 を減算するため、有効桁数の損失がますます問題になります。 漸化式を繰り返し適用すると、最初は精度が向上しますが、その後は低下します。 53 ビット演算では約 16 桁の精度が可能であるにもかかわらず、精度が約 8 桁よりも良くなることはありません。 2 番目の形式の漸化式を使用すると、値は 15 桁の精度に収束します。

前述のように、浮動小数点演算の結合性は一般にコンパイラが整数や固定小数点演算の場合ほど効果的に算術式を並べ替えることができず、共通部分式の除去や自動ベクトル化などの最適化の障害となる。^[66]多くのコンパイラ（ICC、GCC、Clang、MSVCなど）の「高速演算」オプションは、IEEE 754のNaNや無限数の欠如などの安全でない仮定とともに再結合をオンにする。一部のコンパイラでは、再結合のみをオンにするより詳細なオプションも提供されている。どちらの場合でも、プログラマは「高速」演算を使用するプログラムの部分で、前述の精度の落とし穴の多くにさらされることになる。^[67]

一部のコンパイラ（GCCおよびClang）では、「高速」数学を有効にすると、プログラムの起動時に非正規浮動小数点数が無効になり、生成されたコードだけでなく、そのようなコードをライブラリとして使用するすべてのプログラムの浮動小数点動作に影響を与える可能性があります。^[68]

ほとんどのFortranコンパイラでは、ISO/IEC 1539-1:2004 Fortran標準で許可されているように、再関連付けがデフォルトであり、「保護括弧」設定（これもデフォルトでオン）によって破損がほぼ防止されます。この設定により、コンパイラは括弧の境界を超えて再関連付けを行うことができません。^[69] Intel Fortranコンパイラは注目すべき例外です。^[70]

「高速」な数学における一般的な問題は、部分式が場所によって同じように最適化されない可能性があり、予期しない違いが生じることです。この問題の1つの解釈は、現在実装されている「高速」な数学は意味が十分に定義されていないということです。「高速」な数学の最適化を形式化する1つの試みは、検証済みコンパイラであるIcingに見られます。 ^[71]