丸め誤差

コンピューティングにおいて、丸め誤差^{[1] は丸め誤差 [2]}とも^呼ばれ、正確な演算を使用する特定のアルゴリズムによって生成された結果と、有限精度の丸め演算を使用する同じアルゴリズムによって生成された結果との間の差です。^[3]丸め誤差は、実数の表現とそれに対して行われる算術演算の不正確さによって生じます。これは量子化誤差の一種です。^[4]近似方程式またはアルゴリズムを使用する場合、特に有限桁を使用して実数（理論上は無限の桁を持つ）を表す場合、数値解析の目標の1つは計算誤差を推定することです。^{[5]計算誤差は}数値誤差とも呼ばれ、切り捨て誤差と丸め誤差の 両方が含まれます。

丸め誤差を含む入力を含む一連の計算が行われると、誤差が蓄積され、計算を支配することがあります。条件の悪い問題では、大きな誤差が蓄積される可能性があります。^[6]

要するに、数値計算における丸め誤差には2つの主要な側面がある。^[7]

1. 数値の大きさと精度の両方を表現するコンピュータの能力は、本質的に限られています。
2. 特定の数値操作は、丸め誤差の影響を非常に受けやすいものです。これは、数学的な考慮と、コンピューターが算術演算を実行する方法の両方から生じる可能性があります。

有限の数字列を使用して数値を表現しようとすることによって生じる誤差は、表現誤差と呼ばれる丸め誤差の一種です。^[8] 10進表現における表現誤差の例をいくつか示します。

表現に許される桁数を増やすと、起こり得る丸め誤差の大きさは減少するが、有限桁に制限された表現では、無数の数の実数に対してある程度の丸め誤差が生じる。計算の中間ステップで使用される追加の桁はガード桁と呼ばれる。^[9]

複数回の丸めは誤差を蓄積させる原因となる。^[10]例えば、9.945309 を小数点第 2 位 (9.95) に丸め、次に小数点第 1 位 (10.0) に再度丸めた場合、合計誤差は 0.054691 となる。9.945309 を 1 回のステップで小数点第 1 位 (9.9) に丸めると、誤差は少なくなる (0.045309)。これは、例えばソフトウェアがx86 80 ビット浮動小数点で演算を実行し、その結果をIEEE 754 バイナリ 64 浮動小数点に丸める場合に発生する可能性がある。

固定小数点数システムと比較すると、浮動小数点数システムは実数の表現に効率的であるため、現代のコンピュータで広く使用されています。実数は無限かつ連続していますが、浮動小数点数システムは有限かつ離散的です。そのため、浮動小数点数システムでは、丸め誤差につながる表現誤差が発生します。 ${\displaystyle \mathbb {R} }$${\displaystyle F}$

浮動小数点数システムは整数 によって特徴付けられます。${\displaystyle F}$${\displaystyle 4}$

• ${\displaystyle \beta }$: 基数または基数
• ${\displaystyle p}$: 精度
• ${\displaystyle [L,U]}$: 指数範囲、 は下限、は上限${\displaystyle L}$${\displaystyle U}$

は、次の形式を持ちます。 は、に対してとなる整数であり 、は、となる整数です。 ${\displaystyle x\in F}$$${\displaystyle x=\pm (\underbrace {d_{0}.d_{1}d_{2}\ldots d_{p-1}} _{\text{significand}})_{\beta }\times \beta ^{\overbrace {E} ^{\text{exponent}}}=\pm d_{0}\times \beta ^{E}+d_{1}\times \beta ^{E-1}+\ldots +d_{p-1}\times \beta ^{E-(p-1)}}$$${\displaystyle d_{i}}$${\displaystyle 0\leq d_{i}\leq \beta -1}$${\displaystyle i=0,1,\ldots ,p-1}$${\displaystyle E}$${\displaystyle L\leq E\leq U}$

• 浮動小数点数システムが正規化されているとは、数値がゼロでない限り、先頭の桁が常に非ゼロである場合です。 ^[3]仮数がであるため、正規化されたシステムでの非ゼロ数の仮数は を満たします。したがって、非ゼロのIEEE浮動小数点数の正規化された形式は であり、 です。2 進数では、先頭の桁は常に であるため、書き出されず、暗黙のビットと呼ばれます。これにより、精度が 1 ビット追加され、表現エラーによって発生する丸め誤差が削減されます。${\displaystyle d_{0}}$${\displaystyle d_{0}.d_{1}d_{2}\ldots d_{p-1}}$${\displaystyle 1\leq {\text{significand}}<\beta ^{p}}$${\displaystyle \pm 1.bb\ldots b\times 2^{E}}$${\displaystyle b\in {0,1}}$${\displaystyle 1}$
• 浮動小数点数システムは有限かつ離散的であるため、すべての実数を表すことはできません。つまり、無限の実数は、丸め規則を通じていくつかの有限数でのみ近似できます。によって与えられた実数の浮動小数点近似は、次のように表すことができます。 ${\displaystyle F}$${\displaystyle x}$${\displaystyle fl(x)}$
  • 正規化された浮動小数点数の総数は、 $${\displaystyle 2(\beta -1)\beta ^{p-1}(U-L+1)+1,}$$
    • ${\displaystyle 2}$正負の符号の選択を数える
    • ${\displaystyle (\beta -1)}$先頭の数字の選択を数える
    • ${\displaystyle \beta ^{p-1}}$残りの有効桁数を数える
    • ${\displaystyle U-L+1}$指数の選択を数える
    • ${\displaystyle 1}$数が の場合をカウントします。${\displaystyle 0}$

IEEE標準では、基数は 2 進数、つまり で、正規化が使用されます。IEEE 標準では、符号、指数、および仮数を浮動小数点ワードの別々のフィールドに格納します。各フィールドの幅 (ビット数) は固定されています。浮動小数点数で最も一般的に使用される 2 つの精度レベルは、単精度と倍精度です。 ${\displaystyle \beta =2}$

マシンイプシロンは浮動小数点数システムの丸め誤差のレベルを測定するために使用できます。ここに2つの異なる定義があります。^[3]

• マシンイプシロンは、浮動小数点数システムで非ゼロの実数を表現する際に可能な最大の絶対相対誤差です。${\displaystyle \epsilon _{\text{mach}}}$${\displaystyle x}$$${\displaystyle \epsilon _{\text{mach}}=\max _{x}{\frac {|x-fl(x)|}{|x|}}}$$
• マシン イプシロンは と表記され、となる最小の数です。したがって、の場合は常に となります。${\displaystyle \epsilon _{\text{mach}}}$${\displaystyle \epsilon }$${\displaystyle fl(1+\epsilon )>1}$${\displaystyle fl(1+\delta )=fl(1)=1}$${\displaystyle |\delta |<\epsilon _{\text{mach}}}$

一般的な丸めルールには、丸めによる切り上げと、最も近い値への丸めの 2 つがあります。IEEE 標準では、最も近い値への丸めが使用されます。

• 切り捨て:の基数展開では、 - 番目の桁以降が切り捨てられます。 ${\displaystyle \beta }$${\displaystyle x}$${\displaystyle (p-1)}$
  • この丸めルールは、結果を常にゼロに近づけるため、偏りがあります。
• 最近似値に丸める:は、に最も近い浮動小数点数に設定されます。同点の場合は、最後に格納された桁が偶数である浮動小数点数 (また、2 進数形式で最後の桁が 0 である) が使用されます。 ${\displaystyle fl(x)}$${\displaystyle x}$
  • IEEE 標準では基数がであるため、同点の場合は最後の桁が になるように丸められます。${\displaystyle \beta }$${\displaystyle 2}$${\displaystyle 0}$
  • この丸めルールはより正確ですが、計算コストが高くなります。
  • 同点の場合でも最後に保存された桁が偶数になるように丸めることで、体系的に切り上げられたり切り下げられたりすることがなくなります。これは、偏った丸めによって長い計算で望ましくないゆっくりとしたドリフトが発生する可能性を回避するためです。
• 次の例は、2つの丸めルールにおける丸め誤差のレベルを示しています。^[3]丸めルール（最も近い値に丸める）では、一般に丸め誤差が少なくなります。

最近似値への丸めと IEEE 倍精度の使用を想定します。

• 例: 小数は次のように並べ替えることができます${\displaystyle (9.4)_{10}=(1001.{\overline {0110}})_{2}}$$${\displaystyle +1.\underbrace {0010110011001100110011001100110011001100110011001100} _{\text{52 bits}}110\ldots \times 2^{3}}$$

2進小数点の右側の53番目のビットは1で、その後に他の非ゼロビットが続くため、最も近い値に丸める規則では切り上げ、つまり52番目のビットに1ビットを追加する必要があります。したがって、IEEE標準9.4の正規化された浮動小数点表現は次のようになります。 $${\displaystyle fl(9.4)=1.0010110011001100110011001100110011001100110011001101\times 2^{3}.}$$

• これで、で表すときに丸め誤差を計算できるようになりました。${\displaystyle 9.4}$${\displaystyle fl(9.4)}$

この表現は、右端から無限末尾を破棄し、丸めステップで追加することによって導出されます。 $${\displaystyle 0.{\overline {1100}}\times 2^{-52}\times 2^{3}=0.{\overline {0110}}\times 2^{-51}\times 2^{3}=0.4\times 2^{-48}}$$${\displaystyle 1\times 2^{-52}\times 2^{3}=2^{-49}}$

それから。${\displaystyle fl(9.4)=9.4-0.4\times 2^{-48}+2^{-49}=9.4+(0.2)_{10}\times 2^{-49}}$

したがって、丸め誤差は です。${\displaystyle (0.2\times 2^{-49})_{10}}$

マシンイプシロンは、上記の2つの丸めルールを使用するときに丸め誤差のレベルを測定するために使用できます。以下は、式と対応する証明です。^[3]ここでは、マシンイプシロンの最初の定義が使用されます。 ${\displaystyle \epsilon _{\text{mach}}}$

1. ラウンドバイチョップ：${\displaystyle \epsilon _{\text{mach}}=\beta ^{1-p}}$
2. 最も近い値に丸める:${\displaystyle \epsilon _{\text{mach}}={\frac {1}{2}}\beta ^{1-p}}$

とし、を の浮動小数点表現とします。丸めによる切り捨てが使用されているため、 この量の最大値を決定するには、分子の最大値と分母の最小値を見つける必要があります。(正規化されたシステム) であるため、分母の最小値は です。分子は によって上方に制限されます。したがって、 です。したがって、丸めによる切り捨てでは です。最も近い値に丸める場合の証明も同様です。 ${\displaystyle x=d_{0}.d_{1}d_{2}\ldots d_{p-1}d_{p}\ldots \times \beta ^{n}\in \mathbb {R} }$${\displaystyle n\in [L,U]}$${\displaystyle fl(x)}$${\displaystyle x}$$${\displaystyle {\begin{aligned}{\frac {|x-fl(x)|}{|x|}}&={\frac {|d_{0}.d_{1}d_{2}\ldots d_{p-1}d_{p}d_{p+1}\ldots \times \beta ^{n}-d_{0}.d_{1}d_{2}\ldots d_{p-1}\times \beta ^{n}|}{|d_{0}.d_{1}d_{2}\ldots \times \beta ^{n}|}}\\&={\frac {|d_{p}.d_{p+1}\ldots \times \beta ^{n-p}|}{|d_{0}.d_{1}d_{2}\ldots \times \beta ^{n}|}}\\&={\frac {|d_{p}.d_{p+1}d_{p+2}\ldots |}{|d_{0}.d_{1}d_{2}\ldots |}}\times \beta ^{-p}\end{aligned}}}$$${\displaystyle d_{0}\neq 0}$${\displaystyle 1}$${\displaystyle (\beta -1).(\beta -1){\overline {(\beta -1)}}=\beta }$${\displaystyle {\frac {|x-fl(x)|}{|x|}}\leq {\frac {\beta }{1}}\times \beta ^{-p}=\beta ^{1-p}}$${\displaystyle \epsilon =\beta ^{1-p}}$

• マシン イプシロンの最初の定義は、最も近い値に丸めるルールを使用する場合の 2 番目の定義と完全には等しくありませんが、チョップによる丸めの場合は等しくなります。

一部の数値は浮動小数点数で正確に表現でき、そのような数値はマシン数と呼ばれますが、浮動小数点演算を実行すると最終結果に丸め誤差が生じる可能性があります。

機械加算は、加算する2つの数値の小数点を揃えて加算し、その結果を再び浮動小数点数として保存する処理です。加算自体はより高い精度で行うことができますが、結果は指定された精度に丸め直す必要があり、丸め誤差が生じる可能性があります。^[3]

• たとえば、IEEE 倍精度でを次のように追加すると、IEEE 標準では最も近い値への丸めが使用されるため、これは として保存されます。したがって、IEEE 倍精度ではは に等しく、丸め誤差は です。${\displaystyle 1}$${\displaystyle 2^{-53}}$
  ${\displaystyle {\begin{aligned}1.00\ldots 0\times 2^{0}+1.00\ldots 0\times 2^{-53}&=1.\underbrace {00\ldots 0} _{\text{52 bits}}\times 2^{0}+0.\underbrace {00\ldots 0} _{\text{52 bits}}1\times 2^{0}\\&=1.\underbrace {00\ldots 0} _{\text{52 bits}}1\times 2^{0}.\end{aligned}}}$
  ${\displaystyle 1.\underbrace {00\ldots 0} _{\text{52 bits}}\times 2^{0}}$${\displaystyle 1+2^{-53}}$${\displaystyle 1}$${\displaystyle 2^{-53}}$

この例は、大きな数と小さな数を加算するときに丸め誤差が生じる可能性があることを示しています。指数を一致させるために仮数の小数点をシフトすると、重要でない桁の一部が失われます。精度の低下は吸収として説明できます。^[11]

2 つの浮動小数点数を加算すると、その合計が 2 つのうち大きい方の合計より 1 桁大きい場合に丸め誤差が生じる可能性があることに注意してください。

• たとえば、基数、精度の正規化された浮動小数点数システムを考えます。このとき、 および となります。ただし であることに注意してください。丸め誤差は です。${\displaystyle 10}$${\displaystyle 2}$${\displaystyle fl(62)=6.2\times 10^{1}}$${\displaystyle fl(41)=4.1\times 10^{1}}$${\displaystyle 62+41=103}$${\displaystyle fl(103)=1.0\times 10^{2}}$${\displaystyle 103-fl(103)=3}$

この種のエラーは、単一の操作で吸収エラーと同時に発生する可能性があります。

一般に、2つのp桁の仮数の積には最大2p桁が含まれるため、結果が仮数部に収まらない可能性があります。^[3]したがって、結果には丸め誤差が含まれます。

• たとえば、基数が で、仮数桁が最大 である正規化された浮動小数点数システムを考えます。このとき、 およびとなります。ただし、仮数桁が最大 であるため、となることに注意してください。丸め誤差は となります。${\displaystyle \beta =10}$${\displaystyle 2}$${\displaystyle fl(77)=7.7\times 10^{1}}$${\displaystyle fl(88)=8.8\times 10^{1}}$${\displaystyle 77\times 88=6776}$${\displaystyle fl(6776)=6.7\times 10^{3}}$${\displaystyle 2}$${\displaystyle 6776-fl(6776)=6776-6.7\times 10^{3}=76}$

一般に、2p 桁の仮数の商には p 桁を超える数字が含まれる場合があります。そのため、結果には丸め誤差が含まれます。

• たとえば、上記の正規化された浮動小数点数システムがまだ使用されている場合、しかし、末尾が切り捨てられます。${\displaystyle 1/3=0.333\ldots }$${\displaystyle fl(1/3)=fl(0.333\ldots )=3.3\times 10^{-1}}$${\displaystyle 0.333\ldots -3.3\times 10^{-1}=0.00333\ldots }$

吸収は減算にも適用されます。

• たとえば、IEEE 倍精度でから次のように減算すると、 IEEE 標準では最も近い値への丸めが使用されるため、として保存されます。したがって、は IEEE 倍精度では に等しく、丸め誤差は です。${\displaystyle 2^{-60}}$${\displaystyle 1}$$${\displaystyle {\begin{aligned}1.00\ldots 0\times 2^{0}-1.00\ldots 0\times 2^{-60}&=\underbrace {1.00\ldots 0} _{\text{60 bits}}\times 2^{0}-\underbrace {0.00\ldots 01} _{\text{60 bits}}\times 2^{0}\\&=\underbrace {0.11\ldots 1} _{\text{60 bits}}\times 2^{0}.\end{aligned}}}$$${\displaystyle \underbrace {1.00\ldots 0} _{\text{53 bits}}\times 2^{0}}$${\displaystyle 1-2^{-60}}$${\displaystyle 1}$${\displaystyle -2^{-60}}$

ほぼ等しい2つの数を減算することを減算的消去といいます。^[3] 先頭の数字を消去すると、結果が小さすぎて正確に表せない場合があり、単に と表されます。 ${\displaystyle 0}$

• たとえば、とマシン イプシロンの 2 番目の定義がここで使用されているとします。 の解は何でしょうか。と はほぼ等しい数であり、 であることがわかっています。ただし、浮動小数点数システムでは、 です。は十分に大きく表現できますが、 の両方のインスタンスが切り捨てられて になります。${\displaystyle |\epsilon |<\epsilon _{\text{mach}}}$${\displaystyle (1+\epsilon )-(1-\epsilon )}$
  ${\displaystyle 1+\epsilon }$${\displaystyle 1-\epsilon }$${\displaystyle (1+\epsilon )-(1-\epsilon )=1+\epsilon -1+\epsilon =2\epsilon }$${\displaystyle fl((1+\epsilon )-(1-\epsilon ))=fl(1+\epsilon )-fl(1-\epsilon )=1-1=0}$${\displaystyle 2\epsilon }$${\displaystyle \epsilon }$${\displaystyle 0}$

がいくらか大きくても、典型的なケースでは結果の信頼性は依然としてかなり低くなります。浮動小数点数で最も不確実なのは右端の数字であるため、値の精度はあまり信頼できません。 ${\displaystyle \epsilon }$

• たとえば、結果は明らかに表現可能ですが、それにはあまり信頼性がありません。${\displaystyle 1.99999\times 10^{2}-1.99998\times 10^{2}=0.00001\times 10^{2}=1\times 10^{-5}\times 10^{2}=1\times 10^{-3}}$${\displaystyle 1\times 10^{-3}}$

これは、2 つの数値が近似値であることが知られている破滅的な相殺の現象と密接に関係しています。

不正確な表現による丸め誤差のある初期入力に一連の計算を適用すると、誤差が拡大または蓄積される可能性があります。

アルゴリズムまたは数値処理は、入力の小さな変化が出力に小さな変化しか生じない場合には安定していると呼ばれ、出力に大きな変化が生じる場合は不安定であると呼ばれます。 ^[12]たとえば、 「明白な」方法を使用した計算は、2つの類似した量を減算する際に大きな誤差が生じるため、ほぼ不安定ですが、同等の式は安定しています。^[12]${\displaystyle f(x)={\sqrt {1+x}}-1}$${\displaystyle x=0}$${\displaystyle \textstyle {f(x)={\frac {x}{{\sqrt {1+x}}+1}}}}$

安定したアルゴリズムを使用したとしても、問題自体が悪条件である場合は、丸め誤差の蓄積により、問題の解決が不正確になる可能性があります。

問題の条件数は、解の相対的変化と入力の相対的変化の比です。^[3]入力の相対的変化が小さいと、解の相対的変化も小さくなる場合、問題は条件が整っています。そうでない場合、問題は条件が整っていません。^[3]言い換えると、条件数が 1 より「はるかに大きい」場合、 問題は条件が整っていません。

条件数は、条件の悪い問題を解くときに生じる可能性のある丸め誤差の尺度として導入されました。^[7]

• 精度（算術）
• 切り捨て
• 丸め
• 重要性の喪失
• 浮動小数点
• カハン加算アルゴリズム
• マシンイプシロン
• 有効数字
• ウィルキンソンの多項式

• マット・パーカー（2021年）。『Humble Pi: When Math Goes Wrong in the Real World』。リバーヘッドブックス。ISBN 978-0593084694。

• MathWorld での丸め誤差。
• Goldberg, David (1991 年 3 月)。「すべてのコンピュータ科学者が浮動小数点演算について知っておくべきこと」(PDF)。ACM Computing Surveys。23 ( 1): 5–48。doi : 10.1145 /103162.103163。S2CID 222008826。2016年 1 月 20 日閲覧。（[1]、[2]）
• 有名なソフトウェア災害 20 件