マシンイプシロン

マシン イプシロンまたはマシン精度は、浮動小数点数システムでの丸めによる相対近似誤差の上限です。この値は、数値解析の分野、さらには計算科学の分野でのコンピュータ演算を特徴づけます。この量はマケップとも呼ばれ、ギリシャ語の記号はイプシロンです。 ${\displaystyle \epsilon }$

一般的な定義は 2 つあり、ここでは丸めマシン イプシロンまたは正式な定義と、間隔マシン イプシロンまたは主流の定義として示されています。

主流の定義では、マシンイプシロンは丸め方法に依存せず、単に1 と次に大きい浮動小数点数との差として定義されます。

正式な定義では、マシン イプシロンは使用される丸めの種類に依存し、単位丸めとも呼ばれ、太字のローマ字のuという記号が付けられます。

一般的に、これら 2 つの用語は単純に 2 倍異なると考えられており、正式な定義では主流の定義の半分の大きさのイプシロンが生成されます。これは次のセクションの表にまとめられています。

次の表は、標準浮動小数点形式のマシンイプシロン値を示しています。

IEEE 標準では、マシン イプシロンと単位丸めという用語が定義されていないため、これらの用語の異なる定義が使用されており、混乱が生じる可能性があります。

2 つの用語は、単純に 2 倍異なります。より広く使用されている用語 (この記事では主流の定義と呼びます) は、ほとんどの最新のプログラミング言語で使用され、単にマシン イプシロンは 1 と次に大きい浮動小数点数との差であると定義されています。正式な定義では、一般的に主流の定義の半分のサイズのイプシロンを生成すると考えられますが、その定義は使用される丸めの形式によって異なります。

次の 2 つのサブセクションでは、この 2 つの用語について詳しく説明します。

マシンイプシロンの正式な定義は、ジェームズ・デメル教授の講義原稿^[3] 、 LAPACK線形代数パッケージ^[4] 、数値研究論文^{[5] 、および一部の科学計算ソフトウェア[6]}で使用されているものです。 ほとんどの数値解析者は、この意味でマシンイプシロンと単位丸めを同じ意味で使用しており、このサブセクション全体で詳細に検討されています。

丸めは、浮動小数点数システムで実数の表現を選択する手順です。数値システムと丸め手順の場合、マシン イプシロンは、選択された丸め手順の 最大相対誤差です。

この定義から値を決定するには、背景知識が必要です。浮動小数点数システムは、基数とも呼ばれる基数 と、精度、つまり仮数の基数桁数(先頭の暗黙のビットを含む) によって特徴付けられます。同じ指数 を持つすべての数値の間隔は です。間隔は の完全累乗の数で変化します。つまり、大きい方の間隔は、小さい方の間隔の 倍になります 。${\displaystyle b}$ ${\displaystyle p}$${\displaystyle b}$${\displaystyle e}$${\displaystyle b^{e-(p-1)}}$${\displaystyle b}$${\displaystyle b}$

マシンイプシロンは相対誤差の境界であるため、指数 を持つ数値を考慮すれば十分です。また、正の数値を考慮すれば十分です。通常の最も近い値に丸める丸めでは、絶対的な丸め誤差は最大でも間隔の半分、つまり です。この値は、相対誤差の分子の最大値です。相対誤差の分母は丸められる数値であり、相対誤差を大きくするには、分母をできるだけ小さくする必要があります。したがって、最悪の相対誤差は、が と の間にある形式の数値に丸めを適用した場合に発生します。これらの数値はすべて、相対誤差 でに丸められます。最大値は、がその範囲の上限にある場合に発生します。分母の は分子に比べて無視できるほど小さいため、便宜上省略され、 がマシンイプシロンとして扱われます。ここで示したように、相対誤差は に丸められる数値で最悪になるため、マシン イプシロンは単位丸めとも呼ばれ、おおよそ「単位値に丸めるときに発生する可能性のある最大誤差」を意味します。 ${\displaystyle e=0}$${\displaystyle b^{-(p-1)}/2}$${\displaystyle 1+a}$${\displaystyle a}$${\displaystyle 0}$${\displaystyle b^{-(p-1)}/2}$${\displaystyle 1}$${\displaystyle a/(1+a)}$${\displaystyle a}$${\displaystyle 1+a}$${\displaystyle b^{-(p-1)}/2}$${\displaystyle 1}$

したがって、正規化された浮動小数点数と隣接する正規化された数との間の最大間隔は である。^[7]${\displaystyle x}$${\displaystyle 2\バレプシロン |x|}$

数値解析では、マシン イプシロンを使用して丸め誤差の影響を調べます。マシン演算の実際の誤差は直接調べるにはあまりにも複雑なので、代わりに次の単純なモデルを使用します。IEEE 演算標準では、すべての浮動小数点演算は無限精度演算が可能であるかのように実行され、その後、結果が浮動小数点数に丸められます。(1) が浮動小数点数、(2) が加算や乗算などの浮動小数点数の算術演算、(3) が無限精度演算であるとします。標準によれば、コンピューターは次のように計算します。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle \bullet}$${\displaystyle \circ}$

${\displaystyle x\bullet y={\mbox{round}}(x\circ y)}$

マシン イプシロンの意味によれば、丸めの相対誤差は最大でもマシン イプシロンの大きさなので、次のようになります。

${\displaystyle x\bullet y=(x\circ y)(1+z)}$

ここで、絶対値は最大でもuです。このモデルがガウス消去法などの誤差の分析にどのように使用されるかを知るには、参考文献にある Demmel と Higham の著書を参照してください。 ${\displaystyle z}$${\displaystyle \epsilon }$

この代替定義は、はるかに広く普及しています。マシンイプシロンは、1 と次に大きい浮動小数点数との差です。この定義は、Ada、C、C++、Fortran、MATLAB、Mathematica、Octave、Pascal、Python、Rustなどの言語定数で使用されており、 Pressらによる「 Numerical Recipes」などの教科書でも定義されています。

この定義によれば、ε は1 を基準とした最後の桁の単位の値、すなわち（ここで、b は浮動小数点システムの基数、pは精度）に等しく、単位の丸めは、最も近い値に丸めるモードを想定するとu = ε / 2 であり、切り捨てによる丸めを想定するとu = εです。 ${\displaystyle b^{-(p-1)}}$

この定義が広く普及したのは、ISO C標準の浮動小数点型に関連する定数^{[8] [9]}や他のプログラミング言語の対応する定数^{[10] [11] [12]で使用されていることに由来しています。また、科学計算ソフトウェア[13] [14] [15]}や数値計算や計算に関する文献^{[16] [17] [18] [19]}でも広く使用されています。

標準ライブラリが計算済みの値を提供しない場合 ( C の< float.h > が および で提供しFLT_EPSILON、 C++ の < limits > が で提供する場合DBL_EPSILONなど)、マシン イプシロンを決定する最善の方法は、上記の表を参照して適切なべき乗の式を使用することです。マシン イプシロンの計算は、教科書の演習としてよく取り上げられます。次の例では、単位丸めではなく、浮動小数点数の 1 における間隔の意味で 区間マシン イプシロンを計算します。LDBL_EPSILONstd::numeric_limits<T>::epsilon()

結果は、プログラミング言語、コンパイラ、および実際のプラットフォームのランタイム ライブラリでサポートされている、、、などの特定の浮動小数点形式によって異なる floatことdoubleに注意してください。long double

プロセッサでサポートされている一部の形式は、選択したコンパイラとオペレーティング システムではサポートされていない可能性があります。その他の形式は、一部の言語とライブラリで使用可能な 任意精度の演算など、ランタイム ライブラリによってエミュレートされる場合があります。

厳密に言えば、マシン イプシロンという用語は、プロセッサ (またはコプロセッサ) によって直接サポートされる精度を意味します。最適な形式を使用することがわかっている場合を除き、特定のオペレーティング システムの特定のコンパイラによってサポートされる精度を意味するものではありません。 ${\displaystyle 1+\epsilon }$${\displaystyle 1+\epsilon }$

IEEE 754浮動小数点形式には、同じ幅の 2 の補数整数として再解釈された場合、正の値に対して単調に増加し、負の値に対して単調に減少するという特性があります ( 32 ビット浮動小数点のバイナリ表現を参照)。また、 、という特性もあります( は前述の の整数再解釈です)。型パンニングを許可し、常に IEEE 754–1985 を使用する言語では、これを利用してマシン イプシロンを定数時間で計算できます。たとえば、C では次のようになります。 ${\displaystyle 0<|f(x)|<\infty }$${\displaystyle |f(x+1)-f(x)|\geq |f(x)-f(x-1)|}$${\displaystyle f(x)}$${\displaystyle x}$

typedef共用体{ long long i64 ; double d64 ; } dbl_64 ;  
    
   
 

double machine_eps ( double値) { dbl_64 s ; s . d64 =値; s . i64 ++ ;戻り値s . d64 -値; }   

     
      
    
       

これにより、値と同じ符号の結果が返されます。常に正の結果が必要な場合は、machine_eps の return ステートメントを次のように置き換えることができます。

    戻り値( s.i64 < 0 ?値- s.d64 : s.d64 -値) ;​​​​           

Python の例:

def  machineEpsilon ( func = float ): 
    machine_epsilon  =  func ( 1 ) 
    while  func ( 1 )  +  machine_epsilon  !=  func ( 1 ): 
        machine_epsilon_last  =  machine_epsilon 
        machine_epsilon  =  func ( machine_epsilon )  /  func ( 2 ) 
    return  machine_epsilon_last

64 ビットの double では 2.220446e-16 となり、予想どおり 2 ^{−52になります。}

^{次の単純なアルゴリズムは、}線形探索を使用して^{、マシンイプシロン}をその真の値の2倍（1桁）以内に近似するために使用できます。

イプシロン = 1.0;

(1.0 + 0.5 * イプシロン) ≠ 1.0 の場合:
    イプシロン = 0.5 * イプシロン

マシンイプシロンは、仮数部に使用されるビット数の 2 の負の累乗として単純に計算することもできます。 ${\textstyle \varepsilon _{\text{マッハ}}}$

$${\displaystyle \varepsilon _{\text{mach}}\ =\ 2^{-{\text{仮数部の絶対値に使用されるビット数}}}}$$

が数値の機械表現である場合、表現における絶対相対誤差は^{[20]である。}${\textstyle y}$${\textstyle x}$${\textstyle \left|{\dfrac {xy}{x}}\right|\leq \varepsilon _{\text{mach}}.}$

以下の証明は、正の数とround-by-chop を使用した機械表現に限定されています。

が表したい正の数である場合、それはより下の機械数とより上の機械数の間になります。 ${\textstyle x}$${\textstyle x_{b}}$${\textstyle x}$${\textstyle x_{u}}$${\textstyle x}$

（ ）の場合、は仮数部の大きさに使用されるビット数であり、次のようになります。 ${\textstyle x_{b}=\left(1.b_{1}b_{2}\ldots b_{m}\right)_{2}\times 2^{k}}$${\textstyle m}$

$${\displaystyle {\begin{aligned}x_{u}&=\left[(1.b_{1}b_{2}\ldots b_{m})_{2}+(0.00\ldots 1)_{2}\right]\times 2^{k}\\&=\left[(1.b_{1}b_{2}\ldots b_{m})_{2}+2^{-m}\right]\times 2^{k}\\&=(1.b_{1}b_{2}\ldots b_{m})_{2}\times 2^{k}+2^{-m}\times 2^{k}\\&=(1.b_{1}b_{2}\ldots b_{m})_{2}\times 2^{k}+2^{-m+k}.\end{aligned}}}$$

の表現はまたはとなるため、 ${\textstyle x}$${\textstyle x_{b}}$${\textstyle x_{u}}$

$${\displaystyle {\begin{aligned}\left|x-y\right|&\leq \left|x_{b}-x_{u}\right|\\&=2^{-m+k}\end{aligned}}}$$ $${\displaystyle {\begin{aligned}\left|{\frac {x-y}{x}}\right|&\leq {\frac {2^{-m+k}}{x}}\\&\leq {\frac {2^{-m+k}}{x_{b}}}\\&={\frac {2^{-m+k}}{(1\cdot b_{1}b_{2}\ldots b_{m})_{2}2^{k}}}\\&={\frac {2^{-m}}{(1\cdot b_{1}b_{2}\ldots b_{m})_{2}}}\\&\leq 2^{-m}=\varepsilon _{\text{mach}}.\end{aligned}}}$$

この証明は正の数と丸めによる切り上げに限定されていますが、同じ方法を使用して、負の数と最も近い機械表現 への丸めに関する不等式を証明することもできます。

• 浮動小数点、浮動小数点演算の精度の問題に関する一般的な議論
• 最後の場所のユニット(ULP)

• MACHAR は、「マシン定数を動的に計算する」ルーチン (C および Fortran で記述) です (ACM アルゴリズム 722)
• 浮動小数点計算の精度の診断、 Numerical Recipes (Press 他、1992) に掲載された MACHAR の Fortran 77 バージョンに基づくComponent PascalおよびOberonでの MACHAR の実装。