Big O notation

Big O notation is a mathematical notation that describes the approximate size of a function on a domain. Big O is a member of a family of notations invented by the German mathematicians Paul Bachmann^[1] and Edmund Landau^[2] and expanded by others, collectively called Bachmann–Landau notation. The letter O stands for Ordnung, that is, the order of approximation.

In computer science, big O notation is used to classify algorithms by how their run time or space requirements^[a] grow with the input.^[3] In analytic number theory, big O notation expresses bounds on the growth of an arithmetical function, as for the remainder term in the prime number theorem.^[4] In mathematical analysis, including calculus, Big O notation bounds the error when truncating a power series and expresses the quality of approximation of a real or complex valued function by a simpler function.

Often, big O notation characterizes functions according to their growth rates as the variable becomes large: different functions with the same asymptotic growth rate may be represented using the same O notation. The letter O is used because the growth rate of a function is also referred to as the order of the function. A description of a function in terms of big O notation only provides an upper bound on the growth rate of the function.

Associated with big O notation are several related notations, using the symbols ${\displaystyle o}$, ${\displaystyle \sim }$, ${\displaystyle \Omega }$, ${\displaystyle \ll }$, ${\displaystyle \gg }$, ${\displaystyle \asymp }$, ${\displaystyle \omega }$, and ${\displaystyle \Theta }$ to describe other kinds of bounds on growth rates.^[5][6][7][8]

Bachmann proposed the notation in 1894 and Landau extended it in 1909. An earlier notation was proposed by Paul du Bois-Reymond in 1870.^[9]

Let ${\textstyle f,}$ the function to be estimated, be either a real or complex valued function defined on a domain${\textstyle D,}$ and let ${\textstyle g,}$ the comparison function, be a non-negative real valued function defined on the same set ${\textstyle D.}$定義域としてよく用いられるのは、有界または無界の実数区間、正の整数の集合、複素数の集合、実数と複素数の組などである。定義域を明示的に記述するか暗黙的に理解するかによって、以下のように記述する。

$${\displaystyle f(x)=O{\bigl (}g(x){\bigr )}\ }$$

これは「${\textstyle f(x)}$大きい​${\textstyle O}$の${\textstyle g(x)}$「正の実数が存在する場合${\textstyle M}$そのため

$${\displaystyle \left|f(x)\right|\leq M\ g(x)\qquad ~{\mathsf {\ for\ all\ }}~\quad x\in D.}$$

もし${\displaystyle g(x)>0}$（つまり、gは決してゼロにならない）定義域全体にわたって${\displaystyle D,}$同等の定義は、比率である。${\textstyle {\frac {f(x)}{g(x)}}}$は有界である、すなわち正の実数が存在する${\displaystyle M}$となることによって${\textstyle {\Big |}{\frac {f(x)}{g(x)}}{\Big |}\leq M}$すべての人々のために${\displaystyle x\in D.}$これらはビッグのすべての用途を網羅しています${\textstyle O}$コンピュータ科学や数学において、有限、無限、実数、複素数、一変数、多変数の領域における使用を含めて。ほとんどのアプリケーションでは、関数を選択します。${\displaystyle g(x)}$議論の中に現れる${\textstyle O{\bigl (}\cdot {\bigr )}}$定数因子と低次の項を省略し、できるだけ単純な形式にする。${\textstyle M}$通常は指定されないため、暗黙の定数と呼ばれます。${\textstyle O}$記法において重要なのは、有限の${\displaystyle M}$存在そのものであって、その具体的な値ではない。これにより、多くの解析的不等式の表現が簡略化される。

正の実数または正の整数で定義された関数については、より制限的でやや矛盾する定義が依然として一般的に使用されています^{[ 3 ] [ 10 ]} 。特にコンピュータサイエンスでは。最終的に正となる関数に限定すると、表記法は

$${\displaystyle f(x)=O{\bigl (}g(x){\bigr )}\qquad ~{\mathsf {as}}\quad x\to \infty }$$

ある実数に対して${\textstyle a,}$${\textstyle f(x)=O{\bigl (}g(x){\bigr )}}$ドメインにおいて${\textstyle \left[a,\infty \right).}$ここで、表現${\textstyle x\to \infty }$これは限界を示すものではなく、十分に大きい場合に不等式が成り立つという考え方である。${\textstyle x.}$その表現${\textstyle x\to \infty }$しばしば省略される。^{[ 3 ]}

同様に、実数の場合${\textstyle a,}$表記法

$${\displaystyle f(x)=O{\bigl (}g(x){\bigr )}\qquad ~{\text{ as }}\ x\to a}$$

ある定数に対して${\textstyle c>0,}$${\textstyle f(x)=O{\bigl (}g(x){\bigr )}}$インターバル中に${\displaystyle \left[a-c,a+c\right];}$つまり、小さな近隣地域で${\displaystyle a.}$ さらに、表記法 $${\displaystyle \ f(x)=h(x)+O{\bigl (}g(x){\bigr )}\ }$$ 手段${\textstyle f(x)-h(x)=O{\bigl (}g(x){\bigr )}.}$より複雑な表現も可能です。

等号（=）が書かれているにもかかわらず、式${\textstyle f(x)=O{\bigl (}g(x){\bigr )}}$は等式ではなく、不等式を指す。${\textstyle f}$そして${\textstyle g.}$

1930年代、^{[ 6 ]}ロシアの数論学者IMヴィノグラドフは記法を導入した。${\displaystyle \ll ,}$これは数論^{[ 4 ] [ 11 ] [ 12 ]}やその他の数学の分野で、${\textstyle O}$表記法。

$${\displaystyle \ f\ll g\iff f=O{\bigl (}g{\bigr )}.}$$

同じ作品の中で両方の表記法が使われることもよくあります。

一般的な使用法では${\displaystyle O}$この表記法は、無限に広がる実数の範囲に適用されます。${\displaystyle [a,\infty )}$そして、非常に大きな値に対する関数の挙動を捉える${\displaystyle x}$このような状況では、「最も急速に」増加する項の寄与が、最終的には他の項を無関係なものにするでしょう。その結果、以下の簡略化ルールを適用できます。

• もし${\displaystyle f(x)}$これは複数の項の合計であり、成長率が最も高い項があれば、それを残して他の項はすべて省略することができる。
• もし${\displaystyle f(x)}$はいくつかの要因の積であり、定数（積の中で に依存しない要因）は${\displaystyle x}$）は省略できます。

例えば、${\displaystyle f(x)=6x^{4}-2x^{3}+5}$そして、この関数を次のように簡略化したいとします。${\displaystyle O}$表記法、大規模な成長率を記述する${\displaystyle x}$この関数は、次の3つの項の合計です。${\displaystyle 6x^{4}}$、${\displaystyle -2x^{3}}$、 そして${\displaystyle 5}$これら３つの項のうち、成長率が最も高いのは、の関数としての指数が最も大きい項である。${\displaystyle x}$すなわち${\displaystyle 6x^{4}}$さあ、ここで第二のルールを適用してみましょう。${\displaystyle 6x^{4}}$は${\displaystyle 6}$そして${\displaystyle x^{4}}$最初の要因は${\displaystyle x}$この要素を省略すると、簡略化された形式になります。${\displaystyle x^{4}}$したがって、私たちは次のように言います。${\displaystyle f(x)}$は「大きなO」です${\displaystyle x^{4}}$数学的には、次のように書くことができます。${\displaystyle f(x)=O(x^{4})}$すべての人々のために${\displaystyle x\geq 1}$正式な定義を用いてこの計算を確認することができる。${\displaystyle f(x)=6x^{4}-2x^{3}+5}$そして${\displaystyle g(x)=x^{4}}$上記の形式的な定義を適用すると、次の記述が得られます。${\displaystyle f(x)=O(x^{4})}$それはその拡張に相当し、 $${\displaystyle |f(x)|\leq Mx^{4}}$$ 適切な正の実数の選択${\displaystyle M}$そしてすべての${\displaystyle x\geq 1}$これを証明するために、${\displaystyle M=13}$そして、すべての${\displaystyle x\geq 1}$: $${\displaystyle {\begin{aligned}|6x^{4}-2x^{3}+5|&\leq 6x^{4}+|-2x^{3}|+5\\&\leq 6x^{4}+2x^{4}+5x^{4}\\&=13x^{4}\end{aligned}}}$$ それで $${\displaystyle |6x^{4}-2x^{3}+5|\leq 13x^{4}.}$$ 同じ論法によれば、 ${\displaystyle f(x)=O(x^{10})}$これは関数の精度が低い近似値です${\displaystyle f}$一方、声明は${\displaystyle f(x)=O(x^{3})}$偽である、なぜならその用語は${\displaystyle 6x^{4}}$原因 ${\displaystyle f(x)/x^{3}}$制限がない。

関数が${\displaystyle T(n)}$入力を伴うアルゴリズムに必要なステップ数を表します${\displaystyle n}$、次のような表現 $${\displaystyle T(n)=O(n^{2})}$$ 暗黙のドメインが正の整数の集合である場合、アルゴリズムのオーダーは最大で${\displaystyle n^{2}}$時間計算量。

ビッグオー記法は、有限区間における数学関数の近似における誤差項を記述するためにも使用できます。最も重要な項は明示的に記述され、次に最も重要でない項が単一のビッグオー記法にまとめられます。たとえば、指数級数と、次の場合に有効なその2つの表現を考えてみましょう。${\displaystyle x}$小さいです: $${\displaystyle {\begin{aligned}e^{x}&=1+x+{\frac {\;x^{2}\ }{2!}}+{\frac {\;x^{3}\ }{3!}}+{\frac {\;x^{4}\ }{4!}}+\dotsb &&{\text{ for all finite }}x\\[4pt]&=1+x+{\frac {\;x^{2}\ }{2}}+O(|x|^{3})&&{\text{ for all }}|x|\leq 1\\[4pt]&=1+x+O(x^{2})&&{\text{ for all }}|x|\leq 1.\end{aligned}}}$$真ん中 の表現（「${\displaystyle O(|x^{3}|)}$「)は誤差の絶対値を意味します ${\displaystyle \ e^{x}-(1+x+{\frac {\;x^{2}\ }{2}})\ }$最大で定数倍${\displaystyle ~|x^{3}|\ }$いつ${\displaystyle \ x~}$は小さい。これはテイラーの定理の使用例である。

与えられた関数の挙動は、有限領域と無限領域では大きく異なる場合がある。例えば、 $${\displaystyle (x+1)^{8}=x^{8}+O(x^{7})\quad {\text{ for }}x\geq 1}$$ その間 $${\displaystyle (x+1)^{8}=1+8x+O(x^{2})\quad {\text{ for }}|x|\leq 1.}$$

$${\displaystyle x\sin y=O(x)\quad {\text{ for }}x\geq 1,y{\text{ any real number}}}$$

$${\displaystyle 3a^{2}+7ab+2b^{2}+a+3b+14\ll a^{2}+b^{2}\ll a^{2}\quad {\text{ for all }}a\geq b\geq 1}$$

$${\displaystyle {\frac {xy}{x^{2}+y^{2}}}=O(1)\quad {\text{ for all real }}x,y{\text{ that are not both }}0}$$

$${\displaystyle x^{it}=O(1)\quad {\text{ for }}x\neq 0,t\in \mathbb {R} .}$$

ここでは、2つの変数の複素変数関数があります。一般に、任意の有界関数は${\displaystyle O(1)}$。

$${\displaystyle (x+y)^{10}=O(x^{10})\quad {\text{ for }}x\geq 1,-2\leq y\leq 2.}$$

最後の例は、異なる変数において有限領域と無限領域が混在している様子を示している。

これらの例すべてにおいて、境界は両方の変数で均一です。多変数式では、ある変数が他の変数よりも重要になる場合があり、暗黙の定数を次のように表現することができます。${\displaystyle M}$ビッグオー記号の添え字を使用する1つ以上の変数に依存します。${\displaystyle \ll }$記号。たとえば、次の式を考えてみましょう。

$${\displaystyle (1+x)^{b}=1+O_{b}(x)\quad {\text{ for }}0\leq x\leq 1,b{\text{ any real number.}}}$$

これは、各実数に対して${\displaystyle b}$一定の${\displaystyle M_{b}}$これは、${\displaystyle b}$、したがってすべての${\displaystyle 0\leq x\leq 1}$、 $${\displaystyle |(1+x)^{b}-1|\leq M_{b}\cdot x.}$$ この特定の記述は、一般二項定理から導かれる。

テイラー級数の理論でよく見られる別の例は、 $${\displaystyle e^{x}=1+x+O_{r}(x^{2})\quad {\text{ for all }}|x|\leq r,r{\text{ being any real number.}}}$$ ここで暗黙の定数は、領域のサイズに依存します。

下付き文字の表記規則は、このページ内の他のすべての表記にも適用されます。

アルゴリズムの実行時間を分析する際によく遭遇する関数のクラスを以下に示します。いずれの場合も、cは正の定数であり、nは無限に増加します。一般的に、増加率の低い関数が最初に記載されています。

声明${\displaystyle f(n)=O(n!)}$時には弱体化して${\displaystyle f(n)=O\left(n^{n}\right)}$漸近的複雑性に関するより単純な公式を導出するため。これらの例の多くでは、実行時間は実際には${\displaystyle \Theta (g(n))}$より正確な情報を伝える。

実変数の実数値関数または複素数値関数 ${\displaystyle x}$と${\displaystyle g(x)>0}$十分に大きい${\displaystyle x}$とある人は書いている ^{[ 2 ]}

${\displaystyle f(x)=o(g(x))\quad {\text{ as }}x\to \infty }$

もし $${\displaystyle \lim _{x\to \infty }{\frac {f(x)}{g(x)}}=0.}$$ つまり、すべての正の定数εに対して定数が存在する。${\displaystyle x_{0}}$そのため

${\displaystyle |f(x)|\leq \varepsilon g(x)\quad {\text{ for all }}x\geq x_{0}.}$

直感的に言えば、これは${\displaystyle g(x)}$よりはるかに速く成長する${\displaystyle f(x)}$または同等に${\displaystyle f(x)}$よりずっとゆっくりと成長する ${\displaystyle g(x)}$例えば、

${\displaystyle 200x=o(x^{2})}$そして${\displaystyle 1/x=o(1),}$  両方とも${\displaystyle x\to \infty .}$

関数の大きな値に対する挙動に興味がある場合${\displaystyle x}$、小文字の o 表記は、対応する大文字の O 表記よりも強い意味を持ちます。小文字の o で表されるすべての関数は、${\displaystyle g}$はビッグオーでもある${\displaystyle g}$ある間隔で${\displaystyle [a,\infty )}$、ただし、ビッグオーの関数はすべて${\displaystyle g}$は、${\displaystyle g}$。 例えば、${\displaystyle 2x^{2}=O(x^{2})}$しかし${\displaystyle 2x^{2}\neq o(x^{2})}$のために${\displaystyle x\geq 1}$。

Little-o は、いくつかの算術演算を尊重します。たとえば、

もし${\displaystyle c}$はゼロでない定数であり、${\displaystyle f=o(g)}$それから${\displaystyle c\cdot f=o(g)}$、 そして

もし${\displaystyle f=o(F)}$そして${\displaystyle g=o(G)}$それから${\displaystyle f\cdot g=o(F\cdot G).}$

もし${\displaystyle f=o(F)}$そして${\displaystyle g=o(G)}$それから${\displaystyle f+g=o(F+G)}$

また、推移律も満たしている。

もし${\displaystyle f=o(g)}$そして${\displaystyle g=o(h)}$それから${\displaystyle f=o(h).}$

リトルオーは有限の場合にも一般化できます: ^{[ 2 ]}${\displaystyle f(x)=o(g(x))\quad {\text{ as }}x\to x_{0}}$もし $${\displaystyle \lim _{x\to x_{0}}{\frac {f(x)}{g(x)}}=0.}$$ 言い換えると、 ${\displaystyle f(x)=\alpha (x)g(x)}$一部の人にとって${\displaystyle \alpha (x)}$と${\displaystyle \lim _{x\to x_{0}}\alpha (x)=0}$。

この定義は、テイラー級数を用いた極限の計算において特に有用です。例えば：

${\displaystyle \sin x=x-{\frac {x^{3}}{3!}}+\ldots =x+o(x^{2}){\text{ as }}x\to 0}$、 それで${\displaystyle \lim _{x\to 0}{\frac {\sin x}{x}}=\lim _{x\to 0}{\frac {x+o(x^{2})}{x}}=\lim _{x\to 0}1+o(x)=1}$

任意のノルムベクトル空間の値をとる関数への一般化は簡単である（絶対値をノルムに置き換える）。${\displaystyle f}$そして${\displaystyle g}$それらの値は同じ空間にある必要はない。関数への一般化${\displaystyle g}$任意の位相群の値を取ることも可能です。「極限プロセス」${\displaystyle x\to x_{0}}$任意のフィルタ基底を導入することによって、すなわち有向ネットに一般化することもできる。${\displaystyle f}$そして${\displaystyle g}$.${\displaystyle o}$この表記法は、かなり一般的な空間における導関数と微分可能性、および関数の（漸近的な）等価性を定義するために使用できます。

${\displaystyle f\sim g\iff (f-g)\in o(g)}$

これは同値関係であり、関係よりも制限的な概念である。${\displaystyle f}$は${\displaystyle \Theta (g)}$上から。（それは${\displaystyle \lim f/g=1}$もし${\displaystyle f}$そして${\displaystyle g}$（正の実数値関数です。）例えば、${\displaystyle 2x=\Theta (x)}$そうですが、 ${\displaystyle 2x-x\neq o(x)}$。

1870年、ポール・デュ・ボワ＝レイモンド^{[ 9 ]} は次のように定義した。${\displaystyle f(x)\succ \phi (x)}$、${\displaystyle f(x)\sim \phi (x)}$そして${\displaystyle f(x)\prec \phi (x)}$ それぞれ、 $${\displaystyle \lim _{x\to \infty }{\frac {f(x)}{\phi (x)}}=\infty ,\quad \lim _{x\to \infty }{\frac {f(x)}{\phi (x)}}>0,\quad \lim _{x\to \infty }{\frac {f(x)}{\phi (x)}}=0.}$$ これらは広く採用されず、現在では使用されていません。1番目と3番目は対称です。${\displaystyle f(x)\prec \phi (x)}$意味は同じです${\displaystyle \phi (x)\succ f(x)}$ランダウは後に採用した${\displaystyle \sim }$より狭い定義では、${\displaystyle f(x)/\phi (x)}$1に等しい。

記号 O は、1894 年に数論学者のパウル・バッハマンが著書『解析的数論』の第 2 巻で初めて導入しました。^{[ 1 ]}数論学者のエドムント・ランダウはこれを採用し、1909 年に記号 o を導入するきっかけとなりました。^{[ 2 ]}そのため、現在では両方ともランダウ記号と呼ばれています。これらの記号は 、1950 年代に漸近解析などの応用数学で使用されました。^{[ 23 ]}${\displaystyle \Omega }$（「is not little o of」という意味で）は、1914年にハーディとリトルウッドによって導入された。^{[ 7 ]}ハーディとリトルウッドは1916年に左と右も導入した。${\displaystyle \Omega }$シンボル${\displaystyle \Omega _{R}}$、${\displaystyle \Omega _{L}}$（現在では一般的に${\displaystyle \Omega _{+},\Omega _{-}}$) ^{[ 15 ]}これ${\displaystyle \Omega }$記法は1950年代から数論で一般的に使われてきた。^{[ 13 ]}

ハーディはシンボルを導入した${\displaystyle \preccurlyeq }$そしてボワ＝レイモンドの${\displaystyle \prec }$（既に述べた他の記号と同様に）1910年の論文「無限の秩序」^{[ 5 ]}で使用したが、1910年から1913年までの3つの論文でのみ使用した。残りの約400の論文と書籍では、一貫してランダウの記号Oとoを使用した。^{[ 24 ]} ハーディの記号${\displaystyle \preccurlyeq }$そして${\displaystyle \mathbin {\,\asymp \;\;\;\;\!\!\!\!\!\!\!\!\!\!\!\!\!-} }$それらはもう使われていません。

シンボル${\displaystyle \sim }$以前は異なる意味で使われていたものの、^{[ 9 ] 1909年にランダウ[ 2 ]}、1910年にハーディ^{[ 5 ]}によって現代的な定義が与えられた。同じページでハーディは記号を定義した。${\displaystyle \asymp }$、 どこ${\displaystyle f(x)\asymp g(x)}$両方とも${\displaystyle f(x)=O(g(x))}$そして${\displaystyle g(x)=O(f(x))}$満足している。この表記法は解析的整数論で今でも使われている。^{[ 25 ] [ 12 ]} ハーディもこの記号を提案した。${\displaystyle \mathbin {\,\asymp \;\;\;\;\!\!\!\!\!\!\!\!\!\!\!\!\!-} }$、 どこ${\displaystyle f\mathbin {\,\asymp \;\;\;\;\!\!\!\!\!\!\!\!\!\!\!\!\!-} g}$つまり${\displaystyle f\sim Kg}$ある定数に対して${\displaystyle K\not =0}$（これはボワ＝レイモンの記法に対応する）${\displaystyle f\sim g}$)