確率表記におけるビッグオー

確率表記法の順序は、数学で標準となっているビッグオー表記法と直接並行して確率論や統計理論で使用されている。ビッグオー表記法が通常の数の列や集合の収束を扱うのに対し、確率表記法の順序はランダム変数の集合の収束を扱い、収束は確率の収束の意味で用いられる。^[1]

確率変数X _nの集合とそれに対応する定数a _nの集合（どちらもnでインデックスされ、離散的である必要はない）に対して、表記

${\displaystyle X_{n}=o_{p}(a_{n})}$

は、 nが適切な限界に近づくにつれて、値の集合X _n / a _nが確率的にゼロに収束することを意味する。同様に、 X _n = o _p ( a _n )は、 X _n / a _n  = o _p (1)と書くことができ、すなわち

${\displaystyle \lim _{n\to \infty }P\left[\left|{\frac {X_{n}}{a_{n}}}\right|\geq \varepsilon \right]=0,}$

任意の正のεに対して。^[2]

表記

${\displaystyle X_{n}=O_{p}(a_{n}){\text{ as }}n\to \infty }$

は、X _n / a _nの値の集合が確率的に制限されていることを意味します。つまり、任意のε > 0 に対して、有限のM > 0 と有限のN > 0 が存在し、

${\displaystyle P\left(|{\frac {X_{n}}{a_{n}}}|>M\right)<\varepsilon ,\;\forall \;n>N.}$

定義の違いは微妙です。限界の定義を使用すると、次のようになります。

• 大きい：${\displaystyle O_{p}(1)}$${\displaystyle \forall \varepsilon \quad \exists N_{\varepsilon },\delta _{\varepsilon }\quad {\text{ }}P(|X_{n}|\geq \delta _{\varepsilon })\leq \varepsilon \quad \forall n>N_{\varepsilon }} が成り立つ$
• 小さい：${\displaystyle o_{p}(1)}$${\displaystyle \forall \varepsilon,\delta \quad \exists N_{\varepsilon,\delta }\quad {\text{ }}P(|X_{n}|\geq \delta )\leq \varepsilon \quad \forall n>N_{\varepsilon,\delta }} となる。$

違いは にあります。確率的有界性については、不等式を満たす1 つの（任意の大きい） が存在し、に依存していることが許されていれば十分です（したがって）。一方、収束については、ステートメントは 1 つの だけでなく、任意の（任意の小さい） に対しても成立する必要があります。ある意味では、これは、サンプル サイズが増加するにつれて境界が小さくなる、シーケンスが有界でなければならないことを意味します。 ${\displaystyle \delta}$${\displaystyle \delta}$${\displaystyle \delta}$${\displaystyle \epsilon }$${\displaystyle \delta _{\varepsilon }}$${\displaystyle \delta}$

これは、シーケンスが である場合、シーケンスは である、つまり確率の収束は確率的有界性を意味することを示唆しています。しかし、その逆は成り立ちません。 ${\displaystyle o_{p}(1)}$${\displaystyle O_{p}(1)}$

が各要素が有限分散を持つ確率的シーケンスである 場合、${\displaystyle (X_{n})}$

${\displaystyle X_{n}-E(X_{n})=O_{p}\left({\sqrt {\operatorname {var} (X_{n})}}\right)}$

（Bishopらの定理14.4-1を参照）

さらに、が実数列のヌル列である場合、チェビシェフの不等式により確率的にゼロに収束するため、 ${\displaystyle a_{n}^{-2}\operatorname {var} (X_{n})=\operatorname {var} (a_{n}^{-1}X_{n})}$${\displaystyle (a_{n})}$${\displaystyle a_{n}^{-1}(X_{n}-E(X_{n}))}$

${\displaystyle X_{n}-E(X_{n})=o_{p}(a_{n})。}$