確率変数の収束

確率論には、確率変数列の収束に関するいくつかの異なる概念が存在する。これには、確率収束、分布収束、概収束などが含まれる。これらの異なる収束概念は、列の異なる性質を捉えており、収束の概念によって強さが異なる。例えば、分布収束は、確率変数列の極限分布について教えてくれる。これは、確率収束よりも弱い概念である。確率収束は、分布だけでなく、確率変数が取る値そのものについても教えてくれるからである。

この概念は確率論において重要であり、統計学や確率過程への応用においても同様である。より一般的な数学では、同じ概念は確率的収束として知られており、本質的にランダムまたは予測不可能な事象の系列の特定の特性が、系列の十分先の項目を調べると、本質的に変化しない挙動に落ち着くことが期待できるという考え方を形式化したものである。収束のさまざまな概念は、そのような挙動をどのように特徴づけるかに関係している。容易に理解できる2つの挙動は、系列が最終的に一定値を取る場合と、系列の値は変化し続けるが、変化しない確率分布で記述できる場合である。

「確率的収束」とは、本質的にランダムまたは予測不可能な一連の出来事が、あるパターンに落ち着くことがあるという考え方を形式化したものである。そのパターンは、例えば次のようなものである。

• 古典的な意味での固定値への収束は、おそらくそれ自体がランダムな事象から生じる。
• 結果が純粋に決定論的な関数が生み出す結果とますます類似していく
• ある特定の結果に対する好みの高まり
• 特定の結果から大きく逸脱することへの「嫌悪感」の高まり
• 次の結果を記述する確率分布が、ある特定の分布にますます似てくる可能性がある。

あまり明白ではない、より理論的なパターンとしては、

• 特定の値からの結果の距離の期待値を計算して形成される数列が0に収束する可能性がある
• 次の事象を表す確率変数の分散がどんどん小さくなっていくということ。

こうした他のタイプのパターンが発生する可能性は、これまで研究されてきた様々なタイプの確率的収束に反映されている。

上記の議論は単一の級数が極限値に収束することに関するものでしたが、2つの級数が互いに収束するという概念も重要です。しかし、これは2つの級数の差または比として定義される数列を調べることで容易に扱うことができます。

例えば、n個の独立した確率変数の平均が${\displaystyle Y_{i},\ i=1,\dots ,n}$すべて同じ有限の平均と分散を持ち、次式で与えられる。

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

そして${\displaystyle n}$無限大に近づく、${\displaystyle X_{n}}$確率的に（下記参照）共通平均に収束する、${\displaystyle \mu }$ランダム変数の${\displaystyle Y_{i}}$この結果は大数の弱法則として知られています。収束の他の形式は、中心極限定理を含む他の有用な定理において重要です。

以下では、以下のことを前提とする。${\displaystyle (X_{n})}$は確率変数の列であり、${\displaystyle X}$は確率変数であり、それらはすべて同じ確率空間上で定義されます。${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$。

大まかに言えば、この収束様式では、一連のランダム実験における次の結果が、与えられた確率分布によってますます正確にモデル化されることが期待されます。より正確には、一連の実験における関連する確率変数の分布が、指定された固定分布に限りなく近づくということです。

分布収束は、本稿で述べた他のすべてのタイプの収束によって暗黙的に導かれるため、一般的に議論される収束の中で最も弱い形態である。しかし、分布収束は実際には非常に頻繁に用いられており、多くの場合、中心極限定理の適用によって生じる。

この種の収束の基本的な考え方は、数列が進むにつれて「異常な」結果が生じる確率がどんどん小さくなっていくというものである。

確率収束の概念は統計学において非常に頻繁に用いられます。例えば、推定量が推定対象量に確率収束する場合、その推定量は一致性を持つと言われます。確率収束は、大数の弱法則によって確立される収束の一種でもあります。

これは、初等実解析で知られている点ごとの収束に最もよく似たタイプの確率的収束である。

ランダム変数のシーケンス${\displaystyle (X_{n})_{n}}$同じ確率空間上で定義された（つまり、ランダム過程）が、 Xに確実に、または至るところで、または点ごとに収束するということは、

$${\displaystyle \forall \omega \in \Omega \colon \ \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),}$$

どこ${\displaystyle \Omega }$これは、確率変数が定義される基礎となる確率空間の標本空間である。

これは、関数列の点ごとの収束という概念を、確率変数列に拡張したものです。（なお、確率変数自体も関数です。）

$${\displaystyle \left\{\omega \in \Omega$$ \lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .}

確率変数の確実な収束は、上述の他のすべての種類の収束を意味しますが、確率論においては、確実な収束を用いるのとほぼ確実な収束を用いるのとでは、何ら利点はありません。両者の違いは、確率がゼロとなる集合においてのみ存在します。これが、確率変数の確実な収束という概念がほとんど用いられない理由です。

実数が与えられた場合${\displaystyle r\geq 1}$数列は${\displaystyle (X_{n})_{n}}$収束する${\displaystyle r}$確率変数に対する 番目^の平均(またはL rノルム)${\displaystyle X}$もし${\displaystyle r}$絶対モーメント${\displaystyle \mathbb {E} (|X_{n}|^{r})}$そして${\displaystyle \mathbb {E} (|X|^{r})}$X _nと​${\displaystyle X}$存在し、

${\displaystyle \lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,}$

オペレーターが${\displaystyle \mathbb {E} }$は期待値を表します。 の収束${\displaystyle r}$-th 平均は、${\displaystyle r}$の差の 乗${\displaystyle X_{n}}$そして${\displaystyle X}$ゼロに収束する。

この種の収束は、文字を追加することで示されることが多い。${\displaystyle L^{r}}$収束を示す矢印の上に：

収束の最も重要な事例は${\displaystyle r}$-th の平均値は次のとおりです。

• いつ${\displaystyle X_{n}}$収束する${\displaystyle r}$-th は、${\displaystyle X}$のために${\displaystyle r=1}$私たちはこう言います${\displaystyle X_{n}}$平均的に収束する${\displaystyle X}$。
• いつ${\displaystyle X_{n}}$収束する${\displaystyle r}$-th は、${\displaystyle X}$のために${\displaystyle r=2}$私たちはこう言います${\displaystyle X_{n}}$平均二乗（または二乗平均）で収束し、${\displaystyle X}$。

収束${\displaystyle r}$-番目の平均値、${\displaystyle r\geq 1}$は確率収束を意味する（マルコフの不等式による）。さらに、${\displaystyle r>s\geq 1}$収束${\displaystyle r}$-番目の平均は収束を意味する${\displaystyle s}$平均値。したがって、平均二乗の収束は平均値の収束を意味する。

さらに、

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].}$

逆は必ずしも真ではないが、次の場合は真である。${\displaystyle {\overset {}{X_{n}\,\xrightarrow {p} \,X}}}$（シェッフェの補題のより一般的なバージョンによる）。

確率空間が完全であると仮定すると：

• もし${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$そして${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$、 それから${\displaystyle X=Y}$ほぼ間違いなく。
• もし${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$そして${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$、 それから${\displaystyle X=Y}$ほぼ間違いなく。
• もし${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$そして${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$、 それから${\displaystyle X=Y}$ほぼ間違いなく。
• もし${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$そして${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$、 それから${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$（任意の実数に対して）${\displaystyle a}$そして${\displaystyle b}$） そして${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$。
• もし${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$そして${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$、 それから${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY}$（任意の実数に対して）${\displaystyle a}$そして${\displaystyle b}$そして${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY}$。
• もし${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$そして${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$、 それから${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$（任意の実数に対して）${\displaystyle a}$そして${\displaystyle b}$)
• 上記の記述はいずれも、分布の収束に関しては当てはまりません。

収束に関する様々な概念間の連鎖的な影響関係は、それぞれのセクションで説明されている。矢印表記を用いると、以下のようになる。

${\displaystyle {\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}}$

これらの特性は、その他いくつかの特殊なケースとともに、以下のリストにまとめられています。

• ほぼ確実な収束は確率収束を意味する：^{[ 8 ] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• 確率の収束は部分列が存在することを意味する${\displaystyle (n_{k})}$これはほぼ確実に収束する：^{[ 9 ]}

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X}$

• 確率の収束は分布の収束を意味する：^{[ 8 ] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• 収束${\displaystyle r}$次平均は確率の収束を意味する。

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• 収束${\displaystyle r}$次平均は、両方の次数が1以上であると仮定すると、より低い次平均への収束を意味する。

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,}$提供された${\displaystyle r\geq s\geq 1}$。

• もし${\displaystyle X_{n}}$分布は定数に収束する${\displaystyle c}$、 それから${\displaystyle X_{n}}$確率的に収束する${\displaystyle c}$: ^{[ 8 ] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$提供された${\displaystyle c}$定数です。

• もし${\displaystyle X_{n}}$分布は収束し、${\displaystyle X}$そしてその違いは${\displaystyle X_{n}}$そして${\displaystyle Y_{n}}$確率的にゼロに収束し、${\displaystyle Y_{n}}$分布においても収束し、${\displaystyle X}$: ^{[ 8 ] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• もし${\displaystyle X_{n}}$分布は収束し、${\displaystyle X}$そして '${\displaystyle Y_{n}}$分布は定数に収束する${\displaystyle c}$すると、ジョイントベクトル${\displaystyle (X_{n},Y_{n})}$分布は収束し、${\displaystyle (X,c)}$: ^{[ 8 ] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ただし、cは定数とする。

  条件に注意してください${\displaystyle Y_{n}}$定数に収束することは重要であり、ランダム変数に収束する場合には重要ではない。${\displaystyle Y}$そうすれば、${\displaystyle (X_{n},Y_{n})}$に収束する${\displaystyle (X,Y)}$⁠ .

• もし${\displaystyle X_{n}}$確率的に収束する${\displaystyle X}$そして${\displaystyle Y_{n}}$確率的に収束する${\displaystyle Y}$すると、ジョイントベクトル${\displaystyle (X_{n},Y_{n})}$確率的に収束する${\displaystyle (X,Y)}$: ^{[ 8 ] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• もし${\displaystyle X_{n}}$確率的に収束する${\displaystyle X}$、そしてもし${\displaystyle \mathbb {P} (|X_{n}|\leq b)=1}$すべての人々のために${\displaystyle n}$そしていくつか${\displaystyle b}$、 それから${\displaystyle X_{n}}$収束する${\displaystyle r}$th は、${\displaystyle X}$すべての人々のために${\displaystyle r\geq 1}$つまり、${\displaystyle X_{n}}$確率的に収束する${\displaystyle X}$およびすべてのランダム変数${\displaystyle X_{n}}$ほぼ確実に上下に境界が定められているならば、${\displaystyle X_{n}}$収束して${\displaystyle X}$また、どんな${\displaystyle r}$平均値。^{[ 10 ]}
• ほぼ確実な表現。通常、分布の収束はほぼ確実な収束を意味しません。しかし、与えられた数列に対しては、${\displaystyle (X_{n})_{n}}$これは分布において収束し、${\displaystyle X_{0}}$新しい確率空間を見つけることは常に可能である${\displaystyle (\Omega ,F,\mathbb {P} )}$およびランダム変数${\displaystyle (Y_{n})_{n}}$定義により、${\displaystyle Y_{n}}$分配は${\displaystyle X_{n}}$各${\displaystyle n\geq 0}$、 そして${\displaystyle Y_{n}}$収束して${\displaystyle Y_{0}}$ほぼ間違いなく。^{[ 11 ] [ 12 ]}
• すべての場合${\displaystyle \varepsilon >0}$、

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  そして私たちはこう言います${\displaystyle X_{n}}$ほぼ完全に、またはほぼ確率的に収束する${\displaystyle X}$。 いつ${\displaystyle X_{n}}$ほぼ完全に収束する${\displaystyle X}$すると、ほぼ確実に収束します。${\displaystyle X}$つまり、${\displaystyle X_{n}}$確率的に収束する${\displaystyle X}$十分に速く（つまり、上記のテール確率のシーケンスはすべての場合で合計可能）${\displaystyle \varepsilon >0}$）、 それから${\displaystyle X_{n}}$また、ほぼ確実に収束します。${\displaystyle X}$これはボレル・カンテリの補題から直接導かれる結論である。

• もし${\displaystyle S_{n}}$は合計です${\displaystyle n}$実数独立確率変数：

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  それから${\displaystyle S_{n}}$ほぼ確実に収束するのは、${\displaystyle S_{n}}$確率収束する。証明は、 Kai Lai Chungの著書の 126 ページ (定理 5.3.4) に記載されている。^{[ 13 ]}

  しかし、互いに独立な確率変数の列の場合、確率収束はほぼ確実な収束を意味するものではない。^{[ 14 ]}

• 優収束定理は、ほぼ確実な収束が以下を意味するための十分条件を与える。${\displaystyle L^{1}}$-収束：

• 必要かつ十分な条件${\displaystyle L^{1}}$収束は${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$そしてそのシーケンス${\displaystyle (X_{n})_{n}}$一様積分可能である。
• もし${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X}$、以下は同等である^{[ 15 ]}
  • ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$、
  • ${\displaystyle \mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty }$、
  • ${\displaystyle \{|X_{n}|^{r}\}}$一様積分可能である。

• もし${\displaystyle X_{n}{\overset {d}{\longrightarrow }}X}$そして${\displaystyle (X_{n})_{n}}$が一様積分可能であるならば、${\displaystyle X\in L^{1}}$そして${\displaystyle \lim _{n\to \infty }\mathbb {E} [X_{n}]=\mathbb {E} [X]}$[ ^{16 ]​}

• 確率変数の収束の証明
• 指標の収束
• 測定の収束
• 連続確率過程：確率過程の連続性の問題とは、本質的には収束の問題であり、上記で使用した概念や関係性の多くが連続性の問題にも適用されます。
• 漸近分布
• 確率表記におけるビッグオー記法
• スコロホッドの表現定理
• トゥイーディー収束定理
• スルツキーの定理
• 連続写像定理

この記事は、Citizendium の記事「確率的収束」の資料を組み込んでいます。この記事はCreative Commons Attribution-ShareAlike 3.0 Unported Licenseの下でライセンスされていますが、 GFDLの下ではライセンスされていません。