確率変数の収束

確率論では、確率の収束、分布の収束、ほぼ確実な収束など、ランダム変数の列の収束に関するさまざまな概念が存在します。収束に関するさまざまな概念は、列に関するさまざまな特性を捉えており、一部の収束概念は他の概念よりも強力です。たとえば、分布の収束は、ランダム変数の列の極限分布について教えてくれます。これは、分布だけでなくランダム変数が取る値について教えてくれる確率の収束よりも弱い概念です。

この概念は確率論、および統計と確率過程へのその応用において重要である。同じ概念はより一般的な数学では確率的収束として知られており、本質的にランダムまたは予測不可能な一連のイベントの特定の特性は、そのシーケンス内の十分先の項目を調べた際に本質的に不変の動作に落ち着くことが時々期待できるという考えを形式化したものである。収束のさまざまな概念は、そのような動作をどのように特徴付けるかに関係している。容易に理解できる 2 つの動作は、シーケンスが最終的に一定値を取ることと、シーケンス内の値は変化し続けるが不変の確率分布で説明できることである。

「確率的収束」とは、本質的にランダムまたは予測不可能な一連のイベントが、時にはパターンに落ち着くことが予想されるという考えを形式化したものです。パターンは、例えば

• 古典的な意味での固定値への収束。おそらくそれ自体はランダムなイベントから生じる。
• 純粋に決定論的な関数が生成する結果との類似性が高まっている
• 特定の結果に対する好みの高まり
• 特定の結果から大きく逸脱することに対する「嫌悪感」が高まっている
• 次の結果を記述する確率分布は、特定の分布にますます類似するようになる可能性がある

あまり明白ではないが、より理論的なパターンとしては、

• 特定の値からの結果の距離の期待値を計算することによって形成される系列は0に収束する可能性がある。
• 次のイベントを記述するランダム変数の分散がどんどん小さくなるということ。

発生する可能性のあるこれらの他のタイプのパターンは、研究されてきたさまざまな種類の確率的収束に反映されています。

上記の議論は、単一の級数が限界値に収束することに関するものですが、2 つの級数が互いに収束するという概念も重要です。ただし、これは、2 つの級数の差または比率として定義されるシーケンスを調べることで簡単に処理できます。

例えば、すべて同じ有限平均と分散を持つn個の 独立したランダム変数の平均が次のように与えられるとします。 ${\displaystyle Y_{i},\ i=1,\dots ,n}$

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

すると、無限大に近づくにつれて、確率的に（下記参照）ランダム変数の共通平均、に収束します。この結果は、大数の弱法則として知られています。他の形式の収束は、中心極限定理などの他の有用な定理において重要です。 ${\displaystyle n}$${\displaystyle X_{n}}$${\displaystyle \mu}$${\displaystyle Y_{i}}$

以下では、がランダム変数の列であり、 がランダム変数であり、それらはすべて同じ確率空間上で定義されていると仮定します。 ${\displaystyle (X_{n})}$${\displaystyle X}$ ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

分布の収束の例

サイコロ工場
新しいサイコロ工場が建設されたと仮定します。最初の数個のサイコロは、製造工程の不完全さにより、かなり偏った結果が出ます。それらのサイコロを投げたときの結果は、望ましい均一分布とは著しく異なる分布に従います。 工場が改善されるにつれて、サイコロの偏りはますます少なくなり、新しく製造されたサイコロを投げたときの結果は、均一分布にますます近くなります。
コインを投げる
X n を、コインをn回投げて表が出る割合とします。すると、X 1 は、期待値μ = 0.5および分散σ 2 = 0.25のベルヌーイ分布になります。後続のランダム変数X 2、X 3、...はすべて二項分布します。nが大きくなるにつれて、この分布は徐々に正規分布のベル曲線に似た形になり始めます。X n を適切にシフトして再スケールすると、分布が標準正規に収束し、有名な中心極限定理から結果が得られます。 ${\displaystyle \scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu )}$
グラフィック例
{ X i } が一様U (−1, 1)ランダム変数のiidシーケンスであるとします。それらの (正規化された) 合計をとします。中心極限定理によれば、 Z nの分布は正規分布N (0, ⁠ ${\displaystyle \scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}}$1/3⁠）分布。この収束は図に示されています。n が大きくなるにつれて、確率密度関数の形状はガウス曲線にどんどん近づいていきます。

大まかに言えば、この収束モードでは、一連のランダム実験における次の結果が、与えられた確率分布によってどんどん適切にモデル化されるようになることが期待されます。より正確には、一連の関連するランダム変数の分布は、指定された固定分布に任意に近くなります。

分布の収束は、この記事で説明されている他のすべての種類の収束によって暗示されるため、通常議論される収束の中で最も弱い形式です。ただし、分布の収束は実際には非常に頻繁に使用され、ほとんどの場合、中心極限定理の適用から生じます。

累積分布関数を持つ実数値のランダム変数の列は、累積分布関数Fを持つランダム変数Xに分布収束する、または弱収束する、または法則収束するとは、次の場合 を言う。${\displaystyle X_{1},X_{2},\ldots }$ ${\displaystyle F_{1},F_{2},\ldots }$

${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x),}$

が連続する任意の数に対して。 ${\displaystyle x\in \mathbb {R} }$${\displaystyle F}$

の連続点のみを考慮する必要があるという要件は重要です。たとえば、が区間 に均一に分布している場合、この数列は分布的に退化したランダム変数に収束します。確かに、のときはすべて に対してが、のときはすべて に対して が成り立ちます。しかし、この極限ランダム変数 では、 がすべて に対してであっても が成り立ちます。したがって、 が不連続な点では cdfs の収束は失敗します。 ${\displaystyle F}$${\displaystyle X_{n}}$${\displaystyle \left(0,{\frac {1}{n}}\right)}$${\displaystyle X=0}$${\displaystyle F_{n}(x)=0}$ ${\displaystyle n}$${\displaystyle x\leq 0}$${\displaystyle F_{n}(x)=1}$${\displaystyle x\geq {\frac {1}{n}}}$${\displaystyle n>0}$${\displaystyle F(0)=1}$${\displaystyle F_{n}(0)=0}$${\displaystyle n}$${\displaystyle x=0}$${\displaystyle F}$

分布の収束は次のように表される。

ここで、はXの法則 (確率分布) です。たとえば、X が標準正規分布である場合は、 と書くことができます。 ${\displaystyle \scriptstyle {\mathcal {L}}_{X}}$${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$

ランダムベクトル の場合、分布の収束は同様に定義されます。このシーケンスが分布においてランダムkベクトルXに収束するとは、 ${\displaystyle \left\{X_{1},X_{2},\dots \right\}\subset \mathbb {R} ^{k}}$

${\displaystyle \lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)}$

Xの連続集合である任意のに対して。 ${\displaystyle A\subset \mathbb {R} ^{k}}$

分布の収束の定義は、ランダムベクトルから任意の距離空間のより一般的なランダム要素、さらには測定できない「ランダム変数」にまで拡張される可能性があります。これは、たとえば経験的プロセスの研究で発生する状況です。これは、「法則が定義されていない法則の弱い収束」です — ただし、漸近的には収束しません。^[1]

この場合は弱収束という用語が適しており（測度の弱収束を参照）、ランダム要素の列{ X _n }がXに弱収束する（X _n ⇒ Xと表記）とは、

${\displaystyle \mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)}$

_すべての連続有界関数hに対して成り立つ。^[2]ここでE*は外部期待値、つまり「h ( Xn )を支配する最小の測定可能な関数g」の期待値を表す。

• なので、分布が収束するということは、 nが十分に大きい場合、 X _{n が}特定の範囲内にある確率が、 Xの値がその範囲内にある確率にほぼ等しいことを意味します。${\displaystyle F(a)=\mathbb {P} (X\leq a)}$
• 一般に、分布が収束するということは、対応する確率密度関数の列も収束することを意味するものではない。例として、密度がf _n ( x ) = (1 + cos(2 πnx )) 1 _(0,1)であるランダム変数を考える。これらのランダム変数は分布が一様U (0, 1)に収束するが、密度はまったく収束しない。^[3]
  • しかし、シェッフェの定理によれば、確率密度関数の収束は分布の収束を意味する。^[4]
• かばん補題は、分布の収束に関するいくつかの同等の定義を提供する。これらの定義は直感的ではないが、多くの統計定理を証明するために使用されている。補題は、{ X _n }が分布においてXに収束するのは、以下のいずれかの文が真である場合のみであると述べている。^[5]
  • ${\displaystyle \mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)}$のすべての連続点について;${\displaystyle x\mapsto \mathbb {P} (X\leq x)}$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$すべての有界連続関数 （ここで は期待値演算子を表す）に対して；${\displaystyle f}$${\displaystyle \mathbb {E} }$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$すべての有界リプシッツ関数 に対して;${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$すべての非負の連続関数に対して;${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)}$すべての開集合 に対して;${\displaystyle G}$
  • ${\displaystyle \lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)}$すべての閉集合 に対して;${\displaystyle F}$
  • ${\displaystyle \mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)}$ランダム変数のすべての連続集合 に対して;${\displaystyle B}$${\displaystyle X}$
  • ${\displaystyle \limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)}$任意の上側半連続関数が有界である場合; ^[要出典]${\displaystyle f}$
  • ${\displaystyle \liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$下側が有界なすべての下側半連続関数に対して。^[要出典]${\displaystyle f}$
• 連続写像定理は、連続関数gに対して、シーケンス{ X _n } が分布的にXに収束する場合、{ g ( X _n )} は分布的にg ( X )に収束することを述べています。
  • ただし、{ X _n }からXへの分布の収束と{ Y _n }からYへの分布の収束は、一般に{ X _n + Y _n }からX + Yへの分布の収束や{ X _{n Y n} }からXYへの分布の収束を意味しないことに注意してください。
• レヴィの連続性定理: 対応する特性関数の列{ φ _n }がXの特性関数φに点収束する場合に限り、列{ X _n }はXに分布収束します。
• 分布の収束はレヴィ・プロホロフ計量によって計量化可能である。
• 分布の収束への自然なつながりは、スコロホッドの表現定理です。

このタイプの収束の基本的な考え方は、シーケンスが進むにつれて「異常な」結果の確率がどんどん小さくなるというものです。

確率収束の概念は、統計学で非常に頻繁に使用されます。たとえば、推定量が推定される量に確率的に収束する場合、その推定量は一貫性があると呼ばれます。確率収束は、大数の弱法則によって確立される収束のタイプでもあります。

ランダム変数の列{ X _n }は、すべてのε > 0 に対してランダム変数Xに向かって確率的に収束する。

${\displaystyle \lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.}$

より明確には、P _n ( ε ) を、 X _{n が}Xを中心とする 半径εの球の外側にある確率とします。すると、任意のε > 0および任意のδ > 0に対して、任意のn  ≥  Nに対してP _n ( ε ) <  δ (極限の定義) となるような 数N ( εおよびδに依存) が存在するとき、 X _{n は}確率的に X に収束すると言われます。

条件が満たされるためには、Xが弱大数の法則のように決定論的でない限り、各nに対してランダム変数XとX _nが独立である (したがって、確率の収束は結合 cdf の条件であり、分布の収束は個々の cdf の条件である) ことは不可能であることに注意してください。同時に、決定論的な X のケースは、決定論的な値が不連続点 (孤立していない) である場合はいつでも、分布の収束によって処理することはできず、不連続点は明示的に除外する必要があります。

確率の収束は、収束を示す矢印の上に 文字p を追加するか、または「plim」確率限界演算子を使用して示されます。

分離可能な距離空間（S、d）上のランダムな元{ Xn _}に対して、確率収束は同様に^{[6]によって定義される。}

${\displaystyle \forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.}$

• 確率の収束は分布の収束を意味する。^[証明]
• 逆に、限界確率変数Xが定数である場合、分布の収束は確率の収束を意味します。^[証明]
• 確率の収束はほぼ確実な収束を意味するものではありません。^[証明]
• 連続写像定理は、任意の連続関数 に対して、であれば となる ことを述べています。${\displaystyle g}$${\textstyle X_{n}\xrightarrow {p} X}$${\textstyle g(X_{n})\xrightarrow {p} g(X)}$
• 確率収束は、固定確率空間上のランダム変数の空間上の位相を定義する。この位相は、 Ky Fan計量によって計量化可能である: ^[7]または、この計量によって計量化可能である。 $${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}}$$$${\displaystyle d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].}$$

分布において別のランダム変数に収束するランダム変数のシーケンスのすべてが、確率的にもそのランダム変数に収束するわけではありません。例として、標準正規ランダム変数のシーケンスと 2 番目のシーケンスを考えてみましょう。 の分布はすべての に対しての分布に等しいことに注意してください。ただし、 ${\displaystyle X_{n}}$${\displaystyle Y_{n}=(-1)^{n}X_{n}}$${\displaystyle Y_{n}}$${\displaystyle X_{n}}$${\displaystyle n}$$${\displaystyle P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )}$$

これは に収束しません。したがって、確率では収束しません。 ${\displaystyle 0}$

これは、初等実解析で知られる点ごとの収束に最も類似したタイプの確率収束です。

数列X _{n が}ほぼ確実に、またはほぼどこでも、または確率1または強くXに収束すると言うことは、 $${\displaystyle \mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.}$$

これは、 X _nの値がXの値に近づくことを意味し、 X _{n が}Xに収束しないイベントの確率は0であることを意味します（ほぼ確実に を参照）。確率空間と、 Ω からRへの関数としてのランダム変数の概念を使用すると、これは次のステートメントと同等です。 ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$$${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.}$$

集合の列の極限の概念を使用すると、ほぼ確実な収束は次のように定義することもできます。 $${\displaystyle \mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.}$$

ほぼ確実な収束は、収束を示す矢印の上に という文字を追加して表されることが多いです。

距離空間上の一般的なランダム要素{ X _n }の場合、収束はほぼ確実に同様に定義されます。 ${\displaystyle (S,d)}$$${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega \colon \,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Bigr )}=1}$$

• ほぼ確実な収束は確率の収束を意味し（ファトゥの補題により）、したがって分布の収束を意味します。これは大数の強い法則で使用される収束の概念です。
• ほぼ確実な収束の概念は、ランダム変数の空間上の位相から来るものではありません。つまり、ほぼ確実に収束するシーケンスが、その位相に関して正確に収束するシーケンスであるようなランダム変数の空間上の位相は存在しません。特に、ほぼ確実な収束の測定基準は存在しません。

およびとなる一連の独立したランダム変数を考えます。 はとなり、したがって確率的に に収束します。 ${\displaystyle \{X_{n}\}}$${\displaystyle P(X_{n}=1)={\frac {1}{n}}}$${\displaystyle P(X_{n}=0)=1-{\frac {1}{n}}}$${\displaystyle 0<\varepsilon <1/2}$${\displaystyle P(|X_{n}|\geq \varepsilon )={\frac {1}{n}}}$${\displaystyle 0}$${\displaystyle X_{n}\to 0}$

およびイベントは独立しているので、第 2 ボレル・カンテリの補題により、シーケンスはほとんどすべての場所に収束しないことが保証されます(実際、このシーケンスが収束しないセットには確率 があります)。 ${\displaystyle \sum _{n\geq 1}P(X_{n}=1)\to \infty }$${\displaystyle \{X_{n}=1\}}$${\displaystyle P(\limsup _{n}\{X_{n}=1\})=1}$${\displaystyle \{X_{n}\}}$${\displaystyle 0}$${\displaystyle 0}$${\displaystyle 1}$

同じ確率空間（つまりランダムプロセス）上で定義されたランダム変数の列（X _n ）が確実に、またはどこでも、または点ごとにXに向かって収束すると 言うことは、

$${\displaystyle \forall \omega \in \Omega \colon \ \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),}$$

ここで、Ω はランダム変数が定義される基礎 となる確率空間のサンプル空間です。

これは、関数の列がランダム変数の列に拡張されて点ごとに収束するという概念です。(ランダム変数自体は関数であることに注意してください)。

$${\displaystyle \left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .}$$

ランダム変数の確実な収束は、上記で述べた他のすべての種類の収束を意味しますが、確率論では、確実な収束を使用することとほぼ確実な収束を使用することを比較してもメリットはありません。この 2 つの違いは、確率がゼロの集合にのみ存在します。ランダム変数の確実な収束の概念が使用されることはほとんどありません。

実数r ≥ 1が与えられ たとき、X _n^とXのr次の絶対モーメント₍ | X _n | r )と( | X | ^r )^が存在し、かつ ${\displaystyle \mathbb {E} }$${\displaystyle \mathbb {E} }$

${\displaystyle \lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,}$

ここで、演算子 E は期待値を表します。r次平均の収束とは、 との差のr乗の期待値がゼロに収束することを意味します。 ${\displaystyle X_{n}}$${\displaystyle X}$

このタイプの収束は、収束を示す矢印の上に 文字L ^{r を追加して表されることが多いです。}

r次 の平均が収束する最も重要なケースは次のとおりです。

• X _{n が}r = 1に対してr次平均でXに収束する場合、 X _{n は}平均でXに収束するといいます。
• X _{n が}r = 2に対してr次平均でXに収束する場合、 X _{n は}二乗平均(または二次平均)でXに収束するといいます。

r ≥ 1 の場合、 r次の平均の収束は、確率の収束を意味します (マルコフの不等式により)。さらに、r > s ≥ 1 の場合、r次の平均の収束はs次の平均の収束を意味します。したがって、平均二乗の収束は平均の収束を意味します。

さらに、

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].}$

逆は必ずしも真ではありませんが、 (シェッフェの補題のより一般的なバージョンにより) 場合は真になります。 ${\displaystyle {\overset {}{X_{n}\,\xrightarrow {p} \,X}}}$

確率空間が完全であると仮定すると：

• かつならば、ほぼ確実に となります。${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$${\displaystyle X=Y}$
• かつであれば、ほぼ確実です。${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$${\displaystyle X=Y}$
• かつであれば、ほぼ確実です。${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$${\displaystyle X=Y}$
• かつの場合、（任意の実数aおよびbに対して）かつ となります。${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$
• かつの場合、（任意の実数aおよびbに対して）かつ となります。${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY}$${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY}$
• かつの場合、（任意の実数aおよびbに対して） 。${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$
• 上記の記述はいずれも分布の収束には当てはまりません。

収束のさまざまな概念間の一連の意味は、それぞれのセクションで説明されています。矢印表記法を使用すると、次のようになります。

${\displaystyle {\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}}$

これらの特性は、他のいくつかの特殊なケースとともに、次のリストにまとめられています。

• ほぼ確実な収束は確率の収束を意味する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• 確率収束は、ほぼ確実に収束する部分列が存在することを意味する。 ^[9]${\displaystyle (n_{k})}$

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X}$

• 確率の収束は分布の収束を意味する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• r次 の平均の収束は確率の収束を意味する:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• 両方の次数が 1 以上であると仮定すると、 r次の平均の収束は、より低い次数の平均の収束を意味します。

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,}$ ただしr ≥ s ≥ 1とする。

• X _{n が}分布的に定数cに収束する場合、X _{n は}確率的にcに収束する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$ ただし、c は定数です。

• X _{n が}分布的にXに収束し、 X _nとY _nの差が確率的にゼロに収束する場合、Y _nも分布的にXに収束する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• X _{n が}分布収束してXになり、Y _{n が}分布収束して定数cになる場合、結合ベクトル( X _n ,  Y _n )は分布収束して⁠ ⁠${\displaystyle (X,c)}$ : ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ ただし、c は定数です。

  Y _{n が}定数に収束するという条件が重要であることに注意してください。ランダム変数Yに収束する場合、( X _n、  Y _n )が⁠ ⁠${\displaystyle (X,Y)}$に収束すると結論付けることはできません。

• X _{n が}確率的にXに収束し、Y _{n が}確率的にYに収束する場合、結合ベクトル( X _n ,  Y _n )は確率的に( X ,  Y )に収束する: ^{[8] [証明]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• X _{n が}確率的にXに収束し、すべてのnといくつかのbに対してP (| X _n | ≤ b ) = 1である場合、X _{n は}すべてのr ≥ 1に対してr次平均でXに収束します。言い換えれば、X _{n が}確率的にXに収束し、すべてのランダム変数X _nがほぼ確実に上下に有界である場合、X _{n は}任意のr次平均でもXに収束します。^[10]
• ほぼ確実な表現。通常、分布収束はほぼ確実に収束することを意味しません。しかし、分布収束がX _{0になるような与えられたシーケンス {} X _n } に対して、新しい確率空間 (Ω, F , P) と、その上で定義されたランダム変数 { Y _n , n = 0, 1, ...} を見つけることは常に可能です。この場合、 n ≥ 0に対してY _{n は}分布がX _nに等しく、Y _{n は}ほぼ確実にY ₀に収束します。^{[11] [12]}
• すべてのε > 0 に対して、

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  すると、 X _{n は} ほぼ完全に収束する、またはほぼ確率的にXに収束すると言えます。X _{n が}Xにほぼ完全に収束する場合、 Xにもほぼ確実に収束します。言い換えると、 X n が十分に速く確率的に X に収束する場合（_つまり、上記の裾確率のシーケンスがすべてのε > 0について合計できる場合）、X _nもほぼ確実にXに収束します。これは、ボレル–カンテリの補題から直接導かれるものです。

• S _{n が}n個の独立した実数ランダム変数 の合計である場合:

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  すると、S _{n が}ほぼ確実に収束するのは、 S _{n が}確率的に収束する場合に限ります。証明は、Kai Lai Chungの著書の 126 ページ (定理 5.3.4) にあります。^[13]

  しかし、互いに独立したランダム変数の列の場合、確率の収束はほぼ確実な収束を意味するわけではない。^[14]

• 優勢収束定理は、ほぼ確実な収束がL ¹収束を意味するための十分な条件を与える。

• L ¹収束の必要十分条件 は であり、数列 ( X _n ) は一様積分可能である。${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$
• ならば、以下は同値である^[15]${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X}$
  • ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$、
  • ${\displaystyle \mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty }$、
  • ${\displaystyle \{|X_{n}|^{r}\}}$は一様積分可能である。

ウィキブック計量経済理論には、ランダム変数の収束に関するページがあります。

• 確率変数の収束の証明
• 対策の収束
• 測定の収束
• 連続確率過程:確率過程の連続性の問題は本質的に収束の問題であり、上で使用したのと同じ概念と関係の多くが連続性の問題にも当てはまります。
• 漸近分布
• 確率表記におけるビッグオー
• スコロホッドの表現定理
• トゥイーディー収束定理
• スルツキーの定理
• 連続写像定理