確率変数の収束の証明

この記事は「ランダム変数の収束」の補足であり、選択された結果の証明を提供します。

ポートマントー補題を使用すると、いくつかの結果が確立されます。シーケンス { X _n } は、次の条件のいずれかが満たされる場合にのみ、 分布的にXに収束します。

1. ${\displaystyle \mathbb {E} [f(X_{n})]\to \mathbb {E} [f(X)]}$すべての有界連続 関数 に対して;${\displaystyle f}$
2. ${\displaystyle \mathbb {E} [f(X_{n})]\to \mathbb {E} [f(X)]}$すべての有界リプシッツ関数 に対して; ${\displaystyle f}$
3. ${\displaystyle \limsup \operatorname {Pr} (X_{n}\in C)\leq \operatorname {Pr} (X\in C)}$すべての閉集合 に対して; ${\displaystyle C}$

${\displaystyle X_{n}\ {\overset {\mathrm {as} }{\rightarrow }}\ X\quad \Rightarrow \quad X_{n}\ {\overset {p}{\rightarrow }}\ X}$

証明:がほぼ確実に収束する場合、点の集合は測度がゼロであることを意味します。ここで、集合の列を固定して考えます。 ${\displaystyle \{X_{n}\}}$${\displaystyle X}$${\displaystyle O=\{\omega \mid \lim X_{n}(\omega )\neq X(\omega )\}}$${\displaystyle \varepsilon >0}$

${\displaystyle A_{n}=\bigcup _{m\geq n}\left\{\left|X_{m}-X\right|>\varepsilon \right\}}$

この集合の列は集合に向かって減少している（ ）。 ${\displaystyle A_{n}\supseteq A_{n+1}\supseteq \ldots }$

${\displaystyle A_{\infty }=\bigcap _{n\geq 1}A_{n}.}$

この数列の確率も減少しているので です。この数がゼロに等しいことをここで示します。の外側の任意の点 に対してが成り立ち、これはすべての に対して が成り立つことを意味します。特に、そのような に対して の点はには属さないため にも属しません。したがって となり、となります。 ${\displaystyle \lim \operatorname {Pr} (A_{n})=\operatorname {Pr} (A_{\infty })}$${\displaystyle \omega }$${\displaystyle O}$${\displaystyle \lim X_{n}(\omega )=X(\omega )}$${\displaystyle \left|X_{n}(\omega )-X(\omega )\right|<\varepsilon }$${\displaystyle n\geq N}$${\displaystyle N}$${\displaystyle n}$${\displaystyle \omega }$${\displaystyle A_{n}}$${\displaystyle A_{\infty }}$${\displaystyle A_{\infty }\subseteq O}$${\displaystyle \operatorname {Pr} (A_{\infty })=0}$

最後に、上からの継続により、

${\displaystyle \operatorname {Pr} \left(|X_{n}-X|>\varepsilon \right)\leq \operatorname {Pr} (A_{n})\ {\underset {n\to \infty }{\rightarrow }}0,}$

定義により、確率的に に収束することを意味します。 ${\displaystyle X_{n}}$${\displaystyle X}$

X _{n が、}確率 1/ nで値が 1、それ以外の場合は 0 と仮定する独立したランダム変数である場合、X _{n は}確率的に 0 に収束しますが、ほぼ確実ではありません。これは、ボレル-カンテリの補題を使用して検証できます。

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {d}}\ X,}$

補題。X、Yをランダム変数とし、 aを実数、ε > 0とする。すると

${\displaystyle \operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).}$

補題の証明:

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)&=\operatorname {Pr} (Y\leq a,\ X\leq a+\varepsilon )+\operatorname {Pr} (Y\leq a,\ X>a+\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X\leq a-X,\ a-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )+\operatorname {Pr} (Y-X>\varepsilon )\\&=\operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon )\end{aligned}}}$

補題のより短い証明:

我々は持っています

${\displaystyle {\begin{aligned}\{Y\leq a\}\subset \{X\leq a+\varepsilon \}\cup \{|Y-X|>\varepsilon \}\end{aligned}}}$

かつ ならばとなる。したがって和集合により、 ${\displaystyle Y\leq a}$${\displaystyle |Y-X|\leq \varepsilon }$${\displaystyle X\leq a+\varepsilon }$

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).\end{aligned}}}$

定理の証明:分布の収束を証明するには、累積分布関数の列がF _Xが連続するすべての点でF _Xに収束することを示さなければならないことを思い出してください。そのような点をaとします。すべての ε > 0 について、前の補題により、次の式が成り立ちます。

${\displaystyle {\begin{aligned}\operatorname {Pr} (X_{n}\leq a)&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\\\operatorname {Pr} (X\leq a-\varepsilon )&\leq \operatorname {Pr} (X_{n}\leq a)+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\end{aligned}}}$

つまり、

${\displaystyle \operatorname {Pr} (X\leq a-\varepsilon )-\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right)\leq \operatorname {Pr} (X_{n}\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right).}$

n → ∞の極限をとると、次の式が得られます。

${\displaystyle F_{X}(a-\varepsilon )\leq \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)\leq F_{X}(a+\varepsilon ),}$

ここで、F _X ( a ) = Pr( X ≤ a )はXの累積分布関数である。この関数は仮定によりaで連続であり、したがって、ε → 0 ^{+のとき、} F _X ( a −ε)とF _X ( a +ε)は両方ともF _X ( a )に収束する。この極限をとると、

${\displaystyle \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)=\operatorname {Pr} (X\leq a),}$

これは、{ X _n } が分布的に Xに収束することを意味します。

このプロパティはこのページの後半で証明されますが、このプロパティのステートメントで X _n = Xを取ることで、 X _nがランダム ベクトルである場合の含意がわかります。

${\displaystyle X_{n}\ {\xrightarrow {d}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ c,}$ ただし、c は定数です。

証明: ε > 0 を固定します。B ε ( c ) を点 c の周りの半径 ε の開球とし_、B ε ( c ) _cをその補^集合とします。すると

${\displaystyle \operatorname {Pr} \left(|X_{n}-c|\geq \varepsilon \right)=\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right).}$

かばん補題（Cの部分）によれば、X _{n が}分布的にcに収束する場合、後者の確率の限界値はPr( c ∈ B _ε ( c ) ^c ) 以下でなければならない。これは明らかにゼロに等しい。したがって、

${\displaystyle {\begin{aligned}\lim _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)&\leq \limsup _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)\\&=\limsup _{n\to \infty }\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right)\\&\leq \operatorname {Pr} \left(c\in B_{\varepsilon }(c)^{c}\right)=0\end{aligned}}}$

これは定義により、X _{n が}確率的にcに収束することを意味します。

${\displaystyle |Y_{n}-X_{n}|\ {\xrightarrow {p}}\ 0,\ \ X_{n}\ {\xrightarrow {d}}\ X\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {d}}\ X}$

証明:この定理を、Portmanteau lemma のパート B を使用して証明します。この補題で要求されているように、Lipschitz でも ある任意の有界関数f (つまり、| f ( x )| ≤ M ) を考えます。

${\displaystyle \exists K>0,\forall x,y:\quad |f(x)-f(y)|\leq K|x-y|.}$

ε > 0 をとり、式 |E[ f ( Y _n )] − E[ f ( X _n )]| を次のように 表す。

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|&\leq \operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\right]\\&=\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq \operatorname {E} \left[K\left|Y_{n}-X_{n}\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[2M\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq K\varepsilon \operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|<\varepsilon \right)+2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\\&\leq K\varepsilon +2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\end{aligned}}}$

（ここで1 _{...}は指標関数を表し、指標関数の期待値は対応するイベントの確率に等しい）。したがって、

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|&\leq \left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\\&\leq K\varepsilon +2M\operatorname {Pr} \left(|Y_{n}-X_{n}|\geq \varepsilon \right)+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|.\end{aligned}}}$

この式の極限をn  → ∞とすると、{ Y _n −X _n }は確率的にゼロに収束するため、第2項はゼロになります。また、第3項も、カボチャ補題と分布的にX _nがXに収束するという事実により、ゼロに収束します。したがって、

${\displaystyle \lim _{n\to \infty }\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\leq K\varepsilon .}$

εは任意なので、極限は実際にはゼロに等しくなければならないと結論付けられ、したがってE[ f ( Y _n )] → E[ f ( X )]となり、これもまた、かばん補題により、{ Y _n }が分布においてXに収束することを意味します。QED。

${\displaystyle X_{n}\ {\xrightarrow {d}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {d}}\ (X,c)}$ ただし、c は定数です。

証明:このステートメントを、Portmanteau lemma のパート A を使用して証明します。

まず、( X _n , c ) が分布収束して ( X , c ) になることを示します。混成補題により、任意の有界連続関数f ( x , y )に対して E[ f ( X _n , c )] → E[ f ( X , c )] となることが示せれば、これは真になります。そこで、 f をそのような任意の有界連続関数とします。次に、単一変数関数g ( x ) := f ( x , c ) について考えます。これは明らかに有界かつ連続なので、混成補題により、シーケンス { X _n } が分布収束してXになるということは、 E[ g ( X _n )] → E[ g ( X )] となります。ただし、後者の表現は「E[ f ( X _n , c )] → E[ f ( X , c )]」と同等であるため、( X _n , c ) が分布収束して ( X , c ) になることがわかります。

次に、|( X _n , Y _n ) − ( X _n , c )| = | Y _n − c | を考えます。この式は、 Y _{n が}確率的にcに収束するため、確率的に 0 に収束します。したがって、次の 2 つの事実が証明されました。

${\displaystyle {\begin{cases}\left|(X_{n},Y_{n})-(X_{n},c)\right|\ {\xrightarrow {p}}\ 0,\\(X_{n},c)\ {\xrightarrow {d}}\ (X,c).\end{cases}}}$

前に証明した性質により、これら2つの事実は、( X _n、Y _n )が分布的に( X、c )に収束することを意味します。

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {p}}\ (X,Y)}$

証拠：

${\displaystyle {\begin{aligned}\operatorname {Pr} \left(\left|(X_{n},Y_{n})-(X,Y)\right|\geq \varepsilon \right)&\leq \operatorname {Pr} \left(|X_{n}-X|+|Y_{n}-Y|\geq \varepsilon \right)\\&\leq \operatorname {Pr} \left(|X_{n}-X|\geq \varepsilon /2\right)+\operatorname {Pr} \left(|Y_{n}-Y|\geq \varepsilon /2\right)\end{aligned}}}$

ここで、最後のステップは、鳩の巣原理と確率測度の劣加法性に従います。右側の各確率は、{ X _n } と { Y _n }がそれぞれXとYに確率的に収束するという定義により、 n → ∞ でゼロに収束します。極限をとると、左側もゼロに収束し、したがって、シーケンス {( X _n , Y _n )} は確率的に {( X , Y )} に収束すると結論付けられます。

• 確率変数の収束