漸近理論（統計学）

シーケンス$\displaystyle (\hat \theta \n)_n\in \mathbb \N$推定対象のパラメータの真の値に確率的に収束する場合、それは（弱）一貫性があると言われる。

$${\displaystyle {\hat {\theta }}_{n}\ {\xrightarrow {\overset {}{p}}}\ \theta _{0}.}$$

これは、推定値が任意に近づく確率が$\displaystyle \theta _{0}}$ゼロに収束する${\displaystyle n}$無限大に近づく。^{[ 2 ]}より具体的には、収束が無限大に近づく場合$\displaystyle (\hat \theta \n)_n\in \mathbb \N$に$\displaystyle \theta _{0}}$確率的オーダーである$1/a_n$（また、次のように表記される）${\displaystyle {\textit {O}}_{p}(1/a_{n})}$) あるシーケンスに対して${\displaystyle (a_{n})_{n\in \mathbb {N} }}$無限大に発散する実数、つまり、

$${\displaystyle \lim _{n\to \infty }\mathbb {P} (|a_{n}({\hat {\theta }}_{n}-\theta _{0})|>K)=0\quad {\text{for all }}K>0,}$$

それから${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$と呼ばれる${\displaystyle a_{n}}$-一貫性がある。^{[ 3 ]}

推定値の系列は、真のパラメータにほぼ確実に収束する場合に、強い一貫性を持つと言われます。

$${\displaystyle {\hat {\theta }}_{n}{\overset {\mathrm {a.s.} }{\longrightarrow }}\ \theta _{0}.}$$

弱一致推定量との微妙な違いは、強一致推定量は任意に近づくことが保証されている点である。${\displaystyle \theta _{0}}$として${\displaystyle n}$最終的には無限大に近づく。

非ランダム定数のシーケンスを見つけることが可能であれば${\displaystyle (a_{n})_{n\in \mathbb {N} }}$、${\displaystyle (b_{n})_{n\in \mathbb {N} }}$（値によっては）${\displaystyle \theta _{0}}$）および非退化分布${\displaystyle \mu }$そのため

$${\displaystyle b_{n}({\hat {\theta }}_{n}-a_{n})\ \xrightarrow {d} \ \mu ,}$$

次に推定量のシーケンス${\displaystyle {\hat {\theta }}_{n}}$漸近分布は${\displaystyle \mu }$。

実務で遭遇する推定量の漸近分布は、ほとんどの場合、正規分布である。${\displaystyle \mu ={\mathcal {N}}(0,V)}$ある共分散行列に対して${\displaystyle V}$この場合、推定量は漸近的に正規であると呼ばれる。^{[ 4 ]}一部の著者は特に${\displaystyle a_{n}=\theta _{0}}$そして${\displaystyle b_{n}={\sqrt {n}}}$そして、推定量の列を漸近的に正規であると呼び、${\displaystyle \theta _{0}}$[ ^{5 ]​}

数列は、極限において不偏であると言われる。${\displaystyle \lim _{n\to \infty }\mathbb {E} [{\hat {\theta }}_{n}]=\theta _{0}}$^{[ 6 ]}この性質を持つ推定量は、近似的に不偏であるとも呼ばれることがある。^{[ 7 ]}

この数列は、パラメータに対して漸近的に不偏であると呼ばれます。${\displaystyle \theta _{0}}$、 もし${\displaystyle \sigma _{n}({\hat {\theta }}_{n}-\theta _{0})}$分布において確率変数に収束する${\displaystyle G\neq 0}$と${\displaystyle \mathbb {E} [G]=0}$あるシーケンスに対して${\displaystyle (\sigma _{n})_{n\in \mathbb {N} }}$実数。^{[ 8 ]}

数列が存在する場合${\displaystyle (\tau _{n})_{n\in \mathbb {N} }}$実数で、${\displaystyle \lim _{n\to \infty }\tau _{n}\mathrm {Var} ({{\hat {\theta }}_{n}})=\sigma ^{2}}$、 それから${\displaystyle \sigma ^{2}}$これは、${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$通常は、${\displaystyle \tau _{n}=n}$[ ^{9 ]​}

数列が存在する場合${\displaystyle (b_{n})_{n\in \mathbb {N} }}$そのため

$${\displaystyle b_{n}({\hat {\theta }}_{n}-\theta _{0})\xrightarrow {d} G}$$

と${\displaystyle 0<\mathbb {E} [G^{2}]<\infty }$、 それから${\displaystyle V=\mathrm {Var} (G)}$これは漸近分散と呼ばれます。${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$^{[ 10 ]}特に、${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$漸近的に不偏である場合、${\displaystyle V=\mathbb {E} [G^{2}]}$。

数列は、漸近的に正規である場合、漸近的に効率的であると呼ばれます。${\displaystyle \theta _{0}}$そしてその漸近分散は${\displaystyle V=I(\theta _{0})^{-1}}$フィッシャー情報${\displaystyle I(\theta _{0})}$すなわち、漸近分散はクラメール・ラオ限界を達成する。^{[ 11 ] [ 12 ]}

推定量が次の形式である場合${\displaystyle {\hat {\theta }}_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$何らかの測定可能な関数に対して${\displaystyle f}$そのため${\displaystyle \mathbb {E} [|f(X_{1})|]<\infty }$すると大数の強い法則により

$${\displaystyle {\hat {\theta }}_{n}\xrightarrow {a.s.} \mathbb {E} [f(X_{1})].}$$

したがって、もし${\displaystyle \theta =\mathbb {E} [f(X_{1})]}$、 それから${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$非常に一貫性がある。

仮定する${\displaystyle \theta =f(\tau )}$他のパラメータの場合${\displaystyle \tau }$そして連続関数${\displaystyle f}$（強）一致性のある推定量の系列が与えられた場合${\displaystyle ({\hat {\tau }}_{n})_{n\in \mathbb {N} }}$パラメータについて${\displaystyle \tau }$すると、連続写像定理により、推定量の列は${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }=(f({\hat {\tau }}_{n}))_{n\in \mathbb {N} }}$パラメータに対して（強く）一貫している${\displaystyle \theta }$[ ^{15 ]​}

推定量が次の形式である場合${\displaystyle {\hat {\theta }}_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$ある実数値可測関数に対して${\displaystyle f}$そのため${\displaystyle \mathbb {E} [|f(X_{1})|^{2}]<\infty }$すると中心極限定理により、${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$漸近的に正規分布に従う

$${\displaystyle {\sqrt {n}}{\frac {{\hat {\theta }}_{n}-\mu }{\sigma }}\ {\overset {d}{\longrightarrow }}\ {\mathcal {N}}(0,1)}$$

定義とともに${\displaystyle \mathbb {E} [f(X_{1})]=\mu }$そして${\displaystyle \mathrm {Var} (f(X_{1}))=\sigma ^{2}}$。

推定量が次の形式である場合${\displaystyle {\hat {\theta }}_{n}=\max _{i=1,\dots ,n}f(X_{i})}$ある実数値可測関数に対して${\displaystyle f}$シーケンスが存在する場合${\displaystyle (a_{n})_{n\in \mathbb {N} }}$そして${\displaystyle (b_{n})_{n\in \mathbb {N} }}$そして非退化分布${\displaystyle G}$そのため

$${\displaystyle {\frac {{\hat {\theta }}_{n}-a_{n}}{b_{n}}}\ {\overset {d}{\longrightarrow }}\ G,}$$

そして、フィッシャー・ティペット・グネデンコ定理により、漸近分布は${\displaystyle G}$の${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$これは一般化された極値分布です。

仮定する${\displaystyle \theta =f(\tau )}$他のパラメータの場合${\displaystyle \tau }$微分可能な関数${\displaystyle f}$と${\displaystyle \nabla f(\tau )\neq 0}$推定量のシーケンスが与えられた場合${\displaystyle ({\hat {\tau }}_{n})_{n\in \mathbb {N} }}$パラメータについて${\displaystyle \tau }$漸近分布を持つ${\displaystyle G}$意味において

$${\displaystyle {\frac {{\hat {\tau }}_{n}-\tau }{\sigma _{n}}}\ {\overset {d}{\longrightarrow }}\ Z\sim G}$$

ある実数列に対して${\displaystyle (\sigma _{n})_{n\in \mathbb {N} }}$そしてデルタ法によって推定量のシーケンス${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }=(f({\hat {\tau }}_{n}))_{n\in \mathbb {N} }}$漸近的に分布は${\displaystyle \nabla f(\tau )^{\top }Z}$。

特別な場合、${\displaystyle ({\hat {\tau }}_{n})_{n\in \mathbb {N} }}$漸近的に正規分布する${\displaystyle \tau }$漸近分散${\displaystyle V}$シーケンス${\displaystyle ({\hat {\theta }}_{n})_{n\in \mathbb {N} }}$漸近的に正規分布に従い、漸近分散は${\displaystyle \nabla f(\tau )^{\top }V\nabla f(\tau )}$。