経験的尺度

確率論において、経験的測度とは、（通常は有限の）ランダム変数のシーケンスの特定の実現から生じるランダム測度です。正確な定義は以下にあります。経験的測度は数理統計に関連しています。

経験的尺度を研究する動機は、真の根底にある確率尺度 を 知ることがしばしば不可能であることです。観測値を収集し 、相対頻度を計算します。経験的尺度 または経験的分布関数 によって、それぞれ、または関連する分布関数を推定できます。これらは、特定の条件下では一様に良好な推定値です。経験的プロセスの分野の定理は、この収束率を提供します。 ${\displaystyle P}$${\displaystyle X_{1},X_{2},\dots ,X_{n}}$${\displaystyle P}$${\displaystyle F}$

状態空間Sに値を持ち、確率分布Pに従う独立した同一分布のランダム変数のシーケンスがあるとします。 ${\displaystyle X_{1},X_{2},\dots }$

意味

経験的測度 P _nはSの測定可能な部分集合に対して定義され、次のように与えられる。

${\displaystyle P_{n}(A)={1 \over n}\sum _{i=1}^{n}I_{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A)}$

ここで は指示関数であり、 はディラック測度です。${\displaystyle I_{A}}$${\displaystyle \delta _{X}}$

プロパティ

• 固定された測定可能な集合Aに対して、nP _n ( A )は平均nP ( A )と分散nP ( A )(1 −  P ( A ))を持つ二項ランダム変数です。
  • 特に、P _n ( A )はP ( A )の不偏推定値です。
• Sの固定された分割 に対して、ランダム変数はイベント確率を持つ多項分布を形成する${\displaystyle A_{i}}$${\displaystyle Y_{i}=nP_{n}(A_{i})}$ ${\displaystyle P(A_{i})}$
  • この多項分布の共分散行列はです。${\displaystyle Cov(Y_{i},Y_{j})=nP(A_{i})(\delta _{ij}-P(A_{j}))}$

意味

${\displaystyle {\bigl (}P_{n}(c){\bigr )}_{c\in {\mathcal {C}}}}$は、 Sの測定可能な部分集合の集合である によってインデックス付けされた経験的測度です。${\displaystyle {\mathcal {C}}}$

この概念をさらに一般化するために、経験的測度は測定可能な関数をそれらの経験的平均にマッピングすることを観察する。 ${\displaystyle P_{n}}$ ${\displaystyle f:S\to \mathbb {R} }$

${\displaystyle f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$

特に、Aの実証的尺度は、指標関数P _n ( A ) = P _n I _Aの実証的平均に過ぎません。

固定された測定可能な関数 の場合、は平均と分散を持つランダム変数です。 ${\displaystyle f}$${\displaystyle P_{n}f}$${\displaystyle \mathbb {E} f}$${\displaystyle {\frac {1}{n}}\mathbb {E} (f-\mathbb {E} f)^{2}}$

大数の強い法則により、P _n ( A ) はA を固定するとほぼ確実にP ( A )に収束します。同様に、測定可能な関数を固定するとほぼ確実に に収束します。P nからPへの一様収束の問題は、1968 年にVapnikとChervonenkis が解決するまで未解決でした_。 ^[1]${\displaystyle P_{n}f}$${\displaystyle \mathbb {E} f}$${\displaystyle f}$

クラス（または）がPに関してグリベンコ・カンテリである場合、P _{n は}（または）上で一様Pに収束します。言い換えると、確率1で、 ${\displaystyle {\mathcal {C}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle c\in {\mathcal {C}}}$${\displaystyle f\in {\mathcal {F}}}$

${\displaystyle \|P_{n}-P\|_{\mathcal {C}}=\sup _{c\in {\mathcal {C}}}|P_{n}(c)-P(c)|\to 0,}$

${\displaystyle \|P_{n}-P\|_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}|P_{n}f-\mathbb {E} f|\to 0.}$

経験分布関数は経験的尺度の一例である。実数値のIIDランダム変数の場合、それは次のように与えられる。 ${\displaystyle X_{1},\dots ,X_{n}}$

${\displaystyle F_{n}(x)=P_{n}((-\infty ,x])=P_{n}I_{(-\infty ,x]}.}$

この場合、経験的尺度はクラスによってインデックス付けされる。これは均一なグリベンコ・カンテリクラスであることが示されており、特に、 ${\displaystyle {\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}.}$${\displaystyle {\mathcal {C}}}$

${\displaystyle \sup _{F}\|F_{n}(x)-F(x)\|_{\infty }\to 0}$

確率1。

• 経験的リスク最小化
• ポアソンランダム測度

• ビリングスリー、P. (1995)。確率と測定（第3版）。ニューヨーク：ジョン・ワイリー・アンド・サンズ。ISBN 0-471-80478-9。
• Donsker, MD (1952). 「Doob のヒューリスティックアプローチの Kolmogorov-Smirnov 定理への拡張と正当化」Annals of Mathematical Statistics . 23 (2): 277–281. doi : 10.1214/aoms/1177729445 .
• Dudley, RM (1978). 「経験的測定の中心極限定理」Annals of Probability . 6 (6): 899–929. doi : 10.1214/aop/1176995384 . JSTOR  2243028.
• Dudley, RM (1999)。「一様中心極限定理」。Cambridge Studies in Advanced Mathematics。第63巻。ケンブリッジ、イギリス：ケンブリッジ大学出版局。ISBN 0-521-46102-2。
• Wolfowitz, J. (1954). 「Glivenko-Cantelli の定理の一般化」. Annals of Mathematical Statistics . 25 (1): 131–138. doi : 10.1214/aoms/1177728852 . JSTOR  2236518.