確率論

複数の結果を生み出す可能性のある実験を考えてみましょう。すべての結果の集合を、その実験の標本空間と呼びます。標本空間のべき集合（または同等に、事象空間）は、起こりうるすべての異なる結果の集合を考慮することによって形成されます。たとえば、公平なサイコロを振ると、6つの結果のうちの1つが得られます。起こりうる結果の集合の1つは、奇数が出ることです。したがって、部分集合{1,3,5}は、サイコロを振った結果の標本空間のべき集合の要素です。これらの集合は事象と呼ばれます。この場合、{1,3,5}は、サイコロが奇数になるという事象です。実際に起こった結果が特定の事象に該当する場合、その事象が発生したと言われます。

確率は、すべての「事象」に0から1の間の値を割り当てる方法であり、すべての可能な結果で構成される事象（この例では、事象{1,2,3,4,5,6}）には1の値が割り当てられる必要がある。確率分布として認められるためには、値の割り当ては、相互に排他的な事象の集合（共通の結果を含まない事象、たとえば、事象{1,6}、{3}、および{2,4}はすべて相互に排他的である）を調べた場合、これらの事象のいずれかが発生する確率が、事象の確率の合計によって与えられるという要件を満たさなければならない。^{[ 10 ]}

事象 {1,6}、{3}、または {2,4} のいずれかが発生する確率は 5/6 です。これは、事象 {1,2,3,4,6} の確率が 5/6 であると言うことと同じです。この事象は、5 以外の任意の数が出る可能性を包含しています。互いに排他的な事象 {5} の確率は 1/6 であり、事象 {1,2,3,4,5,6} の確率は 1、つまり絶対的な確実性です。

実験結果を用いて計算を行う場合、すべての基本事象に数値を割り当てる必要があります。これは、ランダム変数を用いて行います。ランダム変数とは、標本空間内の各基本事象に実数を割り当てる関数です。この関数は通常、大文字で表されます。^{[ 11 ]}サイコロの場合、特定の基本事象への数値の割り当ては恒等関数を用いて行うことができます。しかし、これは常にうまくいくとは限りません。例えば、コインを投げると、「表」と「裏」の2つの結果が考えられます。この例では、ランダム変数Xは「表」の結果に「0」という数値を割り当てる可能性があります。${\textstyle X({\text{表}})=0}$）そして結果の「テール」には「1」という数字が付きます（${\displaystyle X({\text{tails}})=1}$)

離散確率論は、可算標本空間で発生する事象を扱う。

例：サイコロ投げ、トランプを使った実験、ランダムウォーク、コイン投げ。

古典的な定義：当初、事象が発生する確率は、等確率の標本空間で可能な結果の総数に対する、その事象に有利なケースの数として定義されていました。確率の古典的な定義を参照してください。

例えば、「サイコロを振ったときに偶数が出る」という事象の場合、確率は次のように表されます。${\displaystyle {\tfrac {3}{6}}={\tfrac {1}{2}}}$6つの顔のうち3つは偶数であり、それぞれの顔が出現する確率は同じであるためです。

現代の定義：現代の定義は、標本空間と呼ばれる有限または可算集合から始まります。これは、古典的な意味でのすべての可能な結果の集合に関連しており、次のように表されます。${\displaystyle \Omega }$すると、各要素について${\displaystyle x\in \Omega \,}$本質的な「確率」値${\displaystyle f(x)\,}$以下の特性を満たすものが添付されています。

1. ${\displaystyle f(x)\in [0,1]{\mbox{すべての}}x\in \Omegaについて};}$
2. ${\displaystyle \sum _{x\in \Omega }f(x)=1\,.}$

すなわち、確率関数f ( x ) は標本空間Ω内のすべてのxの値に対して 0 から 1 の間にあり、標本空間Ω内のすべてのx の値に対するf ( x )の合計は 1 に等しい。イベントは任意の部分集合として定義される。${\displaystyle E\,}$サンプル空間の${\displaystyle \Omega \,}$事象の確率${\displaystyle E\,}$は次のように定義される。

${\displaystyle \mathbb {P} (E)=\sum _{x\in E}f(x)\,.}$

つまり、標本空間全体の確率は1であり、帰無事象の確率は0である。

機能${\displaystyle f(x)\,}$標本空間内の点を「確率」値にマッピングすることを確率質量関数と呼び、 pmfと略記します。

連続確率論は、連続的な標本空間で発生する事象を扱う。

古典的な定義：古典的な定義は、連続的なケースに直面すると破綻する。ベルトランのパラドックスを参照。

現代の定義: 確率変数Xの標本空間が実数の集合である場合(${\displaystyle \mathbb {R} }$）またはその部分集合の場合、累積分布関数（CDF）と呼ばれる関数が用いられます。${\displaystyle F\,}$存在する、定義される${\displaystyle F(x)=\mathbb {P} (X\leq x)\,}$つまり、F ( x )はXがx以下になる確率を返します。

CDFは必ず以下の性質を満たす。

1. ${\displaystyle F\,}$は単調非減少かつ右連続な関数である。
2. ${\displaystyle \lim _{x\rightarrow -\infty }F(x)=0\,;}$
3. ${\displaystyle \lim _{x\rightarrow \infty }F(x)=1\,.}$

確率変数${\displaystyle X}$対応する累積分布関数が連続確率分布を持つ場合、${\displaystyle F}$連続です。${\displaystyle F\,}$が絶対的に連続である場合、その導関数はほぼ至る所に存在し、導関数を積分すると再び累積分布関数が得られます。この場合、確率変数Xは確率密度関数( PDF ) または単に密度関数を持つと言われます。${\displaystyle f(x)={\frac {dF(x)}{dx}}\,.}$

セットの場合${\displaystyle E\subseteq \mathbb {R} }$確率変数Xが${\displaystyle E\,}$は

${\displaystyle \mathbb {P} (X\in E)=\int _{x\in E}dF(x)\,.}$

PDFが存在する場合は、次のように記述できます。

${\displaystyle \mathbb {P} (X\in E)=\int _{x\in E}f(x)\,dx\,.}$

PDFは連続確率変数にのみ存在するのに対し、 CDFは、値をとるすべての確率変数（離散確率変数を含む）に存在します。${\displaystyle \mathbb {R} \,.}$

これらの概念は、多次元の場合にも一般化できます。$\displaystyle \mathbb {R} ^{n}}$およびその他の連続標本空間。

確率の測度論的扱いの利点は、離散的な場合と連続的な場合を統一し、その違いをどの測度を用いるかという問題に帰着させる点にある。さらに、離散的でも連続的でもなく、両者の混合でもない分布も扱うことができる。

このような分布の例として、離散分布と連続分布の混合が挙げられます。例えば、確率1/2で0を取り、確率1/2で正規分布からランダムな値を取る確率変数などです。それでも、確率密度関数(PDF)が${\displaystyle (\delta [x]+\varphi (x))/2}$、 どこ${\displaystyle \delta [x]}$ディラックのデルタ関数であり、${\displaystyle \varphi (x)}$これは正規分布の確率密度関数です。

他の分布は混合分布ではない場合もあり、例えばカントール分布はどの点においても正の確率を持たず、密度も持ちません。現代の確率論では、測度論を用いて確率空間を定義することでこれらの問題を解決します。

任意の集合が与えられた場合${\displaystyle \Omega \,}$（標本空間とも呼ばれる）およびσ代数${\displaystyle {\mathcal {F}}\,}$その上で、${\displaystyle \mathbb {P} }$定義済み${\displaystyle {\mathcal {F}}\,}$は確率測度と呼ばれます。${\displaystyle \mathbb {P} (\Omega )=1.\,}$

もし${\displaystyle {\mathcal {F}}\,}$が実数集合上のボレルσ代数であるならば、 上に一意の確率測度が存在する。${\displaystyle {\mathcal {F}}\,}$任意の累積分布関数（CDF）に対して、またその逆も同様に成り立つ。CDFに対応する測度は、 CDFによって誘導されると言われる。この測度は、離散変数については確率質量関数（pmf）と、連続変数については確率密度関数（PDF）と一致するため、測度論的アプローチは誤謬から解放される。

セットの確率${\displaystyle E\,}$σ代数において${\displaystyle {\mathcal {F}}\,}$は次のように定義される。

${\displaystyle \mathbb {P} (E)=\int _{\omega \in E}\mu _{F}(d\omega )\,}$

ここで、積分は尺度に関して行われる。${\displaystyle \mu _{F}\,}$誘発される${\displaystyle F\,.}$

測度論的アプローチは、離散確率と連続確率の理解と統一性を向上させるだけでなく、確率論の枠を超えた研究も可能にする。$\displaystyle \mathbb {R} ^{n}}$確率過程の理論のように。例えば、ブラウン運動を研究する場合、確率は関数の空間上で定義される。

支配測度を用いると都合が良い場合、ラドン・ニコディムの定理を用いて、対象となる確率分布のこの支配測度に関するラドン・ニコディム微分として密度を定義します。離散密度は通常、すべての可能な結果の集合上の計数測度に関するこの微分として定義されます。絶対連続分布の密度は通常、ルベーグ測度に関するこの微分として定義されます。この一般的な設定で定理が証明できる場合、それは離散分布と連続分布の両方、およびその他の分布にも当てはまります。離散分布と連続分布について個別の証明は必要ありません。

一般的な直感では、公平なコインを何度も投げると、およそ半分の確率で表が出て、残りの半分の確率で裏が出ると考えられます。さらに、コインを投げる回数が多いほど、表と裏の比率が1に近づく可能性が高くなります。現代の確率論は、この直感的な考え方を形式的に表現したもので、大数の法則として知られています。この法則は、確率論の基礎において仮定されているのではなく、基礎から定理として出現するという点で注目に値します。理論的に導出された確率と現実世界での実際の発生頻度を結びつけるため、大数の法則は統計理論の歴史における柱と考えられており、広く影響を与えてきました。^{[ 12 ]}

大数の法則（LLN）によれば、標本平均は

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}}$

独立かつ同一の分布に従う確率変数の列${\displaystyle X_{k}}$共通の期待値（期待値）に収束する${\displaystyle \mu }$ただし、${\displaystyle |X_{k}|}$有限である。

確率変数の収束のさまざまな形式によって、大数の弱法則と強法則が区別される^{[ 13 ]。}

弱い法則:${\displaystyle \displaystyle {\overline {X}}_{n}\,\xrightarrow {\mathbb {P} } \,\mu }$のために${\displaystyle n\to \infty }$

強力な法律:${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.\,s.} }}\,\mu }$のために${\displaystyle n\to \infty .}$

LLNから、確率pの事象が独立した実験で繰り返し観測された場合、その事象の観測頻度と繰り返し回数の合計の比はpに収束することが導かれる。

例えば、${\displaystyle Y_{1},Y_{2},...\,}$は確率pで値 1 を取り、確率 1- pで値 0 を取る独立なベルヌーイ確率変数である。${\displaystyle {\textrm {E}}(Y_{i})=p}$すべてのiに対して、${\displaystyle {\bar {Y}}_{n}}$ほぼ確実にp に収束する。

中心極限定理（CLT）は自然界における正規分布の普遍的な出現を説明するものであり、デイビッド・ウィリアムズによれば、この定理は「数学の偉大な成果の一つ」である。^{[ 14 ]}

この定理は、有限の分散を持つ多数の独立同分布の確率変数の平均は、元の確率変数が従う分布に関係なく、正規分布に近づく傾向があることを述べている。形式的には、${\displaystyle X_{1},X_{2},\dots \,}$は平均値が等しい独立な確率変数である。${\displaystyle \mu }$および分散${\displaystyle \sigma ^{2}>0.\,}$次に、ランダム変数のシーケンス

${\displaystyle Z_{n}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )}{\sigma {\sqrt {n}}}}\,}$

分布において標準正規確率変数に収束する。

ある種の確率変数については、ベリー・エッセーンの定理に示されているように、古典的な中心極限定理が比較的速やかに適用できます。例えば、指数型分布族の、1次、2次、3次モーメントが有限な分布などがこれに該当します。一方、裾が重い分布や裾が厚い分布の確率変数については、適用が非常に遅いか、全く適用できない場合があります。このような場合は、一般化中心極限定理（GCLT）を用いることができます。

• 確率論に関する論文目録
• 確率に関するトピック一覧
• 統計学分野の出版物一覧
• 統計トピック一覧