確率論

確率論または確率計算は、確率に関する数学の分野です。確率にはさまざまな解釈がありますが、確率論では、一連の公理で表現することにより、概念を厳密な数学的方法で扱います。通常、これらの公理は確率を確率空間で形式化します。確率空間では、0 から 1 の間の値を取る尺度(確率測度)を、サンプル空間と呼ばれる一連の結果に割り当てます。サンプル空間の指定されたサブセットは、イベントと呼ばれます。

確率論の中心的な主題には、離散および連続ランダム変数、確率分布、および確率過程（非決定論的または不確実な過程、または単発的に発生するか、または時間の経過とともにランダムに変化する測定量を数学的に抽象化する）が含まれます。ランダムなイベントを完全に予測することはできませんが、その動作については多くのことが言えます。そのような動作を説明する確率論の 2 つの主要な結果は、大数の法則と中心極限定理です。

統計学の数学的基礎として、確率論はデータの定量的分析を伴う多くの人間の活動に不可欠です。^{[1]確率論の方法は、}統計力学や逐次推定のように、状態に関する部分的な知識のみを与えられた複雑なシステムの記述にも適用されます。20世紀物理学の偉大な発見は、量子力学で記述された原子スケールでの物理現象の確率的性質でした。^[2]

現代の数学的確率理論は、16世紀のジェロラモ・カルダーノ、17世紀のピエール・ド・フェルマーとブレーズ・パスカルによる偶然のゲームを分析する試み（例えば「点の問題」）にその起源がある。^[3]クリスティアーン・ホイヘンスは1657年にこの主題に関する本を出版した。 ^[4] 19世紀には、ピエール・ラプラスによって確率の古典的な定義が完成された。^[5]

当初、確率論は主に離散的な事象を考慮し、その方法は主に組み合わせ論的でした。最終的には、分析上の考慮により、連続変数を理論に 組み込む必要が生じました。

これは、アンドレイ・ニコラエヴィチ・コルモゴロフによって築かれた基礎の上に、現代の確率論として結実した。コルモゴロフは、リヒャルト・フォン・ミーゼスによって導入された標本空間の概念と測度論を組み合わせ、 1933年に確率論の公理系を提示した。これは、現代の確率論のほぼ議論の余地のない公理的基礎となったが、ブルーノ・デ・フィネッティによる可算加法性ではなく有限加法性の採用など、代替案も存在する。^[6]

確率論の入門書のほとんどは、離散確率分布と連続確率分布を別々に扱っています。測度論に基づく確率の扱いでは、離散、連続、その 2 つの混合などについて扱います。

多数の結果を生み出す可能性のある実験について考えてみましょう。すべての結果の集合は、実験の標本空間と呼ばれます。標本空間のべき集合(または同等のイベント空間) は、起こり得る結果のさまざまな集合をすべて考慮することによって形成されます。たとえば、正直なサイコロを振ると、6 つの可能な結果のうちの 1 つが生成されます。起こり得る結果の 1 つの集合は、奇数になることに対応します。したがって、サブセット {1,3,5} は、サイコロを振る標本空間のべき集合の要素です。これらの集合はイベントと呼ばれます。この場合、{1,3,5} は、サイコロが奇数になるイベントです。実際に発生する結果が特定のイベントに該当する場合、そのイベントが発生したと判断されます。

確率は、すべての「イベント」に 0 から 1 の間の値を割り当てる方法です。すべての可能な結果で構成されるイベント (この例では、イベント {1,2,3,4,5,6}) には 1 の値が割り当てられる必要があります。確率分布として適格であるためには、値の割り当ては、相互に排他的なイベントのコレクション (共通の結果を含まないイベント。たとえば、イベント {1,6}、{3}、および {2,4} はすべて相互に排他的です) を見ると、これらのイベントのいずれかが発生する確率は、イベントの確率の合計によって与えられるという要件を満たす必要があります。^[7]

イベント {1,6}、{3}、または {2,4} のいずれかが発生する確率は 5/6 です。これは、イベント {1,2,3,4,6} の確率が 5/6 であると言うことと同じです。このイベントには、5 以外の任意の数字が出る可能性が含まれます。相互に排他的なイベント {5} の確率は 1/6 で、イベント {1,2,3,4,5,6} の確率は 1、つまり絶対確実です。

実験の結果を使用して計算を行う場合、すべての基本イベントに番号を割り当てる必要があります。これは、ランダム変数を使用して行われます。ランダム変数は、サンプル空間内の各基本イベントに実数を割り当てる関数です。この関数は通常、大文字で表されます。^[8]サイコロの場合、特定の基本イベントに番号を割り当てるには、恒等関数を使用できます。これは常に機能するとは限りません。たとえば、コインを投げる場合、 2つの可能な結果は「表」と「裏」です。この例では、ランダム変数Xは、結果「表」に数値「0」（）を割り当て、結果「裏」に数値「1」（）を割り当てる可能性があります。 ${\textstyle X({\text{heads}})=0}$${\displaystyle X({\text{tails}})=1}$

離散確率論は、可算なサンプル空間 で発生するイベントを扱います。

例:サイコロを投げる、トランプを使った実験、ランダムウォーク、コインを投げる。

古典的な定義: 当初、イベントが発生する確率は、等確率のサンプル空間で起こり得る結果の総数に対する、イベントに有利なケースの数として定義されていました。確率の古典的な定義を参照してください。

たとえば、事象が「サイコロを振ったときに偶数が出る」である場合、6 つの面のうち 3 つが偶数であり、各面の出現確率が同じであるため、確率は で与えられます。 ${\displaystyle {\tfrac {3}{6}}={\tfrac {1}{2}}}$

現代的な定義: 現代的な定義は、標本空間と呼ばれる有限または可算な集合から始まります。これは、 で表される古典的な意味でのすべての可能な結果の集合に関連します。次に、各要素 に対して、次の特性を満たす固有の「確率」値が付加されていると想定されます。 ${\displaystyle \オメガ}$${\displaystyle x\in \Omega \,}$${\displaystyle f(x)\,}$

1. ${\displaystyle f(x)\in [0,1]{\mbox{ すべての }}x\in \Omega \,;}$
2. ${\displaystyle \sum _{x\in \Omega }f(x)=1\,.}$

つまり、確率関数f ( x ) は標本空間Ω内のxのすべての値に対して 0 から 1 の間にあり、標本空間Ω内のすべての値xに対するf ( x )の合計は1 に等しい。イベントは標本空間の任意の部分集合として定義される。イベントの確率は次のように定義される。 ${\displaystyle E\,}$${\displaystyle \オメガ \,}$${\displaystyle E\,}$

${\displaystyle P(E)=\sum _{x\in E}f(x)\,.}$

したがって、サンプル空間全体の確率は 1 であり、ヌル イベントの確率は 0 です。

サンプル空間内の点を「確率」値にマッピングする関数は、確率質量関数と呼ばれ、 pmfと略されます。 ${\displaystyle f(x)\,}$

連続確率理論は、連続したサンプル空間で発生するイベントを扱います。

古典的な定義: 古典的な定義は連続的なケースに直面すると破綻します。ベルトランのパラドックスを参照してください。

現代的な定義: ランダム変数Xの標本空間が実数集合( ) またはそのサブセットである場合、によって定義される累積分布関数( CDF )と呼ばれる関数が存在します。つまり、F ( x ) はX がx以下になる確率を返します。 ${\displaystyle \mathbb {R} }$${\displaystyle F\,}$${\displaystyle F(x)=P(X\leq x)\,}$

CDF は必ず以下の特性を満たします。

1. ${\displaystyle F\,}$は単調非減少の右連続関数である。
2. ${\displaystyle \lim _{x\rightarrow -\infty }F(x)=0\,;}$
3. ${\displaystyle \lim _{x\rightarrow \infty }F(x)=1\,.}$

対応するCDFが連続している場合、ランダム変数は連続確率分布を持つと言われています。 が絶対的に連続している場合、つまりその導関数が存在し、導関数を積分するとCDFが再び得られる場合、ランダム変数Xは確率密度関数（PDF）または単に密度を持つと言われています。${\displaystyle X}$${\displaystyle F}$${\displaystyle F\,}$ ${\displaystyle f(x)={\frac {dF(x)}{dx}}\,.}$

集合 に対して、確率変数Xが に含まれる確率は ${\displaystyle E\subseteq \mathbb {R} }$${\displaystyle E\,}$

${\displaystyle P(X\in E)=\int _{x\in E}dF(x)\,.}$

PDFが存在する場合は、次のように記述できます。

${\displaystyle P(X\in E)=\int _{x\in E}f(x)\,dx\,.}$

PDFは連続確率変数に対してのみ存在するが、 CDFは離散確率変数を含むすべての確率変数に対して存在する。${\displaystyle \mathbb {R} \,.}$

これらの概念は、およびその他の連続サンプル空間上の多次元ケースに一般化できます。 ${\displaystyle \mathbb {R} ^{n}}$

確率の測度論的処理の有用性は、離散的ケースと連続的ケースを統合し、どちらの測度を使用するかという問題の違いを解消することです。さらに、離散的でも連続的でもない分布、および両者の混合分布もカバーします。

このような分布の例としては、離散分布と連続分布の混合が挙げられます。たとえば、確率 1/2 で 0 になるランダム変数は、確率 1/2 で正規分布からランダムな値を取得します。これは、PDF が （ディラックのデルタ関数 ）であると考えることで、ある程度は研究することができます。 ${\displaystyle (\delta [x]+\varphi (x))/2}$${\displaystyle \delta [x]}$

他の分布は混合分布ではないかもしれません。たとえば、カントール分布は、どの点に対しても正の確率を持たず、密度もありません。確率論に対する現代のアプローチは、測度論を使用して確率空間を定義することでこれらの問題を解決します。

任意の集合（標本空間とも呼ばれる）とその上のσ-代数が与えられたとき、その上で定義される測度は、次の条件を満たす場合、確率測度と呼ばれる。${\displaystyle \オメガ \,}$ ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle P\,}$${\displaystyle {\mathcal {F}}\,}$${\displaystyle P(\オメガ )=1.\,}$

が実数の集合上のボレル σ 代数である場合、任意の CDF に対して に一意の確率測度が存在し、その逆も同様です。CDF に対応する測度は、 CDF によって誘導されると言われています。この測度は、離散変数の pmf および連続変数の PDF と一致し、測度理論的アプローチに誤りがなくなります。 ${\displaystyle {\mathcal {F}}\,}$${\displaystyle {\mathcal {F}}\,}$

σ代数における集合の確率は次のように定義される。 ${\displaystyle E\,}$${\displaystyle {\mathcal {F}}\,}$

${\displaystyle P(E)=\int _{\omega \in E}\mu _{F}(d\omega )\,}$

ここで積分は、${\displaystyle \mu_{F}\,}$${\displaystyle F\,.}$

測度論的処理により、離散確率と連続確率の理解と統一が向上するだけでなく、確率過程の理論のように、の外部の確率を扱うことも可能になります。たとえば、ブラウン運動を研究するために、確率は関数の空間上で定義されます。 ${\displaystyle \mathbb {R} ^{n}}$

支配測度を扱うのが便利な場合、ラドン・ニコディム定理は、密度を、この支配測度に関する対象の確率分布のラドン・ニコディム導関数として定義するために使用されます。離散密度は通常、すべての可能な結果の集合上の計数測度に関するこの導関数として定義されます。絶対連続分布の密度は通常、ルベーグ測度に関するこの導関数として定義されます。この一般的な設定で定理が証明できる場合、それは離散分布と連続分布の両方に当てはまり、他の分布にも当てはまります。離散分布と連続分布に別々の証明は必要ありません。

特定のランダム変数は、多くの自然現象や物理現象をよく説明するため、確率論では非常に頻繁に登場します。そのため、確率論ではそれらの分布が特に重要になっています。基本的な離散分布には、離散一様分布、ベルヌーイ分布、二項分布、負の二項分布、ポアソン分布、幾何分布などがあります。重要な連続分布には、連続一様分布、正規分布、指数分布、ガンマ分布、ベータ分布などがあります。

確率論では、ランダム変数の収束にはいくつかの概念があります。それらは、強さの順に以下にリストされています。つまり、リスト内の後続の収束の概念は、先行するすべての概念に従って収束することを意味します。

弱い収束

一連のランダム変数がランダム変数 に弱収束するとは、それぞれの CDFが のCDF に収束する場合です(ただし は連続です) 。弱収束は分布 における収束とも呼ばれます。${\displaystyle X_{1},X_{2},\dots ,\,}$${\displaystyle X\,}$${\displaystyle F_{1},F_{2},\dots \,}$${\displaystyle F\,}$${\displaystyle X\,}$${\displaystyle F\,}$

最も一般的な略記法:${\displaystyle \displaystyle X_{n}\,{\xrightarrow {\mathcal {D}}}\,X}$

確率の収束

ランダム変数のシーケンスは、すべての ε > 0に対して確率的にランダム変数に収束すると言われます。${\displaystyle X_{1},X_{2},\dots \,}$${\displaystyle X\,}$ ${\displaystyle \lim _{n\rightarrow \infty }P\left(\left|X_{n}-X\right|\geq \varepsilon \right)=0}$

最も一般的な略記法:${\displaystyle \displaystyle X_{n}\,{\xrightarrow {P}}\,X}$

強い収束

ランダム変数のシーケンスは、 の場合、ランダム変数に向かって強く収束すると言われます。強い収束は、ほぼ確実な収束とも呼ばれます。${\displaystyle X_{1},X_{2},\dots \,}$${\displaystyle X\,}$ ${\displaystyle P(\lim _{n\rightarrow \infty }X_{n}=X)=1}$

最も一般的な略記法:${\displaystyle \displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X}$

名前が示すように、弱い収束は強い収束よりも弱いです。実際、強い収束は確率の収束を意味し、確率の収束は弱い収束を意味します。逆の記述は必ずしも真ではありません。

一般的な直感では、公平なコインを何度も投げると、およそ半分の確率で表が出、残りの半分の確率で裏が出ると考えられます。さらに、コインを投げる回数が増えるほど、表の数と裏の数の比率が 1 に近づく可能性が高くなります。現代の確率論では、この直感的なアイデアを形式化したものを大数の法則と呼んでいます。この法則が注目すべきなのは、確率論の基礎で前提とされているのではなく、これらの基礎から定理として現れている点です。理論的に導き出された確率と現実世界での実際の発生頻度を結び付けるため、大数の法則は統計理論の歴史における柱とみなされ、幅広い影響を与えてきました。^[9]

大数の法則（LLN）は、標本平均は

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}}$

独立した同一分布に従うランダム変数の列の期待値が有限であれば、その共通の期待値（期待値）に向かって収束します。 ${\displaystyle X_{k}}$${\displaystyle \mu }$${\displaystyle |X_{k}|}$

大数の弱い法則と強い法則を区別するのは、ランダム変数の収束の異なる形式である^[10]

弱い法律：${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu }$${\displaystyle n\to \infty }$

強い法律：${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.\,s.} }}\,\mu }$${\displaystyle n\to \infty .}$

LLN によれば、確率pのイベントが独立した実験中に繰り返し観測される場合、そのイベントの観測頻度と繰り返しの総数の比はpに向かって収束します。

たとえば、 が確率pで値 1 をとり、確率 1- pで値 0 をとる独立したベルヌーイ乱数変数である場合、すべてのiに対して、 はほぼ確実にpに収束します。 ${\displaystyle Y_{1},Y_{2},...\,}$${\displaystyle {\textrm {E}}(Y_{i})=p}$${\displaystyle {\bar {Y}}_{n}}$

中心極限定理（CLT）は、自然界における正規分布の普遍的な発生を説明する定理であり、デイビッド・ウィリアムズによれば、この定理は「数学の偉大な成果の1つ」である。^[11]

定理は、有限分散を持つ多数の独立かつ同一分布のランダム変数の平均は、元のランダム変数が従う分布に関係なく、正規分布に向かう傾向があることを述べています。正式には、平均と分散を持つ独立したランダム変数を とします。すると、ランダム変数のシーケンス ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}>0.\,}$

${\displaystyle Z_{n}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )}{\sigma {\sqrt {n}}}}\,}$

分布は標準正規乱数変数に収束します。

ベリー・エッシーンの定理に示されているように、ランダム変数のいくつかのクラスでは、古典的な中心極限定理はかなり速く機能します。たとえば、指数族の有限の第 1、第 2、および第 3 モーメントを持つ分布です。一方、ヘビーテールやファットテールの種類のランダム変数の一部では、この定理は非常に遅く機能するか、まったく機能しない場合があります。このような場合は、一般化中心極限定理(GCLT) を使用できます。

• 数理統計学 – 統計学の分野Pages displaying short descriptions of redirect targets
• 期待値 – ランダム変数の平均値
• 分散 – 値が平均からどれだけ離れているかを示す統計的尺度
• ファジー論理 – 曖昧さについての推論システム
• ファジィ測度理論 – 加法的な性質が単調性の弱い性質に置き換えられた一般化された測度の理論Pages displaying wikidata descriptions as a fallback
• 確率と統計の用語集 – 統計と確率における用語と概念の定義の一覧
• 尤度関数 – 統計学と確率論に関連する関数
• 確率の表記
• 予測モデリング – 統計を使用して結果を予測するモデリングの形式
• 確率論的論理 – 不確実な状況に対処するために確率と論理を使用するPages displaying wikidata descriptions as a fallback
• 非確率定理の確率的証明
• 確率分布 – 実験で特定の結果が発生する確率を表す数学的関数
• 確率公理 – 確率論の基礎
• 確率の解釈 – 確率の公理の哲学的解釈
• 確率空間 – 数学的概念
• 統計的独立性 – ある出来事の発生が別の出来事の発生確率に影響を与えない場合Pages displaying short descriptions of redirect targets
• 統計物理学 – 相互作用する多数の粒子の物理学Pages displaying short descriptions of redirect targets
• 主観的論理
• ペアワイズ独立性§ペアワイズ独立事象の和集合の確率 – 任意の2つが独立しているランダム変数の集合

• 確率論に関する論文のカタログ
• 確率トピックのリスト
• 統計に関する出版物一覧
• 統計トピックのリスト