確率分布

確率論と統計学において、確率分布とは、ランダムな現象の起こりうる結果、より正確には事象（確率実験の起こりうる結果の集合）に確率がどのように割り当てられるかを記述するものです。非公式には、確率分布はさまざまな結果がどれくらい起こりやすいかを示します。正式には、確率分布は確率測度、つまり確率の公理を満たすように事象に確率を割り当てる関数です。

確率分布は確率変数と密接に関連しています。確率変数は、確率的実験の各結果に値を割り当てる関数であり、取り得る値の集合上に確率分布を誘導します。たとえば、コイン投げの結果は、表の場合は1、裏の場合は0となる確率変数Xで表すことができます。コインが公平であれば、この分布はX = 1に確率1/2、X = 0に確率1/2を割り当てます。確率測度として見ると、 Xの分布は、各集合A ⊆ {0,1 } にℙ( X ∈ A )を割り当てます。公平なコインの場合、ℙ( X ∈ {1}) = ℙ( X ∈ {0}) = 1/2、ℙ( X ∈ {0,1}) = 1、ℙ( X ∈ ∅) = 0 となります。

実際には、確率分布は累積分布関数、確率質量関数、確率密度関数などの関数で記述されることが多い。どの記述方法が用いられるかは分布の性質によって異なり、確率質量関数は離散分布に用いられ、確率密度関数は多くの連続分布に用いられる。

頻繁に発生する確率分布や、理論的に特別な重要性を持つ確率分布には、しばしば固有の名前が付けられます。例として、確率分布の一覧が挙げられます。

確率分布とは、事象の確率、すなわち標本空間の部分集合の確率を数学的に記述したものです。標本空間は、多くの場合、記号で表されます。${\displaystyle \ \Omega \ ,}$サンプル空間とは、観測されるランダムな現象のすべての可能な結果の集合です。サンプル空間は、数値、ベクトル、ラベルなど、任意の集合になります。たとえば、コイン投げのサンプル空間はΩ = { "表", "裏" }ですが、サイコロ投げの場合はΩ = { 1, 2, 3, 4, 5, 6 }となります。

確率変数の特定のケース（標本空間を実数などの可測空間にマッピングできる場合）における確率分布を定義するには、離散型確率変数と連続型確率変数を区別するのが一般的です。離散型の場合、確率質量関数を指定するだけで十分です。${\displaystyle p}$それぞれの可能な結果に確率を割り当てる（例えば、公平なサイコロを振った場合、サイコロの点の数に対応する6つの数字「1」から「6」のそれぞれに確率が割り当てられる）。$\displaystyle {\tfrac {1}{6}}}$ランダム変数が連続値を取る 場合、確率密度関数に無限に密なピークがない限り、個々の結果の確率はゼロになります。この ような連続ランダム変数の場合、区間などの無限に多くの結果を含むイベントのみが、0 より大きい確率を持ちます。

例えば、スーパーマーケットでハムの重さを測る場合を考えてみましょう。計量器は任意の桁数の精度で表示できると仮定します。この場合、ハムの重さが正確に500gである確率はゼロでなければなりません。なぜなら、どれだけ高い精度を選択しても、計量器が出力する数字の後にゼロ以外の桁が存在しないとは断言できないからです。しかし、同じ使用例でも、「500g」のハムのパッケージの重さが490gから510gの間であるといった品質管理要件を満たすことは可能です。これは、この測定では測定機器に無限の精度を要求せず、物理的な物体やプロセスのばらつきに対してある程度の許容範囲を設けているためです。    

連続確率分布は、累積分布関数によって記述できます。累積分布関数は、確率変数が特定の値以下である確率（つまり、あるxに対してP ( X ≤ x )）を表します。累積分布関数は、図 1 に示すように、-∞からxまでの確率密度関数の下の面積です。 ^{[ 1 ]}

実際に遭遇するほとんどの連続確率分布は、連続であるだけでなく、絶対的に連続です。このような分布は、確率密度関数によって記述できます。非公式には、確率密度${\displaystyle f}$確率変数の${\displaystyle X}$無限小の確率の相対値を説明する${\displaystyle X}$任意の値を取る${\displaystyle x}$―つまり${\displaystyle P(x\leq X<x+\Delta x)\approx f(x)\,\Delta x}$として${\displaystyle \Delta x>0}$確率は任意に小さくなる。${\displaystyle X}$与えられた区間内にある確率密度関数は、その区間で積分することにより厳密に計算できる。 ^{[ 2 ]}

させて${\displaystyle (\Omega ,{\mathcal {F}},P)}$確率空間である、${\displaystyle (E,{\mathcal {E}})}$測定可能な空間であり、${\displaystyle X:\Omega \to E}$になる${\displaystyle (E,{\mathcal {E}})}$値をとる確率変数。すると、の確率分布は${\displaystyle X}$は確率測度のプッシュフォワード測度である${\displaystyle P}$に${\displaystyle (E,{\mathcal {E}})}$誘発される${\displaystyle X}$具体的には、このプッシュフォワード措置は${\displaystyle (E,{\mathcal {E}})}$は $${\displaystyle X_{*}(P)(B)=P\left(X^{-1}(B)\right)}$$のために${\displaystyle B\in {\mathcal {E}}.}$

任意の確率分布は、${\displaystyle (E,{\mathcal {E}})}$（一般的には異なる${\displaystyle P}$、 ない限り${\displaystyle X}$（偶然にも同一性マップである）。^{[ 3 ]}

確率分布は、確率質量関数や累積分布関数など、さまざまな形式で記述できます。絶対的に連続的な変数と離散的な変数の両方に適用できる最も一般的な記述方法の1つは、確率関数を用いたものです。${\displaystyle P\colon {\mathcal {A}}\to \mathbb {R} }$その入力空間 ${\displaystyle {\mathcal {A}}}$はσ代数であり、実数の確率を出力として与えます。特に、${\displaystyle [0,1]\subseteq \mathbb {R} }$。

確率関数${\displaystyle P}$関数は、コイン投げの例のように、サンプル空間自体の部分集合を引数として受け取ることができます。${\displaystyle P}$P (表) = 0.5、P (裏) = 0.5と定義されました。しかし、標本空間を数値の集合(例:${\displaystyle \mathbb {R} }$、${\displaystyle \mathbb {N} }$）より一般的には、引数がこれらの特定の種類の集合（数集合）の部分集合である確率分布を研究することが多い^{[ 4 ]}。そして、この記事で議論されているすべての確率分布はこのタイプである。 を次のように表記するのが一般的である。${\displaystyle P(X\in E)}$変数の特定の値になる確率${\displaystyle X}$ある特定のイベントに属する${\displaystyle E}$[ ^{5 ] [ 6 ]​}

上記の確率関数は、すべてのコルモゴロフ公理を満たす場合にのみ確率分布を特徴づけます。つまり、次のようになります。

1. ${\displaystyle P(X\in E)\geq 0\;\forall E\in {\mathcal {A}}}$確率は非負である
2. ${\displaystyle P(X\in E)\leq 1\;\forall E\in {\mathcal {A}}}$したがって、確率は${\displaystyle 1}$
3. ${\displaystyle P(X\in \bigcup _{i}E_{i})=\sum _{i}P(X\in E_{i})}$可算個の互いに素な集合族に対して${\displaystyle \{E_{i}\}}$

確率関数の概念は、それを確率空間の要素として定義することで、より厳密なものとなる。${\displaystyle (X,{\mathcal {A}},P)}$、 どこ${\displaystyle X}$は可能な結果の集合であり、${\displaystyle {\mathcal {A}}}$はすべての部分集合の集合です${\displaystyle E\subset X}$その確率は測定可能であり、${\displaystyle P}$これは、これらの測定可能な部分集合のそれぞれに確率を割り当てる確率関数、または確率測度です。${\displaystyle E\in {\mathcal {A}}}$[ ^{7 ]​}

確率分布は通常、2つのクラスのいずれかに分類される。

離散確率分布は、起こりうる結果の集合が離散的であるシナリオ（例えば、コイン投げ、サイコロ投げ）に適用でき、確率は結果の確率の離散的なリストによって符号化されます。この場合、確率は確率質量関数によって記述され、確率分布は確率質量関数の和によって与えられます。

絶対連続確率分布は、特定の日の気温のように、可能な結果の集合が連続範囲の値（実数など）を取ることができるシナリオに適用できます。絶対連続の場合、確率は確率密度関数で記述され、確率分布は定義上、確率密度関数の積分です。^{[ 5 ] [ 2 ] [ 6 ]}正規分布は、よく見られる絶対連続確率分布です。連続時間で定義された確率過程を含むような、より複雑な実験では、より一般的な確率尺度の使用が必要になる場合があります。

標本空間が一次元である確率分布（例えば、実数、ラベルのリスト、順序付きラベル、またはバイナリ）は単変量分布と呼ばれ、標本空間が2 次元以上のベクトル空間である分布は多変量分布と呼ばれます。単変量分布は、単一の確率変数がさまざまな異なる値をとる確率を示します。多変量分布（同時確率分布）は、ランダムベクトル（2 つ以上の確率変数のリスト）がさまざまな値の組み合わせをとる確率を示します。重要でよく見られる単変量確率分布には、二項分布、超幾何分布、正規分布などがあります。よく見られる多変量分布は、多変量正規分布です。

確率関数に加えて、累積分布関数、確率質量関数、確率密度関数、モーメント母関数、特性関数も確率分布を識別するのに役立ちます。これらは、基礎となる累積分布関数を一意に決定するからです。^{[ 8 ]}

確率分布に関する文献で広く使われている主要な概念と用語を以下に示します。^{[ 9 ]}

実数値確率変数の特殊な場合、確率分布は確率測度の代わりに累積分布関数で等価的に表すことができる。確率変数の累積分布関数${\displaystyle X}$確率分布に関して${\displaystyle p}$は次のように定義される。 $${\displaystyle F(x)=P(X\leq x).}$$

実数値確率変数の累積分布関数は、以下の性質を持つ。

• ${\displaystyle F(x)}$減少しない。
• ${\displaystyle F(x)}$右連続である。
• $0 ≤ F(x) ≤ 1$;
• ${\displaystyle \lim _{x\to -\infty }F(x)=0}$そして$\lim_{x\to\infty}F(x)=1$; そして
• ${\displaystyle \Pr(a<X\leq b)=F(b)-F(a)}$。

逆に、任意の関数${\displaystyle F:\mathbb {R} \to \mathbb {R} }$上記の性質のうち最初の4つを満たすものは、実数上の何らかの確率分布の累積分布関数である。^{[ 12 ]}

任意の確率分布は、離散分布、絶対連続分布、および特異連続分布の混合として分解することができ、^{[ 13 ]}したがって、任意の累積分布関数は、対応する3つの累積分布関数の凸和として分解することができます。

離散確率分布とは、数えられる数の値しかとれない確率変数の確率分布のことである^{[ 14 ]}（ほぼ確実に）^{[ 15 ]。}これは、任意の事象の確率が${\displaystyle E}$（有限または可算無限の）和 として表現できる。$${\displaystyle P(X\in E)=\sum _{\omega \in A\cap E}P(X=\omega ),}$$ どこ${\displaystyle A}$は可算集合であり、${\displaystyle P(X\in A)=1}$したがって、離散確率変数（すなわち、確率分布が離散的な確率変数）は、まさに確率質量関数を持つものとなる。${\displaystyle p(x)=P(X=x)}$値の範囲が可算無限である場合、確率の合計が 1 になるように、これらの値は十分に速くゼロに減少する必要があります。たとえば、${\displaystyle p(n)={\tfrac {1}{2^{n}}}}$のために${\displaystyle n=1,2,...}$確率の合計は${\displaystyle 1/2+1/4+1/8+\dots =1}$。

統計モデリングで使用されるよく知られた離散確率分布には、ポアソン分布、ベルヌーイ分布、二項分布、幾何分布、負の二項分布、カテゴリ分布などがあります。^{[ 16 ]}サンプル（観測値の集合）がより大きな母集団から抽出される場合、サンプル点は離散的な経験分布を持ち、母集団分布に関する情報を提供します。さらに、離散一様分布は、多数の選択肢の中から等確率でランダムに選択を行うコンピュータプログラムで一般的に使用されます。

絶対連続確率分布とは、実数直線上の区間全体など、数えきれないほど多くの可能な値を持つ実数上の確率分布であり、任意の事象の確率が積分で表せるものである。^{[ 19 ]}より正確には、実数確率変数${\displaystyle X}$関数が存在する場合、絶対連続確率分布を持つ${\displaystyle f:\mathbb {R} \to [0,\infty ]}$各区間について${\displaystyle I=[a,b]\subset \mathbb {R} }$確率${\displaystyle X}$に属する${\displaystyle I}$は、の積分によって与えられる。${\displaystyle f}$以上${\displaystyle I}$: ^{[ 20 ] [ 21 ]}$${\displaystyle P\left(a\leq X\leq b\right)=\int _{a}^{b}f(x)\,dx.}$$これは確率密度関数 の定義であり、絶対連続確率分布はまさに確率密度関数を持つ分布である。特に、確率は${\displaystyle X}$単一の値を取る${\displaystyle a}$（つまり、${\displaystyle a\leq X\leq a}$）はゼロです。なぜなら、上限と下限が一致する積分は常にゼロになるからです。${\displaystyle [a,b]}$任意の測定可能な集合に置き換えられる${\displaystyle A}$同様の等式は依然として成立する。 $${\displaystyle P(X\in A)=\int _{A}f(x)\,dx.}$$

絶対連続確率変数とは、その確率分布が絶対連続である確率変数のことである。

絶対的に連続な確率分布の例は数多くあります。正規分布、一様分布、カイ二乗分布などです。

確率論の測度論的定式化において、確率変数は可測関数として定義される。${\displaystyle X}$確率空間から${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$測定可能な空間へ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$. 次のような形式の事象の確率を考慮すると${\displaystyle \{\omega \in \Omega \mid X(\omega )\in A\}}$コルモゴロフの確率公理を満たす確率分布${\displaystyle X}$画像測定${\displaystyle X_{*}\mathbb {P} }$の${\displaystyle X}$これは、の確率測度です${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$満足${\displaystyle X_{*}\mathbb {P} =\mathbb {P} X^{-1}}$[ ^{22 ] [ 23 ] [ 24 ]​}

絶対連続分布と離散分布（サポート付き）${\displaystyle \mathbb {R} ^{k}}$または${\displaystyle \mathbb {N} ^{k}}$は、実用的分布のほとんどが超立方体や球などの比較的単純な部分集合上にサポートされているため、無数の現象をモデル化するのに非常に役立ちます。 ^{[ 5 ] [ 1 ]}しかし、これは常に当てはまるわけではなく、実際には複雑な曲線がサポートとなっている現象も存在します。${\displaystyle \gamma$ :[a,b]\rightarrow \mathbb {R} ^{n}} ある空間内で${\displaystyle \mathbb {R} ^{n}}$または類似。これらの場合、確率分布はそのような曲線のイメージに基づいてサポートされ、閉じた式を見つけるのではなく、経験的に決定される可能性が高い。^{[ 25 ]}

右の図は、プラズマ中のラングミュア波の挙動をモデル化するために使用できる微分方程式系（一般にラビノビッチ・ファブリカント方程式として知られる）の発展を示す一例である。^{[ 26 ]}この現象を研究すると、部分集合から観測される状態は赤色で示されている。したがって、赤色の部分集合の特定の位置にある状態を観測する確率はどれくらいかと問うことができる。そのような確率が存在する場合、それはシステムの確率測度と呼ばれる。^{[ 27 ] [ 25 ]}

このような複雑なサポートは、力学系において非常に頻繁に現れます。システムが確率測度を持つことを確立するのは容易ではなく、主な問題は次のとおりです。${\displaystyle t_{1}\ll t_{2}\ll t_{3}}$時間の瞬間であり、${\displaystyle O}$サポートのサブセット。システムの確率測度が存在する場合、セット内の状態を観測する頻度が期待される。${\displaystyle O}$区間内で等しくなります${\displaystyle [t_{1},t_{2}]}$そして${\displaystyle [t_{2},t_{3}]}$これは起こらないかもしれない。例えば、正弦波のように振動するかもしれない。${\displaystyle \sin(t)}$限界が${\displaystyle t\rightarrow \infty }$収束しない。形式的には、相対頻度の極限が無限の未来まで観測されたときに収束する場合にのみ、その尺度が存在する。^{[ 28 ]}確率尺度の存在を研究する力学系の分野はエルゴード理論である。

なお、これらの場合でも、確率分布が存在する場合、その分布は、サポートが非可算か可算かによって、「絶対連続」または「離散」と呼ばれる可能性があることに注意してください。

ルベーグ分解定理によれば、実数直線上の任意の確率分布は、次の3つの基本タイプの混合に一意に分解できる。 ${\displaystyle F=\alpha F_{\text{discrete}}+\beta F_{\text{ac}}+\gamma F_{\text{singular}}}$ ここで係数${\displaystyle \alpha ,\beta ,\gamma \in [0,1]}$合計は1になります。3つの構成要素は次のとおりです。^{[ 29 ]}

• 離散的：確率は、数えられる値（点）の集合に集中します。累積分布関数（CDF）は階段関数です。
• 絶対連続：分布は確率密度関数を持つ${\displaystyle f(x)}$そのため${\displaystyle F(x)=\int _{-\infty }^{x}f(t)\,dt}$非ゼロの確率密度を持つ値の集合は、ルベーグ測度がゼロより大きい。
• 特異連続:累積分布関数はどこでも連続ですが、その導関数はほとんどどこでもゼロになります(ルベーグ測度に関して)。確率は測度ゼロの集合 (例えば、カントール集合) に集中します。古典的な例はカントール分布です。

統計アプリケーションにおけるほとんどの標準分布は、純粋に離散的であるか、${\displaystyle \alpha =1}$）または純粋に絶対連続（${\displaystyle \beta =1}$特異分布は応用統計学ではめったに現れませんが、確率過程やフラクタルの理論では重要です。

ほとんどのアルゴリズムは、擬似乱数発生器に基づいており、${\displaystyle X}$これらは半開区間[ 0, 1)に一様に分布しています。これらのランダム変数は${\displaystyle X}$そして、何らかのアルゴリズムによって変換され、必要な確率分布を持つ新しい乱数が生成されます。この一様擬似乱数源を用いることで、任意の乱数の生成が可能になります。^{[ 30 ]}

例えば、Uが0から1の間の一様分布に従うと仮定します。0 < p < 1 のランダムなベルヌーイ変数を構成するには、次のように定義します。 $${\displaystyle X={\begin{cases}1&{\text{if }}U<p\\0&{\text{if }}U\geq p.\end{cases}}}$$ したがって、 $${\displaystyle P(X=1)=P(U<p)=p,\quad P(X=0)=P(U\geq p)=1-p.}$$ したがって、確率変数Xはパラメータpのベルヌーイ分布に従う。^{[ 30 ]}

この方法は、任意の分布を持つ実数値の確率変数を生成するために応用できます。任意の累積分布関数Fに対して、F ^{inv を}の一般化左逆関数とします。${\displaystyle F,}$この文脈では、分位関数または逆分布関数とも呼ばれる。 $${\displaystyle F^{\mathrm {inv} }(p)=\inf\{x\in \mathbb {R} :p\leq F(x)\}.}$$ すると、F ^inv ( p ) ≤ x はp ≤ F ( x )の場合に限り成り立つ。結果として、Uが[0, 1]上で一様分布している場合、 X = F ^inv ( U )の累積分布関数はFとなる。

例えば、パラメータを持つ指数分布に従う乱数を生成したいとします。${\displaystyle \lambda }$つまり、累積分布関数を用いて${\displaystyle F:x\mapsto 1-e^{-\lambda x}.}$$${\displaystyle {\begin{aligned}F(x)=u&\Leftrightarrow 1-e^{-\lambda x}=u\\[2pt]&\Leftrightarrow e^{-\lambda x}=1-u\\[2pt]&\Leftrightarrow -\lambda x=\ln(1-u)\\[2pt]&\Leftrightarrow x={\frac {-1}{\lambda }}\ln(1-u)\end{aligned}}}$$ それで${\displaystyle F^{\mathrm {inv} }(u)=-{\tfrac {1}{\lambda }}\ln(1-u)}$、また、Uが[0, 1)上で一様分布を持つ場合、${\displaystyle X=-{\tfrac {1}{\lambda }}\ln(1-U)}$パラメータを持つ指数分布${\displaystyle \lambda .}$^{[ 30 ]}

理論的にはこの方法は常に有効ですが、実際には逆分布関数が不明であったり、効率的に計算できない場合があります。このような場合は、モンテカルロ法などの他の方法が用いられます。

確率分布の概念と、それらが記述する確率変数は、確率論という数学分野と統計学という科学の基礎を成しています。人口集団において測定可能なほぼすべての値（例えば、人の身長、金属の耐久性、売上成長率、交通量など）にはばらつきや変動性があり、ほとんどすべての測定には何らかの固有の誤差が伴います。物理学においては、気体の運動特性から素粒子の量子力学的記述に至るまで、多くのプロセスが確率的に記述されます。これらの理由、そしてその他多くの理由から、単純な数値では量を記述するには不十分な場合が多く、確率分布の方がより適切な場合が多いのです。

以下は、関連するプロセスの種類ごとに分類した、最も一般的な確率分布の一覧です。より完全な一覧については、「確率分布一覧」を参照してください。こちらは、検討対象となる結果の性質（離散的、絶対連続的、多変量など）ごとに分類されています。

以下の単変量分布はすべて単一ピーク型です。つまり、値が単一の点に集中していると想定されています。実際には、観測される量は複数の値に集中する場合があります。このような量は混合分布を用いてモデル化できます。

確率論における基本的な概念は、確率分布の列の収束である。確率分布の列は${\displaystyle (P_{n})}$は、確率分布に弱収束（または分布収束）すると言われている。${\displaystyle P}$もし ${\displaystyle \lim _{n\to \infty }P_{n}(A)=P(A)}$ 各セットごとに${\displaystyle A}$その境界は${\displaystyle P}$確率は0です。

同様に、累積分布関数を用いると、数列は${\displaystyle F_{n}}$収束して${\displaystyle F}$もし ${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)}$ すべての${\displaystyle x}$その${\displaystyle F}$連続的である。^{[ 35 ]}

この概念は中心極限定理にとって不可欠であり、中心極限定理は、個々の変数の基礎となる分布に関係なく、独立で同一の分布を持つ確率変数の標準化された和の確率分布が標準正規分布に収束することを述べている。^{[ 36 ]}

• 条件付き確率分布
• 経験的確率分布
• ヒストグラム
• 同時確率分布
• 確率尺度
• 準確率分布
• リーマン・スティルチェス積分の確率論への応用

• 「確率分布」、数学百科事典、EMS Press、2001年 [1994年]
• 連続確率分布のフィールドガイド、ギャビン・E・クルックス著。
• 確率測度、関数、分布の区別、Math Stack Exchange