ベルヌーイ分布

ベルヌーイ分布

確率質量関数 ベルヌーイ分布の 3 つの例:   ${\displaystyle P(x=0)=0{.}2}$そして${\displaystyle P(x=1)=0{.}8}$   ${\displaystyle P(x=0)=0{.}8}$そして${\displaystyle P(x=1)=0{.}2}$   ${\displaystyle P(x=0)=0{.}5}$そして${\displaystyle P(x=1)=0{.}5}$
パラメータ	${\displaystyle 0\leq p\leq 1}$ ${\displaystyle q=1-p}$
サポート	${\displaystyle k\in \{0,1\}}$
ＰＭＦ	${\displaystyle {\begin{cases}q=1-p&{\text{if }}k=0\\p&{\text{if }}k=1\end{cases}}}$
ドイツ連邦共和国	${\displaystyle {\begin{cases}0&{\text{if }}k<0\\1-p&{\text{if }}0\leq k<1\\1&{\text{if }}k\geq 1\end{cases}}}$
平均	${\displaystyle p}$
中央値	${\displaystyle {\begin{cases}0&{\text{if }}p<1/2\\\left[0,1\right]&{\text{if }}p=1/2\\1&{\text{if }}p>1/2\end{cases}}}$
モード	${\displaystyle {\begin{cases}0&{\text{if }}p<1/2\\0,1&{\text{if }}p=1/2\\1&{\text{if }}p>1/2\end{cases}}}$
分散	${\displaystyle p(1-p)=pq}$
狂った	${\displaystyle 2p(1-p)=2pq}$
歪度	${\displaystyle {\frac {qp}{\sqrt {pq}}}}$
過剰尖度	${\displaystyle {\frac {1-6pq}{pq}}}$
エントロピ	${\displaystyle -q\ln qp\ln p}$
MGF の	${\displaystyle q+pe^{t}}$
CF	${\displaystyle q+pe^{it}}$
PGF	${\displaystyle q+pz}$
フィッシャー情報	${\displaystyle {\frac {1}{pq}}}$

確率論と統計学において、スイスの数学者ヤコブ・ベルヌーイにちなんで名付けられたベルヌーイ分布^[1]は、確率 で値 1 をとり、確率 で値 0 をとるランダム変数の離散確率分布です。より形式的には、はい/いいえの質問をする単一の実験の可能な結果の集合のモデルと考えることができます。このような質問は、ブール値の結果、つまり、確率pで成功/はい/真/ 1 、確率qで失敗/いいえ/偽/ 0となる単一のビットの結果をもたらします。これは、1 と 0 がそれぞれ「表」と「裏」を表し、p がコインが表になる確率 (またはその逆で、1 が裏を表し、p が裏の確率) となる (おそらく偏りのある) コイントスを表すために使用できます。特に、不公平なコインは${\displaystyle p}$${\displaystyle q=1-p}$ ${\displaystyle p\neq 1/2.}$

ベルヌーイ分布は、1回の試行が行われる二項分布の特殊なケースです（したがって、このような二項分布ではnは1になります）。また、 2点分布の特殊なケースでもあり、可能な結果は0と1である必要はありません。 ^[2]

がベルヌーイ分布に従うランダム変数である 場合、次のようになります。${\displaystyle X}$

${\displaystyle \Pr(X=1)=p=1-\Pr(X=0)=1-q.}$

この分布の確率質量関数は、可能な結果k に対して、 ${\displaystyle f}$

${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$^[3]

これは次のようにも表現できる。

${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$

または

${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$

ベルヌーイ分布は二項分布の特殊なケースであり、 ^[4]${\displaystyle n=1.}$

の値が高かったり低かったりすると尖度は無限大になりますが、ベルヌーイ分布を含む 2 点分布では、他のどの確率分布よりも過剰尖度が低く、つまり -2 になります。 ${\displaystyle p,}$${\displaystyle p=1/2}$

のベルヌーイ分布は指数族を形成します。 ${\displaystyle 0\leq p\leq 1}$

ランダムサンプルに基づくの最大尤度推定値はサンプル平均です。 ${\displaystyle p}$

ベルヌーイ確率変数の期待値は ${\displaystyle X}$

${\displaystyle \operatorname {E} [X]=p}$

これは、ベルヌーイ分布の確率 変数に対して、${\displaystyle X}$${\displaystyle \Pr(X=1)=p}$${\displaystyle \Pr(X=0)=q}$

${\displaystyle \operatorname {E} [X]=\Pr(X=1)\cdot 1+\Pr(X=0)\cdot 0=p\cdot 1+q\cdot 0=p.}$^[3]

ベルヌーイ分布の 分散は${\displaystyle X}$

${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$

まず最初に

${\displaystyle \operatorname {E} [X^{2}]=\Pr(X=1)\cdot 1^{2}+\Pr(X=0)\cdot 0^{2}}$

${\displaystyle =p\cdot 1^{2}+q\cdot 0^{2}=p=\operatorname {E} [X]}$

これから

${\displaystyle \operatorname {Var} [X]=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}}$

${\displaystyle =p-p^{2}=p(1-p)=pq}$^[3]

この結果から、任意のベルヌーイ分布について、その分散が の範囲内の値を持つことが簡単に証明できます。 ${\displaystyle [0,1/4]}$

歪度はです。標準化されたベルヌーイ分布のランダム変数を取ると、このランダム変数は確率 で到達し、確率 で到達することが分かります。したがって、 ${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$${\displaystyle {\frac {q}{\sqrt {pq}}}}$${\displaystyle p}$${\displaystyle -{\frac {p}{\sqrt {pq}}}}$${\displaystyle q}$

${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$

およびという事実により、生の瞬間はすべて等しくなります。 ${\displaystyle 1^{k}=1}$${\displaystyle 0^{k}=0}$

${\displaystyle \operatorname {E} [X^{k}]=\Pr(X=1)\cdot 1^{k}+\Pr(X=0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$

秩序の中心モーメントは次のように表される。 ${\displaystyle k}$

${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$

最初の6つの中心的な瞬間は

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$

高次の中心モーメントは次のように簡潔に表現できる。${\displaystyle \mu _{2}}$${\displaystyle \mu _{3}}$

${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$

最初の6つのキュムラントは

${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$

エントロピーは、確率分布における不確実性またはランダム性の尺度です。成功確率と失敗確率を持つベルヌーイランダム変数の場合、エントロピーは次のように定義されます。 ${\displaystyle X}$${\displaystyle p}$${\displaystyle q=1-p}$${\displaystyle H(X)}$

${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln({\frac {1}{P(X)}})=-[P(X=0)\ln P(X=0)+P(X=1)\ln P(X=1)]\\H(X)&=-(q\ln q+p\ln p),\quad q=P(X=0),p=P(X=1)\end{aligned}}}$

エントロピーは のときに最大になり、両方の結果が同等の可能性があるときに不確実性のレベルが最も高くなることを示します。またはのとき、エントロピーは 0 になり、一方の結果が確実になります。 ${\displaystyle p=0.5}$${\displaystyle p=0}$${\displaystyle p=1}$

フィッシャー情報量は、観測可能なランダム変数が、その確率が依存する未知のパラメータについて持つ情報量を測定するものです。ベルヌーイ分布の場合、パラメータに関するフィッシャー情報量は次のように表されます。 ${\displaystyle X}$${\displaystyle p}$${\displaystyle X}$${\displaystyle p}$

${\displaystyle {\begin{aligned}I(p)={\frac {1}{pq}}\end{aligned}}}$

証拠：

• ベルヌーイ確率変数の尤度関数は次のとおりです。${\displaystyle X}$

${\displaystyle {\begin{aligned}L(p;X)=p^{X}(1-p)^{1-X}\end{aligned}}}$

これは、パラメータが与えられた場合に観測される確率を表します。 ${\displaystyle X}$${\displaystyle p}$

• 対数尤度関数は次のとおりです。

${\displaystyle {\begin{aligned}\ln L(p;X)=X\ln p+(1-X)\ln(1-p)\end{aligned}}}$

• スコア関数（対数尤度の一次導関数は次のようになります。${\displaystyle p}$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}\end{aligned}}}$

• 対数尤度関数の2次導関数は次のようになります。

${\displaystyle {\begin{aligned}{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}\end{aligned}}}$

• フィッシャー情報は、対数尤度の 2 次導関数の負の期待値として計算されます。

${\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}$

これは、最大の不確実性と、したがってパラメータに関する最大の情報を反映しているときに最大になります。 ${\displaystyle p=0.5}$${\displaystyle p}$

• が独立した同一分布（iid）のランダム変数であり、すべてのベルヌーイ試行が成功確率 pである場合、それらの合計はパラメータnとp を持つ二項分布に従って分布します。 ${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$（二項分布）^[3]

ベルヌーイ分布は単純に とも表記される。${\displaystyle \operatorname {B} (1,p)}$${\textstyle \mathrm {Bernoulli} (p).}$

• カテゴリ分布は、任意の定数個の離散値を持つ変数に対するベルヌーイ分布の一般化です。
• ベータ分布はベルヌーイ分布の共役事前分布である。 ^[5]
• 幾何分布は、1 つの成功を得るために必要な独立した同一のベルヌーイ試行の数をモデル化します。
• の場合、 はラーデマッハ分布に従います。${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$${\textstyle 2Y-1}$

• ベルヌーイ過程、一連の独立したベルヌーイ試行からなるランダム過程
• ベルヌーイサンプリング
• バイナリエントロピー関数
• 二分決定図

• Johnson, NL; Kotz, S.; Kemp, A. (1993).単変量離散分布（第 2 版）. Wiley. ISBN 0-471-54897-9。
• ピートマン、ジョン・G. (1963)。応用統計学入門。ニューヨーク：ハーパー＆ロウ。pp.162-171。

ウィキメディア・コモンズには、ベルヌーイ分布に関連するメディアがあります。

• 「二項分布」、数学百科事典、EMS Press、2001 [1994]。
• Weisstein、Eric W.「ベルヌーイ分布」。MathWorld。
• インタラクティブ グラフィック: 単変量分布関係。