幾何分布

幾何分布は、唯一の記憶のない離散確率分布です。^{[ 4 ]}これは、指数分布に見られるのと同じ性質の離散版です。^{[ 1 ] : 228}この性質は、以前に失敗した試行の回数が、成功するために必要な将来の試行の回数に影響しないと主張しています。

幾何分布には2つの定義があるため、離散確率変数の無記憶性にも2つの定義が存在する。^{[ 5 ]}条件付き確率で表すと、2つの定義は次のようになる。 $${\displaystyle \Pr(X>m+n\mid X>n)=\Pr(X>m),}$$ そして $${\displaystyle \Pr(Y>m+n\mid Y\geq n)=\Pr(Y>m),}$$

どこ${\displaystyle m}$そして${\displaystyle n}$自然数です。${\displaystyle X}$は、幾何分布に従う確率変数であり、${\displaystyle \mathbb {N} }$、 そして${\displaystyle Y}$は、幾何分布に従う確率変数であり、${\displaystyle \mathbb {N} _{0}}$なお、これらの定義は離散確率変数には適用されません。${\displaystyle Y}$最初の式を満たさず、${\displaystyle X}$2つ目の条件を満たさない。

幾何分布に従う確率変数の期待値と分散${\displaystyle X}$定義済み${\displaystyle \mathbb {N} }$は^{[ 2 ]： 261です}$${\displaystyle \operatorname {E} (X)={\frac {1}{p}},\qquad \operatorname {var} (X)={\frac {1-p}{p^{2}}}.}$$ 幾何分布に従う確率変数${\displaystyle Y}$定義済み${\displaystyle \mathbb {N} _{0}}$期待値は次のように変化します。 $${\displaystyle \operatorname {E} (Y)={\frac {1-p}{p}},}$$ 分散は同じままである。^{[ 6 ]： 114-115}

例えば、6面サイコロを振って「1」が出るまで続ける場合、必要な平均回数は${\displaystyle {\frac {1}{1/6}}=6}$そして平均故障数は${\displaystyle {\frac {1-1/6}{1/6}}=5}$。

幾何分布のモーメント母関数は、${\displaystyle \mathbb {N} }$そして${\displaystyle \mathbb {N} _{0}}$それぞれ^{[ 7 ] [ 6 ] : 114である}$${\displaystyle {\begin{aligned}M_{X}(t)&={\frac {pe^{t}}{1-(1-p)e^{t}}}\\M_{Y}(t)&={\frac {p}{1-(1-p)e^{t}}},t<-\ln(1-p)\end{aligned}}}$$ 最初の成功までの失敗回数のモーメントは次のように表される。 $${\displaystyle {\begin{aligned}\mathrm {E} (Y^{n})&{}=\sum _{k=0}^{\infty }(1-p)^{k}p\cdot k^{n}\\&{}=p\operatorname {Li} _{-n}(1-p)&({\text{for }}n\neq 0)\end{aligned}}}$$

どこ${\displaystyle \operatorname {Li} _{-n}(1-p)}$は多対数関数である。^{[ 8 ]}

幾何分布のキュムラント生成関数は、${\displaystyle \mathbb {N} _{0}}$は^{[ 1 ]： 216です}$${\displaystyle K(t)=\ln p-\ln(1-(1-p)e^{t})}$$キュムラント​${\displaystyle \kappa _{r}}$再帰を満たす$${\displaystyle \kappa _{r+1}=q{\frac {\delta \kappa _{r}}{\delta q}},r=1,2,\dotsc }$$どこ${\displaystyle q=1-p}$定義上${\displaystyle \mathbb {N} _{0}}$[ ^{1 ] : 216​}

幾何分布の平均は期待値であり、これは§モーメントとキュムラントで既に説明したとおりです。${\displaystyle {\frac {1}{p}}}$または${\displaystyle {\frac {1-p}{p}}}$定義されるとき${\displaystyle \mathbb {N} }$または${\displaystyle \mathbb {N} _{0}}$それぞれ。

幾何分布の中央値は${\displaystyle \left\lceil -{\frac {\log 2}{\log(1-p)}}\right\rceil }$定義されるとき${\displaystyle \mathbb {N} }$^{[ 9 ]}および${\displaystyle \left\lfloor -{\frac {\log 2}{\log(1-p)}}\right\rfloor }$定義されるとき${\displaystyle \mathbb {N} _{0}}$[ ^{3 ] : 69​}

幾何分布の最頻値は、サポートセットの最初の値です。これは、定義上は 1 です。${\displaystyle \mathbb {N} }$定義すると 0 になります${\displaystyle \mathbb {N} _{0}}$[ ^{3 ] : 69​}

幾何分布の歪度は${\displaystyle {\frac {2-p}{\sqrt {1-p}}}}$[ ^{6 ]： 115​}

幾何分布の尖度は${\displaystyle 9+{\frac {p^{2}}{1-p}}}$. ^{[ 6 ] : 115}分布の過剰尖度は、その尖度と正規分布の尖度との差である。${\displaystyle 3}$. ^{[ 10 ] : 217}したがって、幾何分布の過剰尖度は${\displaystyle 6+{\frac {p^{2}}{1-p}}}$。 以来${\displaystyle {\frac {p^{2}}{1-p}}\geq 0}$幾何分布の場合、過剰尖度は常に正であるため、分布は尖度が高い。^{[ 3 ]： 69}言い換えれば、幾何分布の裾野はガウス分布よりも質量が大きく、減衰が遅い。^{[ 11 ]}

エントロピーは、確率分布における不確実性の尺度です。最初の成功までの失敗回数をモデル化した幾何分布の場合、確率質量関数は次のようになります。

$${\displaystyle P(X=k)=(1-p)^{k}p,\quad k=0,1,2,\dots }$$

エントロピー${\displaystyle H(X)}$この分布は次のように定義されます。

$${\displaystyle {\begin{aligned}H(X)&=-\sum _{k=0}^{\infty }P(X=k)\ln P(X=k)\\&=-\sum _{k=0}^{\infty }(1-p)^{k}p\ln \left((1-p)^{k}p\right)\\&=-\sum _{k=0}^{\infty }(1-p)^{k}p\left[k\ln(1-p)+\ln p\right]\\&=-\log p-{\frac {1-p}{p}}\log(1-p)\end{aligned}}}$$

確率が上がるにつれてエントロピーは増加する${\displaystyle p}$成功が稀になるにつれて不確実性が増すことを反映して、減少する。

フィッシャー情報量は、観測可能な確率変数が持つ情報量を測定する。${\displaystyle X}$未知のパラメータを運ぶ${\displaystyle p}$幾何分布（最初の成功の前に失敗する）の場合、フィッシャー情報量は${\displaystyle p}$次のように与えられます。

$${\displaystyle I(p)={\frac {1}{p^{2}(1-p)}}}$$

証拠：

• 幾何確率変数の尤度関数${\displaystyle X}$は：$${\displaystyle L(p;X)=(1-p)^{X}p}$$
• 対数尤度関数は次のとおりです。$${\displaystyle \ln L(p;X)=X\ln(1-p)+\ln p}$$
• スコア関数（対数尤度の一次導関数）${\displaystyle p}$） は：$${\displaystyle {\frac {\partial }{\partial p}}\ln L(p;X)={\frac {1}{p}}-{\frac {X}{1-p}}}$$
• 対数尤度関数の2階微分は次のとおりである。$${\displaystyle {\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {1}{p^{2}}}-{\frac {X}{(1-p)^{2}}}}$$
• フィッシャー情報は、2階微分の負の期待値として計算されます。$${\displaystyle {\begin{aligned}I(p)&=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]\\&=-\left(-{\frac {1}{p^{2}}}-{\frac {1-p}{p(1-p)^{2}}}\right)\\&={\frac {1}{p^{2}(1-p)}}\end{aligned}}}$$

フィッシャー情報は、${\displaystyle p}$減少するということは、成功頻度が低いほど、パラメータに関する情報が多くなることを示しています。${\displaystyle p}$。

最初の成功までの試行回数を幾何分布でモデル化する場合、確率質量関数は次のようになります。

$${\displaystyle P(X=k)=(1-p)^{k-1}p,\quad k=1,2,3,\dots }$$

エントロピー${\displaystyle H(X)}$この分布は、バージョンモデリングの試行が失敗するまで同じです。

$${\displaystyle {\begin{aligned}H(X)&=-\log p-{\frac {1-p}{p}}\log(1-p)\end{aligned}}}$$

最初の成功までの試行回数をモデル化した幾何分布のフィッシャー情報量は次式で与えられる。

$${\displaystyle I(p)={\frac {1}{p^{2}(1-p)}}}$$

証拠：

• 幾何確率変数の尤度関数${\displaystyle X}$は：

${\displaystyle L(p;X)=(1-p)^{X-1}p}$

• 対数尤度関数は次のとおりです。

${\displaystyle \ln L(p;X)=(X-1)\ln(1-p)+\ln p}$

• スコア関数（対数尤度の一次導関数）${\displaystyle p}$） は：

${\displaystyle {\frac {\partial }{\partial p}}\ln L(p;X)={\frac {1}{p}}-{\frac {X-1}{1-p}}}$

• 対数尤度関数の2階微分は次のとおりである。

${\displaystyle {\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {1}{p^{2}}}-{\frac {X-1}{(1-p)^{2}}}}$

• フィッシャー情報は、2階微分の負の期待値として計算されます。

$${\displaystyle {\begin{aligned}I(p)&=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]\\&=-\left(-{\frac {1}{p^{2}}}-{\frac {1-p}{p(1-p)^{2}}}\right)\\&={\frac {1}{p^{2}(1-p)}}\end{aligned}}}$$

• 幾何確率変数の確率母関数${\displaystyle X}$そして${\displaystyle Y}$定義済み${\displaystyle \mathbb {N} }$そして${\displaystyle \mathbb {N} _{0}}$それぞれ、^{[ 6 ]： 114-115}$${\displaystyle {\begin{aligned}G_{X}(s)&={\frac {s\,p}{1-s\,(1-p)}},\\[10pt]G_{Y}(s)&={\frac {p}{1-s\,(1-p)}},\quad |s|<(1-p)^{-1}.\end{aligned}}}$$
• 特性関数${\displaystyle \varphi (t)}$に等しい${\displaystyle G(e^{it})}$したがって、幾何分布の特性関数は、${\displaystyle \mathbb {N} }$そして${\displaystyle \mathbb {N} _{0}}$それぞれ^{[ 12 ]： 1630です}$${\displaystyle {\begin{aligned}\varphi _{X}(t)&={\frac {pe^{it}}{1-(1-p)e^{it}}},\\[10pt]\varphi _{Y}(t)&={\frac {p}{1-(1-p)e^{it}}}.\end{aligned}}}$$
• パラメータを持つ幾何分布のエントロピー${\displaystyle p}$[ ^{13 ]​}$${\displaystyle -{\frac {p\log _{2}p+(1-p)\log _{2}(1-p)}{p}}}$$
• 平均値が与えられた場合、幾何分布は、すべての離散確率分布の中で最大のエントロピー確率分布です。対応する連続分布は指数分布です。^{[ 14 ]}
• 幾何分布は、${\displaystyle \mathbb {N} _{0}}$は無限に割り切れる、つまり任意の正の整数に対して${\displaystyle n}$存在する${\displaystyle n}$独立同分布の確率変数で、その和も幾何分布に従う。これは、負の二項分布が対数確率変数のポアソン停止和から導出できるためである。^{[ 12 ]： 606-607}
• 幾何分布に従う確率変数Yの小数部の各桁は、独立な（ただし同一分布ではない）確率変数の列です。 例えば、百の位の数字D は、次のような確率分布を持ちます。$${\displaystyle \Pr(D=d)={q^{100d} \over 1+q^{100}+q^{200}+\cdots +q^{900}},}$$ここでq = 1 − pであり、他の桁についても同様であり、より一般的には、 10 以外の基数を持つ数体系についても同様である。基数が 2 の場合、これは、幾何分布に従う確率変数が、確率分布が分解不可能な独立な確率変数の和として表せることを示している。
• ゴロム符号化は、幾何離散分布に対する最適なプレフィックス符号である。 ^{[ 13 ]}

それらが存在するならば、最初の${\displaystyle l}$確率分布のモーメントはサンプルから推定できる${\displaystyle x_{1},\dotsc ,x_{n}}$式を用いて$${\displaystyle m_{i}={\frac {1}{n}}\sum _{j=1}^{n}x_{j}^{i}}$$どこ${\displaystyle m_{i}}$は${\displaystyle i}$番目のサンプルモーメントと${\displaystyle 1\leq i\leq l}$[ ^{17 ]： 349-350}推定^​${\displaystyle \mathrm {E} (X)}$と${\displaystyle m_{1}}$標本平均は、と表記される。${\displaystyle {\bar {x}}}$この推定値を幾何分布の期待値の式に代入し、解くと、${\displaystyle p}$推定器を与える${\displaystyle {\hat {p}}={\frac {1}{\bar {x}}}}$そして${\displaystyle {\hat {p}}={\frac {1}{{\bar {x}}+1}}}$サポートされている場合${\displaystyle \mathbb {N} }$そして${\displaystyle \mathbb {N} _{0}}$それぞれ。これらの推定値は、${\displaystyle \mathrm {E} \left({\frac {1}{\bar {x}}}\right)>{\frac {1}{\mathrm {E} ({\bar {x}})}}=p}$イェンセンの不等式の結果として。^{[ 18 ]： 53-54}

最尤推定量${\displaystyle p}$は、サンプルが与えられたときに尤度関数を最大化する値です。 ^{[ 17 ]： 308}分布が定義されているときの対数尤度関数の導関数の零点を見つけることによって${\displaystyle \mathbb {N} }$最尤推定量は次のようになる。${\displaystyle {\hat {p}}={\frac {1}{\bar {x}}}}$、 どこ${\displaystyle {\bar {x}}}$は標本平均です。^{[ 19 ]}ドメインが${\displaystyle \mathbb {N} _{0}}$すると推定器は${\displaystyle {\hat {p}}={\frac {1}{{\bar {x}}+1}}}$§モーメント法で既に説明したように、これらの推定量は偏りがあります。

ドメインに関係なく、バイアスは

$${\displaystyle b\equiv \operatorname {E} {\bigg [}\;({\hat {p}}_{\mathrm {mle} }-p)\;{\bigg ]}={\frac {p\,(1-p)}{n}}}$$

これにより、バイアス補正された最尤推定量が得られます。

$${\displaystyle {\hat {p\,}}_{\text{mle}}^{*}={\hat {p\,}}_{\text{mle}}-{\hat {b\,}}}$$

ベイズ推論では、パラメータ${\displaystyle p}$は、サンプルを観測した後にベイズの定理を使用して計算された事後分布を持つ事前分布からの確率変数です。^{[ 18 ]： 167}事前分布としてベータ分布を選択した場合、事後分布もベータ分布となり、共役分布と呼ばれます。特に、${\displaystyle \mathrm {Beta} (\alpha ,\beta )}$事前分布が選択され、次にサンプルを観察した後に事後分布が選択されます。${\displaystyle k_{1},\dotsc ,k_{n}\in \mathbb {N} }$、は^{[ 20 ]}$${\displaystyle p\sim \mathrm {Beta} \left(\alpha +n,\ \beta +\sum _{i=1}^{n}(k_{i}-1)\right).\!}$$あるいは、サンプルが${\displaystyle \mathbb {N} _{0}}$事後分布は^{[ 21 ]}$${\displaystyle p\sim \mathrm {Beta} \left(\alpha +n,\beta +\sum _{i=1}^{n}k_{i}\right).}$$期待値は${\displaystyle \mathrm {Beta} (\alpha ,\beta )}$分布は${\displaystyle {\frac {\alpha }{\alpha +\beta }}}$[ ^{12 ]： 145}として^​${\displaystyle \alpha }$そして${\displaystyle \beta }$ゼロに近づくにつれて、事後平均は最尤推定値に近づく。