連続ベルヌーイ分布

連続ベルヌーイ分布

確率密度関数
表記	${\displaystyle {\mathcal {CB}}(\lambda )}$
パラメータ	${\displaystyle \lambda \in (0,1)}$
サポート	${\displaystyle x\in [0,1]}$
PDF	${\displaystyle C(\lambda )\lambda ^{x}(1-\lambda )^{1-x}\!}$ どこ${\displaystyle C(\lambda )={\begin{cases}2&{\text{if }}\lambda ={\frac {1}{2}}\\{\frac {2\tanh ^{-1}(1-2\lambda )}{1-2\lambda }}&{\text{otherwise}}\end{cases}}}$
ドイツ連邦共和国	${\displaystyle {\begin{cases}x&{\text{ if }}\lambda ={\frac {1}{2}}\\{\frac {\lambda ^{x}(1-\lambda )^{1-x}+\lambda -1}{2\lambda -1}}&{\text{ else}}\end{cases}}\!}$
平均	${\displaystyle \operatorname {E} [X]={\begin{cases}{\frac {1}{2}}&{\text{ if }}\lambda ={\frac {1}{2}}\\{\frac {\lambda }{2\lambda -1}}+{\frac {1}{2\tanh ^{-1}(1-2\lambda )}}&{\text{ else}}\end{cases}}\!}$
分散	${\displaystyle \operatorname {var} [X]={\begin{cases}{\frac {1}{12}}&{\text{ if }}\lambda ={\frac {1}{2}}\\-{\frac {(1-\lambda )\lambda }{(1-2\lambda )^{2}}}+{\frac {1}{(2\tanh ^{-1}(1-2\lambda ))^{2}}}&{\text{ else}}\end{cases}}\!}$

確率論、統計学、機械学習において、連続ベルヌーイ分布^{[1] [2] [3]}は、単位区間で定義される 単一の形状パラメータによってパラメータ化された連続確率分布の族であり、次のように表されます。 ${\displaystyle \lambda \in (0,1)}$${\displaystyle x\in [0,1]}$

${\displaystyle p(x|\lambda )\propto \lambda ^{x}(1-\lambda )^{1-x}.}$

連続ベルヌーイ分布はディープラーニングとコンピュータビジョン、特に変分オートエンコーダの文脈で生まれ、自然画像のピクセル強度をモデル化します。^{[4] [5]}そのため、連続ベルヌーイ分布は、連続した -値データによく適用される、一般的に使用されるバイナリクロスエントロピー損失の適切な確率的対応物を定義します。^{[6] [7] [8] [9]}この方法は、バイナリクロスエントロピー損失が離散的な -値データ の真の対数尤度のみを定義するため、連続ベルヌーイ分布の正規化定数を無視することに相当します。${\displaystyle [0,1]}$${\displaystyle \{0,1\}}$

連続ベルヌーイ分布は指数分布族も定義します。自然パラメータについて記述すると、密度は標準形 に書き直すことができます 。 ${\displaystyle \eta =\log \left(\lambda /(1-\lambda )\right)}$${\displaystyle p(x|\eta )\propto \exp(\eta x)}$

の点のサンプルが与えられた場合、の最大尤度推定量は経験平均であり、 ${\displaystyle N}$${\displaystyle x_{1},\dots ,x_{n}}$${\displaystyle x_{i}\in [0,1]\,\forall i}$${\displaystyle \lambda }$

${\displaystyle {\hat {\lambda }}={\bar {x}}={\frac {1}{N}}\sum _{i=1}^{n}x_{i}.}$

同様に、自然パラメータの推定量は、 ${\displaystyle \eta }$${\displaystyle {\bar {x}}}$

${\displaystyle {\hat {\eta }}={\text{logit}}({\bar {x}})=\log({\bar {x}}/(1-{\bar {x}})).}$

連続ベルヌーイは、確率質量関数によって離散集合上で定義されるベルヌーイ分布の連続緩和として考えることができます。 ${\displaystyle \{0,1\}}$

${\displaystyle p(x)=p^{x}(1-p)^{1-x},}$

ここで、は0 から 1 の間のスカラー パラメーターです。この同じ関数形式を連続区間に適用すると、正規化定数までの 連続ベルヌーイ確率密度関数が得られます。${\displaystyle p}$${\displaystyle [0,1]}$

ベータ分布の密度関数は次のようになります。

${\displaystyle p(x)\propto x^{\alpha -1}(1-x)^{\beta -1},}$

これは次のように書き直すことができます。

${\displaystyle p(x)\propto x_{1}^{\alpha _{1}-1}x_{2}^{\alpha _{2}-1},}$

ここで、は正のスカラーパラメータであり、 は1単体内の任意の点を表します。この密度関数のパラメータと引数の役割を入れ替えると、次の式が得られます。 ${\displaystyle \alpha _{1},\alpha _{2}}$${\displaystyle (x_{1},x_{2})}$${\displaystyle \Delta ^{1}=\{(x_{1},x_{2}):x_{1}>0,x_{2}>0,x_{1}+x_{2}=1\}}$

${\displaystyle p(x)\propto \alpha _{1}^{x_{1}}\alpha _{2}^{x_{2}}.}$

この族は線形制約までのみ識別可能であり、そこから次式が得られます。 ${\displaystyle \alpha _{1}+\alpha _{2}=1}$

${\displaystyle p(x)\propto \lambda ^{x_{1}}(1-\lambda )^{x_{2}},}$

連続ベルヌーイ密度に正確に対応します。

単位区間に制限された指数分布は、適切な^{[ which? ]}パラメータを持つ連続ベルヌーイ分布と同等です。

連続ベルヌーイの多変量一般化は連続カテゴリカルと呼ばれる。^[10]