一般化ロジスティック分布

一般化ロジスティック分布という用語は、いくつかの異なる確率分布ファミリーの名前として使用されます。たとえば、ジョンソンら^[1]は、以下に示す4つの形式を挙げています。

タイプ I は、歪んだロジスティック分布とも呼ばれます。タイプ IV は他のタイプを包含し、ベータランダム変量にロジット変換を適用することで得られます。対数正規分布の場合と同じ規則に従い、タイプ IV は、ロジット変換の逆である 標準ロジスティック関数を参照して、ロジスティック ベータ分布と呼ばれることがあります。

一般化ロジスティック分布とも呼ばれる他の分布ファミリーについては、対数ロジスティック分布の一般化であるシフト対数ロジスティック分布、および形状と境界の柔軟性が高く線形最小二乗法でデータに適合できるメタログ (「メタロジスティック」) 分布を参照してください。

以下の定義は、ファミリーの標準化されたバージョンであり、位置スケールファミリーとして完全な形式に拡張できます。それぞれは、累積分布関数( F ) または確率密度関数( ƒ )を使用して定義され、(-∞,∞) 上で定義されます。

${\displaystyle F(x;\alpha )={\frac {1}{(1+e^{-x})^{\alpha }}}\equiv (1+e^{-x})^{- \alpha },\quad \alpha >0.}$

対応する確率密度関数は次のようになります。

${\displaystyle f(x;\alpha )={\frac {\alpha e^{-x}}{\left(1+e^{-x}\right)^{\alpha +1}}},\quad \alpha >0.}$

このタイプは「歪んだロジスティック」分布とも呼ばれます。

${\displaystyle F(x;\alpha )=1-{\frac {e^{-\alpha x}}{(1+e^{-x})^{\alpha }}},\quad \alpha > 0.}$

対応する確率密度関数は次のようになります。

${\displaystyle f(x;\alpha )={\frac {\alpha e^{-\alpha x}}{(1+e^{-x})^{\alpha +1}}},\quad \アルファ >0。}$

${\displaystyle f(x;\alpha )={\frac {1}{B(\alpha ,\alpha )}}{\frac {e^{-\alpha x}}{(1+e^{-x })^{2\alpha }}},\quad \alpha >0.}$

ここでBはベータ関数である。このタイプの モーメント生成関数は

${\displaystyle M(t)={\frac {\Gamma (\alpha -t)\Gamma (\alpha +t)}{(\Gamma (\alpha ))^{2}}},\quad -\alpha <t<\alpha .}$

対応する累積分布関数は次のようになります。

${\displaystyle F(x;\alpha )={\frac {\left(e^{x}+1\right)\Gamma (\alpha )e^{\alpha (-x)}\left(e^{-x}+1\right)^{-2\alpha }\,_{2}{\tilde {F}}_{1}\left(1,1-\alpha ;\alpha +1;-e^{x}\right)}{B(\alpha ,\alpha )}},\quad \alpha >0.}$

${\displaystyle {\begin{aligned}f(x;\alpha,\beta)&={\frac {1}{B(\alpha,\beta)}}{\frac {e^{-\beta x}}{(1+e^{-x})^{\alpha +\beta }}},\quad \alpha,\beta >0\\[4pt]&={\frac {\sigma (x)^{\alpha}\sigma (-x)^{\beta }}{B(\alpha,\beta)}}.\end{aligned}}}$

ここで、Bはベータ関数であり、は標準ロジスティック関数である。このタイプの モーメント生成関数は${\displaystyle \sigma (x)=1/(1+e^{-x})}$

${\displaystyle M(t)={\frac {\Gamma (\beta -t)\Gamma (\alpha +t)}{\Gamma (\alpha )\Gamma (\beta )}},\quad -\alpha <t<\beta .}$

このタイプは「第2タイプの指数一般化ベータ」とも呼ばれます。^[1]

対応する累積分布関数は次のようになります。

${\displaystyle F(x;\alpha ,\beta )={\frac {\left(e^{x}+1\right)\Gamma (\alpha )e^{\beta (-x)}\left(e^{-x}+1\right)^{-\alpha -\beta }\,_{2}{\tilde {F}}_{1}\left(1,1-\beta ;\alpha +1;-e^{x}\right)}{B(\alpha ,\beta )}},\quad \alpha ,\beta >0.}$

タイプ IV は分布の最も一般的な形式です。タイプ III 分布は、タイプ IV を固定することにより得られます。タイプ II 分布は、タイプ IV を固定することにより得られます(そして に名前を変更します)。タイプ I 分布は、タイプ IV を固定することにより得られます。 を固定すると、標準のロジスティック分布が得られます。 ${\displaystyle \beta =\alpha }$${\displaystyle \alpha =1}$${\displaystyle \beta}$${\displaystyle \alpha}$${\displaystyle \beta =1}$${\displaystyle \alpha =\beta =1}$

サポートパラメータと形状パラメータを持つタイプIV の一般化ロジスティック分布、またはロジスティックベータ分布の確率密度関数 (pdf) は (上に示したように) 次のようになります。 ${\displaystyle x\in \mathbb {R} }$${\displaystyle \alpha ,\beta >0}$

${\displaystyle f(x;\alpha,\beta)={\frac {1}{B(\alpha,\beta)}}{\frac {e^{-\beta x}}{(1+e^{-x})^{\alpha +\beta}}}={\frac {\sigma (x)^{\alpha}\sigma (-x)^{\beta}}{B(\alpha,\beta)}},}$

ここで、 は標準ロジスティック関数です。 3 つの異なる形状パラメータ セットの確率密度関数がプロットに表示されています。分布は、形状の比較を容易にするために、平均がゼロで分散が 1 になるようにスケーリングおよびシフトされています。 ${\displaystyle \sigma (x)=1/(1+e^{-x})}$

以下では、表記法を使用してタイプ IV 分布を表します。 ${\displaystyle B_{\sigma }(\alpha ,\beta )}$

この分布はガンマ分布を用いて次のように求めることができる。と を独立にとし、とする。すると となる。^[2]${\displaystyle y\sim {\text{ガンマ}}(\alpha ,\gamma )}$${\displaystyle z\sim {\text{Gamma}}(\beta ,\gamma )}$${\displaystyle x=\ln y-\ln z}$${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$

もしならば。 ${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle -x\sim B_{\sigma }(\beta ,\alpha )}$

ガンマ分布の対数期待値^{[ broken anchar ]}を使用すると、平均と分散は次のように導き出されます。

${\displaystyle {\begin{aligned}{\text{E}}[x]&=\psi (\alpha )-\psi (\beta )\\{\text{var}}[x]&=\psi '(\alpha )+\psi '(\beta )\\\end{aligned}}}$

ここで、はディガンマ関数、 はその第 1 導関数で、トリガンマ関数、または第 1ポリガンマ関数とも呼ばれます。は厳密に増加するため、平均の符号は の符号と同じになります。 は厳密に減少するため、形状パラメータは濃度パラメータとして解釈することもできます。実際、以下に示すように、またはが増加すると、左側と右側の裾はそれぞれ薄くなります。分散の 2 つの項は、分布の左側と右側の部分の分散への寄与を表します。 ${\displaystyle \psi}$${\displaystyle \psi '=\psi ^{(1)}}$${\displaystyle \psi}$${\displaystyle \alpha -\beta }$${\displaystyle \psi '}$${\displaystyle \alpha}$${\displaystyle \beta}$

キュムラント生成関数は であり、モーメント生成関数は上で与えられています。キュムラント、 、は で評価されたの - 次導関数です。 ${\displaystyle K(t)=\ln M(t)}$${\displaystyle M(t)}$${\displaystyle \kappa_{n}}$${\displaystyle n}$${\displaystyle K(t)}$${\displaystyle t=0}$

${\displaystyle \kappa _{n}=K^{(n)}(0)=\psi ^{(n-1)}(\alpha )+(-1)^{n}\psi ^{(n-1)}(\beta )}$

ここで、 およびは、ディガンマ関数とポリガンマ関数です。上記の導出と一致して、最初のキュムラント は平均であり、2 番目のキュムラントは分散です。 ${\displaystyle \psi ^{(0)}=\psi }$${\displaystyle \psi ^{(n-1)}}$${\displaystyle \kappa _{1}}$${\displaystyle \kappa _{2}}$

3番目のキュムラント は3番目の中心モーメント であり、これを標準偏差の3乗でスケールすると歪度が得られます。 ${\displaystyle \kappa _{3}}$${\displaystyle E[(x-E[x])^{3}]}$

${\displaystyle {\text{skew}}[x]={\frac {\psi ^{(2)}(\alpha )-\psi ^{(2)}(\beta )}{{\sqrt {{\text{var}}[x]}}^{3}}}}$

歪度の符号（したがって利き手）は の符号と同じです。 ${\displaystyle \alpha -\beta }$

モード（pdf 最大値）は、log pdf 導関数がゼロになる場所を 見つけることによって導出できます。${\displaystyle x}$

${\displaystyle {\frac {d}{dx}}\ln f(x;\alpha ,\beta )=\alpha \sigma (-x)-\beta \sigma (x)=0}$

これを簡略化すると次の式が得られる。^[2]${\displaystyle \alpha /\beta =e^{x}}$

${\displaystyle {\text{mode}}[x]=\ln {\frac {\alpha }{\beta }}}$

左裾と右裾のそれぞれにおいて、pdf のシグモイドの 1 つが 1 に飽和し、裾はもう一方のシグモイドによって形成されます。 が大きい負の の場合、pdf の左裾は に比例し、右裾 (大きい正の) は に比例します。つまり、裾はとによって独立に制御されます。 タイプ IV の裾は正規分布(分散 の場合 、 )の裾よりも重いですが、タイプ IV の平均と分散はすべての に対して有限のままです。これは、平均と分散が存在しないコーシー分布とは対照的です。ここに示す対数 pdf プロットでは、タイプ IV の裾は線形、正規分布の裾は二次関数、コーシーの裾は対数関数です。 ${\displaystyle x}$${\displaystyle \sigma (x)^{\alpha }\approx e^{\alpha x}}$${\displaystyle x}$${\displaystyle \sigma (-x)^{\beta }\approx e^{-\beta x}}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle e^{-{\frac {x^{2}}{2v}}}}$${\displaystyle v}$${\displaystyle \alpha ,\beta >0}$

${\displaystyle B_{\sigma }(\alpha ,\beta )}$は自然パラメータおよびおよび十分な統計量およびを持つ指数族を形成する。十分な統計量の期待値は対数正規化子の微分によって求められる。^[3] ${\displaystyle \alpha }$${\displaystyle \beta }$ ${\displaystyle \log \sigma (x)}$${\displaystyle \log \sigma (-x)}$

${\displaystyle {\begin{aligned}E[\log \sigma (x)]&={\frac {\partial \log B(\alpha ,\beta )}{\partial \alpha }}=\psi (\alpha )-\psi (\alpha +\beta )\\E[\log \sigma (-x)]&={\frac {\partial \log B(\alpha ,\beta )}{\partial \beta }}=\psi (\beta )-\psi (\alpha +\beta )\\\end{aligned}}}$

からIID生成されたと仮定したデータセットの場合、最大尤度パラメータ推定値は次のようになります。 ${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle B_{\sigma }(\alpha ,\beta )}$

${\displaystyle {\begin{aligned}{\hat {\alpha }},{\hat {\beta }}=\arg \max _{\alpha ,\beta }&\;{\frac {1}{n}}\sum _{i=1}^{n}\log f(x_{i};\alpha ,\beta )\\=\arg \max _{\alpha ,\beta }&\;\alpha {\Bigl (}{\frac {1}{n}}\sum _{i}\log \sigma (x_{i}){\Bigr )}+\beta {\Bigl (}{\frac {1}{n}}\sum _{i}\log \sigma (-x_{i}){\Bigr )}-\log B(\alpha ,\beta )\\=\arg \max _{\alpha ,\beta }&\;\alpha \,{\overline {\log \sigma (x)}}+\beta \,{\overline {\log \sigma (-x)}}-\log B(\alpha ,\beta )\end{aligned}}}$

ここで、上線は十分な統計量の平均値を表します。最大尤度推定値は、これらの平均統計量のみによってデータに依存します。実際、最大尤度推定値では、期待値と平均値は一致します。

${\displaystyle {\begin{aligned}\psi ({\hat {\alpha }})-\psi ({\hat {\alpha }}+{\hat {\beta }})&={\overline {\log \sigma (x)}}\\\psi ({\hat {\beta }})-\psi ({\hat {\alpha }}+{\hat {\beta }})&={\overline {\log \sigma (-x)}}\\\end{aligned}}}$

ここで、上記の最大値の偏微分はゼロになります。

他のディストリビューションとの関係は次のとおりです。

• ガンマ変量の対数比は、上で詳述したようにタイプ IVです。
• の場合、 はパラメータおよびを持つタイプ IV分布に従います。ベータプライム分布 を参照してください。${\displaystyle y\sim {\text{BetaPrime}}(\alpha ,\beta )}$${\displaystyle x=\ln y}$${\displaystyle \alpha }$${\displaystyle \beta }$
• および （ただし は2 番目のガンマ分布の速度パラメータとして使用される）の場合、 は複合ガンマ分布を持ちます。これは と同じなので、 はタイプ IV分布を持ちます。${\displaystyle z\sim {\text{Gamma}}(\beta ,1)}$${\displaystyle y\mid z\sim {\text{Gamma}}(\alpha ,z)}$${\displaystyle z}$${\displaystyle y}$${\displaystyle {\text{BetaPrime}}(\alpha ,\beta )}$${\displaystyle x=\ln y}$
• の場合、 はパラメータがおよびであるタイプ IV分布に従います。ベータ分布を参照してください。ロジット関数 は、ロジスティック関数の逆関数です。この関係により、この分布はロジスティックベータと呼ばれます。ロジスティック関数をロジスティックベータ変量に適用すると、変換された分布はベータになります。${\displaystyle p\sim {\text{Beta}}(\alpha ,\beta )}$${\displaystyle x={\text{logit}}\,p}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \mathrm {logit} (p)=\log {\frac {p}{1-p}}}$

形状パラメータの値が大きい場合、分布はよりガウス分布に近づき、次のようになります。 ${\displaystyle \alpha ,\beta \gg 1}$

${\displaystyle {\begin{aligned}E[x]&\approx \ln {\frac {\alpha }{\beta }}\\{\text{var}}[x]&\approx {\frac {\alpha +\beta }{\alpha \beta }}\end{aligned}}}$

これは、ここの PDF および log PDF プロットで実証されています。

ガンマ分布とベータ分布からのランダム サンプリングは多くのソフトウェア プラットフォームで簡単に利用できるため、これらの分布との上記の関係を使用して、タイプ IV 分布から変量を生成できます。

位置パラメータとスケールパラメータを追加することで、柔軟な 4 パラメータ族を得ることができます。これを行う 1 つの方法は、 の場合、 とすることです。ここで、 はスケールパラメータ、は位置パラメータです。このようにして得られた 4 パラメータ族には、必要な追加の柔軟性が備わっていますが、および のため、新しいパラメータの解釈が難しくなる可能性があります。さらに、このパラメータ化による最大尤度推定は困難です。これらの問題は次のように対処できます。 ${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle y=kx+\delta }$${\displaystyle k>0}$${\displaystyle \delta \in \mathbb {R} }$${\displaystyle \delta \neq E[y]}$${\displaystyle k^{2}\neq {\text{var}}[y]}$

の平均と分散は次のようになります。 ${\displaystyle x}$

${\displaystyle {\begin{aligned}{\tilde {\mu }}&=\psi (\alpha )-\psi (\beta ),&{\tilde {s}}^{2}&=\psi '(\alpha )+\psi '(\beta )\end{aligned}}}$

次に、変換によって、 位置パラメータとスケールパラメータを持つファミリを拡張します。${\displaystyle \mu \in \mathbb {R} }$${\displaystyle s>0}$

${\displaystyle {\begin{aligned}y&=\mu +{\frac {s}{\tilde {s}}}(x-{\tilde {\mu }})\iff x={\tilde {\mu }}+{\frac {\tilde {s}}{s}}(y-\mu )\end{aligned}}}$

となり、 と は解釈可能になります。 が正または負のいずれかであることを許容しても、上記の対称性の性質により、この族は一般化されないことに注意してください。 この族には という表記法を採用します。 ${\displaystyle \mu =E[y]}$${\displaystyle s^{2}={\text{var}}[y]}$${\displaystyle s}$${\displaystyle y\sim {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$

の pdfが の場合、 の pdf は次のようになります。 ${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle f(x;\alpha ,\beta )}$${\displaystyle y\sim {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$

${\displaystyle {\bar {f}}(y;\alpha ,\beta ,\mu ,s^{2})={\frac {\tilde {s}}{s}}\,f(x;\alpha ,\beta )}$

ここで、は の関数として、上で詳述したように計算されることがわかります。キャプションに(平均=0、分散=1)と記載されている上記の pdf および log-pdf プロットはに対するものです。 ${\displaystyle x}$${\displaystyle y,\alpha ,\beta ,\mu ,s}$${\displaystyle {\bar {B}}_{\sigma }(\alpha ,\beta ,0,1)}$

このセクションでは、データセットが与えられた場合の分布パラメータの最大尤度推定について、ファミリーとについて順に説明します。 ${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle B_{\sigma }(\alpha ,\beta )}$${\displaystyle {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$

上で述べたように、は自然パラメータ を持つ指数族であり、その最大尤度推定値は平均された十分な統計量のみに依存します。 ${\displaystyle B_{\sigma }(\alpha ,\beta )}$${\displaystyle \alpha ,\beta }$

${\displaystyle {\begin{aligned}{\overline {\log \sigma (x)}}&={\frac {1}{n}}\sum _{i}\log \sigma (x_{i})&&{\text{and}}&{\overline {\log \sigma (-x)}}&={\frac {1}{n}}\sum _{i}\log \sigma (-x_{i})\end{aligned}}}$

これらの統計が蓄積されると、最大尤度推定値は次のように与えられます。

${\displaystyle {\begin{aligned}{\hat {\alpha }},{\hat {\beta }}=\arg \max _{\alpha ,\beta >0}&\;\alpha \,{\overline {\log \sigma (x)}}+\beta \,{\overline {\log \sigma (-x)}}-\log B(\alpha ,\beta )\end{aligned}}}$

パラメータ化を使用することで、BFGSのような制約のない数値最適化アルゴリズムを使用できます。最適化の反復は、データセットのサイズに依存しないため高速です。 ${\displaystyle \theta _{1}=\log \alpha }$${\displaystyle \theta _{2}=\log \beta }$

代替案としては、合成に基づくEM アルゴリズムを使用する方法があります。 およびの場合。ガンマ分布の自己共役性により、 E ステップに必要な事後期待値、およびは閉じた形式で計算できます。Mステップパラメータ更新は、ガンマ分布 の最大尤度と同様に解くことができます 。 ${\displaystyle x-\log(\gamma \delta )\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle z\sim {\text{Gamma}}(\beta ,\gamma )}$${\displaystyle e^{x}\mid z\sim {\text{Gamma}}(\alpha ,z/\delta )}$${\displaystyle \left\langle z\right\rangle _{P(z\mid x)}}$${\displaystyle \left\langle \log z\right\rangle _{P(z\mid x)}}$

pdf を持つの最大尤度問題は次のとおりです。 ${\displaystyle {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$${\displaystyle {\bar {f}}}$

${\displaystyle {\hat {\alpha }},{\hat {\beta }},{\hat {\mu }},{\hat {s}}=\arg \max _{\alpha ,\beta ,\mu ,s}\log {\frac {1}{n}}\sum _{i}{\bar {f}}(x_{i};\alpha ,\beta ,\mu ,s^{2})}$

これはもはや指数族ではないため、各最適化反復はデータセット全体を走査する必要があります。さらに、偏微分(たとえば BFGS で必要) の計算は、上記の 2 つのパラメータの場合よりもかなり複雑です。ただし、すべてのコンポーネント関数は、自動微分機能を備えたソフトウェア パッケージですぐに使用できます。また、正のパラメータを対数でパラメータ化して、制約のない数値最適化問題を取得できます。

この問題では、初期の位置とスケールのパラメータが適切に選択されていないと、数値最適化が失敗する可能性があります。ただし、上記のパラメータ化におけるこれらのパラメータの解釈可能性を使用して、これを実行できます。具体的には、およびの初期値は、データの経験的平均と分散に設定できます。 ${\displaystyle {\bar {B}}_{\sigma }}$${\displaystyle \mu }$${\displaystyle s^{2}}$

• シャンパーノウン分布、ロジスティック分布の別の一般化。