自然指数族

確率と統計において、自然指数族( NEF ) は、指数族(EF)の特殊なケースである確率分布のクラスです。

自然指数族 (NEF) は指数族のサブセットです。NEF は、自然パラメータηと自然統計量T ( x ) が両方とも恒等関数である指数族です。パラメータθを持つ指数族の分布は、確率密度関数(PDF) で表すことができます。 ここで、 と は既知の関数です。したがって、パラメータ θ を持つ自然指数族の分布は PDF で表すことができます [NEF の考案者である Carl Morris は、わずかに異なる表記法を使用していることに注意してください。^{[1] Morris は、} ηの代わりにω を、Aの代わりにψ を 使用しています。] $${\displaystyle f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \eta (\theta )T(x)-A(\theta )\ {\Big )}\,\!,}$$${\displaystyle h(x)}$${\displaystyle A(\theta )}$$${\displaystyle f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \theta xA(\theta )\ {\Big )}\,\!.}$$

とすると、 p次の自然指数族は次のような形の密度関数または質量関数を持つ。 この場合、パラメータ${\displaystyle \mathbf {x} \in {\mathcal {X}}\subseteq \mathbb {R} ^{p}}$$${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\ \exp {\Big (}{\boldsymbol {\theta }}^{\rm {T}}\mathbf {x} -A({\boldsymbol {\theta }})\ {\Big )}\,\!,}$$${\displaystyle {\boldsymbol {\theta}}\in \mathbb {R} ^{p}.}$

自然指数族のメンバーは、次の形式の モーメント生成関数（MGF）を持つ。$${\displaystyle M_{X}(\mathbf {t} )=\exp {\Big (}\ A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\ {\Big )}\,.}$$

キュムラント生成関数は定義上MGFの対数なので、 $${\displaystyle K_{X}(\mathbf {t} )=A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\,.}$$

最も重要な 5 つの単変量ケースは次のとおりです。

• 既知の分散を持つ正規分布
• ポアソン分布
• 形状パラメータα（または、使用される表記セットに応じてk ）が既知のガンマ分布
• 試行回数が既知の二項分布、 n
• 既知の負の二項分布${\displaystyle r}$

これら 5 つの例 (ポアソン分布、二項分布、負の二項分布、正規分布、ガンマ分布) は NEF の特殊なサブセットであり、分散を平均の 2 次関数として表すことができることから、2 次分散関数を持つ NEF (NEF-QVF) と呼ばれます。NEF-QVF については以下で説明します。

指数分布、ベルヌーイ分布、幾何分布などの分布は、上記の 5 つの分布の特殊なケースです。たとえば、ベルヌーイ分布はn  = 1 試行の二項分布であり、指数分布は形状パラメータ α = 1 (またはk = 1 )のガンマ分布であり 、幾何分布は負の二項分布の特殊なケースです。

一部の指数族分布は NEF ではありません。対数正規分布とベータ分布は指数族に属しますが、自然指数族には属しません。2つのパラメータを持つガンマ分布は指数族ですが NEF ではありません 。カイ 2 乗分布は、固定スケール パラメータを持つガンマ分布の特殊なケースであるため、これも指数族ですが NEF ではありません (固定形状パラメータを持つガンマ分布のみが NEF であることに注意してください)。

逆ガウス分布は、 3 次分散関数を持つ NEF です。

上記の分布のほとんどのパラメータ化は、教科書や上記のリンクされたページで一般的に使用されているパラメータ化とは異なって書かれています。たとえば、上記のパラメータ化は、ポアソン分布の場合のリンクされた記事のパラメータ化とは異なります。2つのパラメータ化は によって関連付けられており、ここでλは平均パラメータであり、密度は に対して と記述できる ため、 ${\displaystyle \theta =\log(\lambda )}$$${\displaystyle f(k;\theta )={\frac {1}{k!}}\exp {\Big (}\ \theta \ k-\exp(\theta )\ {\Big )}\ ,}$$${\displaystyle \theta \in \mathbb {R} }$$${\displaystyle h(k)={\frac {1}{k!}},{\text{ および }}A(\theta )=\exp(\theta )\ .}$$

この代替パラメータ化により、数理統計学の計算が大幅に簡素化されます。たとえば、ベイズ推論では、事後確率分布は2 つの分布の積として計算されます。通常、この計算には確率分布関数 (PDF) を書き出して積分する必要がありますが、上記のパラメータ化を使用すると、その計算を回避できます。代わりに、以下で説明する NEF の特性により、分布間の関係を抽象化できます。

多変量の場合の例としては、試行回数が既知の 多項分布があります。

自然指数族の特性を利用すると、これらの分布に関する計算を簡素化できます。

多変量の場合、平均ベクトルと共分散行列は^[要出典] で、は勾配、はヘッセ行列です。 $${\displaystyle \operatorname {E} [X]=\nabla A({\boldsymbol {\theta }}){\text{ および }}\operatorname {Cov} [X]=\nabla \nabla ^{\rm {T}}A({\boldsymbol {\theta }})\,,}$$${\displaystyle \nabla}$${\displaystyle \nabla \nabla ^{\rm {T}}}$

自然指数族の特殊なケースとして、2次分散関数を持つものがあります。6つのNEFには2次分散関数（QVF）があり、分布の分散は平均の2次関数として表すことができます。これらはNEF-QVFと呼ばれます。これらの分布の特性は、カール・モリスによって初めて説明されました。^[3]

$${\displaystyle \operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2}.}$$

ここでは、分散と平均の関係の複雑さが増すにつれて、6 つの NEF-QVF が記述されます。

1. 固定分散を持つ正規分布は、分散が一定であるため NEF-QVF です。分散は と表記できるため、分散は平均の次数 0 の関数です。${\displaystyle X\sim N(\mu ,\sigma ^{2})}$${\displaystyle \operatorname {Var} (X)=V(\mu )=\sigma ^{2}}$
2. すべてのポアソン分布の分散は平均に等しく、分散は平均の線形関数であるため、ポアソン分布は NEF-QVF です。${\displaystyle X\sim \operatorname {ポアソン} (\mu )}$${\displaystyle \operatorname {Var} (X)=V(\mu )=\mu }$
3. ガンマ分布は NEF-QVF です。ガンマ分布の平均は であり、ガンマ分布の分散は であり、分散は平均の 2 次関数だからです。${\displaystyle X\sim \operatorname {ガンマ} (r,\lambda )}$${\displaystyle \mu =r\lambda }$${\displaystyle \operatorname {Var} (X)=V(\mu )=\mu ^{2}/r}$
4. 二項分布はNEF-QVFです。なぜなら平均はであり、分散はであり、平均を使って次のように表すことができるからです。 ${\displaystyle X\sim \operatorname {二項式} (n,p)}$${\displaystyle \mu =np}$${\displaystyle \operatorname {Var} (X)=np(1-p)}$

   ${\displaystyle V(X)=-np^{2}+np=-\mu ^{2}/n+\mu .}$

5. 負の二項分布は平均が、分散が${\displaystyle X\sim \operatorname {NegBin} (n,p)}$${\displaystyle \mu =np/(1-p)}$${\displaystyle V(\mu )=\mu ^{2}/n+\mu .}$
6. ^{一般化された[説明が必要]} 双曲正割分布（NEF-GHS）によって生成される（あまり有名ではない）分布は^{[引用が必要]} であり、${\displaystyle V(\mu )=\mu ^{2}/n+n}$${\displaystyle \mu >0.}$

NEF-QVF の特性により、これらの分布を使用する計算を簡素化できます。

• 一般化線形モデル
• ピアソン分布
• シェファーシーケンス
• 直交多項式

• Morris C. (1982)二次分散関数を持つ自然指数族: 統計理論テキサス大学オースティン校、統計研究所、数学部。