指数族

確率と統計において、指数族は、以下に示す特定の形式の確率分布のパラメトリック集合です。この特別な形式は、数学的な便宜のために選択されており、ユーザーがいくつかの有用な代数的性質に基づく微分を使用して期待値や共分散を計算できるようにするだけでなく、指数族は、ある意味で非常に自然な分布の集合であるため、一般性も考慮されています。指数クラスという用語は、「指数族」 ^[¹^]または古い用語であるクープマン-ダルモワ族の代わりに使用されることがあります。指数族と漠然と呼ばれることもあるこの分布のクラスは、すべてさまざまな望ましい性質を持っているため、区別されます。最も重要なのは、十分統計量が存在することです。

指数族の概念は、1935年から1936年にかけて[ ^{2 ] EJG} Pitman、^{[ 3 ]} G. Darmois、^{[ 4 ]}およびBO Koopman ^{[ 5 ]}によって提唱されました。分布の指数族は、自然パラメータの観点から、分布のパラメトリック族の可能な代替パラメータ化を選択するための一般的な枠組みを提供し、その族の自然十分統計量と呼ばれる有用な標本統計量を定義します。

命名法の難しさ

「分布」と「族」という用語はしばしば曖昧に使われます。具体的には、指数族は分布の集合であり、特定の分布はパラメータによって変化します。^{[ a ]}ただし、分布のパラメトリック族はしばしば「分布」（「正規分布」のように、「正規分布の族」を意味する）と呼ばれ、すべての指数族の集合は、時として「その」指数族と曖昧に呼ばれます。

意味

一般的に用いられる分布のほとんどは、指数型分布族、あるいは指数型分布族の部分集合を形成しており、それらは以下の項に列挙されています。続く項では、指数型分布族のより一般的な数学的定義を順に示していきます。一般の読者は、離散的または連続的な確率分布の単一パラメータ族に対応する、最初の最も単純な定義にのみ注目しても構いません。

指数型分布族の例

指数型分布族には、最も一般的な分布の多くが含まれています。その他多くの分布の中でも、指数型分布族には次のものが含まれます。^{[ 6 ]}

一般的な分布の多くは指数型分布族ですが、それは特定のパラメータが固定されていて既知の場合に限られます。例えば：

二項分布（試行回数固定）
多項分布（試行回数固定）
負の二項分布（故障回数が固定されている場合）

なお、いずれの場合も、固定しなければならないパラメータは、観測可能な値の範囲を制限するパラメータであることに注意してください。

指数分布族ではない一般的な分布の例としては、スチューデントのt分布、ほとんどの混合分布、そして境界が固定されていない場合の一様分布族などが挙げられます。詳細については、以下の例に関するセクションを参照してください。

スカラーパラメータ

価値 $\theta$ これは、その族のパラメータと呼ばれます。

単一パラメータ指数型分布族とは、確率密度関数（離散分布の場合は確率質量関数）が次の形式で表せる確率分布の集合である。

$f_{X}{\left(x\,{\big |}\,\theta \right)}=h(x)\,\exp \left[\eta (\theta )\cdot T(x)-A(\theta )\right]$

ここで $、T (x)$ 、 $h (x)$ 、 $η (θ)$ 、および $A (θ)$ は既知の関数である。関数 $h (x)$ は非負でなければならない。

代替の同等の形式としてよく用いられるのは次のとおりである。

$f_{X}{\left(x\ {\big |}\ \theta \right)}=h(x)\,g(\theta )\,\exp \left[\eta (\theta )\cdot T(x)\right]$

または同等に

$f_{X}{\left(x\ {\big |}\ \theta \right)}=\exp \left[\eta (\theta )\cdot T(x)-A(\theta )+B(x)\right].$

対数確率の観点から、 $\log(f_{X}{\left(x\ {\big |}\ \theta \right)})=\eta (\theta )\cdot T(x)-A(\theta )+B(x).$

ご了承ください $g(\theta )=e^{-A(\theta )}$ そして $h(x)=e^{B(x)}$ 。

$サポートはθ$ に依存しない必要がある

重要なことに、 $f_{X}{\left(x{\big |}\theta \right)}$ （考えられるすべてのこと） $x$ 値 $f_{X}\!\left(x{\big |}\theta \right)$ より大きい $0$ ) は依存しないことが求められます $\theta ~.$ ^{[ 7 ]} この要件は、パラメトリック分布族が指数分布族であることを除外するために使用できます。

例えば、パレート分布には、次のように定義される確率密度関数があります。 $x\geq x_{\mathsf {m}}$ （最小値、 $x_{m}\ ,$ は尺度パラメータであり、したがってそのサポートには下限値がある。 $x_{\mathsf {m}}~.$ 以来、 $f_{\alpha ,x_{m}}\!(x)$ パラメータの値に依存するため、パレート分布の族は指数分布族を形成しない（少なくとも $x_{m}$ 不明です。

別の例として、ベルヌーイ型の分布（二項分布、負の二項分布、幾何分布など）は、ベルヌーイ試行の回数 $n$ を固定定数として扱い、自由パラメータから除外した場合にのみ、指数クラスに含めることができます。 $\theta$ なぜなら、許容される試行回数によって、一連の試行で観察できる「成功」または「失敗」の数に制限が設けられるからである。

ベクトル値 $x$ と $θ$

頻繁 $x$ は測定値のベクトルであり、その場合 $T(x)$ は、可能な値の空間からの関数である可能性がある。 $x$ 実際の数字へ。

より一般的には、 $\eta (\theta )$ そして $T(x)$ それぞれがベクトル値となり、 $\eta (\theta )\cdot T(x)$ は実数値です。ただし、曲線指数型分布族に関するベクトルパラメータについての以下の説明を参照してください。

正準形式

もし $\eta (\theta )=\theta \ ,$ すると、指数型分布族は標準形であると言われる。変換されたパラメータを定義することによって $\eta =\eta (\theta )\ ,$ 指数型族を標準形に変換することは常に可能です。標準形は一意ではありません。 $\eta (\theta )$ $T (x)$ にその定数の逆数を掛けるか、定数 $c$ を加算すれば、任意のゼロでない定数を掛けることができます。 $\eta (\theta )$ そして $h (x)$ に $\exp \left[{-c}\cdot T(x)\,\right]$ それを相殺するため。特別な場合、 $\eta (\theta )=\theta$ そして $T (x) = x$ の場合、その族は自然指数族と呼ばれます。

たとえ $x$ はスカラーであり、パラメータは1つだけです。関数 $\eta (\theta )$ そして $T(x)$ 以下で説明するように、ベクトルである場合もあります。

機能 $A(\theta )\ ,$ または同等に $g(\theta )\ ,$ 他の関数が選択されると、は自動的に決定されます。なぜなら、分布が正規化される（全領域にわたって合計または積分して1になる）形式をとる必要があるからです。さらに、これらの関数は両方とも常にの関数として記述できます。 $\eta \ ,$ たとえ $\eta (\theta )$ は一対一関数ではない、つまり 2 つ以上の異なる値 $\theta$ 同じ値にマッピングする $\eta (\theta )\ ,$ そしてそれゆえに $\eta (\theta )$ 反転することはできません。そのような場合、すべての値は $\theta$ 同じものにマッピングする $\eta (\theta )$ また、同じ値になります $A(\theta )$ そして $g(\theta )~.$

関係する変数の因数分解

重要な点、そしてすべての指数型分布に共通する特徴は、パラメータと観測変数が、直接的または指数演算のいずれかの部分（底または指数）内で因数分解（それぞれが1種類の変数のみを含む積に分解できる）できる必要があるということです。一般的に、これは密度関数または質量関数を構成するすべての因子が、以下のいずれかの形式である必要があることを意味します。

${\begin{aligned}f(x),&&c^{f(x)},&&{[f(x)]}^{c},&&{[f(x)]}^{g(\theta )},&&{[f(x)]}^{h(x)g(\theta )},\\g(\theta ),&&c^{g(\theta )},&&{[g(\theta )]}^{c},&&{[g(\theta )]}^{f(x)},&&~~{\mathsf {or}}~~{[g(\theta )]}^{h(x)j(\theta )},\end{aligned}}$

ここで、 $f$ と $h は$ $観測された統計変数x$ の任意の関数であり、 $g$ と $j$ は、 $\theta ,$ 分布の形状を定義する固定パラメータ。c は $任意$ $の定数式 (つまり、 x$ またはのどちらにも依存しない数値または式) です。 $\theta$ )

このような要因がいくつ発生するかについては、さらに制限があります。例えば、次の2つの表現が挙げられます。

${[f(x)g(\theta )]}^{h(x)j(\theta )},\qquad {[f(x)]}^{h(x)j(\theta )}{[g(\theta )]}^{h(x)j(\theta )},$

これらは同じであり、つまり 2 つの「許容される」因数の積です。ただし、因数分解された形式に書き直すと、

${\begin{aligned}{\left[f(x)g(\theta )\right]}^{h(x)j(\theta )}&={\left[f(x)\right]}^{h(x)j(\theta )}{\left[g(\theta )\right]}^{h(x)j(\theta )}\\[4pt]&=\exp \left\{{[h(x)\log f(x)]j(\theta )+h(x)[j(\theta )\log g(\theta )]}\right\},\end{aligned}}$

ご覧のとおり、これは要求された形式で表現することはできません。（ただし、このような形式は曲線指数関数族に属し、指数部に複数の因数分解された項が含まれる可能性があります。）

形式の表現がなぜ

${[f(x)]}^{g(\theta )}$

適格である、 ${[f(x)]}^{g(\theta )}=e^{g(\theta )\log f(x)}$

したがって、指数内部で因数分解されます。同様に、

${[f(x)]}^{h(x)g(\theta )}=e^{h(x)g(\theta )\log f(x)}=e^{[h(x)\log f(x)]g(\theta )}$

そして再び指数部の中で因数分解します。

両方のタイプの変数が含まれる合計で構成される因子（例：次の形式の因子） $1+f(x)g(\theta )$ ) は、この方法で因数分解することはできません (指数に直接現れる場合を除く)。これが、例えばコーシー分布やスチューデントのt分布が指数型分布族ではない理由です。

ベクトルパラメータ

1つの実数パラメータによる定義は、 1つの実数ベクトルパラメータに拡張できる。

$\begin{bmatrix}\theta _{1}&\theta _{2}&\cdots &\theta _{s}\end{bmatrix}}^{\mathsf {T}}.}$

分布族は、確率密度関数（または離散分布の場合は確率質量関数）が次のように書ける場合に、ベクトル指数族に属すると言われます。

$f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)~,$

またはよりコンパクトな形で、

$f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\theta }})\right]$

この形式では、和をベクトル値関数の内積として表します。 ${\boldsymbol {\eta }}({\boldsymbol {\theta }})$ そして $T (x)$ 。

よく見られる代替の同等の形式は次のとおりです。

$f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)\right]$

スカラー値の場合と同様に、指数族が標準形であるとは、

$\eta _{i}({\boldsymbol {\theta }})=\theta _{i}~,\quad \forall i\,.$

ベクトル指数族は、次元が

${\boldsymbol {\theta }}\equiv {\begin{bmatrix}\theta _{1}&\theta _{2}&\cdots &\theta _{d}\end{bmatrix}}^{\mathsf {T}}$

ベクトルの次元より小さい

${\boldsymbol {\eta }}({\boldsymbol {\theta }})\equiv {\begin{bmatrix}\eta _{1}{\!({\boldsymbol {\theta }})}&\eta _{2}{\!({\boldsymbol {\theta }})}&\cdots &\eta _{s}{\!({\boldsymbol {\theta }})}\end{bmatrix}}^{\mathsf {T}}~.$

つまり、パラメータベクトルの次元 $d$ が、上記の確率密度関数の表現におけるパラメータベクトルの関数の数s $より小さい$ 場合です。指数族の最も一般的な分布は曲線ではなく、任意の指数族を扱うように設計された多くのアルゴリズムは、暗黙的または明示的に、分布が曲線ではないことを前提としています。

スカラー値パラメータの場合と同様に、関数 $A({\boldsymbol {\theta }})$ または同等に $g({\boldsymbol {\theta }})$ 他の関数が選択されると、正規化制約によって自動的に決定されます。 ${\boldsymbol {\eta }}({\boldsymbol {\theta }})$ 1対1ではなく、関数 $A({\boldsymbol {\eta }})$ そして $g({\boldsymbol {\eta }})$ 自然パラメータの各値に対して分布が正規化されていることを要求することで定義できる。 ${\boldsymbol {\eta }}$ これにより、標準形が得られます。

$f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\exp \left[{\boldsymbol {\eta }}\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }})\right],$

または同等に

$f_{X}(x\mid {\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})\exp \left[{\boldsymbol {\eta }}\cdot \mathbf {T} (x)\right].$

上記の形式は、時折見られることがあります。 ${\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)$ の代わりに ${\boldsymbol {\eta }}\cdot \mathbf {T} (x)\,$ これらは、ドット積の表記法が異なるだけで、全く同じ定式化です。

ベクトルパラメータ、ベクトル変数

単一のスカラー値確率変数に関するベクトルパラメータ形式は、確率変数のベクトルに関する同時分布を記述するために容易に拡張できる。結果として得られる分布は、スカラー値確率変数に関する上記の分布と全く同じであり、スカラー $x$ の各出現箇所がベクトルに置き換えられている。

$\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{k}\end{bmatrix}}^{\mathsf {T}}.$

確率変数の次元 $k$ は、パラメータベクトルの次元 $d$ と一致する必要はなく、また（曲線指数関数の場合）自然パラメータの次元 $sとも一致する必要はない。$ ${\boldsymbol {\eta }}$ そして十分統計量 $T (x)$ 。

この場合の分布は次のように表されます。

$f_{X}{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=h(\mathbf {x} )\,\exp \!\left[\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\right]$

あるいはもっと簡潔に言うと

$f_{X}{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=h(\mathbf {x} )\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\right]$

あるいは、

$f_{X}{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=g({\boldsymbol {\theta }})\,h(\mathbf {x} )\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )\right]$

測度論的定式化

離散分布と連続分布の両方を包含するために、累積分布関数（CDF）を使用します。

$H$ が実変数の非減少関数であると仮定します。このとき、に関するルベーグ・スティルチェス積分は $dH(\mathbf {x} )$ $これらは、 H$ によって生成される指数族の参照測度に関する積分です。

その指数族のどのメンバーも累積分布関数を持つ

$dF{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=\exp \left[{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\right]~dH(\mathbf {x} )\,.$

$H (x)$ は参照測度のルベーグ・スティルチェス積分器です $。参照測度が有限の場合、正規化することができ、 H$ は実際には確率分布の累積分布関数になります。F $が$ 密度関数を持つ絶対連続である $f(x)$ 基準尺度に関して $dx$ （典型的にはルベーグ測度）は次のように書ける。 $dF(x)=f(x)\,dx$ この場合、 $H$ も絶対連続であり、次のように書くことができる。 $dH(x)=h(x)\,dx$ したがって、式は前の段落の式に帰着します。Fが離散的である場合 $、$ H $は$ 階段関数（ $F$ のサポート上に階段を持つ）になります。

あるいは、確率測度を直接次のように書くこともできます。

$P\left(d\mathbf {x} \mid {\boldsymbol {\theta }}\right)=\exp \left[{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\right]~\mu (d\mathbf {x} )\,.$

何らかの基準尺度 $\mu \,$ 。

解釈

上記の定義において、関数 $T (x)$ 、 $η (θ)$ 、および $A (η)$ は任意の値であった。しかしながら、これらの関数は結果として得られる確率分布において重要な意味を持つ。

$T (x)は分布の$ 十分統計量です、未知のパラメータ値に関して $データx$ が提供するすべての情報を保持するデータの関数です $x$ そして $y$ 尤度比は同じ、つまり ${\frac {f(x;\theta _{1})}{f(x;\theta _{2})}}={\frac {f(y;\theta _{1})}{f(y;\theta _{2})}}$ $T (x) = T (y)$ の場合。これは、 $x$ と $y$ が等しくない場合でも当てはまります $。T (x)の次元は$ $θ$ のパラメータの数に等しく、パラメータ $θに関連するデータに関するすべての情報を包含します。$ 独立同分布データ観測値の十分統計量は、個々の十分統計量の合計であり、データが与えられた場合のパラメータの事後分布を記述するために必要なすべての情報（したがって、パラメータの任意の推定値を導出するために必要な情報）を包含します。（この重要な性質については、後述でさらに詳しく説明します。）
$ηは$ 自然パラメータと呼ばれます。 $関数$ が $f_{X}(x;\eta )$ 積分可能な空間は自然パラメータ空間と呼ばれる。自然パラメータ空間は常に凸であることが示される。
$A (η)$ は対数分割関数^{[ b ]}は正規化係数の対数であるため、 $f_{X}(x;\theta )$ 確率分布にはならないでしょう。 $A(\eta )=\log \left(\int _{X}h(x)\,\exp \left[\eta (\theta )\cdot T(x)\right]\,dx\right)$

The function $A$ is important in its own right, because the mean, variance and other moments of the sufficient statistic $T (x)$ can be derived simply by differentiating $A (η)$ . For example, because $log(x)$ is one of the components of the sufficient statistic of the gamma distribution, $\operatorname {\mathcal {E}} [\log x]$ can be easily determined for this distribution using $A (η)$ . Technically, this is true because $K{\left(u\mid \eta \right)}=A(\eta +u)-A(\eta )\,,$ is the cumulant generating function of the sufficient statistic.

Properties

Exponential families have a large number of properties that make them extremely useful for statistical analysis. In many cases, it can be shown that only exponential families have these properties. Examples:

Exponential families are the only families with sufficient statistics that can summarize arbitrary amounts of independent identically distributed data using a fixed number of values. (Pitman–Koopman–Darmois theorem)
Exponential families have conjugate priors, an important property in Bayesian statistics.
The posterior predictive distribution of an exponential-family random variable with a conjugate prior can always be written in closed form (provided that the normalizing factor of the exponential-family distribution can itself be written in closed form).^[c]
In the mean-field approximation in variational Bayes (used for approximating the posterior distribution in large Bayesian networks), the best approximating posterior distribution of an exponential-family node (a node is a random variable in the context of Bayesian networks) with a conjugate prior is in the same family as the node.^[8]

Given an exponential family defined by $f_{X}{\!(x\mid \theta )}=h(x)\exp \left[\theta \cdot T(x)-A(\theta )\right]$ , where $\Theta$ is the parameter space, such that $\theta \in \Theta \subset \mathbb {R} ^{k}$ . Then

If $\Theta$ has nonempty interior in $\mathbb {R} ^{k}$ , then given any IID samples $X_{1},...,X_{n}\sim f_{X}$ , the statistic ${\textstyle T(X_{1},\dots ,X_{n}):=\sum _{i=1}^{n}T(X_{i})}$ is a complete statistic for $\theta$ .^[9]^[10]
$T$ is a minimal statistic for $\theta$ if and only if for all $\theta _{1},\theta _{2}\in \Theta$ , and $x_{1},x_{2}$ in the support of $X$ , if $(\theta _{1}-\theta _{2})\cdot [T(x_{1})-T(x_{2})]=0$ , then $\theta _{1}=\theta _{2}$ or $x_{1}=x_{2}$ .^[11]

Examples

It is critical, when considering the examples in this section, to remember the discussion above about what it means to say that a "distribution" is an exponential family, and in particular to keep in mind that the set of parameters that are allowed to vary is critical in determining whether a "distribution" is or is not an exponential family.

The normal, exponential, log-normal, gamma, chi-squared, beta, Dirichlet, Bernoulli, categorical, Poisson, geometric, inverse Gaussian, ALAAM, von Mises, and von Mises-Fisher distributions are all exponential families.

Some distributions are exponential families only if some of their parameters are held fixed. The family of Pareto distributions with a fixed minimum bound x_m form an exponential family. The families of binomial and multinomial distributions with fixed number of trials n but unknown probability parameter(s) are exponential families. The family of negative binomial distributions with fixed number of failures (a.k.a. stopping-time parameter) r is an exponential family. However, when any of the above-mentioned fixed parameters are allowed to vary, the resulting family is not an exponential family.

As mentioned above, as a general rule, the support of an exponential family must remain the same across all parameter settings in the family. This is why the above cases (e.g. binomial with varying number of trials, Pareto with varying minimum bound) are not exponential families — in all of the cases, the parameter in question affects the support (particularly, changing the minimum or maximum possible value). For similar reasons, neither the discrete uniform distribution nor continuous uniform distribution are exponential families as one or both bounds vary.

The Weibull distribution with fixed shape parameter k is an exponential family. Unlike in the previous examples, the shape parameter does not affect the support; the fact that allowing it to vary makes the Weibull non-exponential is due rather to the particular form of the Weibull's probability density function (k appears in the exponent of an exponent).

一般に、他の分布の有限または無限の混合から生じる分布（例えば、混合モデル密度や複合確率分布）は、指数型分布族ではありません。例としては、典型的なガウス混合モデルや、分布とそのパラメータの1つに関する事前分布を複合（つまり無限に混合）することによって生じる多くの裾の重い分布（例えば、スチューデントの t 分布（正規分布とガンマ分布の精度事前分布を複合したもの）、ベータ二項分布、ディリクレ多項分布など）が挙げられます。指数型分布族ではない分布の他の例としては、F分布、コーシー分布、超幾何分布、ロジスティック分布などがあります。

以下に、いくつかの有用な分布を指数型分布族として表現した詳細な例を示します。

正規分布：平均は不明、分散は既知

最初の例として、未知の平均 $μ$ と既知の分散 $σ²$ を持つ正規分布に従う確率変数を考えてみましょう。確率密度関数は次のようになります $。$

$f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/2\sigma ^{2}}.$

これは単一パラメータ指数型分布族であり、以下のように設定することで確認できます。

${\begin{aligned}T_{\sigma }(x)&={\frac {x}{\sigma }},&h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-x^{2}/2\sigma ^{2}},\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}},&\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}$

$σ = 1 の$ 場合、これは標準形になります。なぜなら、 $η$ $($ $μ$ $) =$ $μ$ となるからです。

正規分布：平均と分散が不明

次に、平均と分散が未知の正規分布の場合を考えます。確率密度関数は次のようになります。

$f(y;\mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(y-\mu )^{2}/2\sigma ^{2}}.$

これは指数族であり、次のように定義することで標準形で記述できます。

${\begin{aligned}h(y)&={\frac {1}{\sqrt {2\pi }}},&{\boldsymbol {\eta }}&=\left[{\frac {\mu }{\sigma ^{2}}},~-{\frac {1}{2\sigma ^{2}}}\right],\\T(y)&=\left(y,y^{2}\right)^{\mathsf {T}},&A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}$

二項分布

離散指数族の例として、試行回数 $n$ が既知の二項分布を考えてみましょう。この分布の確率質量関数は次のようになります。 $f(x)={\binom {n}{x}}p^{x}{\left(1-p\right)}^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.$ これは以下のようにも書ける。 $f(x)={\binom {n}{x}}\exp \left[x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right],$ これは、二項分布が指数族であり、その自然パラメータが $\eta =\log {\frac {p}{1-p}}.$ このpの関数はロジットとして知られています。

分布表

次の表は、いくつかの一般的な分布を自然パラメータを持つ指数型分布族として書き換える方法を示しています。主な指数型分布族については、フラッシュカード^{[ 12 ]}を参照してください。

スカラー変数とスカラーパラメータの場合、形式は次のようになります。

$f_{X}(x\mid \theta )=h(x)\exp \left[\eta ({\theta })T(x)-A(\eta )\right]$

スカラー変数とベクトルパラメータの場合：

${\begin{aligned}f_{X}(x\mid {\boldsymbol {\theta }})&=h(x)\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }})\right]\\[4pt]f_{X}(x\mid {\boldsymbol {\theta }})&=h(x)\,g({\boldsymbol {\theta }})\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)\right]\end{aligned}}$

ベクトル変数とベクトルパラメータの場合：

$f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\eta }})\right]$

上記の式は、対数分割関数を持つ指数族の関数形式を選択する。 $A({\boldsymbol {\eta }})$ その理由は、この関数を微分するだけで十分統計量のモーメントを簡単に計算できるようにするためです。別の形式では、この関数を正規パラメータでパラメータ化します。 ${\boldsymbol {\theta }}$ 自然パラメータの代わりに、および/または係数を使用する $g({\boldsymbol {\eta }})$ 指数関数の外側。後者と前者の関係は次のとおりです。 ${\begin{aligned}A({\boldsymbol {\eta }})&=-\log g({\boldsymbol {\eta }}),\\[2pt]g({\boldsymbol {\eta }})&=e^{-A({\boldsymbol {\eta }})}\end{aligned}}$ 2種類のパラメータを含む表現を相互に変換するには、以下の式を使用して、一方の種類のパラメータをもう一方の種類のパラメータで表します。

1 2 3アイバーソン括弧は、離散デルタ関数の一般化です。括弧内の式が真の場合、括弧の値は 1 になります。括弧内の式が偽の場合、アイバーソン括弧は 0 になります。波括弧など、さまざまな表記法があります。⧙ $a$ $=$ $b$ $⧘ は$ $、上記の$ $[a = b]$ 表記法と同等です。

カテゴリ分布と多項分布の 3 つのバリアントは、パラメータが $p_{i}$ 制約条件は以下のとおりです。

$\sum _{i=1}^{k}p_{i}=1\,.$

したがって、 $k-1$ 独立したパラメータ。

バリアント1では $k$ 標準パラメータと自然パラメータの間に単純な関係がある自然パラメータ。ただし、 $k-1$ 自然パラメータのは独立しており、 $k$ 自然パラメータは識別不可能である。通常のパラメータに対する制約は、自然パラメータに対する同様の制約に置き換えられる。
バリアント2は、自然パラメータの全体が識別不可能であることを示しています。自然パラメータに定数値を加えても、結果として得られる分布には影響がありません。しかし、自然パラメータに対する制約を用いることで、自然パラメータを用いた正規パラメータの式を、加える定数に依存しない形で記述することができます。
バリアント3は、パラメータを便利な方法で識別できるようにする方法を示しています。 $C=-\log p_{k}\ .$ これは実質的に「回転」する $p_{k}$ そして、最後の自然パラメータの定数値を0にします。残りのすべての式は、アクセスしない方法で記述されています。 $p_{k}$ そのため、実質的にモデルには $k-1$ 通常のパラメータと自然パラメータの両方。

バリアント 1 と 2 は、実際には標準的な指数型分布族ではありません。むしろ、曲線指数型分布族です。つまり、 $k-1$ 独立したパラメータが埋め込まれている $k$ 次元パラメータ空間。^{[ 13 ]}指数型分布族に関する標準的な結果の多くは、曲線型指数型分布族には適用されません。例として、対数分割関数が挙げられます。 $A(x)$ 曲線の場合、この関数の値は 0 になります。標準的な指数型分布族では、この関数の導関数は、十分統計量のモーメント (より厳密にはキュムラント)、例えば平均と分散に対応します。しかし、値が 0 ということは、すべての十分統計量の平均と分散が一様に 0 であることを示唆していますが、実際には、 $i$ 十分統計量は $p_{i}$ （これは、次の形式を使用すると正しく表示されます。） $A(x)$ （バリアント3で示されている。）

十分統計量のモーメントとキュムラント

分布の正規化

まず、確率分布の正規化から始めます。一般に、確率分布の核（ xへのすべての依存性を符号化する部分）として機能する任意の非負関数f ( x ) は、正規化することによって適切な分布にすることができます。すなわち、

$p(x)={\frac {1}{Z}}f(x)$

どこ

$Z=\int _{x}f(x)\,dx.$

因子 $Z$ は、統計物理学との類推に基づいて、正規化因子または分配関数と呼ばれることもある。

指数族の場合、 $p(x;{\boldsymbol {\eta }})=g({\boldsymbol {\eta }})h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)},$

カーネルは $K(x)=h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}$ 分割関数は $Z=\int _{x}h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx.$

分布を正規化する必要があるため、

${\begin{aligned}1&=\int _{x}g({\boldsymbol {\eta }})h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx\\&=g({\boldsymbol {\eta }})\int _{x}h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx\\[1ex]&=g({\boldsymbol {\eta }})Z.\end{aligned}}$

言い換えると、 $g({\boldsymbol {\eta }})={\frac {1}{Z}}$ または同等に $A({\boldsymbol {\eta }})=-\log g({\boldsymbol {\eta }})=\log Z.$

これは、 $Aを$ 対数正規化関数または対数分割関数と呼ぶことを正当化する。

十分統計量のモーメント母関数

さて、 $T$ $($ $x$ $)$ のモーメント母関数は次のようになります。

${\begin{aligned}M_{T}(u)&\equiv \operatorname {E} \left[\exp \left(u^{\mathsf {T}}T(x)\right)\mid \eta \right]\\&=\int _{x}h(x)\,\exp \left[(\eta +u)^{\mathsf {T}}T(x)-A(\eta )\right]\,dx\\[1ex]&=e^{A(\eta +u)-A(\eta )}\end{aligned}}$

前述の主張を証明する

$K(u\mid \eta )=A(\eta +u)-A(\eta )$

$はT$ のキュムラント生成関数です。

指数族の重要なサブクラスは自然指数族であり、これは $x$ の分布のモーメント母関数に関して同様の形式を持つ。

キュムラントの微分恒等式

特に、キュムラント生成関数の性質を利用して、

$\operatorname {E} (T_{j})={\frac {\partial A(\eta )}{\partial \eta _{j}}}$

そして

$\operatorname {cov} \left(T_{i},\,T_{j}\right)={\frac {\partial ^{2}A(\eta )}{\partial \eta _{i}\,\partial \eta _{j}}}.$

これらの2つの恒等式から、最初の2つの生モーメントとすべての混合2次モーメントを復元できます。高次のモーメントとキュムラントは、高階微分によって得られます。この手法は、 $Tが$ データの複雑な関数であり、そのモーメントを積分によって計算するのが難しい場合にしばしば有効です。

キュムラント理論に頼らずにこれを理解する別の方法は、指数型分布族の分布は正規化されなければならないという事実から出発し、微分することです。ここでは1次元パラメータの単純なケースを用いて説明しますが、同様の導出はより一般的にも成り立ちます。

一次元の場合、 $p(x)=g(\eta )h(x)e^{\eta T(x)}.$

これは正規化する必要があるので、

$1=\int _{x}p(x)\,dx=\int _{x}g(\eta )h(x)e^{\eta T(x)}\,dx=g(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx.$

$両辺をη$ に関して微分します。

${\begin{aligned}0&=g(\eta ){\frac {d}{d\eta }}\int _{x}h(x)e^{\eta T(x)}\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\[1ex]&=g(\eta )\int _{x}h(x)\left({\frac {d}{d\eta }}e^{\eta T(x)}\right)\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\[1ex]&=g(\eta )\int _{x}h(x)e^{\eta T(x)}T(x)\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\[1ex]&=\int _{x}T(x)g(\eta )h(x)e^{\eta T(x)}\,dx+{\frac {g'(\eta )}{g(\eta )}}\int _{x}g(\eta )h(x)e^{\eta T(x)}\,dx\\[1ex]&=\int _{x}T(x)p(x)\,dx+{\frac {g'(\eta )}{g(\eta )}}\int _{x}p(x)\,dx\\[1ex]&=\operatorname {E} [T(x)]+{\frac {g'(\eta )}{g(\eta )}}\\[1ex]&=\operatorname {E} [T(x)]+{\frac {d}{d\eta }}\log g(\eta )\end{aligned}}$

したがって、 $\operatorname {E} [T(x)]=-{\frac {d}{d\eta }}\log g(\eta )={\frac {d}{d\eta }}A(\eta ).$

例１

入門的な例として、ガンマ分布を考えてみましょう。その分布は次のように定義されます。

$p(x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.$

上記の表を参照すると、自然パラメータは次のように与えられることがわかります。

${\begin{aligned}\eta _{1}&=\alpha -1,\\\eta _{2}&=-\beta ,\end{aligned}}$

逆置換は

${\begin{aligned}\alpha &=\eta _{1}+1,\\\beta &=-\eta _{2},\end{aligned}}$

十分統計量は $(log x, x)$ であり、対数分割関数は

$A(\eta _{1},\eta _{2})=\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2}).$

十分統計量の平均値は次のように求めることができます。まず、 $η 1$ の場合：

${\begin{aligned}\operatorname {E} [\log x]&={\frac {\partial }{\partial \eta _{1}}}A(\eta _{1},\eta _{2})\\[0.5ex]&={\frac {\partial }{\partial \eta _{1}}}\left[\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right]\\[1ex]&=\psi (\eta _{1}+1)-\log(-\eta _{2})\\[1ex]&=\psi (\alpha )-\log \beta ,\end{aligned}}$

どこ $\psi (x)$ はディガンマ関数（log ガンマの導関数）であり、最後のステップでは逆の置換を使用しました。

さて、 $η 2$ について：

${\begin{aligned}\operatorname {E} [x]&={\frac {\partial }{\partial \eta _{2}}}A(\eta _{1},\eta _{2})\\[1ex]&={\frac {\partial }{\partial \eta _{2}}}\left[\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right]\\[1ex]&=-(\eta _{1}+1){\frac {1}{-\eta _{2}}}(-1)={\frac {\eta _{1}+1}{-\eta _{2}}}={\frac {\alpha }{\beta }},\end{aligned}}$

最後のステップで再び逆の置換を行う。

$x$ の分散を計算するには、もう一度微分するだけです。

${\begin{aligned}\operatorname {Var} (x)&={\frac {\partial ^{2}}{\partial \eta _{2}^{2}}}A{\left(\eta _{1},\eta _{2}\right)}={\frac {\partial }{\partial \eta _{2}}}{\frac {\eta _{1}+1}{-\eta _{2}}}\\[1ex]&={\frac {\eta _{1}+1}{\eta _{2}^{2}}}={\frac {\alpha }{\beta ^{2}}}.\end{aligned}}$

これらの計算はすべて、ガンマ関数のさまざまな性質を利用して積分によって行うことができますが、そのためにはかなり多くの作業が必要になります。

例２

別の例として、密度関数を持つ実数値確率変数 $X を考えてみましょう。$

$p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}}$

形状パラメータでインデックス付け $\theta \in (0,\infty )$ （これは歪ロジスティック分布と呼ばれます）。密度関数は次のように書き換えることができます。

${\frac {e^{-x}}{1+e^{-x}}}\exp[-\theta \log \left(1+e^{-x})+\log(\theta )\right]$

これは自然パラメータを持つ指数型分布族であることに注意してください。

$\eta =-\theta ,$

十分な統計

$T=\log \left(1+e^{-x}\right),$

および対数分割関数

$A(\eta )=-\log(\theta )=-\log(-\eta )$

そこで最初の恒等式を使うと、

$\operatorname {E} \left[\log \left(1+e^{-X}\right)\right]=\operatorname {E} (T)={\frac {\partial A(\eta )}{\partial \eta }}={\frac {\partial }{\partial \eta }}[-\log(-\eta )]={\frac {1}{-\eta }}={\frac {1}{\theta }},$

そして2番目のアイデンティティを使用する

$\displaystyle \operatorname {var} \left[\log \left(1+e^{-X}\right)\right]={\frac {\partial ^{2}A(\eta )}{\partial \eta ^{2}}}={\frac {\partial }{\partial \eta }}\left[{\frac {1}{-\eta }}\right]={\frac {1}{{\left(-\eta \right)}^{2}}}={\frac {1}{\theta ^{2}}}.}$

この例は、この方法を用いるのは非常に簡単だが、直接計算することはほぼ不可能なケースを示している。

例３

最後の例は、積分が非常に困難なケースです。これは、行列上で定義されるウィシャート分布の場合です。微分を求めるだけでも行列計算が必要となるため少々複雑ですが、関連する恒等式は当該記事に記載されています。

上記の表から、自然パラメータは次のように与えられることがわかります。

${\begin{aligned}{\boldsymbol {\eta }}_{1}&=-{\tfrac {1}{2}}\mathbf {V} ^{-1},\\\eta _{2}&={\hphantom {-}}{\tfrac {1}{2}}\left(np-1\right),\end{aligned}}$

逆置換は

${\begin{aligned}\mathbf {V} &=-{\tfrac {1}{2}}{\boldsymbol {\eta }}_{1}^{-1},\\n&=2\eta _{2}+p+1,\end{aligned}}$

そして十分な統計量は $(\mathbf {X} ,\log |\mathbf {X} |)。$

対数分割関数は、微分や逆代入を容易にするために、表中に様々な形式で記述されています。ここでは、以下の形式を使用します。

${\begin{aligned}A({\boldsymbol {\eta }}_{1},n)&=-{\frac {n}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|+\log \Gamma _{p}{\left({\frac {n}{2}}\right)},\\[1ex]A(\mathbf {V} ,\eta _{2})&=\left(\eta _{2}+{\frac {p+1}{2}}\right)\log \left(2^{p}\left|\mathbf {V} \right|\right)+\log \Gamma _{p}{\left(\eta _{2}+{\frac {p+1}{2}}\right)}.\end{aligned}}$

$X$ の期待値（ $η 1$ に関連するもの）

η₁に関して微分するには、次の行列計算の恒等式が必要です。

${\frac {\partial \log |a\mathbf {X} |}{\partial \mathbf {X} }}=(\mathbf {X} ^{-1})^{\mathsf {T}}$

それから：

${\begin{aligned}\operatorname {E} [\mathbf {X} ]&={\frac {\partial }{\partial {\boldsymbol {\eta }}_{1}}}A\left({\boldsymbol {\eta }}_{1},\ldots \right)\\[1ex]&={\frac {\partial }{\partial {\boldsymbol {\eta }}_{1}}}\left[-{\frac {n}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|+\log \Gamma _{p}{\left({\frac {n}{2}}\right)}\right]\\[1ex]&=-{\frac {n}{2}}({\boldsymbol {\eta }}_{1}^{-1})^{\mathsf {T}}\\[1ex]&={\frac {n}{2}}(-{\boldsymbol {\eta }}_{1}^{-1})^{\mathsf {T}}\\[1ex]&=n(\mathbf {V} )^{\mathsf {T}}\\[1ex]&=n\mathbf {V} \end{整列}}$

最後の行は、 Vが対称であること、したがって転置しても同じであるという事実を利用しています。

log $| X |の期待値 ($ $η 2$ に関連付けられています)

さて、 $η 2$ については、まず多変量ガンマ関数を含む対数分割関数の部分を展開する必要があります。

${\begin{aligned}\log \Gamma _{p}(a)&=\log \left(\pi ^{\frac {p(p-1)}{4}}\prod _{j=1}^{p}\Gamma {\left(a+{\frac {1-j}{2}}\right)}\right)\\&={\frac {p(p-1)}{4}}\log \pi +\sum _{j=1}^{p}\log \Gamma {\left(a+{\frac {1-j}{2}}\right)}\end{aligned}}$

また、ディガンマ関数も必要です。

$\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x).}$

それから：

${\begin{aligned}\operatorname {E} [\log |\mathbf {X} |]&={\frac {\partial }{\partial \eta _{2}}}A\left(\ldots ,\eta _{2}\right)\\[1ex]&={\frac {\partial }{\partial \eta _{2}}}\left[-\left(\eta _{2}+{\frac {p+1}{2}}\right)\log \left(2^{p}\left|\mathbf {V} \right|\right)+\log \Gamma _{p}{\left(\eta _{2}+{\frac {p+1}{2}}\right)}\right]\\[1ex]&={\frac {\partial }{\partial \eta _{2}}}\left[\left(\eta _{2}+{\frac {p+1}{2}}\right)\log \left(2^{p}\left|\mathbf {V} \right|\right)\right]+{\frac {\partial }{\partial \eta _{2}}}\left[{\frac {p(p-1)}{4}}\log \pi \right]\\&{\hphantom {=}}+{\frac {\partial }{\partial \eta _{2}}}\sum _{j=1}^{p}\log \Gamma {\left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)}\\[1ex]&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi {\left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)}\\[1ex]&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi {\left({\frac {n-p-1}{2}}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)}\\[1ex]&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi {\left({\frac {n+1-j}{2}}\right)}\end{aligned}}$

後者の式は、ウィシャート分布に関する記事に記載されています。ウィシャート分布（多変量正規分布の共役事前分布）を含むベイズネットワークで変分ベイズ更新方程式を導出する際には、これらの期待値の両方が必要となります。

これらの式を積分を用いて計算するのははるかに困難である。例えば、最初の式は行列積分を必要とするだろう。

エントロピ

相対エントロピー

指数族の 2 つの分布の相対エントロピー (Kullback–Leibler ダイバージェンス、KL ダイバージェンス) は、対数正規化子に関する自然パラメータ間の Bregman ダイバージェンスとして簡単に表現できます。[ 14 ]相対エントロピー^は積分で定義されますが、Bregman ダイバージェンスは導関数と内積で定義されるため、計算が容易で、閉形式の表現を持ちます(導関数が閉形式の表現を持つと仮定した場合)。さらに、自然パラメータと対数正規化子による Bregman ダイバージェンスは、凸共役関数の場合、逆の順序で双対パラメータ (期待値パラメータ) の Bregman ダイバージェンスに等しくなります。^{[ 15 ]}

対数正規化器を用いて指数分布族を修正する $A$ （凸共役付き） $A^{*}$ ⁠）、執筆 $P_{A,\theta }$ このファミリーにおける分布は、自然パラメータの固定値に対応する。 $\theta$ （執筆） $\theta '$ 別の値の場合、そして $\eta ,\eta '$ （対応する双対期待値/モーメントパラメータの場合）、KLダイバージェンスを $KLと表記し$ 、 $B_{A}$ ブレグマン発散については、発散は次のように関連付けられます。 $\operatorname {KL} (P_{A,\theta }\parallel P_{A,\theta '})=B_{A}(\theta '\parallel \theta )=B_{A^{*}}(\eta \parallel \eta ').$

KLダイバージェンスは慣例的に第1パラメータに関して記述され、ブレグマンダイバージェンスは慣例的に第2パラメータに関して記述されるため、これは「相対エントロピーは、交換された自然パラメータ上の対数正規化器によって定義されるブレグマンダイバージェンスに等しい」または同等に「期待値パラメータ上の対数正規化器の双対によって定義されるブレグマンダイバージェンスに等しい」と解釈できます。

最大エントロピー導出

指数族は、期待値に関する与えられた制約と整合する最大エントロピー分布とは何かという次の質問に対する答えとして自然に現れます。^{[ 16 ]}

確率分布 $dF$ $($ $x$ $)$ の情報エントロピーは、他の確率分布 (またはより一般的には正の測度) に関してのみ計算でき、両方の測度は互いに絶対連続でなければなりません。したがって、 $dF$ $($ $x$ $)$ と同じサポートを持つ参照測度 $dH$ $($ $x$ $)$ を選択する必要があります。

$dH$ $($ $x$ $)$ に対する $dF$ $($ $x$ $)$ のエントロピーは

$S[dF\mid dH]=-\int {\frac {dF}{dH}}\log {\frac {dF}{dH}}\,dH$

または

$S[dF\mid dH]=\int \log {\frac {dH}{dF}}\,dF$

ここで、 $dF / dH$ および $dH / dF$ はラドン・ニコディム微分である。集合 $I$ 上にサポートされる離散分布のエントロピーの通常の定義は、

$S=-\sum _{i\in I}p_{i}\log p_{i}$

これはめったに指摘されないが、 $dHが$ $I$ 上の計数尺度として選択されることを前提としている。

$ここで、$ $観測可能な量（確率変数） T i$ の集合を考えます。T $i$ $の期待値がt$ $i$ に等しいという条件の下で、 $dH$ に関してエントロピーが最大となる確率分布 $dF$ は、 dHを基準尺度とし、 $($ $T$ $1$ $, ...,$ $T$ $n$ $)$ を十分統計量とする指数型分布族です。

この導出は、ラグランジュ乗数を用いた単純な変分計算です。正規化は、 $T$ $0$ $= 1を制約条件の 1 つとすることで課されます。分布の自然パラメータはラグランジュ乗数であり、正規化係数は$ $T$ $0$ に関連付けられたラグランジュ乗数です。

このような導出例については、「最大エントロピー確率分布」を参照してください。

統計学における役割

古典的な推定：十分性

ピットマン・クープマン・ダルモワの定理によれば、推定されるパラメータによって定義域が変化しない確率分布の族の中で、標本サイズが増加しても次元が制限されない十分統計量が存在するのは指数分布族だけである。

より簡潔に言うと、 $X k$ ( $k = 1, 2, 3, ... n$ ) は独立同分布の確率変数であるとします。これらの分布が指数分布族のいずれかである場合に限り、標本サイズnが増加してもスカラー成分の数が増加しない十分統計量 $T (X 1, ..., X n)$ が存在します。統計量 $T$ はベクトルまたは単一のスカラー数である可能性がありますが、いずれにしても、より多くのデータが得られてもそのサイズは増加も減少もしません。

これらの条件を緩和した場合の反例として、一様分布の族（離散分布または連続分布のいずれか、境界が不明または不明）は、標本最大値、標本最小値、標本サイズという十分統計量を持つが、定義域がパラメータによって変化するため、指数族を形成しない。

ベイズ推定：共役分布

指数型分布族はベイズ統計学においても重要です。ベイズ統計学では、事前分布に尤度関数を乗じ、正規化することで事後分布を生成します。指数型分布族に属する尤度関数には、共役事前分布が存在し、これも多くの場合指数型分布族に属します。パラメータπの共役事前分布は、 ${\boldsymbol {\eta }}$ 指数族の

$f(x\mid {\boldsymbol {\eta }})=h(x)\,\exp \left[{\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)-A({\boldsymbol {\eta }})\right]$

は

$p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\,\exp \left[{\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }}-\nu A({\boldsymbol {\eta }})\right],$

または同等に

$p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\,g({\boldsymbol {\eta }})^{\nu }\,\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }}\right),\qquad {\boldsymbol {\chi }}\in \mathbb {R} ^{s}$

ここでsは次元である ${\boldsymbol {\eta }}$ そして $\nu >0$ そして ${\boldsymbol {\chi }}$ ハイパーパラメータ（パラメータを制御するパラメータ）です。 $\nu$ これは、事前分布が寄与する有効な観測数に対応し、 ${\boldsymbol {\chi }}$ これは、これらの擬似観測値が、すべての観測値と擬似観測値に関する十分統計量に寄与する合計量に相当します。 $f({\boldsymbol {\chi }},\nu )$ は、残りの関数によって自動的に決定される正規化定数であり、与えられた関数が確率密度関数であること（つまり、正規化されていること）を保証する役割を果たします。 $A({\boldsymbol {\eta }})$ そして同様に $g({\boldsymbol {\eta }})$ これらは、πが共役事前分布である分布の定義における関数と同じである。

共役事前分布とは、尤度と組み合わせ、正規化することで、事後分布が事前分布と同じタイプになるような事前分布のことです。例えば、二項分布の成功確率を推定する場合、事前分布としてベータ分布を選択すると、事後分布もベータ分布になります。これにより、事後分布の計算が非常に簡単になります。同様に、ポアソン分布のパラメータを推定する場合、ガンマ事前分布を使用すると、事後分布もガンマ分布になります。共役事前分布は多くの場合非常に柔軟で、非常に便利です。ただし、二項分布のθパラメータの可能性のある値に関する信念が、（例えば）二峰性（2つの山がある）事前分布で表される場合、これはベータ分布では表すことができません。しかし、混合密度を事前分布として使用することで表すことができます。ここでは、2つのベータ分布の組み合わせです。これはハイパー事前分布の一種です。

任意の尤度は指数型分布族に属さないため、一般に共役事前分布は存在しない。したがって、事後分布は数値計算によって求める必要がある。

上記の事前分布が共役事前分布であることを示すために、事後分布を導出することができる。

まず、単一の観測値の確率が、自然パラメータを用いてパラメータ化された指数型分布族に従うと仮定します。

$p_{F}(x\mid {\boldsymbol {\eta }})=h(x)\,g({\boldsymbol {\eta }})\,\exp \left[{\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)\right]$

次に、データについて $\mathbf {X} =(x_{1},\ldots ,x_{n})$ 尤度は次のように計算されます。

$p(\mathbf {X} \mid {\boldsymbol {\eta }})=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)$

次に、上記の共役事前分布について：

${\begin{aligned}p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )&=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\propto g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\end{aligned}}$

事後確率は次のように計算できます。

${\begin{aligned}p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )&\propto p(\mathbf {X} \mid {\boldsymbol {\eta }})p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )\\&=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\\&\propto g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\\&=g({\boldsymbol {\eta }})^{\nu +n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\left({\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\right)\end{aligned}}$

最後の行は事後分布のカーネルです。

$p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )=p_{\pi }\left({\boldsymbol {\eta }}\left|~{\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i}),\nu +n\right.\right)$

これは、事後確率が事前確率と同じ形式であることを示している。

データ $X$ はこの式にのみ含まれる。

$\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{n}\mathbf {T} (x_{i}),$

これはデータの十分統計量と呼ばれます。つまり、十分統計量の値は事後分布を完全に決定するのに十分です。実際のデータ点自体は必要なく、同じ十分統計量を持つすべてのデータ点のセットは同じ分布を持ちます。これは、十分統計量の次元がデータサイズとともに増加しないため重要です。十分統計量のコンポーネントの数は、 ${\boldsymbol {\eta }}$ （言い換えれば、単一のデータポイントの分布のパラメータ数）

更新式は以下のとおりです。

${\begin{aligned}{\boldsymbol {\chi }}'&={\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} )\\&={\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\\\nu '&=\nu +n\end{aligned}}$

これは、更新式がデータ点の数とデータの十分統計量を用いて簡単に記述できることを示しています。これは、共役事前分布のページに示されている更新式のさまざまな例で明確に確認できます。十分統計量の計算方法から、必然的にデータの構成要素の和が含まれます（場合によっては積やその他の形式に偽装されます。積は対数の和で表すことができます）。特定の分布の更新式が上記の形式と完全に一致しない場合は、共役事前分布が上記の形式の共役事前分布を生成するパラメータ化とは異なるパラメータ化を使用して表現されている場合です。多くの場合、上記の形式が自然パラメータ上で定義されているためです。 ${\boldsymbol {\eta }}$ 共役事前分布は通常、実際のパラメータに対して定義される ${\boldsymbol {\theta }}.$

偏りのない推定

可能性 $z|\eta \sim e^{\eta z}f_{1}(\eta )f_{0}(z)$ が指数族である場合、不偏推定量は $\eta$ は $-{\frac {d}{dz}}\ln f_{0}(z)$ [ ¹⁷^]

仮説検定：最も強力な検定

1 パラメータ指数型分布族は、 $η$ $($ $θ$ $)$ が非減少である場合、十分統計量 $T (x)において単調非減少尤度比を持ちます。その結果、$ 仮説 $H$ $0$ : $θ$ $\geq$ $θ$ $0$ 対 $H$ $1$ : $θ$ $<$ $θ$ $0$ を検定するための、一様に最も強力な検定が存在します。

一般化線形モデル

指数分布族は、統計学で一般的に用いられる多くの回帰モデルを含む一般化線形モデル（GLM）で使用される分布関数の基礎を形成します。例としては、二項分布族を用いたロジスティック回帰やポアソン回帰などが挙げられます。

脚注

↑例えば、正規分布の族には、平均が 0、分散が 1 の標準正規分布 $N (0, 1)$ だけでなく、平均と分散が異なる他の正規分布も含まれます。
↑「分割関数」は、統計学において「正規化係数」の同義語としてよく用いられます。
↑これらの分布は、それ自体が指数分布族ではない場合が多い。指数分布族から生じる非指数分布族の一般的な例としては、スチューデントのt分布、ベータ二項分布、ディリクレ多項分布などがある。

参考文献

引用文献

↑ Kupperman, M. (1958). "指数分布に従う母集団からの標本抽出における仮説の確率と情報統計量" . Annals of Mathematical Statistics . 9 (2): 571–575 . doi : 10.1214/aoms/1177706633 . JSTOR 2237349 .
↑ Andersen, Erling (1970年9 月)「離散標本空間の十分性と指数族」。Journal of the American Statistical Association。65 (331)。Journal of the American Statistical Association : 1248–1255。doi : 10.2307 / 2284291。JSTOR 2284291。MR 0268992。
↑ Pitman, E. ; Wishart, J. (1936). "十分統計量と本質的精度". Mathematical Proceedings of the Cambridge Philosophical Society . 32 (4): 567– 579. Bibcode : 1936PCPS...32..567P . doi : 10.1017/S0305004100019307 . S2CID 120708376 .
↑ダルモワ、G. (1935)。「徹底的な確率推定」。CRアカデミー。科学。パリ（フランス語）。200 : 1265–1266。
↑ Koopman, B. (1936). "On distribution admitting a sufficient statistic" . Transactions of the American Mathematical Society . 39 (3). American Mathematical Society : 399– 409. doi : 10.2307/1989758 . JSTOR 1989758 . MR 1501854 .
↑ 「一般指数型分布族」。www.randomservices.org 。 2022年8月30日取得。
↑アブラモビッチ＆リトフ（2013）。統計理論：簡潔な入門。チャップマン＆ホール。ISBN 978-1439851845。
↑ Blei, David. "変分推論" (PDF) . プリンストン大学。
↑ Casella, George (2002).統計的推論. Roger L. Berger (第 2版). オーストラリア: Thomson Learning. 定理 6.2.25. ISBN 0-534-24312-6OCLC 46538638
↑ Brown, Lawrence D. (1986). Fundamentals of statistical exponential families : with applications in statistical decision theory . Hayward, Calif.: Institute of Mathematical Statistics. Theorem 2.12. ISBN 0-940600-10-2OCLC 15986663。
↑ Keener, Robert W. (2010). Theoretical statistics : topics for a core course . New York. pp. 47, Example 3.12. ISBN 978-0-387-93839-4OCLC 676700036。 {{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)
↑ Nielsen, Frank; Garcia, Vincent (2009). "統計的指数型分布族: フラッシュカード付きダイジェスト". arXiv : 0911.4863 [ cs.LG ].
↑ van Garderen, Kees Jan (1997). "Curved Exponential Models in Econometrics". Econometric Theory . 13 (6): 771–790 . doi : 10.1017/S0266466600006253 . S2CID 122742807 .
↑ Nielsen & Nock 2010、4 . 指数型分布族のブレグマン発散と相対エントロピー。
↑ Barndorff-Nielsen 1978、9.1凸双対性と指数族。
↑ Strimmer, K. (2026). From Physics to Statistics: A Simple Route to Exponential Families via Maximum Entropy. ArXiv:2604.22752. https://arxiv.org/abs/2604.22752
↑ Efron, Bradley (2011年12月) 「Tweedieの公式と選択バイアス」 . Journal of the American Statistical Association . 106 (496): 1602– 1614. doi : 10.1198/jasa.2011.tm11181 . ISSN 0162-1459 . PMC 3325056 . PMID 22505788 .

情報源

Barndorff-Nielsen, Ole (1978).統計理論における情報と指数型分布族. Wiley Series in Probability and Mathematical Statistics. Chichester: John Wiley & Sons, Ltd. pp. ix+238 pp. ISBN 0-471-99545-2. MR 0489333 .
- Barndorff-Nielsen, Ole (2014). Information and exponential families in statistical theory . John Wiley & Sons, Ltd. doi : 10.1002 /9781118857281として再録。ISBN 978-111885750-2。
Nielsen, Frank; Garcia, Vincent (2009). "統計的指数型分布族：フラッシュカード付きダイジェスト". arXiv : 0911.4863 . Bibcode : 2009arXiv0911.4863N .
Nielsen, Frank; Nock, Richard (2010).指数型分布族のエントロピーと交差エントロピー(PDF) . IEEE International Conference on Image Processing. doi : 10.1109/ICIP.2010.5652054 . 2019年3月31日にオリジナル(PDF)からアーカイブされました。

さらに読む

ファールマイヤー、ルートヴィヒ；トゥッツ、G. (1994).一般化線形モデルに基づく多変量統計モデリング. Springer. pp. 18–22 , 345–349 . ISBN 0-387-94233-5。
Keener , Robert W. ( 2006).理論統計学：コアコースのトピック。Springer。pp . 27–28、32–33。ISBN 978-0-387-93838-7。
エルマン州リーマン。カセラ、G. (1998)。点推定理論(第 2 版)。秒1.5. ISBN 0-387-98502-6。

外部リンク

指数分布族に関する入門書
指数分布族数学用語の最も初期の使用例
jMEF: 指数型分布族のためのJavaライブラリ非推奨リンク2013年4月11日にarchive.todayにアーカイブされました
グラフィカルモデル、指数型分布族、および変分推論（ウェインライトとジョーダン著、2008年）

[Iverson-16] 1 2 3アイバーソン括弧は、離散デルタ関数の一般化です。括弧内の式が真の場合、括弧の値は 1 になります。括弧内の式が偽の場合、アイバーソン括弧は 0 になります。波括弧など、さまざまな表記法があります。⧙ $a$ $=$ $b$ $⧘ は$ $、上記の$ $[a = b]$ 表記法と同等です。

[6] 例えば、正規分布の族には、平均が 0、分散が 1 の標準正規分布 $N (0, 1)$ だけでなく、平均と分散が異なる他の正規分布も含まれます。

[9] 「分割関数」は、統計学において「正規化係数」の同義語としてよく用いられます。

[10] これらの分布は、それ自体が指数分布族ではない場合が多い。指数分布族から生じる非指数分布族の一般的な例としては、スチューデントのt分布、ベータ二項分布、ディリクレ多項分布などがある。

[1] Kupperman, M. (1958). "指数分布に従う母集団からの標本抽出における仮説の確率と情報統計量" . Annals of Mathematical Statistics . 9 (2): 571–575 . doi : 10.1214/aoms/1177706633 . JSTOR 2237349 .

[2] Andersen, Erling (1970年9 月)「離散標本空間の十分性と指数族」。Journal of the American Statistical Association。65 (331)。Journal of the American Statistical Association : 1248–1255。doi : 10.2307 / 2284291。JSTOR 2284291。MR 0268992。

[3] Pitman, E. ; Wishart, J. (1936). "十分統計量と本質的精度". Mathematical Proceedings of the Cambridge Philosophical Society . 32 (4): 567– 579. Bibcode : 1936PCPS...32..567P . doi : 10.1017/S0305004100019307 . S2CID 120708376 .

[4] ダルモワ、G. (1935)。「徹底的な確率推定」。CRアカデミー。科学。パリ（フランス語）。200 : 1265–1266。

[5] Koopman, B. (1936). "On distribution admitting a sufficient statistic" . Transactions of the American Mathematical Society . 39 (3). American Mathematical Society : 399– 409. doi : 10.2307/1989758 . JSTOR 1989758 . MR 1501854 .

[7] 「一般指数型分布族」。www.randomservices.org 。 2022年8月30日取得。

[8] アブラモビッチ＆リトフ（2013）。統計理論：簡潔な入門。チャップマン＆ホール。ISBN 978-1439851845。

[11] Blei, David. "変分推論" (PDF) . プリンストン大学。

[12] Casella, George (2002).統計的推論. Roger L. Berger (第 2版). オーストラリア: Thomson Learning. 定理 6.2.25. ISBN 0-534-24312-6OCLC 46538638

[13] Brown, Lawrence D. (1986). Fundamentals of statistical exponential families : with applications in statistical decision theory . Hayward, Calif.: Institute of Mathematical Statistics. Theorem 2.12. ISBN 0-940600-10-2OCLC 15986663。

[14] Keener, Robert W. (2010). Theoretical statistics : topics for a core course . New York. pp. 47, Example 3.12. ISBN 978-0-387-93839-4OCLC 676700036。 {{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)

[15] Nielsen, Frank; Garcia, Vincent (2009). "統計的指数型分布族: フラッシュカード付きダイジェスト". arXiv : 0911.4863 [ cs.LG ].

[17] van Garderen, Kees Jan (1997). "Curved Exponential Models in Econometrics". Econometric Theory . 13 (6): 771–790 . doi : 10.1017/S0266466600006253 . S2CID 122742807 .

[FOOTNOTENielsenNock20104._Bregman_Divergences_and_Relative_Entropy_of_Exponential_Families-18] Nielsen & Nock 2010、4 . 指数型分布族のブレグマン発散と相対エントロピー。

[FOOTNOTEBarndorff-Nielsen19789.1_Convex_duality_and_exponential_families-19] Barndorff-Nielsen 1978、9.1凸双対性と指数族。

[20] Strimmer, K. (2026). From Physics to Statistics: A Simple Route to Exponential Families via Maximum Entropy. ArXiv:2604.22752. https://arxiv.org/abs/2604.22752

[21] Efron, Bradley (2011年12月) 「Tweedieの公式と選択バイアス」 . Journal of the American Statistical Association . 106 (496): 1602– 1614. doi : 10.1198/jasa.2011.tm11181 . ISSN 0162-1459 . PMC 3325056 . PMID 22505788 .

[

2 ] EJG

[ 3 ]

[ 4 ]

[ 5 ]

[ a ]

[ 6 ]

[ 7 ]

[ b ]

[c]

[8]

[9]

[10]

[11]

[ 12 ]

[ 13 ]

は積分で

[ 15 ]

[ 16 ]

17

命名法の難しさ

意味

指数型分布族の例

スカラーパラメータ

サポートはθに依存しない必要がある

ベクトル値xと θ

正準形式

関係する変数の因数分解

ベクトルパラメータ

ベクトルパラメータ、ベクトル変数

測度論的定式化

解釈

Properties

Examples

正規分布：平均は不明、分散は既知

正規分布：平均と分散が不明

二項分布

分布表

十分統計量のモーメントとキュムラント

分布の正規化

十分統計量のモーメント母関数

キュムラントの微分恒等式

例１

例２

例３

エントロピ

相対エントロピー

最大エントロピー導出

統計学における役割

古典的な推定：十分性

ベイズ推定：共役分布

偏りのない推定

仮説検定：最も強力な検定

一般化線形モデル

関連項目

脚注

参考文献

引用文献

情報源

さらに読む

外部リンク

関連するトピック

確率

統計

確率分布

パラメトリック

$サポートはθ$ に依存しない必要がある

ベクトル値 $x$ と $θ$