最大エントロピー確率分布

仮定する${\displaystyle S}$は実数の連続した閉部分集合である。${\displaystyle \mathbb {R} }$そして私たちは指定することを選びます${\displaystyle n}$測定可能な関数${\displaystyle f_{1},\ldots ,f_{n}}$そして${\displaystyle n}$数字${\displaystyle a_{1},\ldots ,a_{n}.}$クラスを検討します${\displaystyle C}$実数値のランダム変数のうち、${\displaystyle S}$（つまり、密度関数がゼロである）${\displaystyle S}$）そして、${\displaystyle n}$モーメント条件:

$$\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad {\text{for }}\quad j=1,\ldots ,n}$$

メンバーがいる場合${\displaystyle C}$その密度関数は、${\displaystyle S,}$そして、最大エントロピー分布が存在する場合${\displaystyle C,}$そしてその確率密度${\displaystyle p(x)}$以下の形式をとります。

$${\displaystyle p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\qquad {\text{すべての }}~x\in S について}$$

ここで我々は、${\displaystyle f_{0}(x)=1\,.}$定数$\displaystyle \lambda _{0}}$そして${\displaystyle n}$ラグランジュ乗数${\displaystyle {\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$制約付き最適化問題を解く${\displaystyle a_{0}=1}$（これにより、${\displaystyle p}$（1に積分される）：^{[ 4 ]}

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\qquad ~{\text{ 制約条件 }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

Karush–Kuhn–Tucker条件を用いると、最適化問題の目的関数が凹関数であるため、最適化問題には一意の解が存在することが示される。${\displaystyle {\boldsymbol {\lambda }}\,.}$

モーメント制約が等式（不等式ではなく）である場合、つまり、

$${\displaystyle \operatorname {E} [f_{j}(X)]=a_{j}\qquad {\text{ for }}~j=1,\ldots ,n\,,}$$

すると制約条件$\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$削除できるため、ラグランジュ乗数に対する最適化は制約を受けなくなります。

仮定する${\displaystyle S=\{x_{1},x_{2},\ldots \}}$は実数の（有限または無限の）離散部分集合であり、我々はそれを指定することを選択する。${\displaystyle n}$関数${\displaystyle f_{1},\ldots ,f_{n}}$そして${\displaystyle n}$数字${\displaystyle a_{1},\ldots ,a_{n}\,.}$クラスを検討します${\displaystyle C}$すべての離散確率変数${\displaystyle X}$以下でサポートされています${\displaystyle S}$そして、${\displaystyle n}$モーメント条件

$$\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad ~{\text{ for }}~j=1,\ldots ,n}$$

クラスのメンバーが存在する場合${\displaystyle C}$これは、すべてのメンバーに正の確率を割り当てます。${\displaystyle S}$そして、最大エントロピー分布が存在する場合${\displaystyle C,}$この場合、この分布は次のような形状になります。

$${\displaystyle \Pr(X{=}x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\qquad {\text{ for }}~k=1,2,\ldots }$$

ここで我々は、${\displaystyle f_{0}=1}$そして定数${\displaystyle \lambda _{0},\,{\boldsymbol {\lambda }}\equiv (\lambda _{1},\ldots ,\lambda _{n})}$制約付き最適化問題を解く${\displaystyle a_{0}=1}$: ^{[ 5 ]}

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\qquad {\text{ただし }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

上記と同様に、モーメント条件が等式（不等式ではなく）である場合、制約条件は$\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$最適化には含まれていません。

等式制約の場合、この定理は変分法とラグランジュ乗数法を用いて証明される。制約は次のように記述できる。

$${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx=a_{j}}$$

関数を考察する

$${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}\,dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)\,dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx-a_{j}\right)}$$

どこ$\displaystyle \eta _{0}}$そして${\displaystyle \lambda _{j},j\geq 1}$はラグランジュ乗数です。ゼロ番目の制約は確率の第2公理を保証します。その他の制約は、関数の測定値が次数まで定数として与えられることです。${\displaystyle n}$エントロピーは、関数微分がゼロに等しいときに極値をとる。

$${\displaystyle {\frac {\delta J(p)}{\delta p}}=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$$

したがって、この場合の極値エントロピー確率分布は次の形式である必要があります（${\displaystyle \lambda _{0}:=\eta _{0}-1}$)

$${\displaystyle p(x)=e^{-1+\eta _{0}}\,e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right),}$$

それを覚えておいてください${\displaystyle f_{0}(x)=1}$この解の周りの変動が常に負であることを確認することで、これが最大解であることを検証できます。

仮定する${\displaystyle p}$そして${\displaystyle p'}$は期待値制約を満たす分布である。${\displaystyle \alpha \in (0,1)}$分布を考慮すると${\displaystyle q=\alpha \,p+(1-\alpha )\,p'}$この分布は期待制約を満たし、さらにサポートも備えていることは明らかです。${\displaystyle \operatorname {supp} (q)=\operatorname {supp} (p)\cup \operatorname {supp} (p')\,.}$エントロピーに関する基本的な事実から、次のことが成り立つ。${\displaystyle {\mathcal {H}}(q)\geq \alpha \,{\mathcal {H}}(p)+(1-\alpha )\,{\mathcal {H}}(p').}$限界を設ける${\displaystyle \alpha \to 1}$そして${\displaystyle \alpha \to 0\,,}$それぞれ、収量${\displaystyle {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')\,.}$

期待値制約を満たしエントロピーを最大化する分布は、必然的に完全なサポートを持つ、つまり分布はほとんど至るところで厳密に正である。したがって、最大化分布は期待値制約を満たす分布の空間内の内部点、すなわち局所極値でなければならない。したがって、局所極値が一意であることを示すだけで、エントロピー最大化分布が一意であることを示すことができ（そして、これは局所極値が全体最大値であることも示す）、十分である。

仮定する${\displaystyle p}$そして${\displaystyle p'}$これらは局所的な極値です。上記の計算を再定式化すると、これらはパラメータによって特徴付けられます。${\displaystyle {\boldsymbol {\lambda }},\,{\boldsymbol {\lambda }}'\in \mathbb {R} ^{n}}$経由${\displaystyle p(x)={\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle }/{C({\boldsymbol {\lambda }})}}$同様に${\displaystyle p',}$どこ${\textstyle C({\boldsymbol {\lambda }})=\int _{\mathbb {R} }\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle \,dx\,.}$ここで一連の恒等式に注目します。期待制約を満たし、勾配／方向微分を利用することにより、次の式が得られます。

${\displaystyle {\left.D\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.{\tfrac {DC(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\lambda }}=\operatorname {E} _{p}\left[\mathbf {f} (X)\right]=\mathbf {a} }$同様に${\displaystyle {\boldsymbol {\lambda }}'~.}$賃貸${\displaystyle u={\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}\in \mathbb {R} ^{n}}$得られるもの：

$${\displaystyle 0=\left\langle u,\mathbf {a} -\mathbf {a} \right\rangle ={\left.D_{u}\log C(\cdot )\right|}_{{\boldsymbol {\lambda }}'}-{\left.D_{u}\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}}$$

どこ${\displaystyle {\boldsymbol {\gamma }}=\theta {\boldsymbol {\lambda }}+(1-\theta ){\boldsymbol {\lambda }}'}$一部の人にとって${\displaystyle \theta \in (0,1).}$さらに計算すると、

$${\displaystyle {\begin{aligned}0&={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}\\[1ex]&={\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|}_{\boldsymbol {\gamma }}={\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\gamma }}-{\left.{\frac {{\left(D_{u}C(\cdot )\right)}^{2}}{C(\cdot )^{2}}}\right|}_{\boldsymbol {\gamma }}\\[1ex]&=\operatorname {E} _{q}\left[{\left\langle u,\mathbf {f} (X)\right\rangle }^{2}\right]-{\left(\operatorname {E} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\right)}^{2}\\[2ex]&=\operatorname {Var} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\end{aligned}}}$$

どこ${\displaystyle q}$上記の分布と似ていますが、パラメータ化されているのは${\displaystyle {\boldsymbol {\gamma }}~,}$観測量の非自明な線形結合がほとんど至るところで定数（ae）にならないと仮定すると（これは、例えば観測量が独立でae定数でない場合に成り立つ）、次のことが成り立つ。${\displaystyle \langle u,\mathbf {f} (X)\rangle }$分散がゼロでない場合を除き、${\displaystyle u=0~.}$上記の式から、後者が真であることは明らかである。したがって${\displaystyle {\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}=u=0\,,}$したがって、局所極値を特徴付けるパラメータは${\displaystyle p,\,p'}$これらは同一であり、つまり分布自体が同一である。したがって、局所極値は一意であり、上記の議論から、局所極値が実際に存在する場合、最大値も一意である。

すべての分布クラスに最大エントロピー分布が含まれるわけではないことに注意してください。クラスには任意に大きなエントロピーの分布が含まれる可能性があります（たとえば、平均が 0 で標準偏差が任意のR上のすべての連続分布のクラス）。また、エントロピーは上限が定められていますが、最大エントロピーを達成する分布は存在しません。^{[ a ]}クラスCの期待値の制約により、 Sの特定の部分集合で確率分布がゼロになる可能性もあります。その場合、私たちの定理は適用されませんが、集合Sを縮小することでこれを回避できます。

区間 [ a , b ] 上の一様分布は、区間 [ a , b ] 内でサポートされるすべての連続分布の中で最大のエントロピー分布であり、したがって、区間外では確率密度は 0 になります。この一様密度は、ラプラスの無差別原理（不十分な理由の原理とも呼ばれる）と関連付けることができます。より一般的に、区間 [ a , b ] の分割a = a ₀ < a ₁ < ... < a _k = bと、合計が 1 になる確率p ₁ ,..., p _kが与えられている場合、次のようなすべての連続分布のクラスを考えることができます。 $${\displaystyle \Pr(a_{j-1}\leq X<a_{j})=p_{j}\quad {\text{ for }}j=1,\ldots ,k}$$ このクラスの最大エントロピー分布の密度は、各区間 [ a _{j −1} , a _j ) で一定です。有限集合 { x ₁ ,..., x _n } 上の一様分布 (これらの各値に 1/ nの確率を割り当てる) は、この集合でサポートされているすべての離散分布の中で最大のエントロピー分布です。

指数分布の密度関数は

$${\displaystyle p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}}$$

は、[0,∞) の範囲内でサポートされているすべての連続分布の中で、指定された平均値が 1/λ である最大エントロピー分布です。

[0,∞) でサポートされる分布の場合、最大エントロピー分布は、1 次モーメントと 2 次モーメントの関係に依存します。特定のケースでは、指数分布になる場合もあれば、別の分布になる場合もあり、定義できない場合もあります。^{[ 8 ]}

正規分布N ( μ , σ ² ) の密度関数は次のようになります。

$${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$$

は、特定の分散σ²^を持つ(特定のモーメント) 上の実数値分布の中で、最大のエントロピーを持ちます。平均μと分散σ²^が指定されている場合 (最初の 2 つのモーメント) も同様です。エントロピーは ( −∞ ,∞)上で並進不変であるためです。したがって、正規性の仮定は、これらのモーメントを超える最小限の事前構造制約を課します。(導出については、微分エントロピーの記事を参照してください。)

指定された平均μを持つ集合{ x1 _, ..., xn }上でサポートされるすべての離散分布_の中で、最大エントロピー分布は次の形状を持つ。 $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,\ldots ,n}$$ ここで、正の定数Cとr は、すべての確率の合計が 1 であり、期待値が μ でなければならないという要件によって決定できます。

例えば、N個のサイコロを投げ、出た目の合計がSであるとします。この情報だけに基づいて、1、2、...、6 の目が出たサイコロの数について、妥当な仮定は何でしょうか。これは、{ x ₁ ,..., x ₆ } = {1,...,6}でμ = S / Nとなる、上記で検討した状況の一例です。

最後に、無限集合上にサポートされるすべての離散分布の中で${\displaystyle \{x_{1},x_{2},...\}}$平均μの場合、最大エントロピー分布は次の形状になります。 $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,2,\ldots ,}$$ ここでも定数Cとr は、すべての確率の合計が 1 であり、期待値が μ でなければならないという要件によって決定されます。たとえば、 x _k = kの場合、これは次のようになります 。$${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$$

それぞれの最大エントロピー分布が幾何分布となるように。

連続確率変数${\displaystyle \theta _{i}}$単位円上に分布するフォン・ミーゼス分布は、第1円モーメントの実部と虚部が指定されている場合^{[ 9 ]}、または同等に、円平均と円分散が指定されている場合にエントロピーを最大化します。

角度の平均と分散が${\displaystyle \theta _{i}}$モジュロ${\displaystyle 2\pi }$が指定されている場合、ラップされた正規分布はエントロピーを最大化する。^{[ 9 ]}

連続確率変数のエントロピーには上限が存在する。${\displaystyle \mathbb {R} }$指定された平均、分散、歪度を持つ。しかし、この上限を達成する分布は存在しない。なぜなら${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$は、${\displaystyle \lambda _{3}\neq 0}$（カバー ＆トーマス（2006年：第12章）を参照）。

しかし、最大エントロピーはε達成可能であり、分布のエントロピーは上限に任意に近づけることができます。指定された平均と分散の正規分布から始めます。正の歪度を導入するには、正規分布を平均よりσ倍大きい値でわずかに上方に摂動させます。歪度は3次モーメントに比例するため、低次のモーメントよりも影響を受けます。

これは、 xに関する任意の奇数次多項式の指数が有界でない一般の場合の特殊なケースです。${\displaystyle \mathbb {R} }$。 例えば、${\displaystyle ce^{\lambda x}}$同様に無制限になる${\displaystyle \mathbb {R} }$しかし、サポートが有界または半有界の区間に限定されている場合、上限エントロピー境界が達成される可能性があります（たとえば、x が区間 [0, ∞ ] にあり、λ <  0の場合、指数分布が得られます）。

対数凹密度を持つすべての分布は 、指定された平均μと偏差リスク尺度Dを持つ最大エントロピー分布である 。^{[ 10 ]}

特に、指定された平均値を持つ最大エントロピー分布${\displaystyle E(X)\equiv \mu }$および偏差${\displaystyle D(X)\equiv d}$は：

• 正規分布${\displaystyle {\mathcal {N}}(m,d^{2}),}$もし${\textstyle D(X)={\sqrt {\operatorname {E} \left[{\left(X-\mu \right)}^{2}\right]}}}$は標準偏差です。
• ラプラス分布は、${\displaystyle D(X)=\operatorname {E} \left\{\left|X-\mu \right|\right\}}$は平均絶対偏差です。^{[ 6 ]}
• 密度が次の形式である分布${\displaystyle f(x)=c\exp \left(ax+b{\downharpoonright x-\mu \downharpoonleft }_{-}^{2}\right)}$もし${\textstyle D(X)={\sqrt {\operatorname {E} \left\{{\downharpoonright X-\mu \downharpoonleft }_{-}^{2}\right\}}}}$は標準下半偏差であり、${\displaystyle a,b,c}$は定数であり、関数は${\displaystyle \downharpoonright y\downharpoonleft _{-}\equiv \min \left\{0,y\right\}~{\text{ for any }}y\in \mathbb {R} \,,}$引数の負の値のみを返し、それ以外の場合はゼロを返します。^{[ 10 ]}

以下の表では、リストされている各分布は、3 列目に記載されている特定の機能制約のセットのエントロピーを最大化し、制約は${\displaystyle x}$確率密度のサポートに含まれるものとし、これは第4列に記載されています。^{[ 6 ] [ 7 ]}

挙げられている例のいくつか（ベルヌーイ分布、幾何分布、指数分布、ラプラス分布、パレート分布）は、関連する制約がエントロピーの割り当てと等価であるため、自明に正しい。しかし、これらの制約は一般的な量、あるいは容易に測定できる量に関係しているため、あえて含めている。

参考までに、${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}\,dt}$ガンマ関数は、${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$はディガンマ関数です。${\displaystyle B(p,q)={\frac {\Gamma (p)\,\Gamma (q)}{\Gamma (p+q)}}}$はベータ関数であり、${\displaystyle \gamma _{\mathsf {E}}}$はオイラー・マスケローニ定数です。

最大エントロピー原理は、統計的混合物のエントロピーの上限を求めるために使用できる。^{[ 13 ]}