最大エントロピーの原理

最大エントロピーの原理は、ベイズ推論の事前確率分布を得るためによく使用されます。ジェインズはこのアプローチの強力な支持者であり、最大エントロピー分布は最も情報量の少ない分布であると主張しました。^{[ 4 ]} 現在、多くの文献が最大エントロピー事前分布の導出とチャネル符号化との関連に捧げられています。^{[ 5 ] [ 6 ] [ 7 ] [ 8 ]}

最大エントロピーは、ラディカル確率論の十分な更新規則である。リチャード・ジェフリーの確率運動学は、最大エントロピー推論の特殊なケースである。しかし、最大エントロピーは、そのような十分な更新規則の一般化ではない。^{[ 9 ]}

あるいは、この原理はモデルの仕様策定にもよく用いられます。この場合、観測データ自体が検証可能な情報であると想定されます。このようなモデルは自然言語処理において広く用いられています。その一例としてロジスティック回帰があり、これは独立した観測値に対する最大エントロピー分類器に相当します。

最大エントロピー原理は、経済学や資源配分にも応用されている。例えば、ボルツマン公平分配モデルは、最大エントロピー（ボルツマン）分布を用いて個人間で資源や所得を分配し、分配的正義への確率論的アプローチを提供する。^{[ 10 ]}

指数族は、最大エントロピーの原理^{[ 11 ]}を用いて導出できる重要な確率モデルのクラスである。

最大エントロピー原理の主な応用例の 1 つは、離散的および連続的な密度推定です。^{[ 12 ] [ 13 ]}サポートベクターマシン推定器 と同様に、最大エントロピー原理では二次計画問題の解が必要となる場合があり、その結果、最適な密度推定器としてスパース混合モデルが提供されます。この方法の重要な利点の 1 つは、密度推定に事前情報を組み込むことができることです。^{[ 14 ]}

我々は、{ x ₁ , x ₂ ,..., x _n } の値をとる量xに関する検証可能な情報Iを持っている。この情報は、関数f _kの期待値に対するm 個の制約の形をとると仮定する。つまり、確率分布がモーメント不等式/等式制約を満たす必要がある。

$${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})f_{k}(x_{i})\geq F_{k}\qquad k=1,\ldots ,m.}$$

どこで${\displaystyle F_{k}}$これらは観測可能な量です。また、確率密度の合計が 1 になることも要求します。これは、恒等関数と 1 に等しい観測量に対する基本的な制約と見なすことができ、制約を与えます。

$$\displaystyle \sum _{i=1}^{n}\Pr(x_{i})=1.}$$

これらの不等式/等式制約の下で情報エントロピーが最大となる確率分布は次の形式になります。^{[ 12 ]}

$${\displaystyle \Pr(x_{i})={\frac {1}{Z(\lambda _{1},\ldots ,\lambda _{m})}}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$$

一部の人にとって$\displaystyle \lambda _{1},\ldots ,\lambda _{m}}$これはギブス分布と呼ばれることもあります。正規化定数は次のように決定されます。

$${\displaystyle Z(\lambda _{1},\ldots ,\lambda _{m})=\sum _{i=1}^{n}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$$

そして、これは慣習的に分配関数と呼ばれています。（ピットマン・クープマンの定理によれば、標本分布が有界次元の十分統計量を許容するための必要十分条件は、それが最大エントロピー分布の一般形を持つことであるとされています。）

λkパラメータはラグランジュ乗数です。等式制約の場合、その値は非線形方程式の解から決定され_ます。

$$${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\ldots ,\lambda _{m}).}$$$

不等式制約の場合、ラグランジュ乗数は線形制約付き凸最適化プログラムの解から決定されます。^{[ 12 ]}どちらの場合も閉形式解 はなく、ラグランジュ乗数の計算には通常、 数値的手法が必要です。

連続分布の場合、シャノンエントロピーは離散確率空間に対してのみ定義されているため、使用できません。代わりに、エドウィン・ジェインズ（1963、1968、2003）は、相対エントロピーと密接に関連する次の式を与えました（微分エントロピーも参照）。

$${\displaystyle H_{c}=-\int p(x)\log {\frac {p(x)}{q(x)}}\,dx}$$

ここで、ジェインズが「不変測度」と呼んだq ( x )は、離散点の極限密度に比例します。ここではqは既知であると仮定し、解の方程式を示した後にさらに詳しく議論します。

密接に関連する量である相対エントロピーは、通常、pとqのカルバック・ライブラー情報量として定義されます（ただし、紛らわしいことに、この負の値として定義される場合もあります）。カルバックによる、この値を最小化する推論原理は、最小識別情報原理として知られています。

実数のある区間の値をとる量xに関する検証可能な情報I があります(以下の積分はすべてこの区間で行われます)。この情報は、関数f _kの期待値に対するm 個の制約の形をとると仮定します。つまり、確率密度関数が不等式 (または純粋に等式) のモーメント制約を満たす必要があります。

$${\displaystyle \int p(x)f_{k}(x)\,dx\geq F_{k}\qquad k=1,\dotsc ,m.}$$

どこで${\displaystyle F_{k}}$これらは観測可能な量です。また、確率密度が1に積分されることも要求します。これは恒等関数に対する基本的な制約と見なすことができ、1に等しい観測量は制約を与えます。

$${\displaystyle \int p(x)\,dx=1.}$$

これらの制約の下で最大H _cを持つ確率密度関数は次のとおりです。 ^{[ 15 ]}

$${\displaystyle p(x)={\frac {q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}}$$

分割関数は次のように決定される。

$${\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})=\int q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]\,dx.}$$

離散的な場合と同様に、すべてのモーメント制約が等式である場合、$\displaystyle \lambda _{k}}$パラメータは、非線形方程式系によって決定される。

$${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m}).}$$

不等式モーメント制約の場合、ラグランジュ乗数は凸最適化プログラムの解から決定されます。^{[ 13 ]}

不変測度関数q ( x ) は、 x が有界区間( a , b )内の値のみを取ることが分かっており、他の情報は与えられていないと仮定することで最もよく理解できます。このとき、最大エントロピー確率密度関数は次のようになります。

$${\displaystyle p(x)=A\cdot q(x),\qquad a<x<b}$$

ここで、Aは正規化定数である。不変測度関数は実際には「関連情報の欠如」を符号化する事前密度関数である。これは最大エントロピー原理では決定できず、変換群原理や周辺化理論などの他の論理的方法によって決定されなければならない。

最大エントロピー分布のいくつかの例については、最大エントロピー確率分布に関する記事を参照してください。

離散確率分布を考える${\displaystyle m}$相互に排他的な命題。最も情報量の多い分布は、いずれかの命題が真であることがわかっている場合に発生します。この場合、情報エントロピーはゼロになります。最も情報量の少ない分布は、いずれかの命題を他の命題よりも優先する理由がない場合に発生します。この場合、唯一妥当な確率分布は一様分布であり、情報エントロピーは可能な最大値に等しくなります。${\displaystyle \log m}$情報エントロピーは、特定の確率分布がどれだけ情報を持たないかを表す数値尺度と見なすことができ、ゼロ（完全に情報を持つ）から${\displaystyle \log m}$（全く役に立たない情報）

我々の情報で許容される最大のエントロピーを持つ分布を選択することで、我々は可能な限り最も情報量の少ない分布を選択していることになる、というのがその議論である。より低いエントロピーを持つ分布を選択することは、我々が持っていない情報を仮定することになる。したがって、最大エントロピー分布が唯一妥当な分布である。解の支配尺度への依存性は、${\displaystyle m(x)}$しかし、この支配的な尺度は実際には恣意的であるため、このアプローチに対する批判の源となっている。^{[ 16 ]}

以下の議論は、1962 年にGraham WallisがET Jaynes に提案した結果である。^{[ 17 ]}これは、概念的な重点がかなり異なるものの、統計力学におけるMaxwell–Boltzmann 統計に用いられる数学的議論と本質的に同じである。この議論の利点は、厳密に組み合わせ論的であり、「不確実性」、「情報不足」、またはその他の曖昧に定義された概念の尺度として情報エントロピーを参照しない点にある。情報エントロピー関数は事前に仮定されるのではなく、議論の過程で見出される。そして、この議論は、情報エントロピーを他の方法で扱うのではなく、情報エントロピーを最大化する手順に自然と導く。

ある個人が確率割り当てを行いたいと仮定します。${\displaystyle m}$相互に排他的な命題。彼らは検証可能な情報を持っているが、その情報を確率評価にどのように組み込むべきか確信が持てない。そこで彼らは次のランダム実験を考案する。彼らは${\displaystyle N}$確率の量子（それぞれが${\displaystyle 1/N}$）ランダムに${\displaystyle m}$可能性。(彼らは投げるだろうと想像するかもしれない${\displaystyle N}$ボールを${\displaystyle m}$目隠しをした状態でバケツを投げます。（できる限り公平にするため、各投擲は他の投擲とは独立しており、すべてのバケツは同じサイズです。）実験が終わったら、得られた確率割り当てが情報と一致するかどうかを確認します。（このステップが成功するためには、情報は確率測度の空間における開集合によって与えられる制約である必要があります。）一致しない場合は、それを拒否して再度試します。一致する場合は、評価は

$${\displaystyle p_{i}={\frac {n_{i}}{N}}}$$

どこ${\displaystyle p_{i}}$確率は${\displaystyle i}$^th命題、n _{i は}割り当てられた量子数です${\displaystyle i}$^{第 1}命題 (つまり、バケツに入ったボールの数)${\displaystyle i}$)

さて、確率割り当ての「粒度」を減らすためには、かなり多くの確率量子を使用する必要があるでしょう。主人公は、かなり長いランダム実験を実際に実行し、場合によっては繰り返すのではなく、最も可能性の高い結果を単純に計算して使用することに決めます。特定の結果の確率は多項分布です。

$${\displaystyle Pr(\mathbf {p} )=W\cdot m^{-N}}$$

どこ

$${\displaystyle W={\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}}$$

これは、結果の多様性とも呼ばれることがある。

最も可能性の高い結果は、多重度を最大化するものである。${\displaystyle W}$最大化するのではなく${\displaystyle W}$直接的に、主人公は、単調増加関数を最大化することができる。${\displaystyle W}$彼らは最大化することを決める

$${\displaystyle {\begin{aligned}{\frac {1}{N}}\log W&={\frac {1}{N}}\log {\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}\\[6pt]&={\frac {1}{N}}\log {\frac {N!}{(Np_{1})!\,(Np_{2})!\,\dotsb \,(Np_{m})!}}\\[6pt]&={\frac {1}{N}}\left(\log N!-\sum _{i=1}^{m}\log((Np_{i})!)\right).\end{aligned}}}$$

この時点で、表現を簡略化するために、主人公は極限を次のように解釈する。${\displaystyle N\to \infty }$つまり、確率レベルが粗い離散値から滑らかな連続値に変化するにつれて、スターリングの近似法を用いて、

$${\displaystyle {\begin{aligned}\lim _{N\to \infty }\left({\frac {1}{N}}\log W\right)&={\frac {1}{N}}\left(N\log N-\sum _{i=1}^{m}Np_{i}\log(Np_{i})\right)\\[6pt]&=\log N-\sum _{i=1}^{m}p_{i}\log(Np_{i})\\[6pt]&=\log N-\log N\sum _{i=1}^{m}p_{i}-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=\left(1-\sum _{i=1}^{m}p_{i}\right)\log N-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=H(\mathbf {p} ).\end{aligned}}}$$

主人公に残された課題は、検証可能な情報という制約の下でエントロピーを最大化することだけだ。彼らは、確率レベルが離散的から連続的へと変化する極限において、最大エントロピー分布がすべての「公平な」ランダム分布の中で最も確率の高い分布であることを発見した。

GiffinとCaticha（2007）は、ベイズの定理と最大エントロピー原理は完全に互換性があり、「最大相対エントロピー法」の特殊なケースと見なすことができると述べています。彼らは、この方法が正統的なベイズ推論法のあらゆる側面を再現すると述べています。さらに、この新しい方法は、最大エントロピー原理または正統的なベイズ法のどちらでも個別には対処できなかった問題に取り組む道を開きます。さらに、最近の貢献（Lazar 2003、およびSchennach 2005）は、頻度論的相対エントロピーに基づく推論アプローチ（経験尤度や指数的に傾斜した経験尤度など、Owen 2001およびKitamura 2006を参照）を事前情報と組み合わせてベイズ事後分析を実行できることを示しています。

ジェインズは、ベイズの定理は確率を計算する方法であり、最大エントロピーは事前確率分布を割り当てる方法であると述べた。^{[ 18 ]}

しかしながら、概念的には、最小交差エントロピー原理（または最大エントロピー原理は、与えられた事前分布として一様分布を用いる特殊なケース）を用いて、与えられた事前分布から事後分布を直接解くことが可能です。これは、問題を制約付き最適化問題として形式的に扱い、エントロピー関数を目的関数とすることで、ベイズ的な考察とは無関係に行えます。テスト可能な情報として与えられた平均値（求められる確率分布で平均化された値）の場合、求められる分布は形式的にはギブス分布（またはボルツマン分布）であり、最小交差エントロピーを達成し、与えられたテスト可能な情報を満たすためには、そのパラメータを解く必要があります。