情報投影

情報理論では、確率分布qの分布集合Pへの情報射影またはI射影は、

${\displaystyle p^{*}={\underset {p\in P}{\arg \min }}\operatorname {D} _{\mathrm {KL} }(p||q)}$。

ここで、qからpへのKullback–Leibler ダイバージェンスです。Kullback–Leibler ダイバージェンスを距離の尺度として見ると、 I 投影はP内のすべての分布の中でqに「最も近い」分布です。 ${\displaystyle D_{\mathrm {KL} }}$${\displaystyle p^{*}}$

I-射影は情報幾何学の構築に有用であり、特にPが凸の場合に有効な次の不等式が有用である: ^[1]

${\displaystyle \operatorname {D} _{\mathrm {KL} }(p||q)\geq \operatorname {D} _{\mathrm {KL} }(p||p^{*})+\operatorname {D} _{\mathrm {KL} }(p^{*}||q)}$。

この不等式は、ピタゴラスの三角不等式定理の情報幾何学バージョンとして解釈することができ、KL ダイバージェンスはユークリッド空間における距離の 2 乗として見られます。

は p で連続なので、Pが閉じていて空でない場合、上記の最適化問題に対する最小化関数が少なくとも 1 つ存在することに注意してください。さらに、 Pが凸の場合、最適な分布は一意です。 ${\displaystyle \operatorname {D} _{\mathrm {KL} }(p||q)\geq 0}$

逆I投影はモーメント投影またはM投影とも呼ばれ、

${\displaystyle p^{*}={\underset {p\in P}{\arg \min }}\operatorname {D} _{\mathrm {KL} }(q||p)}$。

KL ダイバージェンスは引数が対称ではないため、I 射影と M 射影は異なる動作を示します。I 射影の場合、は通常 のサポートを過小評価し、モードの 1 つに固定されます。これは、KL ダイバージェンスが有限のままであることを確実にするため、 のためです。M 射影の場合、は通常 のサポートを過大評価します。これは、KL ダイバージェンスが有限のままであることを確実にするため、のためです。 ${\displaystyle p(x)}$${\displaystyle q(x)}$${\displaystyle p(x)=0}$${\displaystyle q(x)=0}$${\displaystyle p(x)}$${\displaystyle q(x)}$${\displaystyle p(x)>0}$${\displaystyle q(x)>0}$

逆 I 投影は、最適なe 変数の構築において基本的な役割を果たします。

情報投影の概念は任意のfダイバージェンスやその他のダイバージェンスに拡張することができる。^[2]

• サノフの定理

• K. マーフィー、「機械学習: 確率論的観点」、MIT プレス、2012 年。