ジェンセン・シャノン距離

確率論と統計学において、ヨハン・ジェンセンとクロード・シャノンにちなんで名付けられたジェンセン・シャノン・ダイバージェンスは、2つの確率分布の類似性を測定する方法です。情報半径（IRad）^{[1] [2]}または平均に対する全ダイバージェンス^[3]としても知られています。これはカルバック・ライブラー・ダイバージェンスに基づいていますが、対称性があり、常に有限値を持つなど、いくつかの注目すべき（そして有用な）違いがあります。ジェンセン・シャノン・ダイバージェンスの平方根は、ジェンセン・シャノン距離と呼ばれることが多い測定基準です。分布間の類似性は、ジェンセン・シャノン距離がゼロに近いほど高くなります。^{[4] [5] [6]}

測定可能なサブセットのσ 代数を備えたセットである確率分布のセットを考えます。特に、すべてのサブセットが測定可能である有限または可算なセットを とすることができます。 ${\displaystyle M_{+}^{1}(A)}$${\displaystyle A}$${\displaystyle A}$

ジェンセン・シャノン・ダイバージェンス（JSD）は、カルバック・ライブラー・ダイバージェンス の対称化および平滑化バージョンである。これは次のように定義される。 ${\displaystyle D(P\parallel Q)}$

${\displaystyle {\rm {JSD}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M),}$

ここで はとの混合分布です。 ${\displaystyle M={\frac {1}{2}}(P+Q)}$${\displaystyle P}$${\displaystyle Q}$

幾何ジェンセン・シャノン・ダイバージェンス^[7]（またはG-ジェンセン・シャノン・ダイバージェンス）は、幾何平均をとることで2つのガウス分布間のダイバージェンスの閉じた形式の式を生成します。

2 つ以上の確率分布の比較を可能にする、より一般的な定義は次のとおりです。

${\displaystyle {\begin{aligned}{\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})&=\sum _{i}\pi _{i}D(P_{i}\parallel M)\\&=H\left(M\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})\end{aligned}}}$

どこ

${\displaystyle {\begin{aligned}M&:=\sum _{i=1}^{n}\pi _{i}P_{i}\end{aligned}}}$

およびは確率分布 に対して選択される重みであり、 は分布 のシャノンエントロピーです。上記の2つの分布の場合、 ${\displaystyle \pi _{1},\ldots ,\pi _{n}}$${\displaystyle P_{1},P_{2},\ldots ,P_{n}}$${\displaystyle H(P)}$${\displaystyle P}$

${\displaystyle P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\ }$

したがって、これらの分布では${\displaystyle P,Q}$

${\displaystyle JSD=H(M)-{\frac {1}{2}}{\bigg (}H(P)+H(Q){\bigg )}}$

ジェンセン・シャノン・ダイバージェンスは、2つの確率分布に対して1で制限される。これは、2を底とする対数を用いる場合である。^[8]

${\displaystyle 0\leq {\rm {JSD}}(P\parallel Q)\leq 1}$。

この正規化により、 P と Q 間の 総変動距離の下限は次のようになります。

${\displaystyle {\rm {JSD}}(P\parallel Q)\leq {\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|}$。

統計熱力学でよく使われる e を底とする対数では、上限は です。一般に、b を底とする対数では上限は次のようになります。 ${\displaystyle \ln(2)}$${\displaystyle \log _{b}(2)}$

${\displaystyle 0\leq {\rm {JSD}}(P\parallel Q)\leq \log _{b}(2)}$。

より一般的な境界であるジェンセン・シャノン・ダイバージェンスは、2つ以上の確率分布に対して次のように制限される：^[8]${\displaystyle \log _{b}(n)}$

${\displaystyle 0\leq {\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})\leq \log _{b}(n)}$。

ジェンセン・シャノン・ダイバージェンスは、との間の混合分布に関連付けられたランダム変数と、混合を生成するためにとを切り替えるために使用されるバイナリ指示変数との間の相互情報量です。 を、イベントを適切に区別する基礎となるイベントセット上の抽象関数とし、 の値をに従って選択し、 が等確率である場合に従って 選択します。つまり、確率測度 に従って 選択し、その分布は混合分布です。 を計算します。 ${\displaystyle X}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle Z}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle X}$${\displaystyle X}$${\displaystyle P}$${\displaystyle Z=0}$${\displaystyle Q}$${\displaystyle Z=1}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle M=(P+Q)/2}$

${\displaystyle {\begin{aligned}I(X;Z)&=H(X)-H(X|Z)\\&=-\sum M\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&=-\sum {\frac {P}{2}}\log M-\sum {\frac {Q}{2}}\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&={\frac {1}{2}}\sum P\left(\log P-\log M\right)+{\frac {1}{2}}\sum Q\left(\log Q-\log M\right)\\&={\rm {JSD}}(P\parallel Q)\end{aligned}}}$

上記の結果から、相互情報量は非負であり、底 2 の対数で制限されるため、Jensen–Shannon 情報量は 0 と 1 で制限されることがわかります。 ${\displaystyle H(Z)=1}$

同じ原理を結合分布とその2つの周辺分布の積に適用し（カルバック・ライブラー分布と相互情報量に類似）、与えられた応答が結合分布から来るのか積分布から来るのかをどれだけ確実に判断できるかを測定することができます（ただし、これらが唯一の2つの可能性であるという仮定の下で）。^[9]

密度行列上の確率分布の一般化により、量子ジェンセン・シャノン・ダイバージェンス（QJSD）を定義することができる。^{[10] [11]これは、}密度行列 の集合と確率分布に対して次のように 定義される。${\displaystyle (\rho _{1},\ldots ,\rho _{n})}$${\displaystyle \pi =(\pi _{1},\ldots ,\pi _{n})}$

${\displaystyle {\rm {QJSD}}(\rho _{1},\ldots ,\rho _{n})=S\left(\sum _{i=1}^{n}\pi _{i}\rho _{i}\right)-\sum _{i=1}^{n}\pi _{i}S(\rho _{i})}$

ここで、は のフォン・ノイマンエントロピーです。この量は量子情報理論で導入され、ホレボ情報量と呼ばれています。これは、事前分布の下で量子状態によってエンコードされた古典情報の量の上限を与えます（ホレボの定理を参照）。^[12]および 2 つの密度行列の量子ジェンセン・シャノン・ダイバージェンス は対称関数で、どこでも定義され、有界であり、2 つの密度行列が同じである場合にのみゼロに等しくなります。これは純粋状態の計量の平方であり、^[13]最近、この計量特性が混合状態にも当てはまることが示されました。^{[14] [15]} ビュール計量は量子 JS ダイバージェンスと密接に関連しています。これはフィッシャー情報計量の量子版です。 ${\displaystyle S(\rho )}$${\displaystyle \rho }$${\displaystyle (\rho _{1},\ldots ,\rho _{n})}$${\displaystyle \pi }$${\displaystyle \pi =\left({\frac {1}{2}},{\frac {1}{2}}\right)}$

有限集合の確率分布の重心C*は、確率分布と規定の分布集合との間のJensen-Shannonダイバージェンスの平均和を最小化するものとして定義できます 。離散分布（ヒストグラム）集合のJensen-Shannon重心を計算するために、凸関数の差に基づく 効率的なアルゴリズム^[16]（CCCP）が報告されています。 $${\displaystyle C^{*}=\arg \min _{Q}\sum _{i=1}^{n}{\rm {JSD}}(P_{i}\parallel Q)}$$

ジェンセン・シャノン情報量は、バイオインフォマティクスやゲノム比較、^{[17] [18]}、タンパク質表面比較、^[19]、社会科学、^[20]、歴史の定量的研究、^[21]、火災実験、^{[22] 、機械学習[23]} に応用されている。

• JS ダイバージェンスを計算する Ruby gem
• JS 距離を計算する Python コード
• THOTH: 経験的データから情報理論的量を効率的に推定するための Python パッケージ
• ジェンセン・シャノン距離を含む複雑性指標を計算するための statcomp R ライブラリ