カルバック・ライブラー情報量

数理統計学では、カルバック・ライブラー（KL）ダイバージェンス（相対エントロピーおよびIダイバージェンスとも呼ばれる）^{[ 1 ]}は、${\displaystyle D_{\text{KL}}(P\parallel Q)}$は統計的距離の一種であり、近似確率分布Q が真の確率分布Pとどれだけ異なるかを示す尺度である。^{[ 2 ] [ 3 ]}数学的には、次のように定義される。

$${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {P(x)}{Q(x)}}{\text{.}}}$$

PとQの KL ダイバージェンスの簡単な解釈は、実際のP がPである場合に、近似値QをPの代わりに使用した場合に期待される過剰驚きです。これは 2 つの分布がどれだけ異なるかの尺度であり、ある意味では距離ですが、最もよく知られた形式的なタイプの距離であるメトリックではありません。特に、これは 2 つの分布で対称ではなく (情報の変動とは対照的に)、三角不等式を満たしません。代わりに、情報幾何学の観点からは、これはダイバージェンスの一種であり^{[ 4 ]}、二乗距離の一般化であり、特定のクラスの分布 (特に指数族) については、一般化されたピタゴラスの定理(二乗距離に適用される) を満たします。^{[ 5 ]}

KLダイバージェンスは常に非負の実数であり、2つの分布が同一である場合に限り値が0になります。その応用範囲は幅広く、情報システムにおける相対（シャノン）エントロピー、連続時系列におけるランダム性、推論の統計モデルを比較する際の情報利得などを特徴付ける理論的な応用と、応用統計学、流体力学、神経科学、バイオインフォマティクス、機械学習などの実用的な応用があります。

2つの確率分布、真の分布Pと近似分布Qを考えます。多くの場合、Pはデータ、観測値、または測定された確率分布を表し、分布Qは代わりにPの理論、モデル、記述、または別の近似を表します。ただし、真の分布Pがモデルを表し、近似分布Qが真の分布に一致するように意図された（シミュレーションされた）データを表す場合もあります。カルバック・ライブラー情報量${\displaystyle D_{\text{KL}}(P\parallel Q)}$これは、 P用に最適化されたコードではなく、Q 用に最適化されたコードを使用してPのサンプルをエンコードするために必要なビット数の平均差として解釈されます。

PとQの役割は、計算が容易で目標が最小化である場合、状況によっては逆転する可能性があることに注意してください。${\displaystyle D_{\text{KL}}(P\parallel Q)}$例えば、期待値最大化アルゴリズム（EM）やエビデンス下限（ELBO）計算など。この役割逆転アプローチは、${\displaystyle D_{\text{KL}}(P\parallel Q)=0}$かつその場合に限り${\displaystyle D_{\text{KL}}(Q\parallel P)=0}$そして多くの場合、一方を減らすと他方も減少する効果がある。

相対エントロピーは、ソロモン・クルバックとリチャード・ライブラーによってクルバック＆ライブラー（1951）で「識別のための平均情報」として導入されました。${\displaystyle H_{1}}$そして${\displaystyle H_{2}}$観測値ごとに$\displaystyle \mu _{1}}$「、^{[ 6 ]}ここで、2つの確率尺度を比較している。」${\displaystyle \mu _{1},\mu _{2}}$、 そして${\displaystyle H_{1},H_{2}}$選択する尺度は仮説である${\displaystyle \mu _{1},\mu _{2}}$（それぞれ）彼らはこれを次のように表した。${\displaystyle I(1:2)}$、そして「$\displaystyle \mu _{1}}$そして$\displaystyle \mu _{2}}$対称化された量として${\displaystyle J(1,2)=I(1:2)+I(2:1)}$これは、 1948 年にハロルド・ジェフリーズによって既に定義され使用されていたものです。^{[ 7 ]}クルバック (1959)では、対称化された形式は再び「発散」と呼ばれ、各方向の相対エントロピーは 2 つの分布間の「指向性発散」と呼ばれています。^{[ 8 ]}クルバックは「識別情報」という用語を好みました。^{[ 9 ]}「発散」という用語は、対称化された発散が三角不等式を満たさないため、距離 (メトリック) とは対照的です。^{[ 10 ]}対称化された発散と他の統計的距離の以前の使用に関する多数の参照が、クルバック (1959)に記載されています。^{[ 11 ]}非対称な「方向性ダイバージェンス」はカルバック・ライブラーダイバージェンスとして知られるようになり、対称化された「ダイバージェンス」は現在ジェフリーズダイバージェンスと呼ばれている。

同じ標本空間上で定義された離散確率分布PとQについて、$\displaystyle {\mathcal {X}}}$QからPへの相対エントロピーは^{[ 12 ]}で次のように定義される。

$${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {P(x)}{Q(x)}}{\text{,}}}$$

これは以下と同等です

$${\displaystyle D_{\text{KL}}(P\parallel Q)=\left(-\sum _{x\in {\mathcal {X}}}P(x)\,\log Q(x)\right)-\left(-\sum _{x\in {\mathcal {X}}}P(x)\,\log P(x)\right){\text{.}}}$$

言い換えれば、これは確率PとQの間の対数差の期待値であり、期待値は確率Pを使用して計算されます。

相対エントロピーは、すべてのxに対して、${\displaystyle Q(x)=0}$暗示する${\displaystyle P(x)=0}$（絶対連続性）。それ以外の場合は、次のように定義されることが多い。${\displaystyle +\infty }$[ ^{1 ]}しかし値^は${\displaystyle \ +\infty \ }$可能であっても${\displaystyle Q(x)\neq 0}$どこでも、^{[ 13 ] [ 14 ]}ただし、$\displaystyle {\mathcal {X}}}$範囲は無限である。同様の考察は、以下に定義する連続測度および一般測度の場合にも当てはまる。

いつでも${\displaystyle P(x)}$がゼロの場合、対応する項の寄与はゼロと解釈されます。

$$\lim_{x\to 0^{+}}x\,\log(x)=0.$$

連続確率変数の分布PとQに対して、相対エントロピーは積分として定義される^{[ 15 ]}

$$${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\,\log {\frac {p(x)}{q(x)}}\,dx{\text{.}}}$$$

ここで、pとqはPとQの確率密度関数を表す。

より一般的には、PとQが可測空間上の確率測度である場合${\displaystyle {\mathcal {X}}\,,}$PがQに関して絶対連続である場合、 QからPへの相対エントロピーは次のように定義される。

$${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}\log {\frac {dP(x)}{dQ(x)}}\,dP(x){\text{,}}}$$

どこ${\displaystyle {\frac {dP(x)}{dQ(x)}}}$は、 Qに関するPのラドン・ニコディム微分、すなわち、ほぼ至るところで定義される一意のQ関数rである。$\displaystyle {\mathcal {X}}}$そのため${\displaystyle dP(x)=r(x)dQ(x)}$これは、 PがQに関して絶対連続であるため存在する。また、右辺の式が存在すると仮定する。同様に（連鎖律により）、これは次のように書ける。

$${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}{\frac {dP(x)}{dQ(x)}}\ \log {\frac {dP(x)}{dQ(x)}}\ dQ(x){\text{,}}}$$

これは、Qに対するPのエントロピーです。この場合、${\displaystyle \mu }$いかなる尺度も$\displaystyle {\mathcal {X}}}$密度pとqが${\displaystyle dP(x)=p(x)\,d\mu (x)}$そして${\displaystyle dQ(x)=q(x)\,d\mu (x)}$存在する（つまり、PとQは両方とも絶対連続である）${\displaystyle \mu }$) の場合、QからPへの相対エントロピーは次のように表されます。

$${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}p(x)\,\log {\frac {p(x)}{q(x)}}\ d\mu (x){\text{.}}}$$

このような措置には注意が必要です${\displaystyle \mu }$密度を定義できるものは常に存在する。なぜなら、${\textstyle \mu ={\frac {1}{2}}\left(P+Q\right)}$ただし、実際には、離散分布の場合は計数測度、連続分布の場合はルベーグ測度、あるいはその便利な変形であるガウス測度や球面上の均一測度、リー群上のハール測度など、その文脈に適用されるものが用いられるのが一般的です。これらの式における対数は、情報がビット単位で測定される場合は通常底が2 、情報がナット単位で測定される場合は通常底がeとなります。相対エントロピーを含むほとんどの式は、対数の底に関係なく成り立ちます。

参照するためのさまざまな慣習が存在する${\displaystyle D_{\text{KL}}(P\parallel Q)}$言葉で言うと、 PとQの間の 乖離と呼ばれることが多いですが、これでは関係の根本的な非対称性を伝えることができません。この記事のように、P から Q への乖離、または Q から P への乖離と表現されることもあります。これは、事前分布Qから始めて事後分布Pに更新するベイズ推論の非対称性を反映しています。${\displaystyle D_{\text{KL}}(P\parallel Q)}$これは、 Qに対するP の相対エントロピー、またはQに対するPの情報利得として定義されます。

Kullback ^{[ 3 ]}は次の例を示しています (表 2.1、例 2.1)。表と図に示されている分布をPとQとします。Pは図の左側の分布で、二項分布です。${\displaystyle N=2}$そして${\displaystyle p=0.4}$Qは図の右側の分布であり、3 つの可能な結果x =を持つ離散一様分布です。0、1、2（つまり${\displaystyle {\mathcal {X}}=\{0,1,2\}}$それぞれ確率で${\displaystyle p=1/3}$。

相対エントロピー${\displaystyle D_{\text{KL}}(P\parallel Q)}$そして${\displaystyle D_{\text{KL}}(Q\parallel P)}$は次のように計算されます。この例では、底がeの自然対数lnを使用して、結果をnats 単位で取得します(情報の単位については、次の項を参照)。

$${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\,\ln {\frac {P(x)}{Q(x)}}\\&={\frac {9}{25}}\ln {\frac {9/25}{1/3}}+{\frac {12}{25}}\ln {\frac {12/25}{1/3}}+{\frac {4}{25}}\ln {\frac {4/25}{1/3}}\\&={\frac {1}{25}}\left(32\ln 2+55\ln 3-50\ln 5\right)\\&\approx 0.0852996{\text{,}}\end{aligned}}}$$

$${\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\,\ln {\frac {Q(x)}{P(x)}}\\&={\frac {1}{3}}\,\ln {\frac {1/3}{9/25}}+{\frac {1}{3}}\,\ln {\frac {1/3}{12/25}}+{\frac {1}{3}}\,\ln {\frac {1/3}{4/25}}\\&={\frac {1}{3}}\left(-4\ln 2-6\ln 3+6\ln 5\right)\\&\approx 0.097455{\text{.}}\end{aligned}}}$$

情報理論において、クラフト・マクミランの定理は、メッセージを符号化して1つの値を識別するための直接復号可能な符号化方式は、${\displaystyle x_{i}}$可能性の集合Xの中から、暗黙の確率分布を表すものと見なすことができる。${\displaystyle q(x_{i})=2^{-\ell _{i}}}$X上で、$\displaystyle \ell _{i}}$コードの長さは${\displaystyle x_{i}}$ビット単位で表されます。したがって、相対エントロピーは、真の分布 P に基づくコードを使用した場合と比較して、特定の（誤った）分布Qに対して最適なコードを使用した場合に、データごとに伝達しなければならないメッセージ長の増加分として解釈できます。これは過剰エントロピーです。

$${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{q(x)}}-\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{p(x)}}\\[5pt]&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}}$$

どこ${\displaystyle \mathrm {H} (P,Q)}$QのPに対する交差エントロピーであり、${\displaystyle \mathrm {H} (P)}$これはPのエントロピー（PとP自身との交差エントロピーと同じ）です。

相対エントロピー${\displaystyle D_{\text{KL}}(P\parallel Q)}$幾何学的には、統計的距離、つまり分布Qが分布Pからどれだけ離れているかの尺度と考えることができます。幾何学的には、これは発散、つまり二乗距離の非対称な一般化された形式です。交差エントロピー${\displaystyle H(P,Q)}$それ自体がそのような測定（正式には損失関数）であるが、距離とは考えられない。${\displaystyle H(P,P)=:H(P)}$はゼロではありません。これは、を減算することで修正できます。${\displaystyle H(P)}$作る${\displaystyle D_{\text{KL}}(P\parallel Q)}$超過損失としての距離の概念により近いものとなる。結果として得られる関数は非対称であり、対称化することも可能であるが（ 「対称化された発散」の項 を参照）、非対称形式の方がより有用である。幾何学的解釈の詳細については、 「 解釈」の項を参照のこと。

相対エントロピーは、大偏差理論における「速度関数」と関連している。^{[ 25 ] [ 26 ]}

アーサー・ホブソンは、相対エントロピーが確率分布間の差異の唯一の尺度であり、いくつかの望ましい特性を満たすことを証明しました。これらの特性は、一般的に使用されているエントロピーの特徴付けに現れる特性の標準的な拡張です。^{[ 27 ]}その結果、相互情報量は、カルバック・ライブラー情報量の観点から定義できるため、特定の関連条件に従う唯一の相互依存性の尺度となります。

• 相対エントロピーは常に非負であり、$${\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,}$$ギブスの不等式として知られる結果、${\displaystyle D_{\text{KL}}(P\parallel Q)}$ゼロになるのは、${\displaystyle P=Q}$対策として。

特に、${\displaystyle P(dx)=p(x)\mu (dx)}$そして${\displaystyle Q(dx)=q(x)\mu (dx)}$、 それから${\displaystyle p(x)=q(x)}$${\displaystyle \mu }$ほぼどこにでもある。エントロピー${\displaystyle \mathrm {H} (P)}$これにより、交差エントロピーの最小値が設定される。${\displaystyle \mathrm {H} (P,Q)}$は、PではなくQに基づくコードを使用する場合に必要なビット数の期待値であり、したがって、カルバック・ライブラー情報量は、真の分布Pではなく確率分布Qに対応するコードを使用する場合に、Xから抽出された値xを識別するために送信しなければならない追加のビット数の期待値を表します。

• 一般の場合の上限は存在しない。しかし、PとQが同じ離散量を分配することによって構築された2つの離散確率分布である場合、最大値は${\displaystyle D_{\text{KL}}(P\parallel Q)}$計算できる。^{[ 28 ]}
• 相対エントロピーは連続分布に対して明確に定義されており、さらにパラメータ変換に対して不変である。例えば、変数xから変数への変換が行われた場合${\displaystyle y(x)}$すると、${\displaystyle P(dx)=p(x)\,dx={\tilde {p}}(y)\,dy={\tilde {p}}(y(x))\left|{\tfrac {dy}{dx}}(x)\right|\,dx}$そして${\displaystyle Q(dx)=q(x)\,dx={\tilde {q}}(y)\,dy={\tilde {q}}(y)\left|{\tfrac {dy}{dx}}(x)\right|dx}$どこ${\displaystyle \left|{\tfrac {dy}{dx}}(x)\right|}$は導関数の絶対値、より一般的にはヤコビアンの値であり、相対エントロピーは次のように書き換えることができる。$${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}p(x)\,\log {\frac {p(x)}{q(x)}}\,dx\\[6pt]&=\int _{x_{a}}^{x_{b}}{\tilde {p}}(y(x))\left|{\frac {dy}{dx}}\right|\log {\frac {{\tilde {p}}(y(x))\,\left|{\frac {dy}{dx}}\right|}{{\tilde {q}}(y(x))\,\left|{\frac {dy}{dx}}\right|}}\,dx\\&=\int _{y_{a}}^{y_{b}}{\tilde {p}}(y)\,\log {\frac {{\tilde {p}}(y)}{{\tilde {q}}(y)}}\,dy\end{aligned}}}$$どこ${\displaystyle y_{a}=y(x_{a})}$そして${\displaystyle y_{b}=y(x_{b})}$変換は連続であると仮定したが、必ずしもそうである必要はない。また、これは相対エントロピーが次元的に一貫した量を生成することを示している。なぜなら、x が次元を持つ変数である場合、${\displaystyle p(x)}$そして${\displaystyle q(x)}$寸法も付けられています。例えば${\displaystyle P(dx)=p(x)\,dx}$は無次元です。対数項の引数は無次元であり、当然無次元のままです。したがって、非離散確率では定義されないか負になる可能性がある情報理論^{[ 29 ]}の他のいくつかの特性（自己情報やシャノンエントロピーなど）よりも、ある意味でより基本的な量と見なすことができます。
• 相対エントロピーは、シャノンエントロピーとほぼ同じように、独立分布に対して加算されます。${\displaystyle P_{1},P_{2}}$は独立分布であり、${\displaystyle P(dx,dy)=P_{1}(dx)P_{2}(dy)}$、同様に${\displaystyle Q(dx,dy)=Q_{1}(dx)Q_{2}(dy)}$独立した分布の場合${\displaystyle Q_{1},Q_{2}}$それから$${\displaystyle D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2}).}$$
• 相対エントロピー${\displaystyle D_{\text{KL}}(P\parallel Q)}$確率測度のペアにおいて凸である${\displaystyle (P,Q)}$つまり、${\displaystyle (P_{1},Q_{1})}$そして${\displaystyle (P_{2},Q_{2})}$2組の確率測度は$${\displaystyle D_{\text{KL}}(\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2})\leq \lambda D_{\text{KL}}(P_{1}\parallel Q_{1})+(1-\lambda )D_{\text{KL}}(P_{2}\parallel Q_{2}){\text{ for }}0\leq \lambda \leq 1.}$$
• ${\displaystyle D_{\text{KL}}(P\parallel Q)}$最小値付近でテイラー展開される可能性がある（つまり${\displaystyle P=Q}$） として$${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}}$$これは、以下の場合に限り収束する。${\displaystyle P\leq 2Q}$ほぼ確実に${\displaystyle Q}$。

ドンスカーとヴァラダンによる以下の結果^{[ 30 ]}は、ドンスカーとヴァラダンの変分公式として知られています。

相対エントロピーは統計的距離ではあるが、確率分布空間上の距離尺度ではなく、むしろ発散である。^{[ 4 ]}距離尺度は対称であり、三角不等式を満たす線形距離を一般化するが、発散は一般に非対称であり、二乗距離を一般化し、場合によっては一般化されたピタゴラスの定理を満たす。一般に${\displaystyle D_{\text{KL}}(P\parallel Q)}$等しくない${\displaystyle D_{\text{KL}}(Q\parallel P)}$、これは対称化できるが（§ 対称化された発散を参照）、非対称性は幾何学の重要な部分である。^{[ 4 ]}

これは確率分布の空間上にトポロジーを生成します。より具体的には、${\displaystyle \{P_{1},P_{2},\ldots \}}$は分布の列であり、

$${\displaystyle \lim _{n\to \infty }D_{\text{KL}}(P_{n}\parallel Q)=0{\text{,}}}$$

すると、

$${\displaystyle P_{n}\xrightarrow {D} \,Q{\text{.}}}$$

ピンスカーの不等式は、

$${\displaystyle P_{n}\xrightarrow {D} P\Rightarrow P_{n}\xrightarrow {TV} P{\text{,}}}$$

ここで後者は、全変動における通常の収束を表す。

情報理論における他の多くの量は、相対エントロピーを特定の事例に適用したものとして解釈できる。