カルバック・ライブラー距離

数理統計学において、 カルバック・ライブラー（KL）ダイバージェンス（相対エントロピーやIダイバージェンス^[1]とも呼ばれる）は、統計的距離の一種であり、1つの基準確率分布Pが2番目の確率分布Qとどの程度異なるかを示す尺度である。^{[2] [3]}数学的には次のように定義される。 ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ P(x)\ }{Q(x)}}\right).}$

PからQへの KL ダイバージェンスの単純な解釈は、実際の分布がPであるときに、 Pの代わりにQ をモデルとして使用することによって予想される過剰サプライズです。これは 2 つの分布がどれだけ異なるかを測定するものであり、ある意味では「距離」ですが、実際には、最もよく知られた正式な種類の距離であるメトリックではありません。特に、これは 2 つの分布で対称ではなく (情報の変化とは対照的)、三角不等式を満たしません。代わりに、情報幾何学の観点から、これはダイバージェンスの一種であり、^[4]平方距離の一般化であり、分布の特定のクラス (特に指数族) に対して、一般化されたピタゴラスの定理(平方距離に適用される)を満たします。^[5]

相対エントロピーは常に非負の実数で、2 つの分布が同一の場合のみ、値が 0 になります。相対エントロピーは、情報システムにおける相対(シャノン) エントロピー、連続時系列におけるランダム性、推論の統計モデルを比較する際の情報ゲインなどの理論的な用途と、応用統計、流体力学、神経科学、バイオインフォマティクス、機械学習などの実用的な用途の両方で、多岐にわたります。

2 つの確率分布PとQを考えてみましょう。通常、P はデータ、観測値、または測定された確率分布を表します。分布Q は、 Pの理論、モデル、説明、または近似を表します。Kullback–Leibler 情報量は、Pに最適化されたコードではなくQに最適化されたコードを使用してPのサンプルをエンコードするために必要なビット数の平均差として解釈されます。期待値最大化アルゴリズム (EM)や証拠下限値 (ELBO)の計算 など、計算が容易な状況では、PとQの役割が逆転する可能性があることに注意してください。${\displaystyle D_{\text{KL}}(P\parallel Q)}$

相対エントロピーは、ソロモン・カルバックとリチャード・ライブラーによって、カルバック＆ライブラー（1951）で「からの観測ごとにと を判別するための平均情報」として導入されました。^[6]ここで、2つの確率測度 を比較しており、 はそれぞれ測度 から選択する仮説です。彼らはこれを で表し、「との間の「ダイバージェンス」」を対称化された量 として定義しました。これは、 1948年にハロルド・ジェフリーズによってすでに定義され、使用されていました。^[7]カルバック（1959）では、対称化された形式は再び「ダイバージェンス」と呼ばれ、各方向の相対エントロピーは、2つの分布間の「有向ダイバージェンス」と呼ばれています。^{[8]カルバックは、}判別情報という用語を好みました。^[9]「ダイバージェンス」という用語は、距離（メトリック）とは対照的です。対称化されたダイバージェンスは三角不等式を満たさないためです。^[10]対称化されたダイバージェンスの以前の使用法と他の統計的距離については、Kullback（1959、pp. 6–7、§1.3 Divergence）に多数言及されています。非対称の「有向ダイバージェンス」はKullback-Leiblerダイバージェンスとして知られるようになり、対称化された「ダイバージェンス」は現在Jeffreysダイバージェンスと呼ばれています。 ${\displaystyle H_{1}}$${\displaystyle H_{2}}$${\displaystyle \mu_{1}}$${\displaystyle \mu _{1},\mu _{2}}$${\displaystyle H_{1},H_{2}}$${\displaystyle \mu _{1},\mu _{2}}$${\displaystyle I(1:2)}$${\displaystyle \mu_{1}}$${\displaystyle \mu_{2}}$${\displaystyle J(1,2)=I(1:2)+I(2:1)}$

同じ標本空間上で定義された離散確率分布 PとQに対して、QからPへの相対エントロピーは^[11]で次のように 定義される。${\displaystyle \ {\mathcal {X}}\ ,}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ P(x)\ }{Q(x)}}\right)\ ,}$

これは次の式と同等である。

${\displaystyle D_{\text{KL}}(P\parallel Q)=-\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ Q(x)\ }{P(x)}}\right)~.}$

言い換えれば、確率PとQの対数差の期待値であり、期待値は確率P を使用して求められます。

相対エントロピーは、すべてのxに対して（絶対連続性）が成り立つ場合にのみ、このように定義されます。それ以外の場合は、多くの場合、と定義されます^[1]。ただし、 の値は、の範囲が無限大である限り、どこでも の場合でも可能です^{[12] [13]}。同様のコメントが、以下で定義する連続測度および一般測度の場合にも当てはまります。 ${\displaystyle \Q(x)=0\}$${\displaystyle \P(x)=0\}$${\displaystyle +\infty}$${\displaystyle \+\infty\}$${\displaystyle \Q(x)\neq 0\}$${\displaystyle \ {\mathcal {X}}\ }$

がゼロのときは、対応する項の寄与はゼロと解釈される。 ${\displaystyle \P(x)\}$

${\displaystyle \lim _{x\to 0^{+}}x\log(x)=0~.}$

連続確率変数の分布PとQに対して、相対エントロピーは積分として定義される^[14]

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\ \log \left({\frac {p(x)}{q(x)}}\right)\ \mathrm {d} \ \!x\ ,}$

ここで、pとqはPとQの確率密度を表します。

より一般的には、PとQが測定可能な空間上の確率測度であり、PがQに関して絶対連続である場合、 QからPへの相対エントロピーは次のように定義される。 ${\displaystyle \ {\mathcal {X}}\ ,}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}\ \log \left({\frac {P(\mathrm {d} \ \!x)}{Q(\mathrm {d} \ \!x)}}\right)\ P(\mathrm {d} \ \!x)\ ,}$

ここで はPのQに関するラドン・ニコディム微分、つまりP がQに関して絶対連続であるため存在する、上の唯一のQのほぼどこでも定義される関数rです。また、右辺の式が存在すると仮定します。同様に (連鎖律 により)、これは次のように書くことができます。 ${\displaystyle \ {\frac {\ P(\mathrm {d} \ \!x)\ }{Q(\mathrm {d} \ \!x)\ }}}$${\displaystyle \ {\mathcal {X}}\ }$${\displaystyle \P(\mathrm {d} \ \!x)=r(x)Q(\mathrm {d} \ \!x)\ }$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}{\frac {P(\mathrm {d} \ \!x)}{Q(\mathrm {d} \ \!x)}}\ \log \left({\frac {P(\mathrm {d} \ \!x)}{Q(\mathrm {d} \ \!x)}}\right)\ Q(\mathrm {d} \ \!x)\ ,}$

これはPのQに対する相対的なエントロピーです。この場合、 が上の任意の測度で、および の密度pおよびqが 存在する場合（つまり、PとQ は両方とも に関して絶対連続である）、 QからPへの相対エントロピーは次のように与えられます。 ${\displaystyle \mu}$${\displaystyle {\mathcal {X}}}$${\displaystyle \ P(\mathrm {d} \ \!x)=p(x)\mu (\mathrm {d} \ \!x)\ }$${\displaystyle \ Q(\mathrm {d} \ \!x)=q(x)\mu (\mathrm {d} \ \!x)\ }$${\displaystyle \ \mu \ }$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}p(x)\ \log \left({\frac {\ p(x)\ }{q(x)}}\right)\ \mu (\mathrm {d} \ \!x)~.}$

密度を定義できる測度は常に存在することに注意してください。なぜなら、 を取ることができるからです。ただし、実際には、連続分布の場合は、通常、 という文脈では という測度になります。これらの式の対数は、情報がビット単位で測定される場合は通常 2 を底とし、情報がnats 単位で測定される場合はe を底とします。相対エントロピーを含むほとんどの式は、対数の底に関係なく成り立ちます 。${\displaystyle \mu }$${\displaystyle \ \mu ={\frac {1}{2}}\left(P+Q\right)\ }$

を言葉で表す際には、さまざまな慣例があります。多くの場合、これはPとQの相違と呼ばれますが、これでは関係の基本的な非対称性が伝わりません。この記事のように、PのQからの相違、またはQからPへの相違と説明されることもあります。これは、事前 Q から開始して事後 P に更新するベイズ推論の非対称性を反映しています。を表すもう1つの一般的な方法は、 Qに関する Pの相対エントロピー、またはQに対するPの情報ゲインです。 ${\displaystyle \ D_{\text{KL}}(P\parallel Q)\ }$ ${\displaystyle \ D_{\text{KL}}(P\parallel Q)\ }$

Kullback ^[3]は次の例を示しています（表2.1、例2.1）。PとQを表と図に示されている分布とします。Pは図の左側の分布で、およびの二項分布です。Qは図の右側の分布で、3つの可能な結果を​​持つ離散一様分布です。${\displaystyle N=2}$${\displaystyle p=0.4}$${\displaystyle x=}$ 0 ,1、2 (すなわち)、それぞれ確率 です。 ${\displaystyle {\mathcal {X}}=\{0,1,2\}}$${\displaystyle p=1/3}$

相対エントロピーと は次のように計算されます。 この例では、底eの自然対数をln として使用し、結果をnatsで取得します(情報の単位を参照)。 ${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle D_{\text{KL}}(Q\parallel P)}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\ln \left({\frac {P(x)}{Q(x)}}\right)\\&={\frac {9}{25}}\ln \left({\frac {9/25}{1/3}}\right)+{\frac {12}{25}}\ln \left({\frac {12/25}{1/3}}\right)+{\frac {4}{25}}\ln \left({\frac {4/25}{1/3}}\right)\\&={\frac {1}{25}}\left(32\ln(2)+55\ln(3)-50\ln(5)\right)\approx 0.0852996,\end{aligned}}}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\ln \left({\frac {Q(x)}{P(x)}}\right)\\&={\frac {1}{3}}\ln \left({\frac {1/3}{9/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{12/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{4/25}}\right)\\&={\frac {1}{3}}\left(-4\ln(2)-6\ln(3)+6\ln(5)\right)\approx 0.097455.\end{aligned}}}$

統計学の分野では、ネイマン・ピアソンの補題は、2つの分布PとQを、観測値Y（どちらか一方から抽出）に基づいて区別する最も強力な方法は、それらの尤度の比の対数を使用することであると述べている 。KLダイバージェンスは、 Yが実際にPから抽出された場合のこの統計量の期待値である。カルバックは、この統計量を期待対数尤度比として提案した。^[15]${\displaystyle \log P(Y)-\log Q(Y)}$

符号理論の文脈では、Pに最適化されたコードではなくQに最適化されたコードを使用してPからのサンプルを符号化するために必要な追加ビットの予想数を測定することによって、 を構築できます。 ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

機械学習の文脈では、これは現在使用されているQの代わりにP が使用された場合に達成される情報ゲインと呼ばれることがよくあります。情報理論との類推により、これはQに関するPの相対エントロピーと呼ばれます。 ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

ベイズ推論の言語で表現すると、事前確率分布Qから事後確率分布Pに信念を修正することによって得られる情報の尺度です。言い換えれば、QがPを近似するために使用されるときに失われる情報の量です。^[16]${\displaystyle D_{\text{KL}}(P\parallel Q)}$

アプリケーションでは、P は通常、データ、観測値、または正確に計算された理論分布の「真の」分布を表しますが、Q は通常、 Pの理論、モデル、説明、または近似値を表します。 Pに最も近い分布Q を見つけるために、KL ダイバージェンスを最小化し、情報投影を計算します。

これは統計的距離ではあるが、距離の最も一般的な種類である計量ではなく、発散である。^[4]計量は対称で、一般化して線形距離となり、三角不等式 を満たすのに対し、発散 は非対称で、一般化して二乗距離となり、一般化されたピタゴラスの定理を満たす場合もある。一般に は と等しくなく、この非対称性は幾何学の重要な部分である。^[4]相対エントロピーの無限小形式、具体的にはそのヘッセ行列 は、フィッシャー情報計量に等しい計量テンソルを与える。§ フィッシャー情報計量を参照。特定の確率分布上のフィッシャー情報計量により、情報幾何最適化アルゴリズムの自然勾配が決定される。^[17]その量子バージョンはフビニ研究計量である。^{[18]相対エントロピーは}指数族（幾何学的には双対平坦多様体として解釈される）に対する一般化されたピタゴラスの定理を満たし、これにより情報射影や最大尤度推定などの幾何学的手段によって相対エントロピーを最小化することが可能になる。^[5]${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle D_{\text{KL}}(Q\parallel P)}$

相対エントロピーは負のエントロピーによって生成されるブレグマンダイバージェンスですが、 fダイバージェンスの形でもあります。有限アルファベット上の確率の場合、この2つの統計的ダイバージェンスクラスの両方のメンバーであるという点でユニークです。ブレグマンダイバージェンスの応用はミラー降下法で見つけることができます。^[19]

相互に排他的な結果をもたらす公正なゲーム（例えば、公式のオッズが合計1になる「競馬」）における成長最適化投資家について考えてみましょう。そのような投資家が期待する収益率は、投資家が信じる確率と公式のオッズの間の相対エントロピーに等しくなります。^[20] これは、金融収益と乖離指標の間のより一般的な関係の特殊なケースです。^[21]

金融リスクは情報幾何学を介して結びついています。^[22]投資家の見解、市場の支配的な見解、およびリスクのあるシナリオは、関連する確率分布の多様体上で三角形を形成します。三角形の形状によって、主要な金融リスクが決まります（定性的および定量的の両方）。たとえば、投資家の見解とリスクシナリオが市場に対して「反対側」に現れる鈍角三角形はマイナスのリスクを表し、鋭角三角形はプラスのエクスポージャーを表し、真ん中の直角の状況はゼロリスクに対応します。この概念を拡張して、たとえば資金フローの大きさと事前の期待からの偏差によって表されるとすると、相対エントロピーは情報に通じた投資家の行動を特定するために仮説的に利用できます^[23]。 ${\displaystyle D_{\text{KL}}}$

情報理論において、クラフト・マクミラン定理は、メッセージを符号化して可能性の集合 X から1 つの値を識別する直接デコード可能な符号化方式は、 X上の暗黙の確率分布を表すものと見なすことができることを確立しています。ここで、 はビット単位のコード長です。したがって、相対エントロピーは、真の分布Pに基づくコードを使用する場合と比較して、特定の (誤った) 分布Qに最適なコードを使用する場合に通信する必要があるデータあたりの予想される余分なメッセージ長として解釈できます。これが過剰エントロピーです。 ${\displaystyle x_{i}}$${\displaystyle q(x_{i})=2^{-\ell _{i}}}$${\displaystyle \ell _{i}}$${\displaystyle x_{i}}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{q(x)}}-\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{p(x)}}\\[5pt]&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}}$

ここで、はPに対するQのクロスエントロピーであり、はPのエントロピーです(これは P 自身とのクロスエントロピーと同じです)。 ${\displaystyle \mathrm {H} (P,Q)}$${\displaystyle \mathrm {H} (P)}$

相対エントロピーは、幾何学的には統計距離、つまり分布Qが分布Pからどれだけ離れているかを表す尺度として考えることができます。幾何学的には、これは発散、つまり距離の二乗の非対称な一般化された形式です。クロスエントロピー自体はそのような尺度（正式には損失関数）ですが、はゼロではないため、距離として考えることはできません。これは、 を減算して、過剰損失として、距離の概念とより一致するようにすることで修正できます。結果として得られる関数は非対称であり、これを対称化できますが（§ 対称化された発散を参照）、非対称形式の方が便利です。幾何学的解釈の詳細については、 § 解釈を参照してください。 ${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle H(P,Q)}$${\displaystyle H(P,P)=:H(P)}$${\displaystyle H(P)}$${\displaystyle D_{\text{KL}}(P\parallel Q)}$

相対エントロピーは大偏差理論における「速度関数」と関連している。^{[24] [25]}

アーサー・ホブソンは、相対エントロピーが、エントロピーの一般的な特徴付けに現れるものの標準的な拡張であるいくつかの望ましい特性を満たす、確率分布間の差の唯一の尺度であることを証明した。^[26]その結果、相互情報量は、カルバック・ライブラー情報量の観点から定義できるため、特定の関連条件に従う相互依存性の唯一の尺度となる。

• 相対エントロピーは常に非負であり、これはギブスの不等式として知られる結果です。がゼロになるのは、 の尺度である場合のみです。$${\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,}$$${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle P=Q}$

特に、およびの場合、ほぼどこでも となります。したがって、エントロピーは、クロスエントロピー、つまりPではなくQに基づくコードを使用するときに必要なビットの予想数の最小値を設定します。したがって、カルバック・ライブラー情報とは、確率分布Q （「真の」分布Pではない）に対応するコードが使用される場合に、Xから抽出された値x を識別するために送信する必要がある追加ビットの予想数を表します。 ${\displaystyle P(dx)=p(x)\mu (dx)}$${\displaystyle Q(dx)=q(x)\mu (dx)}$${\displaystyle p(x)=q(x)}$ ${\displaystyle \mu }$${\displaystyle \mathrm {H} (P)}$${\displaystyle \mathrm {H} (P,Q)}$

• 一般的なケースでは上限は存在しません。しかし、PとQが同じ離散量を分布させることによって構築された2つの離散確率分布である場合、の最大値を計算することができることが示されています。^[27]${\displaystyle D_{\text{KL}}(P\parallel Q)}$
• 相対エントロピーは連続分布に対して明確に定義され、さらにパラメータ変換に対して不変です。たとえば、変数xから変数 への変換が行われた場合、 であり、 が導関数の絶対値、またはより一般的にはヤコビアン の絶対値であるため、相対エントロピーは次のように書き直すことができます。であり、。変換は連続であると仮定しましたが、そうである必要はありません。これはまた、x が次元付き変数である場合、およびも次元付きであるため、相対エントロピーが次元的に一貫した量を生成することも示しています。eg は無次元です。対数項の引数は であり、無次元のままであり、そうあるべきです。したがって、それは、非離散確率に対して未定義または負になる可能性がある情報理論^[28]の他のいくつかの特性(自己情報量やシャノンエントロピーなど) よりも、ある意味でより基本的な量と見なすことができます。${\displaystyle y(x)}$${\displaystyle P(dx)=p(x)\,dx={\tilde {p}}(y)\,dy={\tilde {p}}(y(x))|{\tfrac {dy}{dx}}(x)|\,dx}$${\displaystyle Q(dx)=q(x)\,dx={\tilde {q}}(y)\,dy={\tilde {q}}(y)|{\tfrac {dy}{dx}}(x)|dx}$${\displaystyle |{\tfrac {dy}{dx}}(x)|}$$${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}p(x)\log \left({\frac {p(x)}{q(x)}}\right)\,dx\\[6pt]&=\int _{x_{a}}^{x_{b}}{\tilde {p}}(y(x))|{\frac {dy}{dx}}(x)|\log \left({\frac {{\tilde {p}}(y(x))\,|{\frac {dy}{dx}}(x)|}{{\tilde {q}}(y(x))\,|{\frac {dy}{dx}}(x)|}}\right)\,dx\\&=\int _{y_{a}}^{y_{b}}{\tilde {p}}(y)\log \left({\frac {{\tilde {p}}(y)}{{\tilde {q}}(y)}}\right)\,dy\end{aligned}}}$$${\displaystyle y_{a}=y(x_{a})}$${\displaystyle y_{b}=y(x_{b})}$${\displaystyle p(x)}$${\displaystyle q(x)}$${\displaystyle P(dx)=p(x)\,dx}$
• 相対エントロピーは、シャノンエントロピーとほぼ同じように、独立分布に対して加算的である。 が独立分布で の場合、独立分布の場合も同様である 。${\displaystyle P_{1},P_{2}}$${\displaystyle P(dx,dy)=P_{1}(dx)P_{2}(dy)}$${\displaystyle Q(dx,dy)=Q_{1}(dx)Q_{2}(dy)}$${\displaystyle Q_{1},Q_{2}}$$${\displaystyle D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2}).}$$
• 相対エントロピーは確率測度のペアにおいて凸である。つまり、とが2つの確率測度のペアである 場合、${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle (P,Q)}$${\displaystyle (P_{1},Q_{1})}$${\displaystyle (P_{2},Q_{2})}$$${\displaystyle D_{\text{KL}}(\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2})\leq \lambda D_{\text{KL}}(P_{1}\parallel Q_{1})+(1-\lambda )D_{\text{KL}}(P_{2}\parallel Q_{2}){\text{ for }}0\leq \lambda \leq 1.}$$
• ${\displaystyle D_{\text{KL}}(P\parallel Q)}$は、その最小値 (すなわち) についてテイラー展開され、 に関してほぼ確実に である場合に限り収束します。${\displaystyle P=Q}$$${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}}$$${\displaystyle P\leq 2Q}$${\displaystyle Q}$

ドンスカーとバラダンによる次の結果^[29]は、ドンスカーとバラダンの変分公式として知られています。

測度論を用いた別の証明については^[30]を参照。

平均と（非特異）共分散行列を持つ2つの多変量正規分布があるとします。2つの分布が同じ次元kを持つ場合、分布間の相対エントロピーは次のようになります。^[31]${\displaystyle \mu _{0},\mu _{1}}$ ${\displaystyle \Sigma _{0},\Sigma _{1}.}$

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)-k+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)+\ln \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).}$

最後の項の対数はe を底とする必要があります。これは、最後の項を除くすべての項が、密度関数の因数であるか、自然に生じる式の e を底とする対数であるためです。したがって、この式はnatsで測定された結果をもたらします。上記の式全体を で割ると、ビット単位の発散が得られます。 ${\displaystyle \ln(2)}$

数値実装では、結果を およびとなるコレスキー分解で表現すると便利です。すると、三角線形システム、 、のMおよびy解で、 ${\displaystyle L_{0},L_{1}}$${\displaystyle \Sigma _{0}=L_{0}L_{0}^{T}}$${\displaystyle \Sigma _{1}=L_{1}L_{1}^{T}}$${\displaystyle L_{1}M=L_{0}}$${\displaystyle L_{1}y=\mu _{1}-\mu _{0}}$

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\sum _{i,j=1}^{k}(M_{ij})^{2}-k+|y|^{2}+2\sum _{i=1}^{k}\ln {\frac {(L_{1})_{ii}}{(L_{0})_{ii}}}\right).}$

変分推論における特殊なケースであり一般的な量は、対角多変量正規分布と標準正規分布（平均ゼロ、分散1）間の相対エントロピーです。

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={1 \over 2}\sum _{i=1}^{k}\left(\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right).}$

2つの一変量正規分布pとqの場合、上記は次のように簡略化される^[32]。

${\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {\sigma _{1}}{\sigma _{0}}}+{\frac {\sigma _{0}^{2}+(\mu _{0}-\mu _{1})^{2}}{2\sigma _{1}^{2}}}-{\frac {1}{2}}}$

の共心正規分布の場合、^[33]は次のように簡略化される。 ${\displaystyle k=\sigma _{1}/\sigma _{0}}$

${\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log _{2}k+(k^{-2}-1)/2/\ln(2)\mathrm {bits} }$

（ ）で囲まれたサポートを持つ2つの一様分布を考えます。情報ゲインは次のようになります。 ${\displaystyle p=[A,B]}$${\displaystyle q=[C,D]}$${\displaystyle C\leq A<B\leq D}$

${\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {D-C}{B-A}}}$

直感的に言えば、^[33] k倍狭い均一分布の情報利得にはビットが含まれます。これは、 kの長さのストリーム の1つの要素を識別するためにビットが必要になるコンピューティングにおけるビットの使用と関連しています。${\displaystyle \log _{2}k}$${\displaystyle \log _{2}k}$

相対エントロピーは統計的距離であるが、確率分布の空間上の計量ではなく、発散である。^[4]計量は対称であり、線形距離を一般化して三角不等式 を満たすのに対し、発散は一般に非対称であり、二乗距離を一般化して、一般化されたピタゴラスの定理を満たす場合もある。一般に はと等しくなく、これは対称化できるが（§ 対称化された発散を参照）、非対称性は幾何学の重要な部分である。^[4]${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle D_{\text{KL}}(Q\parallel P)}$

これは確率分布の空間上の位相を生成する。より具体的には、が次のような分布の列である 場合、${\displaystyle \{P_{1},P_{2},\ldots \}}$

${\displaystyle \lim _{n\to \infty }D_{\text{KL}}(P_{n}\parallel Q)=0}$、

そして、

${\displaystyle P_{n}{\xrightarrow {D}}Q}$。

ピンスカーの不等式は、

${\displaystyle P_{n}\xrightarrow {D} P\Rightarrow P_{n}\xrightarrow {TV} P}$、

ここで後者は全変化における通常の収束を表します。

相対エントロピーはフィッシャー情報量に直接関係しています。これは次のように明示することができます。確率分布PとQ の両方が何らかの（多次元の可能性がある）パラメータ によってパラメータ化されていると仮定します。次に、パラメータ がパラメータ値 とわずかに異なる2 つの近い値 を考えます。具体的には、1 次まで（アインシュタインの総和規則を使用） ${\displaystyle \theta }$${\displaystyle P=P(\theta )}$${\displaystyle Q=P(\theta _{0})}$${\displaystyle \theta }$${\displaystyle \theta _{0}}$

${\displaystyle P(\theta )=P(\theta _{0})+\Delta \theta _{j}\,P_{j}(\theta _{0})+\cdots }$

j方向の小さな変化と、それに対応する確率分布の変化率を伴います。相対エントロピーは に対して絶対最小値0を持つため、つまり、小さなパラメータ では2次までしか変化しません。より正式には、任意の最小値の場合と同様に、発散の1次導関数は消えます。 ${\displaystyle \Delta \theta _{j}=(\theta -\theta _{0})_{j}}$${\displaystyle \theta }$${\displaystyle P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \theta _{j}}}(\theta _{0})}$${\displaystyle P=Q}$${\displaystyle \theta =\theta _{0}}$${\displaystyle \Delta \theta _{j}}$

${\displaystyle \left.{\frac {\partial }{\partial \theta _{j}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))=0,}$

テイラー展開により2次まで

${\displaystyle D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\,\Delta \theta _{j}\,\Delta \theta _{k}\,g_{jk}(\theta _{0})+\cdots }$

ここで、発散の ヘッセ行列は

${\displaystyle g_{jk}(\theta _{0})=\left.{\frac {\partial ^{2}}{\partial \theta _{j}\,\partial \theta _{k}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))}$

は半正定値でなければなりません。を変化させると（そしてサブインデックス 0 を削除すると）、ヘッセ行列はθパラメータ空間上の（おそらく退化した）リーマン計量を定義します。これはフィッシャー情報計量と呼ばれます。 ${\displaystyle \theta _{0}}$${\displaystyle g_{jk}(\theta )}$

次の規則性条件を満たす 場合:${\displaystyle p_{(x,\rho )}}$

${\displaystyle {\frac {\partial \log(p)}{\partial \rho }},{\frac {\partial ^{2}\log(p)}{\partial \rho ^{2}}},{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}}$存在する、

${\displaystyle {\begin{aligned}\left|{\frac {\partial p}{\partial \rho }}\right|&<F(x):\int _{x=0}^{\infty }F(x)\,dx<\infty ,\\\left|{\frac {\partial ^{2}p}{\partial \rho ^{2}}}\right|&<G(x):\int _{x=0}^{\infty }G(x)\,dx<\infty \\\left|{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}\right|&<H(x):\int _{x=0}^{\infty }p(x,0)H(x)\,dx<\xi <\infty \end{aligned}}}$

ここでξはρに依存しない

${\displaystyle \left.\int _{x=0}^{\infty }{\frac {\partial p(x,\rho )}{\partial \rho }}\right|_{\rho =0}\,dx=\left.\int _{x=0}^{\infty }{\frac {\partial ^{2}p(x,\rho )}{\partial \rho ^{2}}}\right|_{\rho =0}\,dx=0}$

それから：

${\displaystyle {\mathcal {D}}(p(x,0)\parallel p(x,\rho ))={\frac {c\rho ^{2}}{2}}+{\mathcal {O}}\left(\rho ^{3}\right){\text{ as }}\rho \to 0.}$

もう一つの情報理論的測定基準は情報の変化であり、これは条件付きエントロピーの対称化に近いものであり、離散確率空間の分割集合に関する測定基準である。

MAUVE は、モデルによって生成されたテキストと人間が書いたテキストの違いなど、2 つのテキスト分布間の統計的ギャップの尺度です。この尺度は、基礎モデルの量子化された埋め込み空間における 2 つの分布間の Kullback-Leibler ダイバージェンスを使用して計算されます。

情報理論の他の量の多くは、特定のケースへの相対エントロピーの適用として解釈できます。

自己情報量は、信号、ランダム変数、またはイベントの情報量とも呼ばれ、特定の結果が発生する 確率の負の対数として定義されます。

離散確率変数に適用した場合、自己情報は次のように表される^[要出典]

${\displaystyle \operatorname {\operatorname {I} } (m)=D_{\text{KL}}\left(\delta _{\text{im}}\parallel \{p_{i}\}\right),}$

は、クロネッカーのデルタからの確率分布の相対エントロピーであり、確実性を表します。つまり、確率分布のみが受信者に利用可能であり、事実ではない場合に、 i を識別するために送信する必要がある追加ビットの数です。 ${\displaystyle P(i)}$${\displaystyle i=m}$${\displaystyle P(i)}$${\displaystyle i=m}$

相互情報量、

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\[5pt]&=\operatorname {E} _{X}\{D_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\[5pt]&=\operatorname {E} _{Y}\{D_{\text{KL}}(P(X\mid Y)\parallel P(X))\}\end{aligned}}}$

は、 2 つの周辺確率分布の積から得られる結合確率分布 の相対エントロピーです。つまり、結合分布ではなく周辺分布のみを使用してコード化された場合に、XとY を識別するために送信する必要がある追加ビットの予想数です。同様に、結合確率がわかっている場合、 Xの値が受信者にまだわかっていない場合に、Y を識別するために平均して送信する必要がある追加ビットの予想数です。 ${\displaystyle P(X,Y)}$${\displaystyle P(X)P(Y)}$${\displaystyle P(X,Y)}$

シャノンエントロピー、

${\displaystyle {\begin{aligned}\mathrm {H} (X)&=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\&=\log(N)-D_{\text{KL}}\left(p_{X}(x)\parallel P_{U}(X)\right)\end{aligned}}}$

は、 N 個の等確率の可能性からX を識別するために送信しなければならないビット数から、 Xのランダム変量に対する一様分布の相対エントロピー、真の分布からの相対エントロピーを引いたものです。つまり、Xの値が真の分布ではなく一様分布に従ってコード化されていた場合に送信しなければならなかった節約されたビット数の期待値を引いたものです。シャノンのエントロピーのこの定義は、ET ジェインズによる連続分布への代替一般化、離散点の極限密度(通常の微分エントロピーとは対照的) の基礎を形成し、連続エントロピーを次のように定義します。 ${\displaystyle P_{U}(X)}$${\displaystyle P(X)}$${\displaystyle P_{U}(X)}$${\displaystyle P(X)}$

${\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx,}$

これは次と同等です:

${\displaystyle \log(N)-D_{\text{KL}}(p(x)||m(x))}$

条件付きエントロピー[ ^34]、

${\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\[5pt]&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\[5pt]&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\[5pt]&=\log(N)-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\right]\end{aligned}}}$

は、 N 個の同等に起こりうる可能性からX を識別するために送信しなければならないビット数から、真の結合分布からの積分布の相対エントロピーを引いたものです。つまり、Xの値が、 Yが与えられたときのXの条件付き分布ではなく、一様分布に従ってコード化された場合に送信しなければならなかったであろう節約されたビット数の予想値を引いたものです。 ${\displaystyle P_{U}(X)P(Y)}$${\displaystyle P(X,Y)}$${\displaystyle P_{U}(X)}$${\displaystyle P(X|Y)}$

分布pから得られる可能性のあるイベントのセットがある場合、エントロピー符号化を使用してそれらをエンコードできます (ロスレスデータ圧縮を使用) 。これは、各固定長入力シンボルを対応する一意の可変長のプレフィックスフリーコードに置き換えることによってデータを圧縮します (例: 確率 p = (1/2、1/4、1/4) のイベント (A、B、C) は、ビット (0、10、11) としてエンコードできます)。分布 p が事前にわかっている場合は、最適なエンコードを考案できます (例:ハフマン符号化を使用)。つまり、エンコードしたメッセージは平均して最短の長さになり (エンコードされたイベントがpからサンプリングされていると仮定)、これはpのシャノンのエントロピー( と表記)に等しくなります。ただし、エントロピー符号化方式を作成するときに異なる確率分布 ( q ) を使用すると、可能性のセットからイベントを識別するために (平均して)より多くのビットが使用されます。この新しい（より大きな）数値は、pとq間のクロスエントロピーによって測定されます。 ${\displaystyle \mathrm {H} (p)}$

2 つの確率分布( pとq )間のクロス エントロピーは、 "真の" 分布pではなく、特定の確率分布qに基づくコーディング スキームが使用される場合に、一連の可能性からイベントを識別するために必要な平均ビット数を測定します。同じ確率空間上の 2 つの分布pとqのクロス エントロピーは、次のように定義されます。

${\displaystyle \mathrm {H} (p,q)=\operatorname {E} _{p}[-\log(q)]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q).}$

この明確な導出については、上記の「動機」セクションを参照してください。

このシナリオでは、相対エントロピー（kl ダイバージェンス）は、エンコード スキームの構築にpではなくq を使用するため、イベントをエンコードするために必要な平均して追加のビット数（ を超える）として解釈できます。 ${\displaystyle \mathrm {H} (p)}$

ベイズ統計では、相対エントロピーは事前分布から事後分布に移行する際の情報ゲインの尺度として使用できます。新しい事実が発見された場合、ベイズの定理を使用して、Xの事後分布を新しい事後分布に更新することができます。 ${\displaystyle p(x)\to p(x\mid I)}$${\displaystyle Y=y}$${\displaystyle p(x\mid I)}$${\displaystyle p(x\mid y,I)}$

${\displaystyle p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}}$

この分布には新しいエントロピーがあります:

${\displaystyle \mathrm {H} {\big (}p(x\mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),}$

これは、元のエントロピー より小さいか大きい可能性があります。ただし、新しい確率分布の観点から、 に基づく新しいコードの代わりに に基づく元のコードを使用した場合、予想されるビット数が追加されると推定できます。 ${\displaystyle \mathrm {H} (p(x\mid I))}$${\displaystyle p(x\mid I)}$${\displaystyle p(x\mid y,I)}$

${\displaystyle D_{\text{KL}}{\big (}p(x\mid y,I)\parallel p(x\mid I){\big )}=\sum _{x}p(x\mid y,I)\log \left({\frac {p(x\mid y,I)}{p(x\mid I)}}\right)}$

メッセージの長さに比例します。したがって、これはを発見することによって得られたXに関する有用な情報の量、つまり情報ゲインを表します。 ${\displaystyle Y=y}$

その後、さらなるデータ が入ると、xの確率分布はさらに更新され、新たな最善の推測 が得られます。ではなく を使用した場合の情報ゲインを再調査すると、以前の推定よりも大きくなるか小さくなる可能性があることがわかります。 ${\displaystyle Y_{2}=y_{2}}$${\displaystyle p(x\mid y_{1},y_{2},I)}$${\displaystyle p(x\mid y_{1},I)}$${\displaystyle p(x\mid I)}$

${\displaystyle \sum _{x}p(x\mid y_{1},y_{2},I)\log \left({\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}\right)}$≤ または > である可能性がある${\displaystyle \displaystyle \sum _{x}p(x\mid y_{1},I)\log \left({\frac {p(x\mid y_{1},I)}{p(x\mid I)}}\right)}$

そして、総合的な情報利得は三角不等式に従わ ない。

${\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big )}}$<、=、>のいずれかである可能性がある${\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid y_{1},I){\big )}+D_{\text{KL}}{\big (}p(x\mid y_{1},I)\parallel p(x\mid I){\big )}}$

言えることは、平均して、 を使用して平均すると、両側が平均化されるということです。 ${\displaystyle p(y_{2}\mid y_{1},x,I)}$

ベイズ実験計画法における共通の目標は、事前分布と事後分布の間の期待される相対エントロピーを最大化することである。 ^[35]事後分布がガウス分布に近似される場合、期待される相対エントロピーを最大化する計画はベイズd最適と呼ばれる。

相対エントロピーは、を超える場合の期待される判別情報、すなわち、仮説が正しい場合に、仮説 に対して仮説 を支持する判別を行うためのサンプルあたりの平均情報として解釈することもできます。 ^[36] IJ Goodによって与えられたこの量の別名は、各サンプルから を超える場合の期待される証拠の重みです。 ${\textstyle D_{\text{KL}}{\bigl (}p(x\mid H_{1})\parallel p(x\mid H_{0}){\bigr )}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$

以上の証拠の期待重みは、仮説の 確率分布に関するサンプルあたりの期待情報ゲインと同じではない。${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle p(H)}$

${\displaystyle D_{\text{KL}}(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I)).}$

どちらの量も、ベイズ実験設計における効用関数として使用して、次に調査する最適な質問を選択できますが、一般的には、かなり異なる実験戦略につながります。

情報ゲインのエントロピー スケールでは、ほぼ確実性と絶対確実性の間にはほとんど違いがありません。ほぼ確実性に従ってコーディングする場合、絶対確実性に従ってコーディングする場合よりもビット数が多くなることはありません。一方、証拠の重みによって暗示されるロジットスケールでは、両者の違いは非常に大きく、おそらく無限大です。これは、たとえばリーマン予想が正しいとほぼ確信していること (確率レベルで) と、数学的証明があるために正しいと確信していることの違いを反映している可能性があります。不確実性に対する損失関数のこれら 2 つの異なるスケールは、それぞれが問題の特定の状況をどの程度反映しているかに応じて、 どちらも有用です。

相対エントロピーを識別情報として捉えるという考えから、カルバックは最小識別情報(MDIできるだけ区別しにくい新しい分布fできるだけ小さくなります。 ${\displaystyle f_{0}}$${\displaystyle D_{\text{KL}}(f\parallel f_{0})}$

たとえば、xとaに関する事前分布があり、その後aの真の分布が であるとわかった場合、 xとaの新しい結合分布、 と以前の事前分布との間の相対エントロピーは次のようになります。 ${\displaystyle p(x,a)}$${\displaystyle u(a)}$${\displaystyle q(x\mid a)u(a)}$

${\displaystyle D_{\text{KL}}(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\left\{D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))\right\}+D_{\text{KL}}(u(a)\parallel p(a)),}$

すなわち、更新された分布 からのaの事前分布の相対エントロピーの合計と、新しい条件付き分布 からの事前条件付き分布の相対エントロピーの期待値 (確率分布 を使用)を加えたものです。(後者の期待値は条件付き相対エントロピー(または条件付きカルバック・ライブラー情報) と呼ばれ、 ^{[3] [34]}と表記されることに注意してください)。これは、のサポート全体で である場合に最小化されます。また、新しい分布が実際にa が特定の値を持つ ことの確実性を表す δ 関数である場合、この結果にはベイズの定理が組み込まれていることに注意してください。${\displaystyle p(a)}$${\displaystyle u(a)}$${\displaystyle u(a)}$${\displaystyle p(x\mid a)}$${\displaystyle q(x\mid a)}$${\displaystyle D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))}$${\displaystyle q(x\mid a)=p(x\mid a)}$${\displaystyle u(a)}$${\displaystyle u(a)}$

MDI は、ラプラスの不十分理由原理と、ET ジェインズの最大エントロピー原理の拡張と見ることができます。特に、これは離散分布から連続分布への最大エントロピー原理の自然な拡張であり、この場合、シャノン エントロピーはそれほど役に立たなくなりますが (微分エントロピーを参照)、相対エントロピーは同様に関連性を持ち続けます。

工学文献では、MDIは最小交差エントロピー原理（MCE）または略してMinxentと呼ばれることもあります。mからpへの相対エントロピーをmに関して最小化することは、 pとmの交差エントロピーを最小化することと同じです。

${\displaystyle \mathrm {H} (p,m)=\mathrm {H} (p)+D_{\text{KL}}(p\parallel m),}$

これは、 pへの適切な近似値を選択しようとしている場合には適切です。しかし、これは達成しようとしているタスクではないことがほとんどです。その代わりに、多くの場合、m は何らかの固定された事前参照尺度であり、pは何らかの制約の下で最小化することで最適化しようとしています。これにより、文献に曖昧さが生じ、一部の著者は、クロスエントロピーを^{[引用が必要]}ではなく に再定義することで矛盾を解決しようとしています。 ${\displaystyle D_{\text{KL}}(p\parallel m)}$${\displaystyle D_{\text{KL}}(p\parallel m)}$${\displaystyle \mathrm {H} (p,m)}$

驚き^{[37]は確率が乗算されるところで加算される。確率}pのイベントの驚きはと定義される。kが の場合、驚きはナット、ビット、またはで表され、例えば、N枚のコインを投げてすべて「表」が出た場合の驚きはNビットとなる。 ${\displaystyle s=k\ln(1/p)}$${\displaystyle \left\{1,1/\ln 2,1.38\times 10^{-23}\right\}}$${\displaystyle \{}$${\displaystyle J/K\}}$

最善の推測状態（例えば、気体中の原子）は、与えられた制御パラメータ（圧力Pや体積Vなど）の平均サプライズ S（エントロピー）を最大化することによって推定される。この制約付きエントロピー最大化は、古典的^[38]および量子力学的^{[39]の両方において、エントロピー単位[40]での}ギブス可用性を最小化する。ここで、Zは制約付き多重度または分割関数である。 ${\displaystyle A\equiv -k\ln(Z)}$

温度Tが固定されている場合、自由エネルギー ( ) も最小化されます。したがって、分子数 N が一定であれば、システムが「平衡」するにつれてヘルムホルツ自由エネルギー( Uはエネルギー、Sはエントロピー) が最小化されます。TとPが一定に保たれている場合 (体内での処理中など)、代わりにギブスの自由エネルギーが最小化されます。これらの条件下での自由エネルギーの変化は、プロセスで行われる可能性のある利用可能な仕事の尺度です。したがって、一定の温度と圧力での理想気体の利用可能な仕事は、および(ギブスの不等式も参照) です。${\displaystyle T\times A}$${\displaystyle T,V}$ ${\displaystyle F\equiv U-TS}$ ${\displaystyle G=U+PV-TS}$${\displaystyle T_{o}}$${\displaystyle P_{o}}$${\displaystyle W=\Delta G=NkT_{o}\Theta (V/V_{o})}$${\displaystyle V_{o}=NkT_{o}/P_{o}}$${\displaystyle \Theta (x)=x-1-\ln x\geq 0}$

より一般的には^[41]、ある周囲温度に対する相対的な仕事量は、周囲温度に相対エントロピーまたはネットサプライズを掛けて得られる。これは、周囲条件下での特定の状態の確率の平均値として定義される。例えば、一原子理想気体をおよびの周囲値に平衡化させるのに利用可能な仕事量は であり、相対エントロピーは である。 ${\displaystyle T_{o}}$ ${\displaystyle \Delta I\geq 0,}$${\displaystyle k\ln(p/p_{o})}$${\displaystyle p_{o}}$${\displaystyle V_{o}}$${\displaystyle T_{o}}$${\displaystyle W=T_{o}\Delta I}$

${\displaystyle \Delta I=Nk\left[\Theta \left({\frac {V}{V_{o}}}\right)+{\frac {3}{2}}\Theta \left({\frac {T}{T_{o}}}\right)\right].}$

右図に示すように、標準温度と標準圧力におけるアルゴン1モルの相対エントロピーが一定となる等高線は、例えば、炎で動くエアコンや、ここで議論されている沸騰水を氷水に変える無動力装置における熱から冷気への変換に制限を課します。^[42]このように、相対エントロピーは熱力学的利用可能性をビット単位で測定します。

ヒルベルト空間上の密度行列 PとQに対して、QからPへの量子相対エントロピーは次のように定義される。

${\displaystyle D_{\text{KL}}(P\parallel Q)=\operatorname {Tr} (P(\log(P)-\log(Q))).}$

量子情報科学では、すべての分離可能な状態Qの最小値は、状態Pにおけるエンタングルメントの尺度としても使用できます。 ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

「周囲温度からの実際の」相対エントロピーが熱力学的利用可能性を測定するのと同様に、「モデルからの現実」の相対エントロピーも、たとえ現実について私たちが持っている唯一の手がかりがいくつかの実験測定であったとしても有用です。前者の場合、相対エントロピーは平衡までの距離、または（周囲温度を乗じた場合）利用可能な仕事の量を表しますが、後者の場合、それは現実が秘めている驚き、つまり、モデルがまだどれだけ学習する必要があるかを示します。

実験的にアクセス可能なシステムに対してモデルを評価するこのツールは、あらゆる分野に適用できますが、赤池情報量基準による統計モデルの選択への応用は、バーナムとアンダーソンによる論文^[43]と書籍^{[44]で特に詳しく説明されています。簡単に言えば、モデルからの現実の相対エントロピーは、データとモデルの予測値の間で観察された偏差（}平均二乗偏差など）の関数によって、一定の加法項内で推定できます。同じ加法項を共有するモデルのこのような発散の推定値は、モデルの選択に使用できます。

パラメータ化されたモデルをデータに適合させようとする場合、最大尤度推定量や最大間隔推定量など、相対エントロピーを最小化しようとするさまざまな推定量があります。^{[引用が必要]}

Kullback & Leibler (1951)も対称化された関数を検討した: ^[6]

${\displaystyle D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)}$

彼らはこれを「ダイバージェンス」と呼んでいたが、今日では「KLダイバージェンス」は非対称関数を指す（この用語の変遷については§ 語源を参照）。この関数は対称かつ非負であり、 1948年にハロルド・ジェフリーズによってすでに定義され使用されていたため、^[7]ジェフリーズ・ダイバージェンスと呼ばれている。

この量は、分類問題における特徴選択に使用されることがあります。ここで、 PとQ は、2 つの異なるクラスにおける特徴の条件付きpdfです。銀行および金融業界では、この量はPopulation Stability Index ( PSI )と呼ばれ、時間の経過に伴うモデル特徴の分布の変化を評価するために使用されます。

別の方法としては、-発散によって与えられる。 ${\displaystyle \lambda }$

${\displaystyle D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q),}$

これは、現在それぞれ確率が とである場合に、確率分布PまたはQ のどちらからXが抽出されるかを発見することによる、 Xについての期待情報ゲインとして解釈できます。^{[説明が必要] [引用が必要]}${\displaystyle \lambda }$${\displaystyle 1-\lambda }$

この値は、次のように定義される ジェンセン・シャノン距離を与える。${\displaystyle \lambda =0.5}$

${\displaystyle D_{\text{JS}}={\frac {1}{2}}D_{\text{KL}}(P\parallel M)+{\frac {1}{2}}D_{\text{KL}}(Q\parallel M)}$

ここでMは2つの分布の平均であり、

${\displaystyle M={\frac {1}{2}}(P+Q).}$

出力分布PとQ を与える 2 つの入力を持つノイズの多い情報チャネルの容量として解釈することもできます。ジェンセン・シャノン ダイバージェンスは、すべてのfダイバージェンスと同様に、フィッシャー情報メトリックに局所的に比例します。これは、ヘリンガー メトリックに似ています(統計多様体 に同じアフィン接続を誘導するという意味で)。 ${\displaystyle D_{\text{JS}}}$

さらに、ジェンセン・シャノン情報量は、抽象的な平均Mに依存する抽象的な統計的M混合を使用して一般化することができる。^{[45] [46]}

確率距離の重要な尺度は他にもたくさんあります。これらのいくつかは特に相対エントロピーと関連しています。例えば、

• 全変動距離、 。これは、ピンスカー不等式を介して発散と関連しています。全変動距離は最大でも1であるため、となる分布に対してはピンスカー不等式は空です。このような分布に対しては、 Bretagnolle と Huber ^[47]による別の境界を使用できます(Tsybakov ^[48]も参照)。${\displaystyle \delta (p,q)}$$${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\text{KL}}(P\parallel Q)}}.}$$${\displaystyle D_{\mathrm {KL} }(P\parallel Q)>2}$$${\displaystyle \delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.}$$
• レーニイ ダイバージェンスの族は相対エントロピーを一般化します。特定のパラメータの値に応じて、さまざまな不等式が推定されます。${\displaystyle \alpha }$

その他の注目すべき距離の尺度としては、ヘリンガー距離、ヒストグラム交差、カイ二乗統計量、二次形式距離、一致距離、コルモゴロフ・スミルノフ距離、アースムーバー距離などがある。^[49]

絶対エントロピーがデータ圧縮の理論的背景として機能するのと同様に、相対エントロピーはデータ差分の理論的背景として機能します。この意味でのデータセットの絶対エントロピーは、データセットを再構築するために必要なデータ (最小圧縮サイズ) であり、ソースデータセットが与えられたターゲットデータセットの相対エントロピーは、ソースが与えられたターゲットを再構築するために必要なデータ(パッチの最小サイズ) です。

• バッタチャリヤ距離

• 情報理論的推定ツールボックス
• カルバック・ライブラー距離を計算するための Ruby gem
• Jon Shlens による Kullback–Leibler ダイバージェンスと尤度理論に関するチュートリアル
• 離散分布の Kullback–Leibler ダイバージェンスを計算する Matlab コード
• Sergio Verdú、「相対エントロピー」、NIPS 2009。1 時間のビデオ講義。
• 情報理論的発散尺度の現代的な要約