相互情報

確率論と情報理論では、 2 つのランダム変数の相互情報量( MI ) は、2 つの変数間の相互依存性の尺度です。より具体的には、1 つのランダム変数を観察することによって、もう 1 つのランダム変数について得られる「情報量」(シャノン(ビット)、ナット、ハートレーなどの単位) を定量化します。相互情報量の概念は、ランダム変数のエントロピーの概念と密接に関連しています。エントロピーは、ランダム変数に含まれる「情報量」の期待値を定量化する情報理論の基本概念です。

MI は、相関係数のような実数値のランダム変数や線形依存性に限定されず、より一般的なもので、ペアの結合分布が、およびの周辺分布の積からどれだけ異なるかを決定します。MI は、点ごとの相互情報量 (PMI)の期待値です。 ${\displaystyle (X,Y)}$${\displaystyle X}$${\displaystyle Y}$

この量はクロード・シャノンの画期的な論文「コミュニケーションの数学的理論」で定義され、分析されましたが、彼はそれを「相互情報量」とは呼んでいませんでした。この用語は後にロバート・ファノによって造られました。^{[2]相互情報量は}情報ゲインとしても知られています。

を空間 上の値を持つ2つのランダム変数とします。それらの結合分布が で、周辺分布がおよび である場合、相互情報量は次のように定義されます。 ${\displaystyle (X,Y)}$${\displaystyle {\mathcal {X}}\times {\mathcal {Y}}}$${\displaystyle P_{(X,Y)}}$${\displaystyle P_{X}}$${\displaystyle P_{Y}}$

ここで、はカルバック・ライブラー情報、 は各 に確率を割り当てる外積分布です。 ${\displaystyle D_{\mathrm {KL} }}$${\displaystyle P_{X}\otimes P_{Y}}$${\displaystyle P_{X}(x)\cdot P_{Y}(y)}$${\displaystyle (x,y)}$

カルバック・ライブラー情報の特性によれば、結合分布が周辺分布の積と一致するとき、つまりとが独立しているとき（したがって を観察してもについては何もわからないとき）は、 はゼロになることに注意してください。が非負の場合、それは実際には独立したランダム変数のペアではないのに、それらを独立したランダム変数のペアとして エンコードするためのコストの尺度です。${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle I(X;Y)}$${\displaystyle (X,Y)}$

自然対数が使用される場合、相互情報量の単位は nat です。底が 2 の対数が使用される場合、相互情報量の単位はshannonで、ビットとも呼ばれます。底が10 の対数が使用される場合、相互情報量の単位はhartleyで、ban または dit とも呼ばれます。

2つの離散確率変数の相互情報量は、二重和として計算される：^{[3] ：20}${\displaystyle X}$${\displaystyle Y}$

ここで、はおよびの結合確率質量関数であり、および はそれぞれおよびの周辺確率質量関数です。 ${\displaystyle P_{(X,Y)}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle P_{X}}$${\displaystyle P_{Y}}$${\displaystyle X}$${\displaystyle Y}$

連続確率変数の場合、二重和は二重積分に置き換えられる：^{[3] ：251}

ここで、は との結合確率密度関数であり、と はそれぞれとの周辺確率密度関数です。 ${\displaystyle P_{(X,Y)}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle P_{X}}$${\displaystyle P_{Y}}$${\displaystyle X}$${\displaystyle Y}$

直感的に言えば、相互情報量はと が共有する情報量を測るものです。つまり、これらの変数の 1 つを知ることで、他方の不確実性がどの程度低減するかを測るものです。たとえば、と が独立している場合、 を知ってもについての情報は得られず、その逆もまた同様であるため、それらの相互情報量はゼロです。反対に、 がの決定論的関数であり、が の決定論的関数である場合、 によって伝えられるすべての情報は と共有されます。つまり、を知ることで の値が決まり、その逆もまた同様です。結果として、相互情報量は(または) のみに含まれる不確実性、つまり(または)のエントロピーと同じになります。この非常に特殊なケースは、 と が同じランダム変数である場合です。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$

相互情報量は、独立性を前提として、およびの結合分布を、およびの周辺分布と比較して表す固有の依存性の尺度です。したがって、相互情報量は、次の意味で依存性を測定します。およびが独立したランダム変数である場合に限ります。これは、一方向から見ると簡単にわかります。 およびが独立である場合、 であり、したがって次のようになります。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \operatorname {I} (X;Y)=0}$ ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p_{(X,Y)}(x,y)=p_{X}(x)\cdot p_{Y}(y)}$

${\displaystyle \log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}=\log 1=0.}$

さらに、相互情報量は非負（つまり、下記を参照）かつ対称（つまり、下記を参照）です。 ${\displaystyle \operatorname {I} (X;Y)\geq 0}$${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)}$

相互情報量の定義に関するジェンセンの不等式を用いると、が非負であることを示すことができる。すなわち^{[3] ：28}${\displaystyle \operatorname {I} (X;Y)}$

${\displaystyle \operatorname {I} (X;Y)\geq 0}$

${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)}$

証明は、以下に示すように、エントロピーとの関係を考慮して与えられます。

がと独立である場合、 ${\displaystyle C}$${\displaystyle (A,B)}$

${\displaystyle \operatorname {I} (Y;A,B,C)-\operatorname {I} (Y;A,B)\geq \operatorname {I} (Y;A,C)-\operatorname {I} (Y;A)}$^[4 ]

相互情報量は次のように表現できます。

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}}$

ここで、 およびは限界エントロピー、は条件付きエントロピー、 はとの結合エントロピーです。 ${\displaystyle \mathrm {H} (X)}$${\displaystyle \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (X\mid Y)}$${\displaystyle \mathrm {H} (Y\mid X)}$${\displaystyle \mathrm {H} (X,Y)}$${\displaystyle X}$${\displaystyle Y}$

2 つの集合の和集合、差集合、積集合との類似性に注目してください。この点で、上記のすべての式は、この記事の冒頭で示したベン図から明らかです。

出力が入力のノイズバージョンである通信チャネルに関しては、これらの関係は図にまとめられています。 ${\displaystyle Y}$${\displaystyle X}$

は非負なので、 となります。ここでは、共離散確率変数の場合の の 詳細な演繹を示します。${\displaystyle \operatorname {I} (X;Y)}$${\displaystyle \mathrm {H} (X)\geq \mathrm {H} (X\mid Y)}$${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)}$

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)\right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p_{X}(x)\mathrm {H} (Y\mid X=x)-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{aligned}}}$

上記の他の恒等式の証明も同様です。一般的なケース（離散的ケースだけではなく）の証明も同様で、和の代わりに積分を使用します。

直感的に、エントロピーがランダム変数に関する不確実性の尺度とみなされる場合、はについて言わないことの尺度です。これは「 が判明した後でについて残る不確実性の量」であり、したがって、これらの等式の 2 番目の右辺は「 の不確実性の量から、が判明した後で残る の不確実性の量を引いたもの」と読むことができ、これは「を知ることで の不確実性が除去される量」と同等です。これは、いずれかの変数を知ることで他方の変数について得られる情報量 (つまり、不確実性の削減) としての相互情報量の直感的な意味を裏付けています。 ${\displaystyle \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (Y\mid X)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$

離散的なケースでは、したがって であることに注意してください。したがって、 であり、 変数には、少なくとも他の変数が提供できるのと同じだけの情報が含まれているという基本原理を定式化できます。 ${\displaystyle \mathrm {H} (Y\mid Y)=0}$${\displaystyle \mathrm {H} (Y)=\operatorname {I} (Y;Y)}$${\displaystyle \operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)}$

同時に離散的または同時に連続的なペアの場合、相互情報量は、結合分布の周辺分布、、 の積からのカルバック・ライブラー分布であり、つまり、 ${\displaystyle (X,Y)}$${\displaystyle p_{X}\cdot p_{Y}}$ ${\displaystyle p_{(X,Y)}}$

さらに、条件付き質量または密度関数とすると、次の式が得られます。 ${\displaystyle p_{(X,Y)}(x,y)=p_{X\mid Y=y}(x)*p_{Y}(y)}$

同時離散確率変数の証明は次のとおりです。

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\&=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{aligned}}}$

同様に、この同一性は、共連続ランダム変数に対しても確立できます。

ここで、カルバック・ライブラー ダイバージェンスはランダム変数の値のみの積分を含み、 はランダムなので、式は依然としてランダム変数を表すことに注意してください。したがって、相互情報量は、の条件付き分布からの単変量分布のカルバック・ライブラー ダイバージェンスの期待値として理解することもできます。つまり、分布とが平均して異なるほど、情報ゲインは大きくなります。 ${\displaystyle X}$${\displaystyle D_{\text{KL}}(p_{X\mid Y}\parallel p_{X})}$${\displaystyle Y}$ ${\displaystyle p_{X}}$${\displaystyle X}$ ${\displaystyle p_{X\mid Y}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p_{X\mid Y}}$${\displaystyle p_{X}}$

結合分布からのサンプルが利用可能な場合、ベイズ的アプローチを使用してその分布の相互情報量を推定することができます。これを行った最初の研究は、相互情報量以外の多くの情報理論的特性のベイズ推定方法も示したものでした。^{[5]その後の研究者は、 [6]}を再導出し、^[7] この分析を拡張しました。相互情報量自体の推定に特化した事前分布に基づく最近の論文については、 ^[8]を参照してください。さらに、最近、連続および多変量出力を考慮した推定法が で提案されました。^[9]${\displaystyle Y}$

相互情報量のカルバック・ライブラー・ダイバージェンス定式化は、完全に因数分解された外積と比較することに関心があることを前提としています。非負行列因数分解などの多くの問題では、それほど極端ではない因数分解に関心があります。具体的には、未知の変数の低ランク行列近似と比較したい場合、つまり、どの程度まで ${\displaystyle p(x,y)}$ ${\displaystyle p(x)\cdot p(y)}$${\displaystyle p(x,y)}$${\displaystyle w}$

${\displaystyle p(x,y)\approx \sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}$

あるいは、その因数分解によってどれだけ多くの情報が引き継がれるか知りたい人もいるかもしれない。そのような場合、完全な分布が行列分解によって引き継ぐ余剰情報は、カルバック・ライブラー・ダイバージェンスによって与えられる。 ${\displaystyle p(x,y)}$${\displaystyle p(x,y)}$

${\displaystyle \operatorname {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}}\right)}},}$

相互情報量の従来の定義は、プロセスがの値を 1 つだけ持つ極端な場合に回復されます。 ${\displaystyle W}$${\displaystyle w}$

相互情報量には、さまざまなニーズに合わせていくつかのバリエーションが提案されています。その中には、正規化されたバリエーションや、2 つ以上の変数への一般化などがあります。

多くのアプリケーションでは、メトリック、つまり点のペア間の距離の測定が必要になります。

${\displaystyle {\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-\operatorname {I} (X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2\operatorname {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\\&=2\mathrm {H} (X,Y)-\mathrm {H} (X)-\mathrm {H} (Y)\end{aligned}}}$

は計量の性質（三角不等式、非負性、識別不能性、対称性）を満たしており、等式とはが から完全に決定できることを意味すると理解される。^[10]${\displaystyle X=Y}$${\displaystyle X}$${\displaystyle Y}$

この距離メトリックは、情報の変動とも呼ばれます。

が離散確率変数である場合、すべてのエントロピー項は非負なので、正規化された距離を定義することができる。 ${\displaystyle X,Y}$${\displaystyle 0\leq d(X,Y)\leq \mathrm {H} (X,Y)}$

${\displaystyle D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.}$

この測定基準は普遍的な測定基準であり、他の距離測定基準がと を近くに置く場合、もそれらを近いと判断する。^{[11] [疑わしい–議論する]}${\displaystyle D}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle D}$

定義を当てはめると、

${\displaystyle D(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}.}$

これはRajski距離として知られています。^[12]情報の集合論的解釈では（条件付きエントロピーの図を参照）、これは実質的にはと間のJaccard距離です。 ${\displaystyle X}$${\displaystyle Y}$

ついに、

${\displaystyle D^{\prime }(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}}}$

指標でもあります。

場合によっては、3 番目の変数を条件とする 2 つのランダム変数の相互情報量を表現することが有用なことがあります。

離散確率変数の場合、これは次の形を取る。

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},}$

これは次のように簡略化できる。

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

同時連続確率変数の場合、これは次の形を取る。

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,}$

これは次のように簡略化できる。

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}dxdydz.}$

第三のランダム変数を条件にすると相互情報量は増加することも減少することもあるが、

${\displaystyle \operatorname {I} (X;Y|Z)\geq 0}$

離散的かつ共分布するランダム変数の場合。この結果は、情報理論における他の不等式を証明するための基本的な構成要素として使用されてきました。 ${\displaystyle X,Y,Z}$

相互情報量の2つ以上のランダム変数への一般化は、全相関（または多重情報）や二重全相関など、いくつか提案されている。多変量高次相互情報量の表現と研究は、一見独立した2つの研究で達成された。マギル（1954）^[13]はこれらの関数を「相互作用情報」と呼び、胡国婷（1962）^[14]は相互作用情報を1つの変数に対して次のように定義する。

${\displaystyle \operatorname {I} (X_{1})=\mathrm {H} (X_{1})}$

そして${\displaystyle n>1,}$

${\displaystyle \operatorname {I} (X_{1};\,...\,;X_{n})=\operatorname {I} (X_{1};\,...\,;X_{n-1})-\operatorname {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}).}$

一部の著者は、前の式の右辺の項の順序を逆にし、ランダム変数の数が奇数の場合に符号を変える。（この場合、単一変数の式はエントロピーの負になる。）

${\displaystyle I(X_{1};\ldots ;X_{n-1}\mid X_{n})=\mathbb {E} _{X_{n}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n-1})\mid X_{n}}\|P_{X_{1}\mid X_{n}}\otimes \cdots \otimes P_{X_{n-1}\mid X_{n}})].}$

多変量相互情報量関数は、 の場合にのみ となるペアワイズ独立性のケースを任意の多数の変数に一般化します。 n 個の変数が相互に独立であるためには、相互情報量関数が でゼロになる必要があります(定理 2 ^[15] )。この意味で、 は洗練された統計的独立性基準として使用できます。 ${\displaystyle X_{1},X_{2}}$${\displaystyle I(X_{1};X_{2})=0}$${\displaystyle 2^{n}-n-1}$${\displaystyle I(X_{1};\ldots ;X_{k})=0}$${\displaystyle n\geq k\geq 2}$${\displaystyle I(X_{1};\ldots ;X_{k})=0}$

3変数の場合、Brennerらは多変量相互情報量を神経コーディングに適用し、その負性を「相乗効果」と呼びました^[16]。Watkinsonらはそれを遺伝子発現に適用しました^[17]。任意のk変数の場合、Tapiaらは多変量相互情報量を遺伝子発現に適用しました^{[18] 。 [15]}それはゼロ、正、または負になり得ます。^[14]正性はペアワイズ相関を一般化する関係に対応し、無効性は独立性の洗練された概念に対応し、負性は高次元の「出現」関係とクラスター化されたデータポイントを検出します^[18]。

結合分布と他の目標変数間の相互情報量を最大化する高次元一般化スキームの1つは、特徴選択に有用であることがわかっている。^[19]

相互情報量は、信号処理の分野でも、 2つの信号間の類似性の尺度として使用されています。たとえば、FMIメトリック^[20]は、相互情報量を利用して、融合画像に含まれるソース画像に関する情報の量を測定する画像融合パフォーマンス尺度です。このメトリックのMatlabコードは次の場所にあります。^[21] n変数のデータセット内のすべての多変量相互情報量、条件付き相互情報量、結合エントロピー、総相関、情報距離を計算するPythonパッケージが利用可能です。^[22]

有向情報 は、プロセスからに流れる情報量を表します。ここで はベクトルを表し、を表します。有向情報という用語は、 James Masseyによって造られ、次のように定義されます。 ${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)}$${\displaystyle X^{n}}$${\displaystyle Y^{n}}$${\displaystyle X^{n}}$${\displaystyle X_{1},X_{2},...,X_{n}}$${\displaystyle Y^{n}}$${\displaystyle Y_{1},Y_{2},...,Y_{n}}$

${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)=\sum _{i=1}^{n}\operatorname {I} \left(X^{i};Y_{i}\mid Y^{i-1}\right)}$。

の場合には、有向情報は相互情報量になる点に注意する。有向情報は、フィードバックを伴う通信路の容量など、因果関係が重要な役割を果たす問題に多く応用されている。^{[23] [24]}${\displaystyle n=1}$

相互情報量の正規化された変種は、制約係数^[25]、 不確実性係数^[26]、または熟練度^{[27]によって提供される。}

${\displaystyle C_{XY}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)}}.}$

2 つの係数は [0, 1] の範囲の値を持ちますが、必ずしも等しいわけではありません。この尺度は対称ではありません。対称的な尺度が必要な場合は、次の冗長性尺度を検討できます。

${\displaystyle R={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

変数が独立している場合には最小値はゼロとなり、最大値は

${\displaystyle R_{\max }={\frac {\min \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

一方の変数がもう一方の変数の知識と完全に重複する場合。「冗長性 (情報理論)」も参照。

もう一つの対称的な尺度は対称不確実性（Witten & Frank 2005）であり、次のように表される。

${\displaystyle U(X,Y)=2R=2{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

これは2つの不確実性係数の調和平均を表す。^[26]${\displaystyle C_{XY},C_{YX}}$

相互情報量を全相関または双対全相関の特別な場合と考えると、正規化されたバージョンはそれぞれ、

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}}$そして${\displaystyle {\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.}$

この正規化されたバージョンは情報品質比（IQR）としても知られており、ある変数の情報量を別の変数に基づいて全体の不確実性に対して定量化します。^[28]

${\displaystyle IQR(X,Y)=\operatorname {E} [\operatorname {I} (X;Y)]={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1}$

相互情報量を共分散量と類似したものと考えることで得られる正規化^[29]がある（したがって、シャノンエントロピーは分散量と類似している）。次に、正規化された相互情報量をピアソン相関係数と同様に計算する。

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.}$

相互情報量の伝統的な定式化では、

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

で指定される各イベントまたはオブジェクトは、対応する確率によって重み付けされます。これは、発生確率を除いてすべてのオブジェクトまたはイベントが同等であることを前提としています。ただし、アプリケーションによっては、特定のオブジェクトまたはイベントが他のオブジェクトまたはイベントよりも重要であったり、特定の関連パターンが他の関連パターンよりも意味的に重要であったりする場合があります。 ${\displaystyle (x,y)}$${\displaystyle p(x,y)}$

たとえば、これらの関係は同じ相互情報量を生み出すにもかかわらず、決定論的マッピングは決定論的マッピングよりも強いと見なすことができます。これは、相互情報量が変数値の固有の順序にまったく影響されないため (Cronbach 1954、Coombs、Dawes & Tversky 1970、Lockhead 1970)、関連する変数間の関係マッピングの形式にまったく影響されないためです。すべての変数値で一致していることを示す前者の関係を後者の関係よりも強いと判断する必要がある場合は、次の重み付け相互情報量を使用することができます(Guiasu 1977)。 ${\displaystyle \{(1,1),(2,2),(3,3)\}}$${\displaystyle \{(1,3),(2,1),(3,2)\}}$

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

これは、各変数値の共起確率に重み付けをします。これにより、特定の確率が他の確率よりも重要度が高くなったり低くなったりする可能性があるため、関連する全体的要因またはプレグナンツ要因を定量化できます。上記の例では、、、に大きな相対重みを使用すると、関係 よりも関係 の 情報価値が高く評価される効果があり、パターン認識などの一部のケースでは望ましい場合があります。この重み付き相互情報量は、重み付き KL ダイバージェンスの一種であり、一部の入力に対して負の値を取ることが知られています^[30]。また、重み付き相互情報量も負の値を取る例があります。^[31]${\displaystyle w(x,y)}$${\displaystyle p(x,y)}$${\displaystyle w(1,1)}$${\displaystyle w(2,2)}$${\displaystyle w(3,3)}$${\displaystyle \{(1,1),(2,2),(3,3)\}}$${\displaystyle \{(1,3),(2,1),(3,2)\}}$

確率分布は、集合の分割として考えることができます。すると、集合がランダムに分割された場合、確率の分布はどうなるか、相互情報量の期待値はいくらになるか、という疑問が湧きます。調整済み相互情報量(AMI) は MI の期待値を減算します。そのため、2 つの異なる分布がランダムな場合は AMI は 0 になり、2 つの分布が同一の場合は AMI は 1 になります。AMI は、集合の 2 つの異なる分割の 調整済み Rand 指数に類似して定義されます。

コルモゴロフ複雑性の考え方を用いると、確率分布に依存しない 2 つのシーケンスの相互情報量を検討することができます。

${\displaystyle \operatorname {I} _{K}(X;Y)=K(X)-K(X\mid Y).}$

この量が対数係数 ( )まで対称であることを証明するためには、コルモゴロフ複雑性の連鎖律が必要です(Li & Vitányi 1997)。圧縮によるこの量の近似値は、シーケンスのドメイン知識がなくても、シーケンスの階層的クラスタリングを実行するための距離測定を定義するために使用できます(Cilibrasi & Vitányi 2005)。 ${\displaystyle \operatorname {I} _{K}(X;Y)\approx \operatorname {I} _{K}(Y;X)}$

積率相関係数などの相関係数とは異なり、相互情報量には、相関係数が測定するような線形依存性だけでなく、すべての依存性（線形および非線形）に関する情報が含まれます。ただし、と の結合分布が二変量正規分布である（特に、両方の周辺分布が正規分布であることを意味する）という狭いケースでは、と相関係数の間には正確な関係があります（Gel'fand & Yaglom 1957）。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle \operatorname {I} }$${\displaystyle \rho }$

${\displaystyle \operatorname {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

上記の式は、二変量ガウス分布の場合、次のように導出できます。

${\displaystyle {\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1-\rho ^{2}\right)\\\end{aligned}}}$

したがって、

${\displaystyle \operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

およびが 離散的な状態数に制限されている場合、観測データは行変数（または）と列変数（または）を含む分割表にまとめられます。相互情報量は、行変数と列変数間の関連性または相関関係の尺度の 1 つです。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle i}$${\displaystyle Y}$${\displaystyle j}$

関連性の他の尺度には、ピアソンのカイ二乗検定統計量、G 検定統計量などがあります。実際、同じ対数基底では、相互情報量はG 検定の対数尤度統計量を（ はサンプル サイズ）で割った値に等しくなります。 ${\displaystyle 2N}$${\displaystyle N}$

多くのアプリケーションでは、相互情報量を最大化すること（したがって依存性を高めること）が求められますが、これは多くの場合、条件付きエントロピーを最小化することと同等です。例を次に示します。

• 検索エンジン技術では、フレーズとコンテキスト間の相互情報量は、意味クラスター（概念）を発見するためのk平均法クラスタリングの特徴として使用されます。^[32] たとえば、バイグラムの相互情報量は次のように計算されます。

ここで、はバイグラムxyがコーパスに出現する回数、はユニグラムxがコーパスに出現する回数、Bはバイグラムの総数、Uはユニグラムの総数である。^[32]${\displaystyle f_{XY}}$${\displaystyle f_{X}}$

• 電気通信において、チャネル容量は相互情報量に等しく、すべての入力分布にわたって最大化されます。
• 最大相互情報量 (MMI) 基準に基づいて、隠れマルコフモデルの識別トレーニング手順が提案されています。
• 多重配列アライメントからのRNA 二次構造予測。
• 機能的にリンクする遺伝子のペアの存在と消失からの系統発生プロファイリング予測。
• 相互情報量は、機械学習における特徴選択と特徴変換の基準として使用されてきました。最小冗長性特徴選択など、変数の関連性と冗長性の両方を特徴付けるために使用できます。
• 相互情報量は、データセットの2 つの異なるクラスタリングの類似性を判断するために使用されます。そのため、従来のRand インデックスに比べていくつかの利点があります。
• 単語の相互情報量は、コーパス言語学におけるコロケーションの計算における有意関数としてよく使用される。これには、単語インスタンスが2つの異なる単語のインスタンスではないという複雑さが加わる。むしろ、2つの単語が隣接または近接して出現するインスタンスをカウントする。これにより、ある単語が別の単語の単語内に出現する期待確率が、${\displaystyle N}$${\displaystyle N}$
• 相互情報量は、医療画像処理における画像登録に使用されます。参照画像（脳スキャンなど）と、参照画像と同じ座標系に配置する必要のある 2 番目の画像が与えられた場合、この画像は、参照画像との相互情報量が最大になるまで変形されます。
• 時系列解析における位相同期の検出。
• ニューラルネットやその他の機械学習のためのインフォマックス法では、インフォマックスベースの独立成分分析アルゴリズムを含む
• 遅延埋め込み定理における平均相互情報量は、埋め込み遅延パラメータを決定するために使用されます。
• 発現マイクロアレイデータ内の遺伝子間の相互情報は、遺伝子ネットワークの再構築のための ARACNE アルゴリズムによって使用されます。
• 統計力学では、ロシュミットのパラドックスは相互情報量で表現されることがある。^{[33] [34]ロシュミットは、}時間反転対称性を欠く物理法則（例えば、熱力学の第二法則）を、この対称性を持つ物理法則だけから決定することは不可能に違いないと指摘した。彼は、ボルツマンのH定理は気体中の粒子の速度は永久に無相関であるという仮定を立てており、これによりH定理に固有の時間対称性が失われていると指摘した。システムが位相空間内の確率密度で記述される場合、リウヴィルの定理は分布の結合情報量（結合エントロピーの負）が時間的に一定のままであることを意味することが示される。結合情報は、各粒子座標に対する相互情報量とすべての周辺情報量（周辺エントロピーの負）の合計に等しい。ボルツマンの仮定は、エントロピーの計算において相互情報量を無視することになり、その結果、熱力学的エントロピー（ボルツマン定数で割ったもの）が算出されます。
• 変化する環境と結びついた確率過程においては、相互情報量を利用して内部環境依存性と実効環境依存性を分離することができる。^{[35] [36]}これは、物理システムがそのダイナミクスを記述するパラメータの変化、例えば温度変化を経験する場合に特に有用である。
• 相互情報量は、ランダム変数間の因果関係を説明すると考えられているベイジアンネットワーク/動的ベイジアンネットワークの構造を学習するために使用され、GlobalMITツールキット^[37]によって例示されています。相互情報量検定基準を用いてグローバルに最適な動的ベイジアンネットワークを学習します。
• 相互情報量はギブスサンプリングアルゴリズムの更新手順中に伝達される情報を定量化するために使用されます。^[38]
• 決定木学習における一般的なコスト関数。
• 相互情報量は、銀河動物園における大規模な環境が銀河の特性に与える影響をテストするために宇宙論で使用されます。
• 相互情報量は太陽物理学において、 太陽の差動回転プロファイル、黒点の移動時間偏差マップ、静穏太陽測定からの時間距離図を導くために使用された^[39]
• 不変情報クラスタリングで使用され、ラベル付けされたデータがなくてもニューラルネットワーク分類器と画像セグメンテーションを自動的にトレーニングします。^[40]
• 複数の時間スケールを持つ確率的力学系では、相互情報量が異なる時間スケール間の機能的結合を捉えることが示されている。^[41]重要なことは、物理的な相互作用は、その力学の典型的な時間スケールに応じて、相互情報量を生じさせる場合と生じさせない場合があるということが示されたことである。

• データの差分
• 点ごとの相互情報量
• 量子相互情報
• 特定情報

• Baudot, P.; Tapia, M.; Bennequin, D.; Goaillard, JM (2019). 「トポロジカル情報データ分析」.エントロピー. 21 (9). 869. arXiv : 1907.04242 . Bibcode :2019Entrp..21..869B. doi : 10.3390/e21090869 . PMC  7515398. S2CID  195848308 .
• Cilibrasi, R.; Vitányi, Paul (2005). 「圧縮によるクラスタリング」(PDF) . IEEE Transactions on Information Theory . 51 (4): 1523–1545. arXiv : cs/0312044 . doi :10.1109/TIT.2005.844059. S2CID  911.
• Cronbach, LJ (1954)。「心理学における情報測定の非合理的な応用について」。Quastler , Henry (編)著『心理学における情報理論: 問題と方法』。イリノイ州グレンコー: フリープレス。pp. 14–30。
• Coombs, CH; Dawes, RM; Tversky, A. (1970).数学心理学: 初等入門. ニュージャージー州イングルウッドクリフス: Prentice-Hall.
• チャーチ、ケネス・ワード、ハンクス、パトリック（ 1989）。「語連想規範、相互情報量、および辞書学」。計算言語学会第27回年次会議議事録。16 （1）：76–83。doi ：10.3115/981623.981633。
• Gel'fand, IM; Yaglom, AM (1957). 「ランダム関数に関する情報量の計算」アメリカ数学会翻訳シリーズ 2. 12 : 199–246. doi :10.1090/trans2/012/09. ISBN 9780821817124。Uspekhi Matematicheskikh Nauk 12  (1): 3-52の原文の英語訳。
• ギアス、シルビウ (1977)。情報理論とその応用。McGraw-Hill、ニューヨーク。ISBN 978-0-07-025109-0。
• リー、ミン。ヴィタニ、ポール (1997 年 2 月)。コルモゴロフの複雑さとその応用についての紹介。ニューヨーク: Springer-Verlag。ISBN 978-0-387-94868-3。
• ロックヘッド、GR（1970） 。「識別と多次元識別空間の形態」。実験心理学ジャーナル。85 （1）：1–10。doi ：10.1037 / h0029508。PMID  5458322。
• David JC MacKay.情報理論、推論、学習アルゴリズムCambridge: Cambridge University Press、2003年。ISBN 0-521-64298-1 （オンラインで無料で入手可能） 
• Haghighat, MBA; Aghagolzadeh, A.; Seyedarabi, H. (2011). 「画像特徴の相互情報量に基づく非参照画像融合メトリック」. Computers & Electrical Engineering . 37 (5): 744–756. doi :10.1016/j.compeleceng.2011.07.012. S2CID  7738541.
• アタナシオス・パプーリス著『確率、ランダム変数、および確率過程』第 2 版。ニューヨーク: McGraw-Hill、1984 年。(第 15 章を参照。)
• Witten, Ian H. & Frank, Eibe (2005)。データマイニング: 実用的な機械学習ツールとテクニック。Morgan Kaufmann、アムステルダム。ISBN 978-0-12-374856-0。
• Peng, HC; Long, F. & Ding, C. (2005). 「相互情報量に基づく特徴選択: 最大依存性、最大関連性、最小冗長性の基準」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 27 (8): 1226–1238. CiteSeerX  10.1.1.63.5765 . doi :10.1109/tpami.2005.159. PMID  16119262. S2CID  206764015.
• Andre S. Ribeiro、Stuart A. Kauffman、Jason Lloyd-Price、Bjorn Samuelsson、Joshua Socolar (2008)。「制御ネットワークのランダムブールモデルにおける相互情報量」。Physical Review E . 77 (1): 011901. arXiv : 0707.3642 . Bibcode :2008PhRvE..77a1901R. doi :10.1103/physreve.77.011901. PMID  18351870. S2CID  15232112.
• Wells, WM III; Viola, P.; Atsumi, H.; Nakajima, S.; Kikinis, R. (1996). 「相互情報の最大化によるマルチモーダルボリューム登録」(PDF) . Medical Image Analysis . 1 (1): 35–51. doi :10.1016/S1361-8415(01)80004-9. PMID 9873920. 2008-09-06 に オリジナル(PDF)からアーカイブ。2010-08-05に取得。
• Pandey, Biswajit; Sarkar, Suman (2017). 「銀河は大規模環境についてどれだけ知っているか?: 情報理論的観点」. Monthly Notices of the Royal Astronomical Society Letters . 467 (1): L6. arXiv : 1611.00283 . Bibcode :2017MNRAS.467L...6P. doi : 10.1093/mnrasl/slw250 . S2CID  119095496.

• Janssen, Joseph; Guan, Vincent; Robeva, Elina (2023). 「超限界特徴重要度: 因果保証付きデータからの学習」。人工知能と統計に関する国際会議: 10782–10814。arXiv : 2204.09938。