二重合計相関

情報理論では、双対総相関^{[ 1 ]} 、情報率^{[ 2 ]} 、過剰エントロピー[ ^{3 ] [ 4 ]}、または結合情報^{[ 5 ]は、}相互情報の既知の非負の一般化の1つです。総相関はn個の要素のエントロピーの合計によって制限されますが、双対総相関はn個の要素の結合エントロピーによって制限されます。双対総相関は性質が良いにもかかわらず、総相関ほど注目されていません。「TSE複雑度」として知られる尺度は、総相関と双対総相関の間の連続性を定義します。^{[ 3 ]}

n個のランダム変数のセット${\displaystyle \{X_{1},\ldots ,X_{n}\}}$二重総相関${\displaystyle D(X_{1},\ldots ,X_{n})}$は

${\displaystyle D(X_{1},\ldots ,X_{n})=H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right),}$

どこ${\displaystyle H(X_{1},\ldots ,X_{n})}$は変数セットの結合エントロピーです${\displaystyle \{X_{1},\ldots ,X_{n}\}}$そして${\displaystyle H(X_{i}\mid \cdots )}$変数の条件付きエントロピー${\displaystyle X_{i}}$残りのことを考慮すると。

[0,1]の範囲に正規化された双対総相関は、双対総相関をその最大値で割った値です。${\displaystyle H(X_{1},\ldots ,X_{n})}$、

${\displaystyle ND(X_{1},\ldots ,X_{n})={\frac {D(X_{1},\ldots ,X_{n})}{H(X_{1},\ldots ,X_{n})}}.}$

双対総相関は非負であり、結合エントロピーによって上限が定められる。${\displaystyle H(X_{1},\ldots ,X_{n})}$。

$\displaystyle 0\leq D(X_{1},\ldots ,X_{n})\leq H(X_{1},\ldots ,X_{n}).}$

第二に、二重総相関は総相関と密接な関係があり、${\displaystyle C(X_{1},\ldots ,X_{n})}$、全体とサイズのすべての部分集合の相関の合計の差として記述できます。${\displaystyle N-1}$: ^{[ 6 ]}

${\displaystyle D({\textbf {X}})=(N-1)C({\textbf {X}})-\sum _{i=1}^{N}C({\textbf {X}}^{-i})}$

どこ${\displaystyle {\textbf {X}}=\{X_{1},\ldots ,X_{n}\}}$そして$${\displaystyle {\textbf {X}}^{-i}=\{X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\}}$$

さらに、全相関と双対全相関は、以下の境界によって関連付けられます。

${\displaystyle {\frac {C(X_{1},\ldots ,X_{n})}{n-1}}\leq D(X_{1},\ldots ,X_{n})\leq (n-1)\;C(X_{1},\ldots ,X_{n}).}$

最後に、総相関と双対総相関の差は、高次の情報共有の新しい尺度であるO情報を定義します。^{[ 7 ]}

${\displaystyle \Omega ({\textbf {X}})=C({\textbf {X}})-D({\textbf {X}})}$。

O情報（ジェームズとクラッチフィールド^{[ 8 ]}によって「謎の情報」として最初に導入されたもの）は、多変量確率変数の情報が相乗的相互作用によってどの程度支配されているかを定量化する符号付き尺度である（この場合、${\displaystyle \Omega ({\textbf {X}})<0}$）または冗長な相互作用（その場合）${\displaystyle \Omega ({\textbf {X}})>0}$神経科学において複数の応用例が見出されている。^{[ 9 ]}

Han (1978) は当初、二重総相関を次のように定義した。

${\displaystyle {\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\;.\end{aligned}}}$

しかし、AbdallahとPlumbley（2010）は、以下の方法で、結合エントロピーから条件付きエントロピーの合計を引いた、より理解しやすい形式と等価であることを示した。

${\displaystyle {\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\\={}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]+(1-n)\;H(X_{1},\ldots ,X_{n})\\={}&H(X_{1},\ldots ,X_{n})+\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})-H(X_{1},\ldots ,X_{n})\right]\\={}&H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right)\;.\end{aligned}}}$

• 相互作用情報– 2つ以上の変数に対する相互情報の一般化 
• 相互情報量– 2つの変数間の依存関係の尺度 
• 総相関
• ヒルバーグの仮説― 言語のエントロピーのべき乗則的成長、あるいは確率過程