部分情報分解

部分情報分解は情報理論の拡張であり、情報理論で記述されるペアワイズ関係を複数の変数の相互作用に一般化することを目的としている。^{[ 1 ]}

しかし、部分情報分解は、古典的情報理論の中核となる性質/公理が一般的に部分情報分解で同時に満たされることはないという点で、数学的には古典的情報理論の拡張ではないことが示されている。^{[ 2 ]}

情報理論は、単一の情報源変数が持つ情報量を定量化することができる。${\displaystyle X_{1}}$目標変数について${\displaystyle Y}$相互情報を通じて${\displaystyle I(X_{1};Y)}$2番目のソース変数について考えてみましょう${\displaystyle X_{2}}$古典的情報理論では、結合変数の相互情報しか記述できない。${\displaystyle \{X_{1},X_{2}\}}$と${\displaystyle Y}$によって与えられた${\displaystyle I(X_{1},X_{2};Y)}$しかし一般的には、個々の変数が具体的にどのように影響するかを知ることは興味深いだろう。${\displaystyle X_{1}}$そして${\displaystyle X_{2}}$そしてそれらの相互作用は${\displaystyle Y}$。

2つのソース変数が与えられていると仮定します。${\displaystyle X_{1},X_{2}\in \{0,1\}}$そして目的変数${\displaystyle Y=XOR(X_{1},X_{2})}$この場合、相互情報の総量は${\displaystyle I(X_{1},X_{2};Y)=1}$個々の相互情報${\displaystyle I(X_{1};Y)=I(X_{2};Y)=0}$つまり、相互作用から生じる相乗情報がある。${\displaystyle X_{1},X_{2}}$について${\displaystyle Y}$これは、古典的な情報理論的量では容易に捉えることができない。

相互情報量は変数間の非線形かつ非単調な統計的関係を捉えることができるため、PIDフレームワークは、相関係数などよりもはるかに一般的な方法で、任意の複雑なシステムにおける多変量統計的依存関係を定量化することができ、特に変数間のさまざまな種類の相互作用を区別することができます。

部分情報分解は、ソース変数間の相互情報をさらに分解する。${\displaystyle \{X_{1},X_{2}\}}$目的変数とともに${\displaystyle Y}$として

${\displaystyle I(X_{1},X_{2};Y)={\text{Unq}}(X_{1};Y\setminus X_{2})+{\text{Unq}}(X_{2};Y\setminus X_{1})+{\text{Syn}}(X_{1},X_{2};Y)+{\text{Red}}(X_{1},X_{2};Y)}$

ここで個々の情報原子は次のように定義される。

• ${\displaystyle {\text{Unq}}(X_{1};Y\setminus X_{2})}$は、​${\displaystyle X_{1}}$約${\displaystyle Y}$これは${\displaystyle X_{2}}$
• ${\displaystyle {\text{Syn}}(X_{1},X_{2};Y)}$は、相互作用の中にある相乗情報です。${\displaystyle X_{1}}$そして${\displaystyle X_{2}}$について${\displaystyle Y}$
• ${\displaystyle {\text{Red}}(X_{1},X_{2};Y)}$両方に含まれる冗長な情報${\displaystyle X_{1}}$または${\displaystyle X_{2}}$について${\displaystyle Y}$

これまでのところ、これらの用語をどのように定義すべきかについては普遍的な合意はなく、情報を冗長、固有、相乗効果のある構成要素に分解するさまざまなアプローチが文献に現れている。^{[ 1 ] [ 3 ] [ 4 ] [ 5 ]}

しかし、冗長情報の適切な定義が選択されると、分解はメビウス反転^{[ 6 ]に還元され、高速メビウス変換[ 7 ]}を使用して計算できます。

普遍的な合意が得られていないにもかかわらず、部分情報分解は気候学^{[ 8 ]}、神経科学^{[ 9 ] [10] [ 11 ]}、社会学^{[ 12 ] 、}機械学習^{[ 13 ]}など、さまざまな分野に適用されてきた^。部分情報分解は、複雑系における創発の数学的に堅牢な定義^を構築するための基盤として提案されており^{[ 14 ]}、意識の形式理論にも関連している可能性がある^{[ 15 ] 。}

• 相互情報
• 総相関
• 二重合計相関
• 相互作用情報