インタラクション情報

確率論と情報理論において、相互作用情報は、 2つ以上の変数に対する相互情報量の一般化です。

相互作用情報には、情報量、^[1]、 情報相関、^[2]、 共情報量、^[3]、単に相互情報量など、多くの名前があります。^{[4]相互作用情報は、変数のサブセットに存在する情報量}を超えて、変数セットに結び付けられた情報量（冗長性または相乗効果）を表します。相互情報量とは異なり、相互作用情報は正または負のいずれかになります。これらの関数、それらの負性および最小値は、代数位相幾何学で直接解釈されます。^[5]

条件付き相互情報量を使用すると、次のように、任意の有限数の変数の相互作用情報を帰納的に定義できます。

${\displaystyle I(X_{1};\ldots;X_{n+1})=I(X_{1};\ldots;X_{n})-I(X_{1};\ldots;X_{n}\mid X_{n+1}),}$

どこ

${\displaystyle I(X_{1};\ldots ;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots ;X_{n})\mid X_{n+1}{\big )}.}$

一部の著者^[6]は、前の式で減算される2つの項を入れ替えることで、相互作用情報を異なる方法で定義しています。これにより、奇数の変数の符号が反転する効果があります。

3つの変数の場合、相互作用情報は次のように与えられる。 ${\displaystyle \{X,Y,Z\}}$${\displaystyle I(X;Y;Z)}$

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

ここで、 は変数と の間の相互情報量であり、 はが与えられた場合の変数と の間の条件付き相互情報量です。相互作用情報は対称 であるため、どの変数が条件付けされているかは関係ありません。これは、相互作用情報がエントロピーと結合エントロピーで次のように記述されると簡単にわかります。 ${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle I(X;Y\mid Z)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

${\displaystyle {\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\ \&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}}$

一般に、変数の集合 に対して、相互作用情報は次の形式で表すことができます ( Kirkwood 近似と比較してください)。 ${\displaystyle {\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}}$

${\displaystyle I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T }}\right\vert -1}H({\mathcal {T}})}$

3 つの変数の場合、相互作用情報は、変数がと の間で共有される情報量に与える影響を測定します。項 はよりも大きくなる可能性があるため、相互作用情報は正の場合もあれば負の場合もあります。これは、たとえばと が独立しているが が与えられた場合条件付きで独立していない場合に発生します。正の相互作用情報は、変数がとの相関を阻害する (つまり、相関の一部を説明または説明する) ことを示し、負の相互作用情報は、変数が相関を促進または強化することを示します。 ${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle I(X;Y\mid Z)}$${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

相互作用情報は制限されている。3変数の場合、それは^{[4]によって制限される。}

${\displaystyle -\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(X;Z\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}}$

3つの変数がマルコフ連鎖を形成する場合、 となりますが、 となります。したがって ${\displaystyle X\to Y\to Z}$${\displaystyle I(X;Z\mid Y)=0}$${\displaystyle I(X;Z)\geq 0}$

${\displaystyle I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}$

正の相互作用情報は、そのような説明効果が共通原因構造の典型であるという意味で、負の相互作用情報よりもはるかに自然であるように思われます。たとえば、雲は雨を引き起こし、太陽を遮ります。したがって、雨と暗闇の相関関係は、雲の存在によって部分的に説明されます。結果は、正の相互作用情報です。 ${\displaystyle I({\text{雨}};{\text{暗い}}\mid {\text{雲}})<I({\text{雨}};{\text{暗い}})}$${\displaystyle I({\text{雨}};{\text{暗い}};{\text{雲}})}$

車のエンジンが始動しない原因としては、バッテリー切れや燃料ポンプの詰まりが考えられます。通常、バッテリー切れと燃料ポンプの詰まりは独立した事象であると想定されます。しかし、車が始動しないことはわかっていても、検査でバッテリーの状態が良好であることがわかれば、燃料ポンプが詰まっていると結論付けることができます。したがって、結果は負の交互作用情報となります。 ${\displaystyle I({\text{blocked fuel}};{\text{dead battery}})=0}$${\displaystyle I({\text{blocked fuel}};{\text{dead battery}}\mid {\text{engine fails}})>0}$

相互作用情報の負性は混乱の原因となる可能性がある。^[3]多くの著者は、相互作用情報がゼロであることを3つ以上のランダム変数が相互作用しない兆候とみなしているが、この解釈は誤りである。^[7]

解釈がどれほど難しいかを確認するために、8 つの独立した2 値変数 のセットを検討します。これらの変数を次のように集約します。 ${\displaystyle \{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}$

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}}$

は3つの2値変数上で互いに重なり合っている（冗長である）ため、相互作用情報はビットに等しいと予想され、実際その通りである。しかし、次に凝集した変数について考える。 ${\displaystyle Y_{i}}$${\displaystyle \{X_{5},X_{6},X_{7}\}}$${\displaystyle I(Y_{1};Y_{2};Y_{3})}$${\displaystyle 3}$

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}}$

これらは、 を加えたもの以外は前と同じ変数です。ただし、この場合、 は実際にはビットに等しく、冗長性が低いことを示しています。これは、 ${\displaystyle Y_{4}=\{X_{7},X_{8}\}}$${\displaystyle I(Y_{1};Y_{2};Y_{3};Y_{4})}$${\displaystyle +1}$

${\displaystyle {\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}}$

しかし、解釈するのは依然として困難です。

• Jakulin と Bratko (2003b) は、相互作用情報を使用する機械学習アルゴリズムを提供しています。
• Killian、Kravitz、Gilson（2007）は相互情報量展開法を用いて分子シミュレーションからエントロピー推定値を抽出した。^[8]
• LeVineとWeinstein（2014）は相互作用情報やその他のN体情報測定を用いて分子シミュレーションにおけるアロステリック結合を定量化している。^[9]
• Moore et al. (2006)、Chanda P、Zhang A、Brazeau D、Sucheston L、Freudenheim JL、Ambrosone C、Ramanathan M. (2007)、およびChanda P、Sucheston L、Zhang A、Brazeau D、Freudenheim JL、Ambrosone C、Ramanathan M. (2008) は、複雑な疾患に関連する遺伝子間および遺伝子と環境の相互作用を分析するための相互作用情報の使用を示しています。
• Pandey と Sarkar (2017) は、宇宙論における相互作用情報を使用して、大規模環境が銀河の特性に与える影響を研究しています。
• n変数のデータセット内のすべての多変量相互作用または相互情報量、条件付き相互情報量、結合エントロピー、総相関、情報距離を計算するためのPythonパッケージが利用可能です。^[10]

• 相互情報
• 総相関
• 二重総相関
• 部分的な情報分解

• Baudot, P.; Bennequin, D. (2015). 「エントロピーのホモロジー的性質」(PDF) .エントロピー. 17 (5): 1–66. Bibcode :2015Entrp..17.3253B. doi : 10.3390/e17053253 .
• ベル、AJ（2003）、共情報格子[1]
• Fano, RM (1961)、「情報の伝達：通信の統計理論」、MIT Press、マサチューセッツ州ケンブリッジ。
• ガーナーWR（1962）「心理学的概念としての不確実性と構造」、JohnWiley＆Sons、ニューヨーク。
• Han, TS (1978). 「多変量対称相関の非負エントロピー測定」.情報と制御. 36 (2): 133–156. doi : 10.1016/s0019-9958(78)90275-9 .
• Han, TS (1980). 「頻度データにおける多重相互情報量と多重相互作用」.情報と制御. 46 : 26–45. doi : 10.1016/s0019-9958(80)90478-7 .
• 胡国田（1962）「情報量について」理論確率応用、7（4）、439-44。PDF
• Jakulin A & Bratko I (2003a)。属性依存関係の分析、N Lavra\quad{c}、D Gamberger、L Todorovski、H Blockeel 編、『Proceedings of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases』、Springer、Cavtat-Dubrovnik、クロアチア、pp. 229–240。
• Jakulin A & Bratko I (2003b). 属性相互作用の定量化と視覚化 [2]
• Margolin, A; Wang, K; Califano, A; Nemenman, I (2010). 「多変量依存性と遺伝的ネットワーク推論」. IET Syst Biol . 4 (6): 428–440. arXiv : 1001.1681 . doi :10.1049/iet-syb.2010.0009. PMID  21073241. S2CID  14280921.
• McGill, WJ (1954). 「多変量情報伝達」. Psychometrika . 19 (2): 97–116. doi :10.1007/bf02289159. S2CID  126431489.
• Moore JH、Gilbert JC、Tsai CT、Chiang FT、Holden T、Barney N、White BC (2006)。ヒトの疾患感受性の遺伝学的研究におけるエピスタシスの統計的パターンを検出、特徴付け、解釈するための柔軟な計算フレームワーク、Journal of Theoretical Biology 241、252-261。[3]
• Nemenman I (2004). 情報理論、多変量依存性、および遺伝的ネットワーク推論 [4]
• Pearl, J (1988)、「インテリジェントシステムにおける確率的推論：もっともらしい推論のネットワーク」、Morgan Kaufmann、サンマテオ、カリフォルニア州。
• 辻下 孝文（1995）「三重相互情報量について」応用数学 16、269-274。
• Chanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2007). 「遺伝子環境相互作用を視覚化するための情報理論的指標」. American Journal of Human Genetics . 81 (5): 939–63. doi :10.1086/521878. PMC  2265645. PMID  17924337 .
• Chanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2008). 「AMBIENCE: 複雑な表現型と有益な遺伝的および環境的関連性を識別するための新しいアプローチと効率的なアルゴリズム」.遺伝学. 180 (2): 1191–210. doi : 10.1534/genetics.108.088542. PMC  2567367. PMID  18780753.
• Killian, BJ; Kravitz, JY; Gilson, MK (2007). 「展開近似による分子シミュレーションからの構成エントロピーの抽出」J. Chem. Phys . 127 (2): 024107. Bibcode :2007JChPh.127b4107K. doi :10.1063/1.2746329. PMC 2707031.  PMID 17640119  .
• LeVine MV、Weinstein H (2014)、「NbIT - アロステリック機構の新しい情報理論に基づく分析により、ロイシントランスポーターLeuTの機能の基礎となる残基が明らかになる」。PLoS Computational Biology。[5]
• Pandey, Biswajit; Sarkar, Suman (2017). 「銀河は大規模環境についてどれだけ知っているか?: 情報理論的観点」. Monthly Notices of the Royal Astronomical Society Letters . 467 (1): L6. arXiv : 1611.00283 . Bibcode :2017MNRAS.467L...6P. doi : 10.1093/mnrasl/slw250 . S2CID  119095496.
• https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
• Yeung RW (1992)「シャノンの情報測定に関する新たな展望」IEEE Transactions on Information Theory誌[6]