情報図

情報図は、情報理論でシャノンの情報の基本尺度であるエントロピー、結合エントロピー、条件付きエントロピー、相互情報量の関係を示すために使用されるベン図の一種です。^{[1] [2]情報図は、これらの情報の基本尺度を教えたり学んだりするための便利な教育ツールです。情報図は、}オントロジー用語のセット間の情報理論的類似性 を表示するなどの特定の問題にも適用されています。^[3]

• 
  相関変数XとYに関連付けられたさまざまな情報尺度間の加法関係と減法関係を示すベン図。両方の円で囲まれた領域は、結合エントロピー⁠ ⁠です。左側の円 (赤と紫) は個別エントロピー⁠ ⁠で、赤は条件付きエントロピーです。右側の円 (青と紫) は⁠ ⁠で、青は です。紫は相互情報量⁠ ⁠です。 ${\displaystyle H(X,Y)}$ ${\displaystyle H(X)}$ ${\displaystyle H(X|Y)}$${\displaystyle H(Y)}$${\displaystyle H(Y|X)}$ ${\displaystyle I(X;Y)}$
• 
  3 つの変数x、y、zの情報理論的尺度のベン図。各円は個別のエントロピーを表します。⁠ ⁠${\displaystyle H(x)}$は左下の円、⁠ ⁠ は${\displaystyle H(y)}$右下の円、⁠ ⁠ は${\displaystyle H(z)}$上の円です。任意の 2 つの円の交点は、2 つの関連変数の相互情報量を表します (例⁠ ⁠${\displaystyle I(x;z)}$は黄色と灰色)。任意の 2 つの円の和集合は、2 つの関連変数の結合エントロピーです (例⁠ ⁠ ⁠${\displaystyle H(x,y)}$は緑以外のすべて)。3 つの変数すべての結合エントロピー⁠ ⁠${\displaystyle H(x,y,z)}$は、3 つの円すべての和集合です。これは 7 つの部分に分割されており、赤、青、緑はそれぞれ条件付きエントロピー 、黄色、マゼンタ、シアンはそれぞれ条件付き相互情報量と、灰色は相互作用情報⁠ ⁠です。相互作用情報は、すべての中で唯一負になる可能性がある情報です。${\displaystyle H(x|y,z),H(y|x,z),H(z|x,y)}$ ${\displaystyle I(x;z|y),I(y;z|x)}$${\displaystyle I(x;y|z)}$ ${\displaystyle I(x;y;z)}$