不確実性係数

統計学において、不確実性係数（熟練度、エントロピー係数、またはテイルのUとも呼ばれる）は、名義上の関連性の尺度である。これはアンリ・テイルによって初めて導入され、情報エントロピーの概念に基づいている。

2 つの離散確率変数XとYのサンプルがあるとします。結合分布P _X,Y ( x , y ) を構築し、そこから条件付き分布P _{X | Y} ( x | y )  = P _X,Y   ( x , y )/ P _Y ( y )およびP _{Y |X} ( y |    x ) = P X _,Y ( x , y )/ P _X ( x )を計算し、さまざまなエントロピーを計算することで、2 つの変数間の関連性の度合いを決定できます。

単一分布のエントロピーは次のように与えられます。 ^{[ 1 ]}

${\displaystyle H(X)=-\sum _{x}P_{X}(x)\log P_{X}(x),}$

条件付きエントロピーは次のように与えられます。^{[ 1 ]}

${\displaystyle H(X|Y)=-\sum _{x,~y}P_{X,Y}(x,~y)\log P_{X|Y}(x|y).}$

不確実性係数^{[ 2 ]}または熟練度^{[ 3 ]}は次のように定義される。

${\displaystyle U(X|Y)={\frac {H(X)-H(X|​​Y)}{H(X)}}={\frac {I(X;Y)}{H(X)}},}$

そして、Yが与えられたとき、 Xのビットのうちどれだけの割合を予測できるかを教えてくれます。この場合、Xは情報全体を含み、Yはその情報の一部を予測することを可能にするものと考えることができます。

上記の式から、不確実性係数は正規化された相互情報量I(X;Y)であることが明らかです。特に、I(X;Y) < H(X)であり、 I(X,Y)とH(X) の両方が正またはゼロである場合、不確実性係数は [0 , 1]の範囲をとります。

すべての対数は比例関係にあるため、 Uの値（ただしHの値は除く）は対数の底に依存しないことに注意してください。

不確実性係数は、統計的分類アルゴリズムの妥当性を測定するのに役立ち、異なるクラスの相対的な割合、つまりP ( x ) に影響されないという点で、精度や再現率などのより単純な精度指標よりも優れています。 ^{[ 4 ]} また、一貫して誤ったクラスを予測する限り（つまり、単にクラスを並べ替えるだけであれば）、アルゴリズムにペナルティを与えないという独自の特性も持っています。これは、クラスタラベルには通常特定の順序がないため、クラスタリングアルゴリズムを評価する際に役立ちます。 ^{[ 3 ]}

不確実性係数は、 XとYの役割に関して対称ではありません。役割を逆転させることができ、対称的な尺度は、2 つの間の加重平均として定義されます。^{[ 2 ]}

${\displaystyle {\begin{aligned}U(X,~Y)&={\frac {H(X)U(X|Y)+H(Y)U(Y|X)}{H(X)+H(Y)}}\\[8pt]&=2\left[{\frac {H(X)+H(Y)-H(X,~Y)}{H(X)+H(Y)}}\right].\end{aligned}}}$

不確実性係数は通常離散変数に適用されるが、密度推定を用いることで連続変数にも拡張できる^{[ 1 ]}。

• 相互情報
• ランド指数
• Fスコア
• 二値分類

• libagfには、不確実性係数を計算するためのソフトウェアが含まれています。