P4メトリック

P ₄メトリック ^{[1] [2] （FSまたは}対称F ^[3]とも呼ばれる）は、バイナリ分類器のパフォーマンス評価を可能にします。これは、精度、再現率、特異度、NPV（陰性予測値）から計算されます。P _4は、 F ₁メトリックと同様に設計されていますが、 F ₁に対する批判に対処しています。P 4 は、F 1 の拡張として認識される可能性があります。

他の既知のメトリックと同様に、P _{4 はTP (真陽性)、TN (真陰性)、FP (}偽陽性)、FN (偽陰性)の関数です。

_{P 4}の重要な概念は、次の 4 つの重要な条件付き確率を活用することです。

${\displaystyle P(+\mid C{+})}$- 分類器の結果が陽性の場合、サンプルが陽性である確率。

${\displaystyle P(C{+}\mid +)}$- サンプルが陽性の場合、分類器の結果が陽性になる確率。

${\displaystyle P(C{-}\mid -)}$- サンプルが陰性の場合、分類器の結果が陰性になる確率。

${\displaystyle P(-\mid C{-})}$- 分類器の結果が陰性であった場合、サンプルが陰性である確率。

このメトリックの背後にある主な前提は、適切に設計されたバイナリ分類器は、上記のすべての確率が 1 に近い結果を出すはずであるということです。P ₄は、すべての確率が 1 に等しくなるように設計されています。これらの確率のいずれかがゼロになると、P 4 もゼロになります。 ${\displaystyle \mathrm {P} _{4}=1}$

P ₄は、4 つの主要な条件付き確率の 調和平均として定義されます。

${\displaystyle \mathrm {P} _{4}={\frac {4}{{\frac {1}{P(+\mid C{+})}}+{\frac {1}{P(C{+}\mid +)}}+{\frac {1}{P(C{-}\mid -)}}+{\frac {1}{P(-\mid C{-})}}}}={\frac {4}{{\frac {1}{\mathit {精度}}}+{\frac {1}{\mathit {再現率}}}+{\frac {1}{\mathit {特異度}}}+{\frac {1}{\mathit {NPV}}}}}}$

TP、TN、FP、FN に関しては、次のように計算できます。

${\displaystyle \mathrm {P} _{4}={\frac {4\cdot \mathrm {TP} \cdot \mathrm {TN} }{4\cdot \mathrm {TP} \cdot \mathrm {TN} + (\mathrm {TP} +\mathrm {TN} )\cdot (\mathrm {FP} +\mathrm {FN} )}}}$

バイナリ分類器のパフォーマンスを評価することは、多分野にわたる概念です。医療検査、精神医学検査の評価から、さまざまな分野の機械学習分類器まで多岐にわたります。したがって、使用されている多くのメトリックは、複数の名前で存在しています。それらのいくつかは、独立して定義されています。

• 対称性 - F ₁メトリックとは対照的に、P _{4 は}対称的です。つまり、データセットのラベル付けが変更されても値は変化せず、正の値は負の値に、負の値は正の値に名前が付けられます。
• 範囲：${\displaystyle \mathrm {P} _{4}\in [0,1]}$
• これを達成するには、主要な 4 つの条件付き確率がすべて 1 に近づく必要があります。${\displaystyle \mathrm {P} _{4}\approx 1}$
• 重要な 4 つの条件付き確率のうち1 つが 0 に近ければ十分です。${\displaystyle \mathrm {P} _{4}\approx 0}$

選択したメトリックの依存関係テーブル (「true」は依存、「false」は依存しないことを意味します):

特定の確率に依存しないメトリックは、確率が 0 に近づくと誤って表現される傾向があります。

ある種の希少疾患の検出を目的とした医療検査を考えてみましょう。人口は 100,000 人で、感染者は人口の 0.05% です。検査の成績: 陽性者の 95% が正しく分類され ( TPR =0.95)、陰性者の 95% が正しく分類されます ( TNR =0.95)。このような場合、人口の不均衡が大きいため、検査精度(0.95)が高いにもかかわらず、陽性と分類された個人が実際に陽性である確率は非常に低くなります。

${\displaystyle P(+\mid C{+})=0.0095}$

そして、この低い確率がいくつかの指標にどのように反映されているかを見ることができます。

• ${\displaystyle \mathrm {P} _{4}=0.0370}$
• ${\displaystyle \mathrm {F} _{1}=0.0188}$
• ${\displaystyle \mathrm {J} =\mathbf {0.9100} }$（情報量/ユーデン指数）
• ${\displaystyle \mathrm {MK} =0.0095}$(顕著性)

ニューラル ネットワーク ベースの画像分類器をトレーニングしています。犬を含む画像 (ラベル 0) と猫を含む画像 (ラベル 1) の 2 種類の画像のみを検討しています。したがって、目標は猫と犬を区別することです。分類器は猫 (「陽性」サンプル) を優先して予測します。猫の 99.99% が正しく分類され、犬は 1% のみが正しく分類されます。画像データセットは 100000 枚の画像で構成され、そのうち 90% は猫の写真、10% は犬の写真です。このような状況では、犬を含む写真が正しく分類される確率はかなり低くなります。

${\displaystyle P(C-|-)=0.01}$

すべての指標がこの低い確率に気づいているわけではありません。

• ${\displaystyle \mathrm {P} _{4}=0.0388}$
• ${\displaystyle \mathrm {F} _{1}=\mathbf {0.9478} }$
• ${\displaystyle \mathrm {J} =0.0099}$（情報量/ユーデン指数）
• ${\displaystyle \mathrm {MK} =\mathbf {0.8183} }$(顕著性)

• Fスコア
• 情報
• 顕著性
• マシューズ相関係数
• 精度と再現率
• 感度と特異度
• 純現在価値
• 混同行列