Fスコア

二値分類および情報検索システムの統計分析において、 FスコアまたはF値は予測性能の指標です。これは、テストの精度と再現率から算出されます。精度は、正しく識別されなかったサンプルも含め、陽性と予測された全サンプル数に対する真陽性結果の数の比率であり、再現率は、陽性と識別されるべき全サンプル数に対する真陽性結果の数の比率です。精度は陽性予測値とも呼ばれ、再現率は診断二値分類における感度とも呼ばれます。

F ₁スコアは、適合率と再現率の調和平均です。したがって、適合率と再現率の両方を 1 つの指標で対称的に表します。より一般的な${\displaystyle F_{\beta }}$スコアは追加の重み付けを適用し、精度または再現率のどちらか一方を他方よりも高く評価します。

Fスコアの最大値は1.0で、これは精度と再現率が完璧であることを示します。最小値は0で、これは精度または再現率がゼロの場合に発生します。

F値という名称は、ヴァン・ライスベルゲンの著書の中で別のF関数にちなんで名付けられたと考えられており、第4回メッセージ理解会議（MUC-4、1992年）で紹介された。^{[ 1 ]}

従来のF値またはバランスFスコア（F1スコア）は、_精度と再現率の調和平均です。 ^{[ 2 ]}

${\displaystyle F_{1}={\frac {2}{\mathrm {recall} ^{-1}+\mathrm {precision} ^{-1}}}=2{\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}={\frac {2\mathrm {TP} }{2\mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}}$

精度 = TP / (TP + FP)および再現率 = TP / (TP + FN)であることから、 F ₁の分子はそれらの分子の合計であり、F ₁の分母はそれらの分母の合計であることがわかります。

FP=FNの場合

$${\displaystyle F_{1}={\frac {2\mathrm {TP} }{2\mathrm {TP} +2\mathrm {FP} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}}$$

または

$${\displaystyle F_{1}={\frac {2\mathrm {TP} }{2\mathrm {TP} +2\mathrm {FN} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} }}}$$

つまり、F1 = 精度 = 再現率

TP=FP=FNの場合

${\displaystyle F_{1}={\frac {2\mathrm {TP} }{2\mathrm {TP} +2\mathrm {FP} }}={\frac {2\mathrm {TP} }{4\mathrm {TP} }}={\frac {1}{2}}=0.5}$

または

${\displaystyle F_{1}={\frac {2\mathrm {TP} }{2\mathrm {TP} +2\mathrm {FN} }}={\frac {2\mathrm {TP} }{4\mathrm {TP} }}={\frac {1}{2}}=0.5}$

調和平均として見るには、次の点に注意してください。${\displaystyle F_{1}^{-1}={\frac {1}{2}}(\mathrm {recall} ^{-1}+\mathrm {precision} ^{-1})}$。

これは二値分類の分野に関連しており、再現率はしばしば「感度」と呼ばれます。

精度-再現率曲線、したがって${\displaystyle F_{\beta }}$スコアは、比率に明示的に依存します ${\displaystyle r}$陽性テストケースと陰性テストケースの比率。^{[ 12 ]} これは、クラス比率が異なるさまざまな問題間でFスコアを比較することが困難であることを意味します。この問題に対処する1つの方法（例えば、Siblini et al., 2020 ^{[ 13 ]}を参照）は、標準的なクラス比率を使用することです。${\displaystyle r_{0}}$そのような比較を行う際には。

Fスコアは、情報検索の分野で検索、文書分類、クエリ分類のパフォーマンスを測定するためによく使用されます。^{[ 14 ]}特に、主にポジティブクラスに関係し、ポジティブクラスがネガティブクラスに比べてまれなアプリケーションで重要です。

以前の研究は主にF1スコアに焦点を当てていました_が、大規模検索エンジンの普及に伴い、パフォーマンス目標は精度または再現率のいずれかに重点を置くように変化しました^{[ 15 ]}。${\displaystyle F_{\beta }}$幅広い用途で見られる。

Fスコアは機械学習でも使用されます。^{[ 16 ]}ただし、F値は真の陰性を考慮しないため、二値分類器の性能を評価するには、マシューズ相関係数、情報量、 コーエンのカッパなどの指標の方が好ましい場合があります。^{[ 17 ]}

Fスコアは、固有表現認識や単語分割の評価など、自然言語処理の文献で広く使用されています^{[ 18 ]}。

F ₁スコアは、検索されたアイテムのセットと関連アイテムのセットのDice 係数です。 ^{[ 19 ]}

• 常に正のクラスを予測する分類器のF1スコアは_、正のクラスの確率が増加するにつれて1に収束する。
• 常に正のクラスを予測する分類器のF ₁スコアは、再現率が 1 であり、適合率が正のクラスの割合に等しいため、2 * proportion_of_positive_class / ( 1 + proportion_of_positive_class ) に等しくなります。^{[ 20 ]}
• スコアリングモデルが情報を持たない場合（陽性クラスと陰性クラスを区別できない場合）、最適な閾値は0となり、常に陽性クラスが予測される。
• F ₁スコアは真陽性率に対して凹型である。 ^{[ 21 ]}

デビッド・ハンドらは、 _F1スコアが精度と再現率に等しく重要性を与えているため、広く使用されていることを批判している。実際には、異なる種類の誤分類は異なるコストを伴う。言い換えれば、精度と再現率の相対的な重要性は問題の一側面である。^{[ 22 ]}

Davide ChiccoとGiuseppe Jurmanによると、F _{1スコアは二値評価分類において}マシューズ相関係数（MCC）よりも真実性や情報量が少ない。^{[ 23 ]}

David MW Powers は、F _{1 は}真の陰性を無視するため、不均衡なクラスに対して誤解を招く可能性があると指摘している一方、カッパと相関尺度は対称的で、分類器が真のクラスを予測する方向と真のクラスが分類器の予測を予測する方向の両方の予測可能性を評価し、2 つの方向に対して別々の多クラス尺度である情報量と顕著性を提案し、それらの幾何平均が相関であると述べている。^{[ 24 ]}

F ₁に対するもう 1 つの批判は、その対称性の欠如です。これは、データセットのラベル付けが変更されると、つまり「正」のサンプルが「負」と名付けられ、その逆になると、その値が変わる可能性があることを意味します。この批判に対しては、 F ₁の対称的な拡張として示されることもあるP4 メトリックの定義が対応しています。^{[ 25 ]}

最後に、Ferrer ^{[ 26 ]} と Dyrland ら^{[ 27 ]} は、期待コスト (またはその対義語である期待効用) が分類決定の評価のための唯一の原理的指標であり、F スコアや MCC に比べてさまざまな利点があると主張しています。両方の研究は、F スコアがシステムの絶対的および相対的な品質について誤った結論をもたらす可能性があることを示しています。

F値は再現率と適合率の調和平均であるのに対し、 Fowlkes–Mallows指数はそれらの幾何平均である。^{[ 28 ]}

Fスコアは、2つ以上のクラスを持つ分類問題（多クラス分類）の評価にも使用されます。一般的な方法は、各クラスのFスコアを平均して、パフォーマンスのバランスの取れた測定を目指すことです。^{[ 29 ]}

• ブルー
• 混同行列
• 正確性に関する仮説検定
• 流星
• NIST（メートル法）
• 受信者操作特性
• ルージュ（メートル法）
• 不確実性係数（別名：熟練度）
• 単語エラー率
• ハンセン病患者