精度と再現率

パターン認識、情報検索、物体検出および分類（機械学習）において、精度と再現率は、コレクション、コーパス、またはサンプル空間から取得されたデータに適用されるパフォーマンス メトリックです。

精度（陽性予測値とも呼ばれる）は、取得されたインスタンスのうち関連するインスタンスの割合です。式で表すと次のようになります。

$${\displaystyle {\text{精度}}={\frac {\text{関連する取得インスタンス}}{\text{取得されたすべてのインスタンス}}}}$$

再現率（感度とも呼ばれる）は、検索された関連インスタンスの割合です。次の式で表されます。

$${\displaystyle {\text{Recall}}={\frac {\text{Relevant retrieved instances}}{\text{All relevant instances}}}}$$

したがって、精度と再現率は両方とも関連性に基づいています。

デジタル写真から犬（関連要素）を認識するコンピュータ プログラムについて考えてみましょう。10 匹の猫と 12 匹の犬が写っている写真を処理すると、プログラムは 8 匹の犬を識別します。犬として識別された 8 つの要素のうち、実際に犬であるのは 5 つだけ（真陽性）で、残りの 3 つは猫（偽陽性）です。7 匹の犬は見逃され（偽陰性）、7 匹の猫は正しく除外されました（真陰性）。プログラムの適合率は 5/8（真陽性 / 選択された要素）で、再現率は 5/12（真陽性 / 関連要素）です。

仮説検定アプローチを採用すると、この場合、帰無仮説は特定の項目が無関係である（犬ではない）ということであり、タイプ I およびタイプ II のエラーが存在しない（完全な特異度と感度）ことは、それぞれ完全な精度（偽陽性なし）と完全な再現率（偽陰性なし）に対応します。

より一般的には、再現率は単にタイプ II エラー率の補数 (つまり、タイプ II エラー率の 1 引いた値) です。精度はタイプ I エラー率と関連していますが、関連する項目と関連しない項目の 事前分布にも依存するため、やや複雑です。

上記の猫と犬の例では、猫 (真陰性) 合計 10 匹のうち、タイプ I エラー (偽陽性) が 8 − 5 = 3 個あり、タイプ I エラー率は 3/10 です。また、タイプ II エラー (偽陰性) が 12 − 5 = 7 個あり、タイプ II エラー率は 7/12 です。精度は品質の尺度、再現率は量の尺度と見ることができます。精度が高いということは、アルゴリズムが無関係な結果よりも関連性の高い結果を返すことを意味し、再現率が高いということは、アルゴリズムが関連する結果のほとんどを返すことを意味します (無関係な結果も返されるかどうかは関係ありません)。

分類タスクでは、クラスの精度は、真陽性の数（つまり、正クラスに属すると正しくラベル付けされた項目の数）を正クラスに属するとラベル付けされた要素の総数（つまり、真陽性と、クラスに属すると誤ってラベル付けされた項目である偽陽性の合計）で割ったものです。このコンテキストでの再現率は、真陽性の数を実際に正クラスに属する要素の総数（つまり、真陽性と、正クラスに属するとラベル付けされなかったが、属するべきであった項目である偽陰性の合計）で割ったものとして定義されます。

精度と再現率は、単独で使用した場合、特に有用な指標ではありません。たとえば、すべてのアイテムを単純に取得するだけで、完璧な再現率を実現できます。同様に、非常に可能性の高いアイテムをごく少数選択するだけで、完璧な精度を実現できます。

分類タスクでは、クラス C の精度スコアが 1.0 の場合、クラス C に属するとラベル付けされたすべてのアイテムが実際にクラス C に属することを意味します (ただし、クラス C のアイテムのうち正しくラベル付けされなかったアイテムの数については何も示されません)。一方、再現率が 1.0 の場合、クラス C のすべてのアイテムがクラス C に属するとラベル付けされたことを意味します (ただし、他のクラスのアイテムのうち、クラス C に属すると誤ってラベル付けされたアイテムの数については何も示されません)。

多くの場合、精度と再現率の間には逆の関係があり、一方を犠牲にして他方を増やすことが可能ですが、特定の状況でどちらがより重視されるかはコンテキストによって決まる場合があります。

煙探知器は、一般的に、タイプ I の誤り (危険がないのに多くの状況で警報を鳴らす) を多く犯すように設計されています。これは、タイプ II の誤り (大規模な火災の際に警報を鳴らさない) のコストが法外に高いためです。そのため、煙探知器は、精度の低下 (および多くの誤報) をあまり重視せずに、リコール (実際の危険をすべて捕捉する) を考慮して設計されています。逆に、ブラックストーンの比率、「1 人の無実の人が苦しむよりも、10 人の有罪者が逃げる方がよい」は、タイプ I の誤り (無実の人を有罪にする) のコストを強調しています。そのため、刑事司法制度は、リコールの低下 (より多くの有罪の人を放免する) を犠牲にしても、精度 (無実の人を有罪にしない) を重視しています。

脳外科医が患者の脳から癌性腫瘍を取り除く場合も、トレードオフを示しています。残っている癌細胞が腫瘍を再生するため、外科医はすべての腫瘍細胞を取り除く必要があります。逆に、健康な脳細胞を取り除くと患者の脳機能に障害が残るため、外科医は健康な脳細胞を取り除きません。外科医は、癌細胞をすべて取り除いたことを確認するために、取り除く脳の領域を広くするかもしれません。この決定により再現率は上がりますが、精度は下がります。一方、外科医は癌細胞だけを取り除くことを確認するために、取り除く脳細胞を慎重にするかもしれません。この決定により精度は上がりますが、再現率は下がります。つまり、再現率が高くなると、健康な細胞を取り除く可能性（悪い結果）が高くなり、すべての癌細胞を取り除く可能性（良い結果）も高くなります。精度が高くなると、健康な細胞を取り除く可能性（良い結果）が低くなりますが、すべての癌細胞を取り除く可能性（悪い結果）も低くなります。

通常、精度と再現率のスコアは別々に議論されることはありません。精度-再現率曲線は、再現率の関数として精度をプロットします。通常、再現率が上がると精度は下がります。あるいは、1 つの指標の値を他の指標の固定レベルと比較したり (例:再現率レベル 0.75 での精度)、両方を 1 つの指標に組み合わせたりすることもできます。精度と再現率を組み合わせた指標の例としては、F 値 (精度と再現率の加重調和平均)、またはマシューズ相関係数(偶然補正された変数、回帰係数Informedness (DeltaP') とMarkedness (DeltaP) の幾何平均) などがあります。^{[1] [2]}正確度は、精度と逆精度 (バイアスで加重) の加重算術平均、および再現率と逆再現率 (有病率で加重) の加重算術平均です。^[1]逆適合率と逆再現率は、単に、正と負のラベルが交換される逆問題の適合率と再現率です（実際のクラスと予測ラベルの両方について）。真陽性率と偽陽性率、または同等の再現率と1 - 逆再現率は、 ROC曲線として互いにプロットされることが多く、動作点のトレードオフを調査するための原理的なメカニズムを提供します。情報検索以外では、再現率、適合率、F値の適用は、分割表の真陰性のセルを無視し、予測をバイアスすることで簡単に操作できるため、欠陥があると主張されています。^{[1]最初の問題は}正確性 を使用して「解決」され、2番目の問題は偶然の要素を割り引いてCohenのκに再正規化することで「解決」されますが、これではトレードオフをグラフィカルに調査する機会がなくなります。しかし、情報提供度と注目度は再現度と精度のカッパのような再正規化であり、^[3]その幾何平均マシューズ相関係数は偏りのないF値のように機能します。

分類タスクの場合、真陽性、真陰性、偽陽性、および偽陰性という用語は、テスト中の分類器の結果を信頼できる外部判断と比較します。陽性および陰性という用語は分類器の予測 (期待値と呼ばれることもあります) を指し、真および偽という用語はその予測が外部判断 (観測値と呼ばれることもあります) に対応するかどうかを指します。

ある条件に対して、 P 個の肯定的なインスタンスとN 個の否定的なインスタンスから実験を定義してみましょう。4 つの結果は、次のように 2×2の分割表または混同行列で定式化できます。

精度と再現率は次のように定義される: ^[12]

$${\displaystyle {\begin{aligned}{\text{Precision}}&={\frac {tp}{tp+fp}}\\{\text{Recall}}&={\frac {tp}{tp+fn}}\,\end{aligned}}}$$

この文脈における再現率は真陽性率または感度とも呼ばれ、精度は陽性予測値（PPV）とも呼ばれます。分類に使用されるその他の関連指標には、真陰性率と精度があります。^[12]真陰性率は特異度とも呼ばれます。

$${\displaystyle {\text{True negative rate}}={\frac {tn}{tn+fp}}\,}$$

データの不均衡がある場合、適合率と再現率はどちらも有用である。しかし、偽陽性または偽陰性の結果がコストのかかる場合には、どちらかを優先することが有益である。例えば、医療診断において、偽陽性の検査は不必要な治療や費用につながる可能性がある。このような状況では、再現率よりも適合率を重視することが有用である。その他の場合には、偽陰性のコストは高い。例えば、不正検出における偽陰性のコストは高く、不正な取引を検出できないと大きな経済的損失につながる可能性がある。^[13]

適合率と再現率は（推定）条件付き確率として解釈できます。^[14] 適合率は で与えられ、再現率はで与えられます。 ^[15]ここでは予測クラス、 は実際のクラスです（つまり、実際のクラスが正であることを意味します）。したがって、両方の量はベイズの定理によって結び付けられています。 ${\displaystyle \mathbb {P} (C=P|{\hat {C}}=P)}$${\displaystyle \mathbb {P} ({\hat {C}}=P|C=P)}$${\displaystyle {\hat {C}}}$${\displaystyle C}$${\displaystyle C=P}$

確率的解釈により、スキルなしの分類器がどのように機能するかを簡単に導き出すことができます。スキルなしの分類器は、分類とクラスの存在が独立しているため、結合確率が無条件確率の積にすぎないという特性によって定義されます。 ${\displaystyle \mathbb {P} (C=P,{\hat {C}}=P)=\mathbb {P} (C=P)\mathbb {P} ({\hat {C}}=P)}$

たとえば、スキルのない分類器の精度は単純に定数であり、つまりクラス P が発生する確率/頻度によって決まります。 ${\displaystyle \mathbb {P} (C=P|{\hat {C}}=P)={\frac {\mathbb {P} (C=P,{\hat {C}}=P)}{\mathbb {P} ({\hat {C}}=P)}}=\mathbb {P} (C=P),}$

同様の議論は、肯定 的な分類の確率であるリコールについても行うことができます。 ${\displaystyle \mathbb {P} ({\hat {C}}=P|C=P)={\frac {\mathbb {P} (C=P,{\hat {C}}=P)}{\mathbb {P} (C=P)}}=\mathbb {P} ({\hat {C}}=P)}$

$${\displaystyle {\text{Accuracy}}={\frac {TP+TN}{TP+TN+FP+FN}}\,}$$

不均衡なデータセットでは、精度は誤解を招く指標となる可能性があります。95 個の負の値と 5 個の正の値を持つサンプルを考えてみましょう。この場合、すべての値を負として分類すると、精度スコアは 0.95 になります。この問題の影響を受けない指標は多数あります。たとえば、バランスのとれた精度^[16] (bACC) は、真陽性予測と真陰性予測をそれぞれ正サンプルと負サンプルの数で正規化し、その合計を 2 で割ります。

$${\displaystyle {\text{Balanced accuracy}}={\frac {TPR+TNR}{2}}\,}$$

前の例 (95 個のネガティブ サンプルと 5 個のポジティブなサンプル) では、すべてをネガティブとして分類すると、バランスのとれた精度スコアは 0.5 になります (最大の bACC スコアは 1)。これは、バランスのとれたデータ セットでのランダム推測の期待値に相当します。バランスのとれた精度は、FN のコストが FP と同じであると仮定すると、データ内で真のラベルが不均衡であるかどうかに関係なく、モデルの全体的なパフォーマンス メトリックとして機能します。

TPRとFPRは、特定の閾値で動作する特定の分類器の特性です。しかし、TP、FPなどの総数は、クラス比を介してデータ内のクラス不均衡に依存します。再現率（またはTPR）は陽性ケースのみに依存するため、 の影響を受けませんが、精度は影響を受けます。 ${\textstyle r=P/N}$${\textstyle r}$

${\displaystyle {\text{Precision}}={\frac {TP}{TP+FP}}={\frac {P\cdot TPR}{P\cdot TPR+N\cdot FPR}}={\frac {TPR}{TPR+{\frac {1}{r}}FPR}}.}$

したがって、精度はに明示的に依存します。^[17]およびのバランスの取れたクラスから始めて、徐々に減少していくと、分母が増加するため、対応する精度は減少します。 ${\textstyle r}$${\textstyle r=1}$${\textstyle r}$

もう 1 つの指標は予測陽性状態率 (PPCR) で、これはフラグが付けられた全人口の割合を示します。たとえば、1,000,000 件のドキュメントのうち 30 件の結果 (取得されたドキュメント) を返す検索エンジンの場合、PPCR は 0.003% になります。

$${\displaystyle {\text{Predicted positive condition rate}}={\frac {TP+FP}{TP+FP+TN+FN}}\,}$$

斎藤とレームスマイヤーによれば、不均衡なデータに対してバイナリ分類器を評価する場合、精度-再現率プロットはROCプロットよりも有益である。このようなシナリオでは、ROCプロットは分類性能の信頼性に関する結論に関して視覚的に誤解を招く可能性がある。^[18]

上記のアプローチとは異なり、混同行列要素に重み付けすることによって不均衡スケーリングを直接適用すると、不均衡なデータセットの場合でも標準的なメトリック定義が適用されます。^[19]重み付け手順は、混同行列要素を各考慮クラスのサポートセットに関連付けます。

精度と再現率を組み合わせた尺度は、精度と再現率の調和平均、つまり従来の F 尺度またはバランス F スコアです。

$${\displaystyle F=2\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}}$$

この指標は、2つの数値が近い場合、おおよそその平均値であり、より一般的には調和平均であり、2つの数値の場合、幾何平均の2乗を算術平均で割った値と一致します。評価指標としての偏りのため、特定の状況ではFスコアが批判される理由はいくつかあります。^[1]これは再現率と精度が均等に重み付けされているため、指標 としても知られています。${\displaystyle F_{1}}$

これは、一般的な測度の特別なケースです（ の非負の実数値の場合 ）。 ${\displaystyle F_{\beta }}$${\displaystyle \beta }$

$${\displaystyle F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\beta ^{2}\cdot \mathrm {precision} +\mathrm {recall} }}}$$

よく使用される他の 2 つの指標は、精度よりも再現率を重視する指標と、再現率よりも精度を重視する指標です。 ${\displaystyle F}$${\displaystyle F_{2}}$${\displaystyle F_{0.5}}$

F 値は、van Rijsbergen (1979) によって導き出されたもので、 「再現率を精度と同じだけ重視するユーザーに関する検索の有効性を測定する」ものです。これは、van Rijsbergen の有効性測定 に基づいており、第 2 項は重み による精度と再現率の加重調和平均です。それらの関係はです。 ${\displaystyle F_{\beta }}$${\displaystyle \beta }$${\displaystyle E_{\alpha }=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}}$${\displaystyle (\alpha ,1-\alpha )}$${\displaystyle F_{\beta }=1-E_{\alpha }}$${\displaystyle \alpha ={\frac {1}{1+\beta ^{2}}}}$

情報検索システムの性能指標としては、 ROC曲線下面積（AUC）^[20]や疑似R二乗など他のパラメータや戦略も存在する。

2つ以上のクラスを持つ分類問題では、精度と再現率の値も計算できます。^[21]特定のクラスの精度を取得するには、真陽性の数をこのクラスに対する分類器のバイアス（分類器がそのクラスを予測した回数）で割ります。特定のクラスの再現率を計算するには、真陽性の数をこのクラスの出現率（データサンプル内でクラスが出現した回数）で割ります。

クラスごとの精度と再現率の値は、たとえばマクロ F1 メトリックを使用して、全体的なマルチクラス評価スコアに組み合わせることができます。

• 不確実性係数、熟達度とも呼ばれる
• 感度と特異度
• 混同行列
• 得点ルール
• 基本料金の誤り

• 情報検索 – CJ van Rijsbergen 1979
• 多クラス分類問題の精度と再現率の計算