精度と再現性

分類において、精度と再現率は、コレクション、コーパス、またはサンプル空間から取得されたデータに適用されるパフォーマンス指標です。

精度（陽性予測値とも呼ばれる）とは、取得されたインスタンスのうち、関連するインスタンスの割合のことです。数式で表すと次のようになります。

${\text{精度}}={\frac {\text{取得された関連インスタンス}}{{\text{取得されたすべてのインスタンス}}{\textbf {インスタンス}}}}$

再現率（感度とも呼ばれる）は、関連する事例のうち、実際に検索された事例の割合です。数式で表すと次のようになります。

${\text{リコール}}={\frac {\text{関連する取得インスタンス}}{{\text{すべての}}{\textbf {関連する}}{\text{インスタンス}}}}$

したがって、精度と再現率はどちらも関連性に基づいている。

デジタル写真から犬（関連要素）を認識するコンピュータプログラムを考えてみましょう。10匹の猫と12匹の犬が写っている写真を処理すると、プログラムは8匹の犬を識別します。犬として識別された8つの要素のうち、実際に犬であるのは5つ（真陽性）だけで、残りの3つは猫（偽陽性）です。7匹の犬が見逃され（偽陰性）、7匹の猫が正しく除外されました（真陰性）。したがって、プログラムの精度は5/8（真陽性数／選択された要素数）であり、再現率は5/12（真陽性数／関連要素数）です。

仮説検定アプローチを採用すると、この場合、帰無仮説は、特定の項目が無関係である（犬ではない）というものであり、タイプIエラーとタイプIIエラーがない（完全な特異度と感度）ことは、それぞれ完全な精度（偽陽性なし）と完全な再現率（偽陰性なし）に対応します。

より一般的に言えば、想起率は単純に第II種過誤率の補数（つまり、1から第II種過誤率を引いた値）です。精度は第I種過誤率と関連していますが、関連項目と無関係項目の事前分布にも依存するため、やや複雑な関係になります。

上記の猫と犬の例では、合計10匹の猫（真陰性）のうち、 8 − 5 = 3 の第一種過誤（偽陽性）が発生し、第一種過誤率は 3/10 でした。また、12 − 5 = 7 の第二種過誤（偽陰性）が発生し、第二種過誤率は 7/12 でした。精度は品質の尺度、再現率は量の尺度と見なすことができます。精度が高いということは、アルゴリズムが無関係な結果よりも関連性の高い結果を多く返すことを意味し、再現率が高いということは、アルゴリズムが関連性の高い結果のほとんどを返すことを意味します（無関係な結果も返されるかどうかに関わらず）。

導入

犬の分類器の例。この分類器は、5枚の画像に犬が写っていることを正しく識別しましたが、3枚の猫を犬と誤認しました。

分類タスクにおいて、あるクラスの精度は、真陽性の数（つまり、正のクラスに属すると正しくラベル付けされた項目の数）を、正のクラスに属するとラベル付けされた要素の総数（つまり、真陽性と偽陽性（クラスに属すると誤ってラベル付けされた項目）の合計）で割った値です。この文脈における再現率は、真陽性の数を、実際に正のクラスに属する要素の総数（つまり、真陽性と偽陰性（正のクラスに属するとラベル付けされなかったが、本来は属するべきだった項目）の合計）で割った値として定義されます。

精度と再現率は、単独で使用してもあまり有用な指標とは言えません。例えば、すべての項目を単純に検索すれば、完璧な再現率を達成できます。同様に、極めて可能性の高いごく少数の項目を選択するだけで、完璧な精度を達成することも可能です。

分類タスクにおいて、クラスCの精度スコアが1.0であるということは、クラスCに属するとラベル付けされたすべての項目が実際にクラスCに属していることを意味します（ただし、クラスCの項目のうち、正しくラベル付けされなかった項目の数については何も示していません）。一方、再現率が1.0であるということは、クラスCのすべての項目がクラスCに属するとラベル付けされたことを意味します（ただし、他のクラスの項目のうち、誤ってクラスCに属するとラベル付けされた項目の数については何も示していません）。

多くの場合、精度と再現率の間には逆相関関係があり、一方を向上させると他方が低下する可能性がありますが、特定の状況ではどちらをより重視するかは文脈によって決まる場合があります。

煙感知器は一般的に、第一種過誤（危険がない状況でも警報を発する）を多く起こすように設計されています。なぜなら、第二種過誤（大火災時に警報を発しない）のコストは法外に高いからです。そのため、煙感知器は、精度の低下（誤報の多発）をほとんど考慮せず、記憶（実際の危険をすべて捉えること）を重視して設計されています。一方、ブラックストーンの「10人の有罪者が逃亡する方が、1人の無実の者が苦しむよりもましだ」という格言は、第一種過誤（無実の者を有罪にすること）のコストを強調しています。そのため、刑事司法制度は、記憶の低下（より多くの有罪者を釈放すること）を犠牲にしてでも、精度（無実の者を有罪にしないこと）を重視しています。

脳外科医が患者の脳から癌性腫瘍を切除する例も、トレードオフをよく示しています。外科医は、残った癌細胞が腫瘍を再生させるため、すべての腫瘍細胞を除去する必要があります。逆に、健康な脳細胞を除去してしまうと、患者の脳機能が損なわれるため、外科医は健康な脳細胞を除去してはなりません。外科医は、すべての癌細胞を確実に除去するために、切除する脳の領域をより広範囲に及ぶ場合があります。この決定は、記憶の再現性を高めますが、精度を低下させます。一方、外科医は、癌細胞のみを確実に除去するために、切除する脳細胞をより慎重に選ぶ場合があります。この決定は、精度を高めますが、記憶の再現性を低下させます。つまり、記憶の再現性が高いほど、健康な細胞を除去する可能性（負の結果）と、すべての癌細胞を除去する可能性（正の結果）が高くなります。精度が高いほど、健康な細胞を除去する可能性（正の結果）は低くなりますが、すべての癌細胞を除去する可能性（負の結果）も低くなります。

通常、精度と再現率のスコアは単独で議論されることはありません。精度-再現率曲線は、再現率の関数として精度をプロットしたもので、通常、再現率が増加するにつれて精度は低下します。あるいは、一方の尺度の値を他方の尺度の固定レベル（例：再現率0.75での精度）で比較したり、両方を単一の尺度に組み合わせたりすることもできます。精度と再現率の組み合わせである尺度の例としては、F尺度（精度と再現率の加重調和平均）や、偶然補正された変数である回帰係数情報量（ DeltaP'）と顕著性（DeltaP）の幾何平均であるマシューズ相関係数などがあります。 ^[¹^]^[²^]正確度は、精度と逆精度（バイアスで加重）の加重算術平均、および再現率と逆再現率（有病率で加重）の加重算術平均です。^[¹^]逆精度と逆再現率は、正と負のラベルが交換された逆問題の精度と再現率です (実際のクラスと予測ラベルの両方について)。真陽性率と偽陽性率、または同等の再現率と 1 - 逆再現率は、 ROC曲線として互いにプロットされることが多く、動作点のトレードオフを調査するための原理的なメカニズムを提供します。情報検索以外では、再現率、精度、F 値の適用は、分割表の真の負のセルを無視し、予測にバイアスをかけることで簡単に操作できるため、欠陥があると主張されています。^[¹^] 最初の問題は精度を使用することで「解決」され、2 番目の問題は偶然の要素を割り引いてコーエンのカッパに再正規化することで「解決」されますが、これではトレードオフをグラフィカルに調査する機会がなくなります。しかし、情報量と識別力は、再現率と精度のカッパのような正規化であり、^[³^]、それらの幾何平均マシューズ相関係数は、バイアスの除去されたF値のように機能します。

意味

分類タスクにおいて、真陽性、真陰性、偽陽性、偽陰性という用語は、テスト対象の分類器の結果を信頼できる外部の判断と比較するものです。陽性と陰性という用語は、分類器の予測（期待値とも呼ばれる）を指し、真と偽という用語は、その予測が外部の判断（観測値とも呼ばれる）と一致するかどうかを指します。

ある条件について、 P個の陽性事例とN個の陰性事例からなる実験を定義してみましょう。4つの結果は、以下のように2×2の分割表または混同行列で表すことができます。

↑データ中の実際の陽性症例数
↑状態または特性の存在を正しく示す検査結果
↑第二種過誤：特定の状態または属性が存在しないことを誤って示す検査結果
↑データ中の実際の陰性症例数
↑状態または特性の欠如を正しく示す検査結果
↑第一種過誤：特定の状態または属性が存在すると誤って示す検査結果

精度と再現率は次のように定義されます。^{[ 12 ]}

${\begin{aligned}{\text{精度}}&={\frac {tp}{tp+fp}}\\{\text{再現率}}&={\frac {tp}{tp+fn}}\,\end{aligned}}$

この文脈における再現率は、真陽性率または感度とも呼ばれ、精度は陽性予測値（PPV）とも呼ばれます。分類で使用されるその他の関連尺度には、真陰性率と精度があります。^{[ 12 ]}真陰性率は特異度とも呼ばれます。

${\text{真陰性率}}={\frac {tn}{tn+fp}}\,$

精度と再現率

精度と再現率の両方は、データが不均衡な場合に役立つ可能性があります。ただし、偽陽性または偽陰性の結果がコストのかかる場合は、一方の指標を他方よりも優先することが有益となる場合があります。たとえば、医療診断では、偽陽性検査は不必要な治療と費用につながる可能性があります。このような状況では、再現率よりも精度を重視することが有益です。他のケースでは、偽陰性のコストが高く、再現率の方がより価値のある指標となる可能性があります。たとえば、不正検出における偽陰性のコストは高く、不正取引を検出できないと重大な金銭的損失につながる可能性があります。^{[ 13 ]}

確率的定義

精度と再現率は（推定）条件付き確率として解釈できます。^{[ 14 ]} 精度は次のように表されます。 $\mathbb {P} (C=P|{\hat {C}}=P)$ 記憶は次のように与えられる $\mathbb {P} ({\hat {C}}=P|C=P)$ [ ^{15 ]}ここ^で ${\hat {C}}$ 予測クラスであり、 $C$ 実際のクラスは $C=P$ （実際のクラスが正であることを意味します）。したがって、両方の量はベイズの定理によって関連付けられています。

スキル不要の分類器

確率的解釈により、スキルなし分類器がどのように機能するかを容易に導き出すことができる。スキルなし分類器は、結合確率が $\mathbb {P} (C=P,{\hat {C}}=P)=\mathbb {P} (C=P)\mathbb {P} ({\hat {C}}=P)$ 分類とクラスの存在は独立しているため、これは無条件確率の積にすぎません。

例えば、スキルを必要としない分類器の精度は単なる定数である。 $\mathbb {P} (C=P|{\hat {C}}=P)={\frac {\mathbb {P} (C=P,{\hat {C}}=P)}{\mathbb {P} ({\hat {C}}=P)}}=\mathbb {P} (C=P),$ つまり、クラスPが発生する確率/頻度によって決定される。

リコールについても同様の議論が成り立つ。 $\mathbb {P} ({\hat {C}}=P|C=P)={\frac {\mathbb {P} (C=P,{\hat {C}}=P)}{\mathbb {P} (C=P)}}=\mathbb {P} ({\hat {C}}=P)$ これは、陽性分類となる確率です。

精度、不均衡データ、およびバランスのとれた精度

${\text{Accuracy}}={\frac {TP+TN}{TP+TN+FP+FN}}\,$

精度は、分類器が陽性症例と陰性症例をどれだけうまく識別できるかを、疾患の基本有病率で重み付けした加重平均として表現できます（ ${\textstyle P}$ この定式化は、感度（真陽性率）と特異度（真陰性率）に基づいています。

${\text{Accuracy}}=(P\times {\text{Sensitivity}})+((1-P)\times {\text{Specificity}})$

機械学習の用語では、感度はポジティブクラスのリコール（しばしばこう呼ばれる）に相当します。 ${\textstyle recall_{1}}$ ）、一方、特異度は陰性クラスの再現率（しばしばこう呼ばれる）に相当します。 ${\textstyle recall_{0}}$ この式は、データセットで利用可能な実際の陽性および陰性症例数によって真陽性率と真陰性率を直接スケーリングするため、すべての有病率レベルにわたって数学的に厳密に制限されます。^{[ 16 ]}

あるいは、精度は精度と（ ${\textstyle P_{recision}}$ ）、想起（ ${\textstyle R_{ecall}}$ つまり、 ${\textstyle recall_{1}}$ ）、および有病率（ ${\textstyle P}$ 分類器の精度は、精度を総エラー率から1を引いた値として表すと、次のようになります。

${\text{Accuracy}}=1-P\left[(1-R_{ecall})+R_{ecall}\left({\frac {1-P_{recision}}{P_{recision}}}\right)\right]$

[証拠]

この式を導出するために、まず混同行列の標準的な定義から始めます。 ${\textstyle N=TP+TN+FP+FN}$ データセット全体の人口を表します。

基本指標は次のように定義されます。

有病率（ ${\textstyle P}$ ): ${\textstyle P={\frac {TP+FN}{N}}}$
想起（ ${\textstyle R_{ecall}}$ ): ${\textstyle R_{ecall}={\frac {TP}{TP+FN}}}$
精度（ ${\textstyle P_{recision}}$ ): ${\textstyle P_{recision}={\frac {TP}{TP+FP}}}$

ステップ1：誤差率で精度を表す精度 とは、正しく予測された予測の全体の割合です。言い換えれば、1から総誤差率を引いた値です。 ${\text{Accuracy}}={\frac {TP+TN}{N}}=1-{\frac {FP+FN}{N}}$

ステップ 2: リコールを使用して偽陰性 (FN) を表現する リコールの定義から、真陽性 ( ${\textstyle TP}$ ）および偽陰性（ ${\textstyle FN}$ ）実際の陽性症例総数に対する割合として（ ${\textstyle TP+FN}$ ): $TP=R_{ecall}(TP+FN)$ $FN=(1-R_{ecall})(TP+FN)$

ステップ 3: 精度と再現率を使用して偽陽性 (FP) を表現する 精度の定義から、代数的に解くと次のようになります。 ${\textstyle FP}$ : $P_{recision}={\frac {TP}{TP+FP}}\implies FP=TP\left({\frac {1-P_{recision}}{P_{recision}}}\right)$ 式を代入して ${\textstyle TP}$ ステップ2の結果をこの方程式に代入します。 $FP=R_{ecall}(TP+FN)\left({\frac {1-P_{recision}}{P_{recision}}}\right)$

ステップ4：エラーを結合する 式を追加します ${\textstyle FN}$ そして ${\textstyle FP}$ 合計エラー数を取得するには、以下を組み合わせます。 $FN+FP=(1-R_{ecall})(TP+FN)+R_{ecall}(TP+FN)\cdot \left({\frac {1-P_{recision}}{P_{recision}}}\right)$ 実際の陽性症例を除外する（ ${\textstyle TP+FN}$ ): $FN+FP=(TP+FN)\left[(1-R_{ecall})+R_{ecall}\left({\frac {1-P_{recision}}{P_{recision}}}\right)\right]$

ステップ 5: 総人口 (N) で割る 全体のエラー率を求めるには、方程式の両辺をで割ります。 ${\textstyle N}$ : ${\frac {FP+FN}{N}}={\frac {TP+FN}{N}}\left[(1-R_{ecall})+R_{ecall}\left({\frac {1-P_{recision}}{P_{recision}}}\right)\right]$ 有病率は次のように定義される ${\textstyle P={\frac {TP+FN}{N}}}$ 代わりに ${\textstyle P}$ 方程式に組み込む： ${\frac {FP+FN}{N}}=P\left[(1-R_{ecall})+R_{ecall}\left({\frac {1-P_{recision}}{P_{recision}}}\right)\right]$

ステップ6：精度方程式の確定 ステップ1の精度式に、この合計誤差率を代入します。 ${\text{Accuracy}}=1-P\left[(1-R_{ecall})+R_{ecall}\left({\frac {1-P_{recision}}{P_{recision}}}\right)\right]$

この形式では、この方程式は、有病率によってスケーリングされた 2 つの異なるエラーによって精度がどのようにペナルティを受けるかを分離します。陽性症例が見逃される割合 ( ${\textstyle {\text{FN rate}}=1-R_{ecall}}$ ）、およびそれらを検出することによって発生する付随的な偽陽性率（ ${\textstyle {\text{FP rate}}=R_{ecall}\left({\frac {1-P_{recision}}{P_{recision}}}\right)}$ この明確な関係は、不均衡なデータセットにおける根本的な有病率に応じて、精度と再現率の変化が全体的な精度に不均衡な影響を与えることを示している。

しかし、有病率、精度、再現率は独立変数ではないため、この式は厳密に数学的な制限を受けます。数学的に示される偽陽性の数は、データセット内の実際の陰性症例の総数を超えることはできません。したがって、上記の精度式は、最小精度に関する次の制約の下でのみ有効です。^{[ 17 ]}

$P_{recision}\geq {\frac {P\cdot R_{ecall}}{1-P+P\cdot R_{ecall}}}$

上記の理由から、異なる基本有病率（つまり、不均衡の異なるデータセット）を持つデータセットを比較する場合、精度は限定的または誤解を招く指標となる可能性があります。たとえば、精度90%、再現率50%の手法では、データセットの有病率が30%か90%かによって、精度は83%または50%になります。また、サンプルに95個の陰性値と5個の陽性値がある場合、すべての値を陰性と分類すると（再現率100%、精度0%）、精度スコアは0.95になります。

この問題の影響を受けない指標は数多く存在する。例えば、バランス精度^{[ 18 ]}（bACC）は、真陽性予測と真陰性予測をそれぞれ陽性サンプル数と陰性サンプル数で正規化し、それらの合計を2で割る。

${\text{Balanced accuracy}}={\frac {TPR+TNR}{2}}\,$

前述の例（陰性サンプル95個、陽性サンプル5個）では、すべてを陰性と分類すると、バランス精度スコアは0.5になります（bACCスコアの最大値は1）。これは、バランスの取れたデータセットにおけるランダムな推測の期待値に相当します。FNのコストがFPのコストと同じであると仮定すれば、データの真のラベルが不均衡であるかどうかにかかわらず、バランス精度はモデルの全体的なパフォーマンス指標として使用できます。

バランス精度は、ユーデンのJ統計量の線形結合です。 ${\text{Balanced Accuracy}}={\frac {J+1}{2}}$ ）

TPRとFPRは、特定の閾値で動作する分類器の特性です。ただし、TP、FPなどの総数は、クラス比率を介してデータのクラス不均衡に依存します。 ${\textstyle r=P/N}$ リコール（またはTPR）は陽性症例のみに依存するため、 ${\textstyle r}$ しかし、精度は。

${\text{Precision}}={\frac {TP}{TP+FP}}={\frac {P\cdot TPR}{P\cdot TPR+N\cdot FPR}}={\frac {TPR}{TPR+{\frac {1}{r}}FPR}}.$

したがって、精度は明確に以下に依存する ${\textstyle r}$ [ ¹⁹^{]バランス}^の取れたクラスから始めると ${\textstyle r=1}$ そして徐々に減少 ${\textstyle r}$ 分母が大きくなるため、対応する精度は低下します。

もう一つの指標は、予測陽性率（PPCR）です。これは、全データのうち、フラグが立てられたデータの割合を示します。例えば、100万件のドキュメントのうち30件の結果（取得されたドキュメント）を返す検索エンジンの場合、PPCRは0.003%となります。

${\text{Predicted positive condition rate}}={\frac {TP+FP}{TP+FP+TN+FN}}\,$

SaitoとRehmsmeierによると、不均衡データで二値分類器を評価する場合、ROCプロットよりも適合率-再現率プロットの方が情報量が多い。このようなシナリオでは、ROCプロットは分類性能の信頼性に関する結論に関して視覚的に誤解を招く可能性がある。^{[ 20 ]}^{[ 21 ]}

上記のアプローチとは異なり、混同行列の要素に重み付けすることで不均衡スケーリングを直接適用する場合、不均衡なデータセットの場合でも標準的な指標の定義が適用されます。^{[ 22 ]}重み付け手順は、混同行列の要素を各クラスのサポートセットに関連付けます。

F値

精度と再現率を組み合わせた指標としては、精度と再現率の調和平均、すなわち従来のF値またはバランスFスコアが挙げられる。

$F=2\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}$

この尺度は、2つが近い場合、ほぼ2つの平均値であり、より一般的には調和平均であり、2つの数値の場合、幾何平均の2乗を算術平均で割った値と一致します。Fスコアは、評価指標としての偏りのため、特定の状況下では批判される可能性があります。^{[ 1 ]}これは、 $F_{1}$ 再現率と適合率が均等に重み付けされているため、測定します。

これは一般的な $F_{\beta }$ 測定（非負の実数値の場合） $\beta$ ):

$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\beta ^{2}\cdot \mathrm {precision} +\mathrm {recall} }}$

他によく使われる2つの $F$ 対策は $F_{2}$ 測定、重みは精度よりも高いことを思い出す、そして $F_{0.5}$ これは、再現率よりも精度を重視する測定方法です。

F値はvan Rijsbergen（1979）によって導出され、 $F_{\beta }$ 「添付したユーザーに関して、検索の有効性を測定する」 $\beta$ 「正確さよりも想起の方がはるかに重要である」。これは、ファン・ライスベルゲンの有効性指標に基づいている。 $E_{\alpha }=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}$ 2番目の項は、重み付けされた精度と再現率の加重調和平均である。 $(\alpha ,1-\alpha )$ 彼らの関係は $F_{\beta }=1-E_{\alpha }$ どこ $\alpha ={\frac {1}{1+\beta ^{2}}}$ 。

目標としての限界

情報検索システムの性能指標には、 ROC曲線下面積（AUC）^{[ 23 ]}や擬似R二乗などの他のパラメータや戦略があります。

多クラス評価

精度と再現率の値は、2 つ以上のクラスを持つ分類問題でも計算できます。^{[ 24 ]}特定のクラスの精度を取得するには、真陽性の数をそのクラスに対する分類器のバイアス (分類器がそのクラスを予測した回数) で割ります。特定のクラスの再現率を計算するには、真陽性の数をそのクラスの出現頻度 (データサンプルでそのクラスが出現した回数) で割ります。

クラスごとの精度と再現率の値は、例えばマクロF1メトリックを使用して、全体的なマルチクラス評価スコアに組み合わせることができます。^{[ 24 ]}

連続分布への一般化

精度、再現率、Fスコアの古典的な定義は、各インスタンスが真か偽かのいずれかである二値分類用に定式化されています。しかし、多くの実用的な領域では、離散的なラベルではなく、本質的に連続的な信号が生成されます。これらの指標を連続分布に一般化することで、閾値処理によって生じる情報損失なしに、そのようなデータに直接適用できるようになります。^{[ 25 ]}

2つの具体例は、二項対立的な枠組みの限界を示している。

定量金融。モデルは、特定の時点における各資産に対する確信度に応じて、連続的な売買シグナルを出力する場合があります。固定閾値（例：シグナル > 0.1 = 買い）を適用すると、確信度の大きさが無視され、強いシグナルと弱いシグナルが混同されるため、モデルが強い買いと弱い買いを正しく区別する能力が制限されます。
DNAメチル化解析。シーケンスツールは、メチル化状態が異なる領域を検出します。これらの領域のシグナルは連続的で、通常は-1から+1の範囲です。これを二値化の枠組みに無理やり当てはめると、すべての正の偏差を大きさに関係なく同等に扱うため、同様の歪みが生じます。

定義

させて $x_{i}$ は期待される（真の）信号を表し、 $y_{i}$ 各データポイントにおける観測された（予測された）信号 $i$ すると、精度、再現率、F値は次のように計算できます。

{\text{Precision}}={\frac {\sum {\frac {2x_{i}y_{i}}{x_{i}^{2}+y_{i}^{2}}}y_{i}^{2}}{\sum y_{i}^{2}}}

{\text{Recall}}={\frac {\sum {\frac {2x_{i}y_{i}}{x_{i}^{2}+y_{i}^{2}}}x_{i}^{2}}{\sum x_{i}^{2}}}

F={\frac {\sum 2x_{i}y_{i}}{\sum x_{i}^{2}+y_{i}^{2}}}

注：他の連続変数に応じて、連続分布の場合は合計を積分に置き換えることができます（例： $\sum \rightarrow \int d\xi$ 、 $x_{i}\rightarrow x(\xi )$ 、 $y_{i}\rightarrow y(\xi )$ )

これらの定義は、以下の場合に古典的なバイナリバージョンに還元されます。 $x_{i},y_{i}\in \{0,1\}$ しかし、連続的な指標は、より深い数学的な優雅さを明らかにします。ランダムな信号を持つ完全に間違った機械学習モデルを考えてみましょう。大きさや符号を考慮しない従来の二値指標では、このようなモデルでも正の精度、再現率、Fスコア（密な信号の場合は25%以上）が与えられる可能性があります。一方、連続的な式では、このような状況では精度、再現率、Fスコアは正確に0になります。これは、期待される信号と観測された信号が相関しない場合、分子の項が相殺されてゼロになるためです。

参考文献

1 2 3 4 Powers, David MW (2011). "評価: 精度、再現率、F値から ROC、情報量、特徴量、相関まで" (PDF) . Journal of Machine Learning Technologies . 2 (1): 37– 63. 2019-11-14 にオリジナル(PDF)からアーカイブされました。
↑ Perruchet, P.; Peereman, R. (2004). "音節処理における分布情報の活用" (PDF) . J. Neurolinguistics . 17 ( 2– 3): 97– 119. doi : 10.1016/s0911-6044(03)00059-9 . S2CID 17104364 .
↑ Powers, David MW (2012). "The Problem with Kappa" .欧州計算言語学会会議 (EACL2012) 合同 ROBUS-UNSUP ワークショップ。
↑ Fawcett, Tom (2006). "ROC分析入門" (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .
↑プロボスト、フォスター、トム・フォーセット (2013-08-01)。「ビジネスのためのデータサイエンス：データマイニングとデータ分析的思考について知っておくべきこと」。O'Reilly Media, Inc.
↑ Powers, David MW (2011). "評価: 精度、再現率、F値からROC、情報量、顕著性、相関まで" . Journal of Machine Learning Technologies . 2 (1): 37– 63.
↑ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8。
↑ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE 予報検証研究に関する合同作業部会" .オーストラリア気象気候研究協力機構. 世界気象機関. 2019-07-17に取得.
↑ Chicco D、Jurman G (2020年1月)。「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC ）の利点」。BMC Genomics。21 ( 1 ) : 6-1–6-13。doi : 10.1186/ s12864-019-6413-7。PMC 6941312。PMID 31898477 。
↑ Chicco D、Toetsch N、Jurman G (2021 年 2 月)。「マシューズ相関係数 (MCC) は、2 クラス混同行列評価において、バランス精度、ブックメーカー情報、およびマークネスよりも信頼性が高い」。BioData Mining。14 ( 13 ) : 13。doi : 10.1186 / s13040-021-00244- z。PMC 7863449。PMID 33541410。
↑ Tharwat A. (2018年8月) 「分類評価方法」 . Applied Computing and Informatics . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
1 2 Olson, David L.; および Delen, Dursun (2008); Advanced Data Mining Techniques、Springer、第 1 版 (2008 年 2 月 1 日)、138 ページ、 ISBN 3-540-76916-1
↑ 「精度と再現率：違い、使用例、評価」。
↑ Fatih Cakir、Kun He、Xide Xia、Brian Kulis、Stan Sclaroff、「Deep Metric Learning to Rank」、IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 論文集、2019 年。
↑ Roelleke, Thomas (2022-05-31).情報検索モデル：基礎と関係性. Springer Nature. ISBN 978-3-031-02328-6。
↑ニューマン、トーマス・B.、コーン、マイケル・A. (2009)。「2：二分法テスト」。エビデンスに基づく診断。ケンブリッジ大学出版局。ISBN 978-0521875950精度は、疾患の有病率に基づいた感度と特異度の加重平均として表すことができます。精度 = (有病率 × 感度) + ((1 - 有病率) × 特異度)。
↑ Williams, Christopher KI (2021-04-01). "The Effect of Class Imbalance on Precision-Recall Curves". Neural Computation . 33 (4): 853– 857. arXiv : 2007.01905 . doi : 10.1162/neco_a_01362 .式 2 は、Precision = TPR / (TPR + (1/r)FPR) であることを示しています。偽陽性率 (FPR) の最大値は 1 であり、クラス不均衡比 r = Prevalence / (1 - Prevalence) であるため、特定の有病率とリコールが与えられた場合、精度の厳密な下限が確立されます。
↑ Mower, Jeffrey P. (2005-04-12). "PREP-Mt: 植物ミトコンドリア遺伝子の予測RNAエディター" . BMC Bioinformatics . 6 : 96. doi : 10.1186/1471-2105-6-96 . ISSN 1471-2105 . PMC 1087475 . PMID 15826309 .
↑ Williams, Christopher KI (2021-04-01). "クラス不均衡が精度-再現率曲線に及ぼす影響". Neural Computation . 33 (4): 853–857 . arXiv : 2007.01905 . doi : 10.1162/neco_a_01362 . hdl : 20.500.11820/8a709831-cbfe-4c8e-a65b-aee5429e5b9b . ISSN 0899-7667 .
↑斎藤貴也、マーク・レームスマイヤー (2015-03-04)。ガイ・ブロック (編)。「不均衡データセットでバイナリ分類器を評価する場合、精度-再現率プロットは ROC プロットよりも情報量が多い」。PLOS ONE。10 ( 3 ) e0118432。Bibcode : 2015PLoSO..1018432S。doi : 10.1371 / journal.pone.0118432。ISSN 1932-6203。PMC 4349800。PMID 25738806。
↑ Suzanne Ekelund (2017年3月) 「精度-再現曲線とは何か、そしてどのように使用されるのか？」 . Acute Care Testing .
↑ Tripicchio, Paolo; Camacho-Gonzalez, Gerardo; D'Avella, Salvatore (2020). "溶接欠陥検出: 生産ラインにおけるアーティファクトへの対処" . The International Journal of Advanced Manufacturing Technology . 111 (5): 1659– 1669. doi : 10.1007/s00170-020-06146-4 . S2CID 225136860 .
↑ Zając, Zygmunt (2013年9月19日). 「AUCについて知りたいこと」 . FastML .
1 2 Opitz, Juri (2024). "分類評価指標のより詳細な検討と一般的な評価方法の批判的考察". Transactions of the Association for Computational Linguistics . 12 : 820–836 . arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675 .
↑ PCT特許出願WO 2026/096670。

バエサ・イェーツ、リカルド。リベイロ・ネト、ベルティエ (1999)。最新の情報検索。ニューヨーク州ニューヨーク: ACM Press、Addison-Wesley、seiten 75 ff。ISBN 0-201-39829-X
Hjørland, Birger (2010); 「関連性の概念の基礎」、Journal of the American Society for Information Science and Technology、61(2)、217–237
Makhoul, John ; Kubala, Francis; Schwartz, Richard; および Weischedel, Ralph (1999);情報抽出の性能指標、DARPA 放送ニュースワークショップ議事録、バージニア州ハーンドン、1999年2月
ファン・リースベルゲン、コルネリス・ジュースト「キース」（1979年）。情報検索、イギリス、ロンドン。マサチューセッツ州ボストン: バターワース、第 2 版、ISBN 0-408-70929-4

外部リンク

情報検索 – CJ van Rijsbergen 1979
多クラス分類問題における精度と再現率の計算

[12] データ中の実際の陽性症例数

[13] 状態または特性の存在を正しく示す検査結果

[14] 第二種過誤：特定の状態または属性が存在しないことを誤って示す検査結果

[15] データ中の実際の陰性症例数

[16] 状態または特性の欠如を正しく示す検査結果

[17] 第一種過誤：特定の状態または属性が存在すると誤って示す検査結果

[Powers2011-1] 1 2 3 4 Powers, David MW (2011). "評価: 精度、再現率、F値から ROC、情報量、特徴量、相関まで" (PDF) . Journal of Machine Learning Technologies . 2 (1): 37– 63. 2019-11-14 にオリジナル(PDF)からアーカイブされました。

[2] Perruchet, P.; Peereman, R. (2004). "音節処理における分布情報の活用" (PDF) . J. Neurolinguistics . 17 ( 2– 3): 97– 119. doi : 10.1016/s0911-6044(03)00059-9 . S2CID 17104364 .

[3] Powers, David MW (2012). "The Problem with Kappa" .欧州計算言語学会会議 (EACL2012) 合同 ROBUS-UNSUP ワークショップ。

[4] Fawcett, Tom (2006). "ROC分析入門" (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .

[5] プロボスト、フォスター、トム・フォーセット (2013-08-01)。「ビジネスのためのデータサイエンス：データマイニングとデータ分析的思考について知っておくべきこと」。O'Reilly Media, Inc.

[6] Powers, David MW (2011). "評価: 精度、再現率、F値からROC、情報量、顕著性、相関まで" . Journal of Machine Learning Technologies . 2 (1): 37– 63.

[7] Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8。

[8] Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE 予報検証研究に関する合同作業部会" .オーストラリア気象気候研究協力機構. 世界気象機関. 2019-07-17に取得.

[9] Chicco D、Jurman G (2020年1月)。「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC ）の利点」。BMC Genomics。21 ( 1 ) : 6-1–6-13。doi : 10.1186/ s12864-019-6413-7。PMC 6941312。PMID 31898477 。

[10] Chicco D、Toetsch N、Jurman G (2021 年 2 月)。「マシューズ相関係数 (MCC) は、2 クラス混同行列評価において、バランス精度、ブックメーカー情報、およびマークネスよりも信頼性が高い」。BioData Mining。14 ( 13 ) : 13。doi : 10.1186 / s13040-021-00244- z。PMC 7863449。PMID 33541410。

[11] Tharwat A. (2018年8月) 「分類評価方法」 . Applied Computing and Informatics . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .

[OlsonDelen-18] 1 2 Olson, David L.; および Delen, Dursun (2008); Advanced Data Mining Techniques、Springer、第 1 版 (2008 年 2 月 1 日)、138 ページ、 ISBN 3-540-76916-1

[19] 「精度と再現率：違い、使用例、評価」。

[20] Fatih Cakir、Kun He、Xide Xia、Brian Kulis、Stan Sclaroff、「Deep Metric Learning to Rank」、IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 論文集、2019 年。

[21] Roelleke, Thomas (2022-05-31).情報検索モデル：基礎と関係性. Springer Nature. ISBN 978-3-031-02328-6。

[22] ニューマン、トーマス・B.、コーン、マイケル・A. (2009)。「2：二分法テスト」。エビデンスに基づく診断。ケンブリッジ大学出版局。ISBN 978-0521875950精度は、疾患の有病率に基づいた感度と特異度の加重平均として表すことができます。精度 = (有病率 × 感度) + ((1 - 有病率) × 特異度)。

[23] Williams, Christopher KI (2021-04-01). "The Effect of Class Imbalance on Precision-Recall Curves". Neural Computation . 33 (4): 853– 857. arXiv : 2007.01905 . doi : 10.1162/neco_a_01362 .式 2 は、Precision = TPR / (TPR + (1/r)FPR) であることを示しています。偽陽性率 (FPR) の最大値は 1 であり、クラス不均衡比 r = Prevalence / (1 - Prevalence) であるため、特定の有病率とリコールが与えられた場合、精度の厳密な下限が確立されます。

[24] Mower, Jeffrey P. (2005-04-12). "PREP-Mt: 植物ミトコンドリア遺伝子の予測RNAエディター" . BMC Bioinformatics . 6 : 96. doi : 10.1186/1471-2105-6-96 . ISSN 1471-2105 . PMC 1087475 . PMID 15826309 .

[25] Williams, Christopher KI (2021-04-01). "クラス不均衡が精度-再現率曲線に及ぼす影響". Neural Computation . 33 (4): 853–857 . arXiv : 2007.01905 . doi : 10.1162/neco_a_01362 . hdl : 20.500.11820/8a709831-cbfe-4c8e-a65b-aee5429e5b9b . ISSN 0899-7667 .

[26] 斎藤貴也、マーク・レームスマイヤー (2015-03-04)。ガイ・ブロック (編)。「不均衡データセットでバイナリ分類器を評価する場合、精度-再現率プロットは ROC プロットよりも情報量が多い」。PLOS ONE。10 ( 3 ) e0118432。Bibcode : 2015PLoSO..1018432S。doi : 10.1371 / journal.pone.0118432。ISSN 1932-6203。PMC 4349800。PMID 25738806。

[27] Suzanne Ekelund (2017年3月) 「精度-再現曲線とは何か、そしてどのように使用されるのか？」 . Acute Care Testing .

[28] Tripicchio, Paolo; Camacho-Gonzalez, Gerardo; D'Avella, Salvatore (2020). "溶接欠陥検出: 生産ラインにおけるアーティファクトへの対処" . The International Journal of Advanced Manufacturing Technology . 111 (5): 1659– 1669. doi : 10.1007/s00170-020-06146-4 . S2CID 225136860 .

[29] Zając, Zygmunt (2013年9月19日). 「AUCについて知りたいこと」 . FastML .

[op24-30] 1 2 Opitz, Juri (2024). "分類評価指標のより詳細な検討と一般的な評価方法の批判的考察". Transactions of the Association for Computational Linguistics . 12 : 820–836 . arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675 .

[31] PCT特許出願WO 2026/096670。

[

[

[

[ 12 ]

[ 13 ]

[ 14 ]

15 ]

[ 16 ]

[ 17 ]

[ 18 ]

19

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

導入

意味

精度と再現率

確率的定義

スキル不要の分類器

精度、不均衡データ、およびバランスのとれた精度

F値

目標としての限界

多クラス評価

連続分布への一般化

定義

関連項目

参考文献

外部リンク

関連するトピック

分類

コレクション

コーパス

サンプル空間