ROC曲線の下の部分領域

ROC 曲線の下の部分領域 (pAUC) は、バイナリ分類器のパフォーマンスを測定する指標です。

これは、識別しきい値が変化するときの特定のバイナリ分類システムの診断能力を示す受信者動作特性 (ROC) 曲線 に基づいて計算されます。ROC 曲線は、さまざまなしきい値設定で真陽性率(TPR) と偽陽性率(FPR) をプロットすることによって作成されます。

ROC曲線の下の面積（AUC） [ ^{1] [2]}は、分類器の診断能力を1つの数値で要約するためによく使用されます。AUCは、ROC曲線の下にあるROC空間の面積として簡単に定義されます。

ただし、ROC 空間には、FPR または TPR の値が許容できないか、実際には実行できない領域があります。たとえば、FPR が 0.8 より大きい領域では、陰性の被験者の 80% 以上が誤って陽性と分類されますが、これは多くの実際のケースでは許容できません。結果として、ROC 空間全体で計算された AUC (つまり、FPR と TPR の両方が 0 から 1 の範囲) は、誤解を招く表示になる可能性があります。

AUCのこの限界を克服するために、FPRとTPRの興味深い（つまり、実際に実行可能または許容可能な）値に対応するROC空間の領域でROC曲線の下の領域を計算することが提案され^ました[3]。

ROC空間では、x=FPR（偽陽性率）、y=ROC(x)=TPR（真陽性率）であり、

${\displaystyle AUC=\int _{x=0}^{1}ROC(x)\ dx}$

AUC は、特に 2 つ (またはそれ以上) のバイナリ分類器のパフォーマンスを比較するために広く使用されています。最高の AUC を達成する分類器の方が優れていると判断されます。ただし、2 つの分類器とを比較する場合、次の 3 つの状況が考えられます。 ${\displaystyle C_{a}}$${\displaystyle C_{b}}$

1. のROC曲線は、のROC曲線より上には決してならない。${\displaystyle C_{a}}$${\displaystyle C_{b}}$
2. のROC曲線は、のROC曲線より下には決してならない。${\displaystyle C_{a}}$${\displaystyle C_{b}}$
3. 分類器の ROC 曲線は互いに交差します。

ケース 1 では分類器が望ましく、ケース 2) では分類器が望ましいという一般的なコンセンサスがあります。一方、ケース 3) では、ROC 空間の が望ましい領域と が望ましい領域があります。この観察から、ROC 空間全体ではなく、ROC 空間の特定の関心領域 (RoI) のみを考慮したパフォーマンス メトリックを計算することで、分類の精度を評価するようになりました。これらのパフォーマンス メトリックは一般に「部分 AUC」(pAUC) と呼ばれています。pAUC は、ROC 曲線の下にある ROC 空間の選択された領域の面積です。 ${\displaystyle C_{b}}$${\displaystyle C_{a}}$${\displaystyle C_{a}}$${\displaystyle C_{b}}$

部分AUCの考え方は、もともと^[3]、診断目的で興味深いと考えられる偽陽性率の範囲内で与えられたROC曲線の評価を制限することを目的として提案されました。したがって、部分AUCは、FPRが範囲[ 、 ]にあるROC空間の垂直帯におけるROC曲線の下の面積として計算されました。 ${\displaystyle FPR_{low}}$${\displaystyle FPR_{high}}$

FPR を制約して計算された pAUC は、2 つの部分領域を比較するのに役立ちます。ただし、いくつかの制限があります。

• RoI は ROC 空間の垂直帯でなければなりません。
• RoI を特定するための基準は示されていません。何らかの専門家が特定して、;${\displaystyle FPR_{low}}$${\displaystyle FPR_{high}}$
• 関連する ROC 曲線を介して 2 つの分類器を比較する場合、RoI の選択における比較的小さな変更によって、異なる結論が導かれる可能性があります。上記の例では、 のバンドを考慮すると の方が良いという結論につながり、 のバンドを考慮すると の方が良いという結論につながりません 。${\displaystyle 0.1\leq FPR\leq 0.3}$${\displaystyle C_{b}}$${\displaystyle 0.2\leq FPR\leq 0.4}$${\displaystyle C_{a}}$

もう一つのタイプの部分AUCは、偽陽性率ではなく真陽性率を制限することによって得られる。つまり、部分AUCはROC曲線の下と水平線の上の面積である。^[4]${\displaystyle TPR=TPR_{0}}$

言い換えると、pAUC は、真陽性率が指定されたしきい値より大きい ROC 空間の部分で計算されます(真陽性の数を制限することは意味がないため、上限は使用されません)。 ${\displaystyle TPR_{0}}$

この提案にもいくつかの制限があります。

• 真陽性率を制限することによって、偽陽性率の制限も暗黙的に設定されます。
• RoIを特定するための基準は示されていない。専門家が許容可能な最小の真陽性率を特定できることが期待される。
• 関連する ROC 曲線を介して 2 つの分類器を比較する場合、RoI の選択における比較的小さな変更が異なる結論につながる可能性があります。これは、指定された ROC 曲線が互いに交差するポイントに近い場合に発生します。${\displaystyle TPR_{0}}$

「双方向」pAUCは、真陽性率と偽陰性率の両方を制約することによって定義されました。^[5] TPRには最小値が指定され、FPRには最大値が設定されているため、RoIは点( , )、( , 1)、(0, 1)、(0, )を頂点とする左上の四角形になります。双方向pAUCは、そのような四角形に属するROC曲線の下の領域です。 ${\displaystyle TPR_{0}}$${\displaystyle FPR_{0}}$${\displaystyle FPR_{0}}$${\displaystyle TPR_{0}}$${\displaystyle FPR_{0}}$${\displaystyle TPR_{0}}$

双方向 pAUC は、FPR または TPR のみを制約して定義された pAUC よりも明らかに柔軟性があります。実際、後者の 2 種類の pAUC は、双方向 pAUC の特殊なケースと見なすことができます。

上で説明した pAUC と同様に、関連する ROC 曲線を介して 2 つの分類器を比較する場合、RoI の選択における比較的小さな変更が異なる結論につながる可能性があります。RoI を識別するための基準が示されていないため、これは特にデリケートな問題です (他の pAUC と同様に、専門家がと を識別できることが期待されます)。 ${\displaystyle TPR_{0}}$${\displaystyle FPR_{0}}$

RoIを定義するための客観的かつ健全な基準がいくつか定義されている。^{[6] [7]}具体的には、pAUCの計算は、

• 検討された分類器は（選択された何らかのパフォーマンス メトリックによれば）ランダム分類よりも優れています。
• 検討対象の分類器は、選択されたいくつかのパフォーマンス メトリックの少なくとも最小値を達成します。
• 検討対象の分類器による誤分類によるコストは許容範囲内である。

pAUC が計算される領域を定義する方法としては、ランダム分類によって達成されるパフォーマンスよりも悪いパフォーマンスを表す ROC 空間の領域を除外することが考えられます。

ランダム分類では、特定の項目を確率で陽性と評価し、確率 (1- ) で陰性と評価します。n 項目のデータ セットで、そのうち AP 項目が実際に陽性である場合、最適な推測は と設定することで得られます(はデータ セット内の陽性の「有病率」とも呼ばれます)。 ${\displaystyle \rho}$${\displaystyle \rho}$${\displaystyle \rho ={\frac {AP}{n}}}$${\displaystyle \rho}$

によるランダム分類は、平均して、、およびを達成することが示されています。^[6]したがって、選択するパフォーマンス メトリックが TPR、FPR、および精度である場合、RoI は、、、およびとなるROC 空間の部分に限定する必要があります。この領域は、頂点が (0,0)、(0,1)、( , 1)、および ( , )である長方形であることが示されています。^[6]${\displaystyle \rho ={\frac {AP}{n}}}$${\displaystyle TPR=\rho }$${\displaystyle 精度=\rho }$${\displaystyle FPR=\rho }$${\displaystyle TPR>\rho }$${\displaystyle FPR<\rho }$${\displaystyle 精度>\rho }$${\displaystyle \rho}$${\displaystyle \rho}$${\displaystyle \rho}$

この手法は、双方向 pAUC を計算するときに TPR と FPR を制約する問題を解決します。 ${\displaystyle FPR_{0}=TPR_{0}=\rho }$

pAUCを計算するには、まずRoIを定義する必要があります。たとえば、平均ランダム分類よりも高い精度が必要な場合、RoIは(0,0)、(0,1)、( , 1)、( , )に頂点を持つ長方形です。これは、RoIのサイズが に応じて変化することを意味します。また、完全なROC、つまり点(0,1)を通るROCはpAUC= (1- )です。 ${\displaystyle \rho}$${\displaystyle \rho}$${\displaystyle \rho}$${\displaystyle \rho}$${\displaystyle \rho}$${\displaystyle \rho}$

pAUCをベースとした[0,1]の範囲の指標を得るために、RRAが提案された: ^[6]${\displaystyle \rho}$

${\displaystyle RRA={pAUC \over area\ of\ the\ RoI}}$

RRA=1 は完全な精度を示しますが、RRA=0 は RoI に属する ROC 曲線の下の領域がヌルであることを示します。したがって、精度はランダム分類よりも優れていません。

バイナリ分類器には、いくつかのパフォーマンス メトリックを使用できます。最も一般的なメトリックの 1 つは、ファイ係数^[8] (マシューズ相関係数^[9]とも呼ばれる) です。ファイは、ファイ = 0 を特徴とするランダム分類に対して、分類がどれだけ優れているか (または劣っているか) を測定します。Cohen が提案した基準値^[8]によると、分類のファイの最小許容レベルとしてファイ = 0.35 を使用できます。ROC 空間では、非ヌル定数に等しいファイは楕円の弧に対応し、ファイ = 0 は対角線、つまり FPR = TPR の点に対応します。したがって、ROC のファイ > 0.35 の部分を考慮することは、楕円の上にある ROC 空間の部分として RoI を定義することに対応します。pAUC は、楕円の上および ROC 曲線の下の領域です。

ほとんどのバイナリ分類器は誤分類を生じ、その結果、何らかのコストが発生します。

誤分類のコスト C は と定義されます。ここで、は偽陰性の単位コスト、 は偽陽性の単位コスト、 FN と FP はそれぞれ偽陰性と偽陽性の数です。 ${\displaystyle C=c_{FN}FN+c_{FP}FP}$${\displaystyle c_{FN}}$${\displaystyle c_{FP}}$

正規化コストNC ^[10]は次のように定義される。 ${\displaystyle NC={\frac {C}{n(c_{FN}+c_{FP})}}}$

を設定すると 、${\displaystyle \lambda ={\frac {c_{FN}}{c_{FP}+c_{FN}}}}$${\displaystyle NC=\lambda \rho (1-TPR)+(1-\lambda )(1-\rho )FPR}$

ランダム分類によって得られた平均NCは^[6]${\displaystyle NC_{rnd}={\frac {AP\cdot AN}{n^{2}}}}$

コストが より大きいパフォーマンスを除外して分類器を評価するには、正規化されたコストが より低い RoI を定義することができます。そのような領域は線より上にあります。 ${\displaystyle NC_{rnd}}$${\displaystyle NC_{rnd}}$

${\displaystyle {\frac {AP\cdot AN}{n^{2}}}=\lambda \rho (1-TPR)(1-\lambda )(1-\rho )FPR}$

NCが の 分数よりも小さいRoIを定義することも可能である。この場合、RoIの下限は線 ${\displaystyle \mu}$${\displaystyle NC_{rnd}}$

${\displaystyle TPR={\frac {1-\lambda }{\lambda }}{\frac {1-\rho }{\rho }}(FPR-\mu \rho )+1-\mu (1-\rho )}$

さまざまな値によって、最もよく知られているパフォーマンス メトリックのいくつかと同じように RoI が定義されます。 ${\displaystyle \lambda}$

• ${\displaystyle \lambda =0}$FPRを使用してRoIを区切ることと同等である
• ${\displaystyle \lambda =1-\rho }$精度を使用してROIを区切ることと同等である
• ${\displaystyle \lambda =1-{\frac {\rho }{2}}}$F-1スコア^[11]を使用してRoIの範囲を限定することに相当する。
• ${\displaystyle \lambda =1}$TPRを使用してRoIを区切ることと同等である

したがって、パフォーマンス メトリックを選択することは、偽陰性に対する偽陽性の相対コストの特定の値を選択することと同じです。ROC 空間では、一定の正規化コスト (したがって、一定の総コスト) を表す線の傾きは、または、同様に、使用されているパフォーマンス メトリックに依存します。 ${\displaystyle \lambda}$

ユーデンのJ =TPR−FPRの値が最高となるROC曲線の点を最良の分類として選択するのが一般的な方法である^{[12] [13] 。 [14]}誤分類に関連するコストを考慮すると、この方法は偽陽性と偽陰性の相対的なコストに関する仮説を立てることに相当するが、これが正しいことはめったにない。^[7]

pAUCとRRAを計算するためのソフトウェアライブラリはPythonとRで利用可能である。^[15]