受信者操作特性

受信者操作特性曲線（ROC曲線）とは、様々な閾値における二値分類器モデルの性能を示すグラフです（ただし、複数のクラスに一般化することも可能です）。ROC分析は、臨床疫学における診断検査の性能評価によく用いられます。

ROC曲線とは、各閾値設定における真陽性率（TPR）を偽陽性率（FPR）に対してプロットしたものです。

ROCは、決定ルールの第一種過誤の関数としての統計的検出力のプロットと考えることもできます（パフォーマンスが母集団のサンプルのみから計算される場合、これらの量の推定値と考えることができます）。したがって、ROC曲線は偽陽性率の関数としての感度です。^[¹^]

真陽性と偽陽性の両方の確率分布が既知であることから、ROC曲線は累積分布関数（CDF、確率分布の下の面積）として得られます。 $-\infty$ y軸に検出確率の判別閾値までのグラフ、 x軸に偽陽性確率の累積分布関数を示します。

ROC分析は、コスト状況やクラス分布を指定する前に、最適なモデルを選択し、最適とは言えないモデルを排除するためのツールを提供します。ROC分析は、診断意思決定における費用対効果分析と直接的かつ自然な形で関連しています。

用語

真陽性率は感度または検出確率とも呼ばれます。^{[ 2 ]}偽陽性率は誤報確率とも呼ばれ、(1 −特異度) に等しくなります。ROC は^、^{基準が変化するにつれて 2 つの操作特性 (TPR と FPR)を}比較するため、相対操作特性曲線とも呼ばれます^。^{[ 3 ]}

歴史

ROC曲線は、第二次世界大戦中の1941年に戦場で敵の物体を検出するために電気技師とレーダー技師によって初めて開発され、その名前（「受信機動作特性」）の由来となった。^{[ 4 ]}

ROC分析は、刺激の知覚的検出を説明するために心理学にすぐに導入されました。ROC分析は、医学、放射線学、生体認証、自然災害の予測^[⁵^]、気象学^[⁶^]、モデル性能評価^[⁷^] 、その他の分野で何十年にもわたって使用されており、機械学習やデータマイニングの研究でますます使用されています。

基本概念

分類モデル（分類器または診断^{[ 8 ]}）は、特定のクラス/グループ間のインスタンスのマッピングです。分類器または診断の結果は任意の実数値（連続出力）になる可能性があるため、クラス間の分類器の境界は閾値によって決定する必要があります（たとえば、血圧測定値に基づいて高血圧かどうかを判断する場合など）。または、いずれかのクラスを示す離散的なクラスラベルにすることもできます。

2クラス予測問題（二値分類）を考えます。この場合、結果は陽性（p）または陰性（n）のいずれかに分類されます。二値分類器からは4つの可能な結果が得られます。予測結果がpで、実際の値もpである場合、それは真陽性（TP）と呼ばれます。しかし、実際の値がnである場合は、偽陽性（FP）と呼ばれます。逆に、予測結果と実際の値の両方がnである場合は真陰性（TN）となり、予測結果がnで実際の値がpである場合は偽陰性（FN）となります。

現実世界の事例で適切な例を挙げると、ある人が特定の病気にかかっているかどうかを判定する診断検査を考えてみましょう。この場合、偽陽性とは、検査結果が陽性であるにもかかわらず、実際にはその病気にかかっていない場合を指します。一方、偽陰性とは、検査結果が陰性で健康であると判断されるものの、実際にはその病気にかかっている場合を指します。

ある条件について、 P個の陽性事例とN個の陰性事例からなる実験を考えてみましょう。4つの結果は、以下のように2×2の分割表または混同行列で表すことができます。

↑データ中の実際の陽性症例数
↑状態または特性の存在を正しく示す検査結果
↑第二種過誤：特定の状態または属性が存在しないことを誤って示す検査結果
↑データ中の実際の陰性症例数
↑状態または特性の欠如を正しく示す検査結果
↑第一種過誤：特定の状態または属性が存在すると誤って示す検査結果

ROCスペース

分割表からは、いくつかの評価指標（インフォボックス参照）を導き出すことができます。ROC曲線を描くには、真陽性率（TPR）と偽陽性率（FPR）（分類器パラメータの関数として）のみが必要です。TPRは、検査中に利用可能なすべての陽性サンプルの中で、正しく陽性と判定された結果の数を表します。一方、FPRは、検査中に利用可能なすべての陰性サンプルの中で、誤って陽性と判定された結果の数を表します。

ROC空間は、FPR（偽陽性率）とTPR（真陽性率）をそれぞれx軸とy軸として定義され、真陽性（利益）と偽陽性（コスト）の相対的なトレードオフを表します。TPRは感度に等しく、FPRは1－特異度に等しいため、ROCグラフは感度対（1－特異度）プロットと呼ばれることもあります。各予測結果、つまり混同行列の各インスタンスは、ROC空間内の1点を表します。

最良の予測方法では、ROC 空間の左上隅または座標 (0,1) に点が得られ、感度 100% (偽陰性なし) と特異度100% (偽陽性なし) を表します。 (0,1) の点は、完全な分類とも呼ばれます。ランダムな推測では、左下隅から右上隅までの対角線 (いわゆる無差別線) に沿った点が得られます (正と負の基本率に関係なく)。^{[ 17 ]}ランダムな推測の直感的な例は、コインを投げることによる決定です。サンプルのサイズが大きくなるにつれて、ランダム分類器の ROC 点は対角線に近づきます。バランスの取れたコインの場合、点 (0.5, 0.5) に近づきます。

対角線はROC空間を分割します。対角線より上の点は良好な分類結果（ランダムよりも優れている）を表し、対角線より下の点は不良な結果（ランダムよりも劣っている）を表します。なお、一貫して不良な予測器の出力は、単純に反転させることで良好な予測器が得られることに注意してください。

100件の陽性事例と100件の陰性事例から得られた4つの予測結果を考えてみましょう。

図には、上記の4つの結果をROC空間にプロットしたものが示されています。方法Aの結果は、A 、B、Cの中で最も優れた予測力を持っていることが明確に示されています。Bの結果はランダム推測線（対角線）上にあり、表からBの精度が50%であることがわかります。しかし、Cを中心点（0.5、0.5）に関して鏡像反転すると、結果として得られる方法C′はAよりもさらに優れています。この鏡像反転した方法は、 C分割表を生成した方法またはテストの予測を単純に反転させたものです。元のC方法は負の予測力を持っていますが、その決定を単純に反転させることで、正の予測力を持つ新しい予測方法C′が得られます。C方法がpまたはnを予測する場合、C′方法はそれぞれnまたはpを予測します。このようにして、C′テストは最高のパフォーマンスを発揮します。分割表の結果が左上隅に近いほど予測精度が高いと言えますが、予測方法の予測力の最も良い指標は、ランダム推測線からの左右どちらの方向への距離です。結果が線より下にある場合（つまり、その方法がランダム推測よりも精度が低い場合）、その方法の予測力を活用するためには、すべての予測を反転させる必要があり、その結果、結果がランダム推測線より上に移動します。

ROC空間における曲線

二値分類では、各インスタンスのクラス予測は、多くの場合、連続的な確率変数に基づいて行われます。 $X$ これは、インスタンスに対して計算された「スコア」（例えば、ロジスティック回帰における推定確率）です。閾値パラメータが与えられた場合 $T$ インスタンスが「ポジティブ」と分類されるのは、 $X>T$ それ以外の場合は「否定的」。 $X$ 確率密度に従う $f_{1}(x)$ インスタンスが実際に「positive」クラスに属している場合、 $f_{0}(x)$ それ以外の場合は、真陽性率は次のようになる。 ${\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx$ 偽陽性率は次式で与えられる。 ${\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx$ ROC曲線はパラメトリックにプロットされます ${\mbox{TPR}}(T)$ 対 ${\mbox{FPR}}(T)$ と $T$ 変動パラメータとして。

例えば、病気の人と健康な人の血中タンパク質濃度が、それぞれ平均2 g / dLと1 g/dLの正規分布に従うとします。医療検査では、血液サンプル中の特定のタンパク質濃度を測定し、ある閾値を超える値を疾患ありと判定します。検査者は閾値（図中の緑色の垂直線）を調整することができ、それによって偽陽性率が変化します。閾値を上げると偽陽性が減少し（偽陰性が増加し）、曲線上で左方向に移動します。曲線の実際の形状は、2つの分布の重なり具合によって決まります。

批判

いくつかの研究では、ROC曲線とその曲線下面積を、アプリケーションに関連する情報を捉えていない二値分類の評価指標として使用することについて批判している。^{[ 19 ]}^{[ 18 ]}^{[ 20 ]}^{[ 21 ]}^{[ 22 ]}

これらの研究で説明されている ROC 曲線に対する主な批判は、右の図に示されているように、曲線下の総面積 (AUC) の計算に感度と特異度が低い (両方とも 0.5 未満) 領域が組み込まれていることに関するものです。 ^{[ 20 ]}

これらの研究の著者らによると、曲線下面積のその部分（感度と特異度が低い部分）は、二値予測で悪い結果を得る混同行列に関するものであり、したがって全体的なパフォーマンスの評価には含めるべきではない。さらに、AUC のその部分は、混同行列の閾値が高いか低いかを示す空間であり、どの分野でも二値分類を行う科学者にとって関心のあることはほとんどない。^{[ 20 ]}

ROC曲線とその曲線下面積に対するもう一つの批判は、精度と陰性予測値については何も言及していないという点である。^{[ 18 ]}

例えばROC AUCが0.9と高い場合、精度と陰性予測値は[0, 1]の範囲で0.2や0.1といった低い値になることがあります。二値分類を行い、ROC AUCが0.9だったとして、この指標だけに注目すると、二値分類テストが優れていると過度に楽観的に考えてしまうかもしれません。しかし、精度と陰性予測値を確認すれば、それらの値が低いことに気づくでしょう。

ROC AUCは感度と特異度を要約するものの、精度と陰性予測値については情報を提供しない。^{[ 18 ]}

さらなる解釈

ROC曲線は、要約統計量を生成するために使用されることがあります。一般的なバージョンは次のとおりです。

ROC曲線と、無判別線に直交する45度の直線との交点 ―感度＝特異度となるバランスポイント
ROC曲線と、無判別線に平行な45度の接線との交点のうち、エラーのない点(0,1)に最も近いもの。これはYoudenのJ統計量とも呼ばれ、情報量として一般化される。
ROC曲線と無差別線の間の面積を2倍したものをジニ係数と呼び、特に信用スコアリングの文脈で用いられる。^{[ 23 ]}これは、統計的分散の尺度であるジニ係数と混同してはならない。
完全な ROC 曲線と三角形 ROC 曲線の間の領域で、(0,0)、(1,1) および選択された 1 つの動作点のみを含む。 $(tpr,fpr)$ – 一貫性^{[ 24 ]}
ROC曲線下の面積、または「AUC」（「曲線下の面積」）、またはA'（「アプライム」と発音）^{[ 25 ]} 、または「c統計量」（「一致統計量」）^{[ 26 ] 。}
感度指数d′（「dプライム」と発音）は、ノイズのみの条件下でのシステム内の活動分布の平均と信号のみの条件下での活動分布との間の距離を、それらの標準偏差で割った値であり、両方の分布が同じ標準偏差を持つ正規分布であるという仮定に基づいています。これらの仮定の下では、ROC の形状は完全にd′によって決定されます。

しかし、ROC曲線を単一の数値に要約しようとすると、特定の判別アルゴリズムのトレードオフのパターンに関する情報が失われてしまう。

確率的解釈

曲線下の面積（単にAUCと呼ばれることが多い）は、分類器がランダムに選択された正のインスタンスをランダムに選択された負のインスタンスよりも高くランク付けする確率に等しい（「正」が「負」よりも高くランク付けされると仮定）。^{[ 27 ]}言い換えれば、ランダムに選択された1つの正のインスタンスとランダムに選択された1つの負のインスタンスが与えられた場合、AUCは分類器がどちらがどちらであるかを判別できる確率である。

これは次のように見ることができる。曲線の下の面積は次のように与えられる（積分境界は大きな閾値として反転される） $T$ （x軸上の値が低い）

\operatorname {TPR} (T):T\to y(x)

\operatorname {FPR} (T):T\to x

{\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}

どこ $X_{1}$ は、陽性事例のスコアであり、 $X_{0}$ はネガティブな事例のスコアであり、 $f_{0}$ そして $f_{1}$ これらは、前のセクションで定義された確率密度です。

もし $X_{0}$ そして $X_{1}$ 2 つのガウス分布に従い、 $A=\Phi \left((\mu _{1}-\mu _{0})/{\sqrt {\sigma _{1}^{2}+\sigma _{0}^{2}}}\right)$ 。

曲線下の面積

AUCは、^陽性が陰性よりも上位にランクされているかどうかをテストするマン・ホイットニーU [ ²⁸^]^[²⁹^]と密接に関連していることが示されています。予測者の場合 ${\textstyle f}$ 、そのAUCの不偏推定量は、次のWilcoxon-Mann-Whitney統計量で表すことができます。^{[ 30 ]}

{\text{AUC}}(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\数学 {D}}^{1}|}},

どこ ${\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}$ は、以下の場合に 1 を返す指示関数を表します。 $f(t_{0})<f(t_{1})$ それ以外の場合は0を返す。 $\displaystyle {\mathcal {D}}^{0}}$ は否定例の集合であり、 $\displaystyle {\mathcal {D}}^{1}}$ これは肯定的な例の集合である。

信用スコアリングの文脈では、AUCを再スケーリングしたバージョンがよく使用されます。

$G_{1}=2\operatorname {AUC} -1$ 。

$G_{1}$ これはジニ指数またはジニ係数と呼ばれていますが、^{[ 31 ]}統計的分散の尺度であるジニ係数と混同してはいけません。 $G_{1}$ これは、ソマーズDの特殊なケースです。

ROC凸包の下の面積（ROC AUCH = ROCH AUC）を計算することも一般的です。これは、2 つの予測結果間の線分上の任意の点が、線分の反対側のコンポーネントの相対的な長さに比例する確率で、いずれかのシステムをランダムに使用することによって得られるためです。^{[ 32 ]}また、凹みを反転させることも可能です。図のように、より悪い解を反転させてより良い解にすることができます。凹みは任意の線分で反転できますが、このより極端な融合形式は、データに過剰適合する可能性がはるかに高くなります。^{[ 33 ]}

機械学習コミュニティでは、モデル比較に ROC AUC 統計量が最もよく使用されます。^{[ 34 ]}この慣行は、AUC 推定値にノイズが多く、他の問題も抱えているため疑問視されています。^{[ 35 ]}^{[ 36 ]}^{[ 37 ]}それにもかかわらず、AUC が集約された分類パフォーマンスの尺度として一貫性があることは、均一なレート分布の観点から正当化されており、^{[ 38 ]} AUC はBrier スコアなどの他の多くのパフォーマンス指標と関連付けられています。^{[ 39 ]}

ROC AUC のもう 1 つの問題は、ROC 曲線を単一の数値に縮小すると、プロットされた異なるシステムまたはパフォーマンスポイント間のトレードオフに関するものであり、個々のシステムのパフォーマンスに関するものではないという事実が無視され、凹面修復の可能性も無視されるため、情報量や DeltaP などの関連する代替尺度が推奨されることです。^[²⁴^]^[⁴⁰^]これらの尺度は、DeltaP' = Informedness = 2AUC-1 の単一の予測ポイントの Gini と本質的に同等であり、DeltaP = Markedness は双対 (つまり、実際のクラスからの予測を予測すること) を表し、それらの幾何平均はMatthews 相関係数です。

ROC AUC は 0 から 1 の間で変化し、情報のない分類器では 0.5 になりますが、情報量、確実性^[²⁴^]、ジニ係数 (単一パラメータ化または単一システムの場合)として知られる代替尺度はすべて、0 が偶然のパフォーマンスを表し、1 が完全なパフォーマンスを表し、-1 が常に間違った応答を返す完全な情報量の「逆説的」ケースを表すという利点があります。^[⁴¹^]偶然のパフォーマンスを 0 にすることで、これらの代替尺度を Kappa 統計として解釈できます。情報量は、機械学習において、 Cohen KappaやFleiss Kappaなどの他の一般的な Kappa の定義と比較して望ましい特性を持つことが示されています。^[⁴²^]

ROC曲線全体を見るよりも、特定の領域を見る方が有用な場合もあります。部分AUCを計算することができます。^{[ 43 ]}例えば、偽陽性率が低い曲線の領域に注目することができます。これは、集団スクリーニング検査でしばしば最も関心のある領域です。^{[ 44 ]} P ≪ N (バイオインフォマティクスアプリケーションでよく見られる) の分類問題に対するもう1つの一般的なアプローチは、 x軸に対数スケールを使用することです。^{[ 45 ]}

ROC曲線下の面積はc統計量またはc統計量とも呼ばれる。^{[ 46 ]}

その他の措置

総操作特性(TOC) も診断能力を特徴づけ、ROC よりも多くの情報を明らかにします。各閾値について、ROC は 2 つの比率、TP/(TP + FN) と FP/(FP + TN) を明らかにします。言い換えれば、ROC は $\displaystyle {\frac {\text{ヒット}}{{\text{ヒット}}+{\text{ミス}}}}}$ そして $\displaystyle {\frac {\text{誤報}}{{\text{誤報}}+{\text{正しい拒否}}}}}$ 一方、TOCは各閾値の分割表の全情報を示します。^{[ 47 ]} TOC法はROC法が提供するすべての情報に加え、ROCでは明らかにされない重要な情報、つまり各閾値の分割表の各エントリのサイズを明らかにします。TOCはROCの一般的なAUCも提供します。^{[ 48 ]}

これらの図は、同じデータと閾値を使用したTOC曲線とROC曲線です。閾値74に対応する点を考えてみましょう。TOC曲線はヒット数（3）を示し、したがってミス数（7）も示しています。さらに、TOC曲線は誤警報数が4、正答拒否数が16であることを示しています。ROC曲線の任意の点において、比率の値を読み取ることができます。 $\displaystyle {\frac {\text{誤報}}{{\text{誤報}}+{\text{正しい拒否}}}}}$ そして $\displaystyle {\frac {\text{ヒット}}{{\text{ヒット}}+{\text{ミス}}}}}$ 例えば、閾値74では、x座標が0.2、y座標が0.3であることは明らかです。しかし、これらの2つの値だけでは、基となる2×2分割表のすべてのエントリを作成するには不十分です。

検出誤差トレードオフグラフ

ROC 曲線の代替として、検出誤差トレードオフ(DET) グラフがあります。これは、非線形変換された x 軸と y 軸上に、偽陰性率 (検出漏れ) と偽陽性率 (誤警報) をプロットしたものです。変換関数は正規分布の分位関数、つまり累積正規分布の逆関数です。実際には、ヒット率の補数であるミス率または偽陰性率を使用する点を除いて、以下の zROC と同じ変換です。この代替案では、関心領域にグラフの領域をより多く割り当てます。ROC 領域のほとんどはあまり関心がありません。主にy軸と左上隅に密着した領域が重要であり、ミス率をその補数であるヒット率の代わりに使用するため、DET プロットでは左下隅になります。さらに、DET グラフは、正規分布に対して線形性と線形閾値挙動という有用な特性を持っています。^{[ 49 ]} DET プロットは、 DET という名前が最初に使われた自動話者認識コミュニティで広く使用されています。軸が歪んだグラフにおける ROC パフォーマンスの分析は、20 世紀半ばに心理学者が知覚研究で使用し、これは「二重確率論文」と呼ばれた。^[⁵⁰^]

Zスコア

ROC 曲線に標準スコアを適用すると、曲線は直線に変換されます。^{[ 51 ]} この z スコアは、平均がゼロで標準偏差が 1 の正規分布に基づいています。記憶強度理論では、zROC は線形であるだけでなく、傾きが 1.0 であると仮定する必要があります。ターゲット (被験者が想起する必要のある学習済みオブジェクト) とルアー (被験者が想起しようとする未学習オブジェクト) の正規分布が、zROC を線形にする要因です。

zROC曲線の線形性は、ターゲットとルアーの強度分布の標準偏差に依存します。標準偏差が等しい場合、傾きは1.0になります。ターゲット強度分布の標準偏差がルアー強度分布の標準偏差よりも大きい場合、傾きは1.0より小さくなります。ほとんどの研究では、zROC曲線の傾きは常に1を下回り、通常は0.5から0.9の間であることがわかっています。^{[ 52 ]}多くの実験でzROCの傾きが0.8になりました。傾きが0.8ということは、ターゲット強度分布の変動性がルアー強度分布の変動性よりも25%大きいことを意味します。^{[ 53 ]}

もう1つの変数としてd '（dプライム）（上記「その他の尺度」で説明）があり、これはz値で簡単に表現できます。d'はよく使われるパラメータですが、上記の強度理論の非常に強い仮定に厳密に従う場合にのみ関連性があることを認識する必要があります。^[⁵⁴^]

ROC 曲線の z スコアは、特別な状況を除いて、想定どおり常に線形です。ヨネリナスの親近感-想起モデルは、認識記憶の 2 次元の説明です。被験者は特定の入力に対して単に「はい」または「いいえ」で答えるのではなく、入力に対して親近感を与えます。これは元の ROC 曲線のように機能します。ただし、変化するのは想起 (R) のパラメータです。想起は全か無かであると想定されており、親近感よりも優先されます。想起の要素がない場合、zROC の予測される傾きは 1 になります。しかし、想起の要素を追加すると、zROC 曲線は上に凸になり、傾きが減少します。この形状と傾きの違いは、一部の項目が想起されることによる変動要素の追加に起因します。前向性健忘症の患者は想起できないため、彼らのヨネリナス zROC 曲線の傾きは 1.0 に近くなります。^{[ 55 ]}

歴史

ROC曲線は、信号検出理論に用いられるようになる前に、第二次世界大戦中にレーダー信号の分析に初めて使用されました。^[⁵⁶^] 1941年の真珠湾攻撃後、アメリカ軍はレーダー信号から日本軍機を正しく検出する予測精度を高めるための新たな研究を開始しました。この目的のために、レーダー受信機オペレーターがこれらの重要な区別を行う能力を測定しました。これは、受信機動作特性と呼ばれています。^[⁵⁷^]

1950年代には、ROC曲線は精神物理学で、人間（および時折非人間動物）による微弱信号の検出を評価するために使用されました。^{[ 56 ]}医学では、ROC分析は診断テストの評価に広く使用されています。^{[ 58 ]}^{[ 59 ]} ROC曲線は疫学や医学研究でも広く使用されており、エビデンスに基づいた医療と併せて頻繁に言及されます。放射線学では、ROC分析は新しい放射線技術を評価する一般的な手法です。^{[ 60 ]}社会科学では、ROC分析はROC精度比と呼ばれることが多く、デフォルト確率モデルの精度を判断する一般的な手法です。ROC曲線は、検査の診断精度を評価したり、検査の最適なカットオフを選択したり、複数の検査の診断精度を比較したりするために、臨床検査医学で広く使用されています。

ROC曲線は機械学習技術の評価にも役立つことが証明されています。機械学習におけるROCの最初の応用はSpackmanによるもので、彼は異なる分類アルゴリズムを比較および評価する際のROC曲線の価値を実証しました。^{[ 61 ]}

ROC曲線は気象学における予報の検証にも使用される。^{[ 62 ]}

レーダーの詳細

前述の通り、ROC曲線はレーダーの運用と理論において非常に重要です。目標物から反射された信号は、多くの場合、ノイズフロアに比べて非常に低いエネルギーしか持ちません。信号対雑音比は、目標物を検出できるかどうかを判断する上で重要な指標です。この信号対雑音比は、レーダーシステム全体の受信機の動作特性と直接相関しており、レーダーシステムの性能を定量化するために使用されます。

レーダーシステムの開発を考えてみましょう。システムの能力に関する仕様は、探知確率、 $P_{D}$ ある程度の誤報を許容しつつ、 $P_{FA}$ 受信局で必要な信号対雑音比の簡略化された近似値は、^{[ 63 ]を解くことによって計算できます。}

P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X/2}}}\right)

信号対雑音比 ${\mathcal {X}}$ 。ここ、 ${\mathcal {X}}$ 多くのレーダーアプリケーションで一般的なように、デシベルではありません。デシベルへの変換は、 ${\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}$ この図から、レーダー距離方程式（ノイズ係数を含む）の共通項を解くことで、必要な実効放射電力を推定できます。

二値分類を超えたROC曲線

2 つ以上のクラスがある分類問題に対する ROC 曲線の拡張は面倒です。複数のクラスがある場合の 2 つの一般的なアプローチは、(1) すべてのペアワイズ AUC 値を平均する^{[ 64 ]}および (2) 表面下の体積 (VUS) を計算する^{[ 65 ]}^{[ 66 ]}です。すべてのペアワイズクラスを平均するには、他のクラスがないかのように、その 2 つのクラスの例のみを使用して、各クラスのペアの AUC を計算し、これらの AUC 値をすべての可能なペアで平均します。c 個の $クラスがある場合、$ $c (c - 1) / 2 個$ の可能なクラスのペアがあります。

曲面下の体積アプローチでは、曲線ではなく超曲面をプロットし、その超曲面の下の超体積を測定します。 $c$ $クラスの分類器に使用できるすべての可能な決定ルールは、その真陽性率$ $(TPR 1 、 ... 、TPR c)$ で記述できます。この率のセットが点を定義し、すべての可能な決定ルールのセットは $、$ 超曲面を定義する点のクラウドを生成します。この定義では、VUS は、各クラスからランダムに選択された 1 つの例を含むセットが与えられたときに、分類器がすべての $c例を正しくラベル付けできる確率です。入力セットが各クラスから 1 つの例で構成されていることを知っている分類器の実装では、まず、例とクラスの$ $c 2$ 通りの可能なペアリングのそれぞれについて適合度スコアを計算し、次にハンガリーアルゴリズムを使用して、各クラスに正確に 1 つの例を割り当てるすべての $c$ $!$ 通りの可能な方法にわたって、選択された $c$ 個のスコアの合計を最大化します。

分類モデルの評価における ROC 曲線の成功を踏まえ、他の教師ありタスクへの ROC 曲線の拡張も検討されてきた。回帰問題に対する注目すべき提案としては、回帰誤差特性 (REC) 曲線^{[ 67 ]}および回帰 ROC (RROC) 曲線^{[ 68 ]}がある。後者では、RROC 曲線は非対称性、優位性、凸包の概念を持つ分類用の ROC 曲線と非常によく似ている。また、RROC 曲線の下の面積は回帰モデルの誤差分散に比例する。

参考文献

↑ Junge, Mark RJ; Dettori, Joseph R. (2018年6月). "ROC Solid: より良い診断テストの基盤としての受信者操作特性 (ROC) 曲線" . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . ISSN 2192-5682 . PMC 6022965 . PMID 29977728 .
1 2 「ROC曲線を使用した検出器性能解析 - MATLAB & Simulinkの例」。www.mathworks.com。2020年6月14日のオリジナルからアーカイブ済み。 2016年8月11日取得。
↑ Swets, John A.; Signal detection theory and ROC analysis in psychology and diagnostics : collected papers Archived 2005-01-05 at the Wayback Machine , Lawrence Erlbaum Associates, Mahwah, NJ, 1996
↑ Junge, MR; Dettori, JR (2024年5月3日). "ROC Solid: より良い診断テストの基盤としての受信者操作特性 (ROC) 曲線" . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . PMC 6022965 . PMID 29977728 .
↑ Peres, DJ; Cancelliere, A. (2014-12-08). "モンテカルロ法による地すべり誘発閾値の導出と評価" . Hydrol. Earth Syst. Sci . 18 (12): 4913– 4931. Bibcode : 2014HESS...18.4913P . doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938 .
↑ Murphy, Allan H. (1996-03-01). "The Finley Affair: A Signal Event in the History of Forecast Verification" . Weather and Forecasting . 11 (1): 3– 20. Bibcode : 1996WtFor..11....3M . doi : 10.1175/1520-0434(1996)011 < 0003:tfaase > 2.0.co ; 2 . ISSN 0882-8156 .
↑ Peres, DJ; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (2015-10-01). "ニューラルネットワークと再解析風データによる有意波高記録の拡張". Ocean Modelling . 94 : 128–140 . Bibcode : 2015OcMod..94..128P . doi : 10.1016/j.ocemod.2015.08.002 .
↑ Sushkova, Olga; Morozov, Alexei; Gabova, Alexandra; Karabanov, Alexei; Illarioshkin, Sergey (2021). "2D および 3D 曲線下面積図に基づく探索的データ分析のための統計的手法: パーキンソン病の調査" . Sensors . 21 (14): 4700. Bibcode : 2021Senso..21.4700S . doi : 10.3390/s21144700 . PMC 8309570 . PMID 34300440 .
↑ Fawcett, Tom (2006). "ROC分析入門" (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .
↑プロボスト、フォスター、トム・フォーセット (2013-08-01)。「ビジネスのためのデータサイエンス：データマイニングとデータ分析的思考について知っておくべきこと」。O'Reilly Media, Inc.
↑ Powers, David MW (2011). "評価: 精度、再現率、F値からROC、情報量、顕著性、相関まで" . Journal of Machine Learning Technologies . 2 (1): 37– 63.
↑ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8。
↑ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE 予報検証研究に関する合同作業部会" .オーストラリア気象気候研究協力機構. 世界気象機関. 2019-07-17に取得.
↑ Chicco D、Jurman G (2020年1月)。「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC ）の利点」。BMC Genomics。21 ( 1 ) : 6-1–6-13。doi : 10.1186/ s12864-019-6413-7。PMC 6941312。PMID 31898477 。
↑ Chicco D、Toetsch N、Jurman G (2021 年 2 月)。「マシューズ相関係数 (MCC) は、2 クラス混同行列評価において、バランス精度、ブックメーカー情報、およびマークネスよりも信頼性が高い」。BioData Mining。14 ( 13 ) : 13。doi : 10.1186 / s13040-021-00244- z。PMC 7863449。PMID 33541410。
↑ Tharwat A. (2018年8月) 「分類評価方法」 . Applied Computing and Informatics . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
↑ 「分類 - ランダム分類器のAUC-ROC」。データサイエンススタックエクスチェンジ。2020年11月30日取得。
1 2 3 4 Chicco, Davide; Jurman, Giuseppe (2023-02-17). "マシューズ相関係数 (MCC) は、二値分類を評価するための標準指標として ROC AUC に取って代わるべきである" . BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381 . PMC 9938573 . PMID 36800973 .
↑ Muschelli, John (2019-12-23). "二値予測器を用いたROCとAUC：誤解を招く可能性のある指標" . Journal of Classification . 37 ( 3 ). Springer Science and Business Media LLC: 696–708 . doi : 10.1007/s00357-019-09345-1 . ISSN 0176-4268 . PMC 7695228 . PMID 33250548 .
1 2 3 Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: 予測分布モデルのパフォーマンスを誤解させる尺度". Global Ecology and Biogeography . 17 (2). Wiley: 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . ISSN 1466-822X .
↑ Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015-01-20). "画像検査の評価に受信者操作特性曲線下の面積を使用することの欠点: 議論と代替アプローチの提案" . European Radiology . 25 (4). Springer Science and Business Media LLC: 932– 939. doi : 10.1007/s00330-014-3487-0 . ISSN 0938-7994 . PMC 4356897 . PMID 25599932 .
↑ Berrar, D.; Flach, P. (2011-03-21). "臨床マイクロアレイ研究におけるROC分析の注意点と落とし穴（およびそれらを回避する方法）" . Briefings in Bioinformatics . 13 (1). Oxford University Press (OUP): 83– 97. doi : 10.1093/bib/bbr008 . ISSN 1467-5463 . PMID 21422066 .
↑ジェザチ、M.、ジェザチ、F. (2011)。「信用スコアリングモデルの品質を測定する方法」。チェコ経済金融ジャーナル (Finance a úvěr)。61 (5)。カレル大学プラハ社会科学部: 486–507。
1 2 3 Powers, David MW (2012). "ROC-ConCert: ROC に基づく一貫性と確実性の測定" (PDF) . Spring Congress on Engineering and Technology (SCET) . Vol. 2. IEEE. pp. 238–241 .
↑ Fogarty, James; Baker, Ryan S.; Hudson, Scott E. (2005). "人間とコンピュータのインタラクションにおけるセンサーベースの推定のためのROC曲線分析の使用に関するケーススタディ" . ACM国際会議論文集シリーズ、グラフィックスインターフェース2005論文集. ウォータールー、オンタリオ州：カナダ人間コンピュータ通信協会。
↑ Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2009).統計的学習の要素: データマイニング、推論、予測(第 2版)。
↑ Fawcett, Tom (2006); ROC分析入門、パターン認識レターズ、27、861–874。
↑ Hanley, James A.; McNeil, Barbara J. (1982). "受信者操作特性（ROC）曲線下の面積の意味と使用法". Radiology . 143 (1): 29– 36. doi : 10.1148/radiology.143.1.7063747 . PMID 7063747 . S2CID 10511727 .
↑メイソン、サイモン J.、グラハム、ニコラス E. (2002)。「相対的運用特性 (ROC) 曲線と相対的運用レベル (ROL) 曲線の下の領域: 統計的有意性と解釈」( PDF)。英国王立気象学会季刊誌。128 ( 584): 2145–2166。Bibcode : 2002QJRMS.128.2145M。CiteSeerX 10.1.1.458.8392。doi : 10.1256/003590002320603584。S2CID 121841664。 2008年11月20日にオリジナル( PDF)からアーカイブ済み。
↑トゥーン州カルダーズ。ヤロシェヴィチ、シモン (2007)。「分類のための効率的な AUC 最適化」。コクにて、N.ジュースト。コロナッキ、ヤチェク。ロペス・デ・マンタラス、ラモン。マウィン、スタン。ムラデニッチ、ドゥンハ。アンジェイ・スコウロン（編）。データベースにおける知識の発見: PKDD 2007。コンピューターサイエンスの講義ノート。 Vol. 4702. ベルリン、ハイデルベルク: Springer。 pp. 42–53。土井: 10.1007/978-3-540-74976-9_8。ISBN 978-3-540-74976-9。
↑ Hand, David J.; および Till, Robert J. (2001);多クラス分類問題に対する ROC 曲線下の面積の単純な一般化、機械学習、45、171–186。
↑ Provost, F.; Fawcett, T. (2001). "不正確な環境に対するロバストな分類". Machine Learning . 42 (3): 203–231 . arXiv : cs/0009007 . Bibcode : 2001MLear..42..203P . doi : 10.1023/a:1007601015854 . S2CID 5415722 .
↑ Flach, PA; Wu, S. (2005). "ROC曲線の凹みの修復." (PDF) .第19回国際人工知能合同会議 (IJCAI'05) . pp. 702–707 .
↑ Hanley, James A.; McNeil, Barbara J. (1983-09-01). "同一症例から得られた受信者操作特性曲線下の面積を比較する方法" . Radiology . 148 (3): 839– 843. doi : 10.1148/radiology.148.3.6878708 . PMID 6878708 .
↑ Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). "ROC関連推定値の小サンプル精度" . Bioinformatics . 26 (6): 822– 830. doi : 10.1093/bioinformatics/btq037 . PMID 20130029 .
↑ Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: 予測分布モデルのパフォーマンスを誤解させる指標". Global Ecology and Biogeography . 17 (2): 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . S2CID 15206363 .
↑ Hand, David J (2009). "分類器のパフォーマンス測定: ROC曲線下の面積に代わる一貫性のある方法" . Machine Learning . 77 : 103–123 . doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .
↑ Flach, PA; Hernandez-Orallo, J.; Ferri, C. (2011). "集約された分類性能の尺度としてのAUCの一貫した解釈。" (PDF) .第28回国際機械学習会議 (ICML-11) 議事録. pp. 657–664 .
↑ Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2012). "パフォーマンス指標の統一的見解：閾値選択を期待される分類損失に変換する" (PDF) . Journal of Machine Learning Research . 13 : 2813– 2869.
↑ Powers, David MW (2012). 「曲線下の面積の問題」.国際情報科学技術会議.
↑ Powers, David MW (2003). "Recall and Precision versus the Bookmaker" (PDF) . Proceedings of the International Conference on Cognitive Science (ICSC-2003), Sydney Australia, 2003, pp. 529–534 .
↑ Powers, David MW (2012). "The Problem with Kappa" (PDF) . Conference of the European Chapter of the Association for Computational Linguistics (EACL2012) Joint ROBUS-UNSUP Workshop . Archived from the original (PDF) on 2016-05-18 . Retrieved 2012-07-20 .
↑ McClish, Donna Katzman (1989-08-01). "ROC曲線の一部を分析する". Medical Decision Making . 9 (3): 190– 195. doi : 10.1177/0272989X8900900307 . PMID 2668680 . S2CID 24442201 .
↑ Dodd, Lori E.; Pepe, Margaret S. (2003). "Partial AUC Estimation and Regression" . Biometrics . 59 (3): 614–623 . doi : 10.1111/ 1541-0420.00071 . PMID 14601762. S2CID 23054670 .
↑ Karplus, Kevin (2011); Better than Chance: the importance of null models、カリフォルニア大学サンタクルーズ校、Proceedings of the First International Workshop on Pattern Recognition in Proteomics, Structural Biology and Bioinformatics (PR PS BB 2011)
↑ 「C統計量：定義、例、重み付け、有意性」 . Statistics How To . 2016年8月28日。
↑ Pontius, Robert Gilmore; Parmentier, Benoit (2014). "相対操作特性 (ROC) の使用に関する推奨事項". Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 .
↑ Pontius, Robert Gilmore; Si, Kangping (2014). "複数の閾値の診断能力を測定するための総動作特性". International Journal of Geographical Information Science . 28 (3): 570–583 . Bibcode : 2014IJGIS..28..570P . doi : 10.1080/13658816.2013.862623 . S2CID 29204880 .
↑ Navratil, J.; Klusacek, D. (2007-04-01). "On Linear DETs". 2007 IEEE International Conference on Acoustics, Speech and Signal Processing - ICASSP '07 . Vol. 4. pp. IV–229–IV–232. doi : 10.1109/ICASSP.2007.367205 . ISBN 978-1-4244-0727-9. S2CID 18173315 .
↑ Dev P. Chakraborty (2017年12月14日). "double+probability+paper"&pg=PT214診断画像処理のための観測者性能法：基礎、モデリング、およびRベースの例を用いた応用。CRC Press. p. 214. ISBN 97813512307112019年7月11日に取得。
↑ MacMillan, Neil A.; Creelman, C. Douglas (2005). Detection Theory: A User's Guide (2nd ed.). Mahwah, NJ: Lawrence Erlbaum Associates. ISBN 978-1-4106-1114-7。
↑ Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). "認識記憶における受信者操作特性曲線の傾き". Journal of Experimental Psychology: Learning, Memory, and Cognition . 25 (2): 500– 513. doi : 10.1037/0278-7393.25.2.500 .
↑ Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). "認識記憶ROC関数からのデータの経験的一般性とGMMへの示唆". Journal of Experimental Psychology: Learning, Memory, and Cognition . 20 (4): 763– 785. CiteSeerX 10.1.1.410.2114 . doi : 10.1037/0278-7393.20.4.763 . PMID 8064246 .
↑ Zhang, Jun; Mueller, Shane T. (2005). "ROC分析と感度のノンパラメトリック推定に関する注記". Psychometrika . 70 : 203–212 . CiteSeerX 10.1.1.162.1515 . doi : 10.1007/s11336-003-1119-8 . S2CID 122355230 .
↑ Yonelinas, Andrew P.; Kroll, Neal EA; Dobbins, Ian G.; Lazzara, Michele; Knight, Robert T. (1998). "健忘症における想起と親近感の欠損：想起-既知、プロセス解離、および受信者操作特性データの収束". Neuropsychology . 12 (3): 323– 339. doi : 10.1037/0894-4105.12.3.323 . PMID 9673991 .
1 2グリーン、デイビッド M.、スウェッツ、ジョン A. (1966).信号検出理論と精神物理学. ニューヨーク、NY: ジョン・ワイリー・アンド・サンズ社. ISBN 978-0-471-32420-1。
↑ 「分類モデルを分析するための受信者操作特性（ROC）曲線の使用：歴史的に興味深い最後の注記」（PDF）。ユタ大学数学科。2020年8月22日のオリジナルからアーカイブ（PDF）。 2017年5月25日取得。
↑ Zweig, Mark H.; Campbell, Gregory (1993). "受信者操作特性 (ROC) プロット: 臨床医学における基本的な評価ツール" (PDF) . Clinical Chemistry . 39 (8): 561– 577. doi : 10.1093/clinchem/39.4.561 . PMID 8472349 .
↑ペペ、マーガレット S. (2003).分類と予測のための医療検査の統計的評価. ニューヨーク、NY: オックスフォード。ISBN 978-0-19-856582-6。
↑ Obuchowski, Nancy A. (2003). "受信者操作特性曲線とその放射線学における使用". Radiology . 229 (1): 3– 8. doi : 10.1148/radiol.2291010898 . PMID 14519861 .
↑ Spackman, Kent A. (1989). "信号検出理論：帰納的学習を評価するための貴重なツール".第6回国際機械学習ワークショップ議事録. サンマテオ、カリフォルニア州：Morgan Kaufmann . pp. 160–163 .
↑ Kharin, Viatcheslav (2003). "確率予測のROCスコアについて" . Journal of Climate . 16 (24): 4145– 4150. Bibcode : 2003JCli...16.4145K . doi : 10.1175/1520-0442(2003)016 < 4145:OTRSOP > 2.0.CO ; 2 .
↑「マーク・A・リチャード（2022）。レーダー信号処理の基礎、第3版。マグロウヒル。ISBN 978-1-260-46871-7。
↑ Till, DJ; Hand, RJ (2001). "A Simple Generalisation of the Area Under the ROC Curve for Multiple Class Classification Problems" . Machine Learning . 45 (2): 171– 186. doi : 10.1023/A:1010920819831 .
↑ Mossman, D. (1999). "3方向ROC曲線". Medical Decision Making . 19 (1): 78– 89. doi : 10.1177/0272989x9901900110 . PMID 9917023 . S2CID 24623127 .
↑ Ferri, C.; Hernandez-Orallo, J.; Salido, MA (2003). "多クラス問題におけるROC曲面下の体積". Machine Learning: ECML 2003. pp. 108–120 .
↑ Bi, J.; Bennett, KP (2003). "回帰誤差特性曲線" (PDF) .第20回国際機械学習会議 (ICML-2003). ワシントン DC .
↑ Hernandez-Orallo, J. (2013). "回帰のためのROC曲線". Pattern Recognition . 46 (12): 3395–3411 . arXiv : 1211.2359 . Bibcode : 2013PatRe..46.3395H . doi : 10.1016/j.patcog.2013.06.014 . hdl : 10251/40252 . S2CID 15651724 .

外部リンク

簡単なROC計算ツール
ROCのアニメーションデモ
ROCデモ
別のROCデモ
ROCの動画解説
土地変化モデル評価における総合運用特性（TOC）の導入：有用性
RでTOCパッケージを実行する方法
GitHub上のTOC Rパッケージ
TOC曲線を生成するためのExcelワークブック

さらに読む

Balakrishnan, Narayanaswamy (1991); Handbook of the Logistic Distribution、Marcel Dekker, Inc.、ISBN 978-0-8247-8587-1
Brown, Christopher D.; Davis, Herbert T. (2006). "受信者操作特性曲線と関連する決定尺度:チュートリアル". Chemometrics and Intelligent Laboratory Systems . 80 : 24–38 . doi : 10.1016/j.chemolab.2005.05.004 .
Rotello, Caren M.; Heit, Evan; Dubé, Chad (2014). 「より多くのデータが誤った方向へ導くとき：誤った従属尺度を用いた再現実験は誤った結論を永続させる」(PDF) . Psychonomic Bulletin & Review . 22 (4): 944– 954. doi : 10.3758/s13423-014-0759-2 . PMID 25384892 . S2CID 6046065 .
Fawcett, Tom (2004). "ROCグラフ：研究者のための注記と実務上の考慮事項" (PDF) . Pattern Recognition Letters . 27 (8): 882– 891. CiteSeerX 10.1.1.145.4649 . doi : 10.1016/j.patrec.2005.10.012 .
Gonen, Mithat (2007); SAS を使用した受信者操作特性曲線の分析、SAS Press、ISBN 978-1-59994-298-8
グリーン、ウィリアム・H. (2003)計量経済学分析、第5版、プレンティス・ホール、ISBN 0-13-066189-9
Heagerty, Patrick J.; Lumley, Thomas; Pepe, Margaret S. (2000). "Time-dependent ROC Curves for Censored Survival Data and a Diagnostic Marker". Biometrics . 56 ( 2): 337–344 . Bibcode : 2000Biome..56..337H . doi : 10.1111/j.0006-341x.2000.00337.x . PMID 10877287. S2CID 8822160 .
Hosmer, David W.、および Lemeshow, Stanley (2000)；応用ロジスティック回帰、第 2 版、ニューヨーク、NY：Wiley、ISBN 0-471-35632-8
Lasko, Thomas A.; Bhagwat, Jui G.; Zou, Kelly H.; Ohno-Machado, Lucila (2005). "生体医用情報学における受信者操作特性曲線の使用". Journal of Biomedical Informatics . 38 (5): 404–415 . CiteSeerX 10.1.1.97.9674 . doi : 10.1016/j.jbi.2005.02.008 . PMID 16198999 .
マス、ジャン＝フランソワ。フィリョ、ブリタルド・ソアレス。ポンティアス・ジュニア、ロバート・ギルモア。グティエレス、ミシェル・ファルファン。ロドリゲス、ヘルマン (2013)。「空間モデルの ROC 分析のためのツールスイート」。ISPRS 国際地理情報ジャーナル。2 (3): 869–887。Bibcode : 2013IJGI....2..869M。土井：10.3390/ijgi2030869。{{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
Pontius, Jr, Robert Gilmore; Parmentier, Benoit (2014). "相対操作特性 (ROC) の使用に関する推奨事項" . Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 . {{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
Pontius, Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibration and validation of a model of forest disturbance in the Western Ghats, India 1920–1990" . GeoJournal . 61 (4): 325–334 . Bibcode : 2004GeoJo..61..325G . doi : 10.1007/s10708-004-5049-5 . S2CID 155073463 . {{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
Pontius, Jr, Robert Gilmore; Batchu, Kiran (2003). "インドにおける土地被覆変化の位置予測の確実性を定量化するための相対操作特性の使用". Transactions in GIS . 7 (4): 467–484 . Bibcode : 2003TrGIS...7..467P . doi : 10.1111/1467-9671.00159 . S2CID 14452746 . {{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
Pontius, Jr, Robert Gilmore; Schneider, Laura (2001). "マサチューセッツ州イプスウィッチ流域におけるROC法による土地利用変化モデルの検証" . Agriculture, Ecosystems & Environment . 85 ( 1– 3): 239– 248. doi : 10.1016/S0167-8809(01)00187-6 .{{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
Stephan, Carsten; Wesseling, Sebastian; Schink, Tania; Jung, Klaus (2003). 「受信者操作特性分析のための8つのコンピュータプログラムの比較」 . Clinical Chemistry . 49 (3): 433– 439. doi : 10.1373/49.3.433 . PMID 12600955 .
スウェッツ、ジョン A.、ドーズ、ロビン M.、モナハン、ジョン (2000)、「科学によるより良い意思決定」、サイエンティフィック・アメリカン、10月号、 82-87ページ
Zou, Kelly H.; O'Malley, A. James; Mauri, Laura (2007). "診断検査と予測モデルを評価するための受信者操作特性分析" . Circulation . 115 (5): 654–7 . doi : 10.1161/circulationaha.105.594929 . PMID 17283280 .
周暁華、ナンシー・A・オブチョウスキー、ドナ・K・マクリッシュ（2002）。診断医学における統計的手法。ニューヨーク、NY：ワイリー＆サンズ。ISBN 978-0-471-34772-9。

[17] データ中の実際の陽性症例数

[18] 状態または特性の存在を正しく示す検査結果

[19] 第二種過誤：特定の状態または属性が存在しないことを誤って示す検査結果

[20] データ中の実際の陰性症例数

[21] 状態または特性の欠如を正しく示す検査結果

[22] 第一種過誤：特定の状態または属性が存在すると誤って示す検査結果

[1] Junge, Mark RJ; Dettori, Joseph R. (2018年6月). "ROC Solid: より良い診断テストの基盤としての受信者操作特性 (ROC) 曲線" . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . ISSN 2192-5682 . PMC 6022965 . PMID 29977728 .

[matlab-2] 1 2 「ROC曲線を使用した検出器性能解析 - MATLAB & Simulinkの例」。www.mathworks.com。2020年6月14日のオリジナルからアーカイブ済み。 2016年8月11日取得。

[Swets1996-3] Swets, John A.; Signal detection theory and ROC analysis in psychology and diagnostics : collected papers Archived 2005-01-05 at the Wayback Machine , Lawrence Erlbaum Associates, Mahwah, NJ, 1996

[4] Junge, MR; Dettori, JR (2024年5月3日). "ROC Solid: より良い診断テストの基盤としての受信者操作特性 (ROC) 曲線" . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . PMC 6022965 . PMID 29977728 .

[5] Peres, DJ; Cancelliere, A. (2014-12-08). "モンテカルロ法による地すべり誘発閾値の導出と評価" . Hydrol. Earth Syst. Sci . 18 (12): 4913– 4931. Bibcode : 2014HESS...18.4913P . doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938 .

[6] Murphy, Allan H. (1996-03-01). "The Finley Affair: A Signal Event in the History of Forecast Verification" . Weather and Forecasting . 11 (1): 3– 20. Bibcode : 1996WtFor..11....3M . doi : 10.1175/1520-0434(1996)011 < 0003:tfaase > 2.0.co ; 2 . ISSN 0882-8156 .

[7] Peres, DJ; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (2015-10-01). "ニューラルネットワークと再解析風データによる有意波高記録の拡張". Ocean Modelling . 94 : 128–140 . Bibcode : 2015OcMod..94..128P . doi : 10.1016/j.ocemod.2015.08.002 .

[Sushkova-8] Sushkova, Olga; Morozov, Alexei; Gabova, Alexandra; Karabanov, Alexei; Illarioshkin, Sergey (2021). "2D および 3D 曲線下面積図に基づく探索的データ分析のための統計的手法: パーキンソン病の調査" . Sensors . 21 (14): 4700. Bibcode : 2021Senso..21.4700S . doi : 10.3390/s21144700 . PMC 8309570 . PMID 34300440 .

[9] Fawcett, Tom (2006). "ROC分析入門" (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .

[10] プロボスト、フォスター、トム・フォーセット (2013-08-01)。「ビジネスのためのデータサイエンス：データマイニングとデータ分析的思考について知っておくべきこと」。O'Reilly Media, Inc.

[11] Powers, David MW (2011). "評価: 精度、再現率、F値からROC、情報量、顕著性、相関まで" . Journal of Machine Learning Technologies . 2 (1): 37– 63.

[12] Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8。

[13] Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE 予報検証研究に関する合同作業部会" .オーストラリア気象気候研究協力機構. 世界気象機関. 2019-07-17に取得.

[14] Chicco D、Jurman G (2020年1月)。「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC ）の利点」。BMC Genomics。21 ( 1 ) : 6-1–6-13。doi : 10.1186/ s12864-019-6413-7。PMC 6941312。PMID 31898477 。

[15] Chicco D、Toetsch N、Jurman G (2021 年 2 月)。「マシューズ相関係数 (MCC) は、2 クラス混同行列評価において、バランス精度、ブックメーカー情報、およびマークネスよりも信頼性が高い」。BioData Mining。14 ( 13 ) : 13。doi : 10.1186 / s13040-021-00244- z。PMC 7863449。PMID 33541410。

[16] Tharwat A. (2018年8月) 「分類評価方法」 . Applied Computing and Informatics . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .

[23] 「分類 - ランダム分類器のAUC-ROC」。データサイエンススタックエクスチェンジ。2020年11月30日取得。

[Chicco_Jurman_2023_p.-24] 1 2 3 4 Chicco, Davide; Jurman, Giuseppe (2023-02-17). "マシューズ相関係数 (MCC) は、二値分類を評価するための標準指標として ROC AUC に取って代わるべきである" . BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381 . PMC 9938573 . PMID 36800973 .

[Muschelli_2019_pp._696–708-25] Muschelli, John (2019-12-23). "二値予測器を用いたROCとAUC：誤解を招く可能性のある指標" . Journal of Classification . 37 ( 3 ). Springer Science and Business Media LLC: 696–708 . doi : 10.1007/s00357-019-09345-1 . ISSN 0176-4268 . PMC 7695228 . PMID 33250548 .

[Lobo_Jiménez-Valverde_Real_2008_pp._145–151-26] 1 2 3 Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: 予測分布モデルのパフォーマンスを誤解させる尺度". Global Ecology and Biogeography . 17 (2). Wiley: 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . ISSN 1466-822X .

[Halligan_Altman_Mallett_2015_pp._932–939-27] Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015-01-20). "画像検査の評価に受信者操作特性曲線下の面積を使用することの欠点: 議論と代替アプローチの提案" . European Radiology . 25 (4). Springer Science and Business Media LLC: 932– 939. doi : 10.1007/s00330-014-3487-0 . ISSN 0938-7994 . PMC 4356897 . PMID 25599932 .

[Berrar_Flach_2011_pp._83–97-28] Berrar, D.; Flach, P. (2011-03-21). "臨床マイクロアレイ研究におけるROC分析の注意点と落とし穴（およびそれらを回避する方法）" . Briefings in Bioinformatics . 13 (1). Oxford University Press (OUP): 83– 97. doi : 10.1093/bib/bbr008 . ISSN 1467-5463 . PMID 21422066 .

[29] ジェザチ、M.、ジェザチ、F. (2011)。「信用スコアリングモデルの品質を測定する方法」。チェコ経済金融ジャーナル (Finance a úvěr)。61 (5)。カレル大学プラハ社会科学部: 486–507。

[Powers2012a-30] 1 2 3 Powers, David MW (2012). "ROC-ConCert: ROC に基づく一貫性と確実性の測定" (PDF) . Spring Congress on Engineering and Technology (SCET) . Vol. 2. IEEE. pp. 238–241 .

[31] Fogarty, James; Baker, Ryan S.; Hudson, Scott E. (2005). "人間とコンピュータのインタラクションにおけるセンサーベースの推定のためのROC曲線分析の使用に関するケーススタディ" . ACM国際会議論文集シリーズ、グラフィックスインターフェース2005論文集. ウォータールー、オンタリオ州：カナダ人間コンピュータ通信協会。

[32] Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2009).統計的学習の要素: データマイニング、推論、予測(第 2版)。

[fawcett-33] Fawcett, Tom (2006); ROC分析入門、パターン認識レターズ、27、861–874。

[Hanley-34] Hanley, James A.; McNeil, Barbara J. (1982). "受信者操作特性（ROC）曲線下の面積の意味と使用法". Radiology . 143 (1): 29– 36. doi : 10.1148/radiology.143.1.7063747 . PMID 7063747 . S2CID 10511727 .

[Mason-35] メイソン、サイモン J.、グラハム、ニコラス E. (2002)。「相対的運用特性 (ROC) 曲線と相対的運用レベル (ROL) 曲線の下の領域: 統計的有意性と解釈」( PDF)。英国王立気象学会季刊誌。128 ( 584): 2145–2166。Bibcode : 2002QJRMS.128.2145M。CiteSeerX 10.1.1.458.8392。doi : 10.1256/003590002320603584。S2CID 121841664。 2008年11月20日にオリジナル( PDF)からアーカイブ済み。

[36] トゥーン州カルダーズ。ヤロシェヴィチ、シモン (2007)。「分類のための効率的な AUC 最適化」。コクにて、N.ジュースト。コロナッキ、ヤチェク。ロペス・デ・マンタラス、ラモン。マウィン、スタン。ムラデニッチ、ドゥンハ。アンジェイ・スコウロン（編）。データベースにおける知識の発見: PKDD 2007。コンピューターサイエンスの講義ノート。 Vol. 4702. ベルリン、ハイデルベルク: Springer。 pp. 42–53。土井: 10.1007/978-3-540-74976-9_8。ISBN 978-3-540-74976-9。

[37] Hand, David J.; および Till, Robert J. (2001);多クラス分類問題に対する ROC 曲線下の面積の単純な一般化、機械学習、45、171–186。

[38] Provost, F.; Fawcett, T. (2001). "不正確な環境に対するロバストな分類". Machine Learning . 42 (3): 203–231 . arXiv : cs/0009007 . Bibcode : 2001MLear..42..203P . doi : 10.1023/a:1007601015854 . S2CID 5415722 .

[FlachWu2005-39] Flach, PA; Wu, S. (2005). "ROC曲線の凹みの修復." (PDF) .第19回国際人工知能合同会議 (IJCAI'05) . pp. 702–707 .

[40] Hanley, James A.; McNeil, Barbara J. (1983-09-01). "同一症例から得られた受信者操作特性曲線下の面積を比較する方法" . Radiology . 148 (3): 839– 843. doi : 10.1148/radiology.148.3.6878708 . PMID 6878708 .

[Hanczar2010-41] Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). "ROC関連推定値の小サンプル精度" . Bioinformatics . 26 (6): 822– 830. doi : 10.1093/bioinformatics/btq037 . PMID 20130029 .

[Lobo2008-42] Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: 予測分布モデルのパフォーマンスを誤解させる指標". Global Ecology and Biogeography . 17 (2): 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . S2CID 15206363 .

[Hand2009-43] Hand, David J (2009). "分類器のパフォーマンス測定: ROC曲線下の面積に代わる一貫性のある方法" . Machine Learning . 77 : 103–123 . doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .

[Flachetal2011-44] Flach, PA; Hernandez-Orallo, J.; Ferri, C. (2011). "集約された分類性能の尺度としてのAUCの一貫した解釈。" (PDF) .第28回国際機械学習会議 (ICML-11) 議事録. pp. 657–664 .

[hernandez2012unified-45] Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2012). "パフォーマンス指標の統一的見解：閾値選択を期待される分類損失に変換する" (PDF) . Journal of Machine Learning Research . 13 : 2813– 2869.

[Powers2012b-46] Powers, David MW (2012). 「曲線下の面積の問題」.国際情報科学技術会議.

[47] Powers, David MW (2003). "Recall and Precision versus the Bookmaker" (PDF) . Proceedings of the International Conference on Cognitive Science (ICSC-2003), Sydney Australia, 2003, pp. 529–534 .

[48] Powers, David MW (2012). "The Problem with Kappa" (PDF) . Conference of the European Chapter of the Association for Computational Linguistics (EACL2012) Joint ROBUS-UNSUP Workshop . Archived from the original (PDF) on 2016-05-18 . Retrieved 2012-07-20 .

[49] McClish, Donna Katzman (1989-08-01). "ROC曲線の一部を分析する". Medical Decision Making . 9 (3): 190– 195. doi : 10.1177/0272989X8900900307 . PMID 2668680 . S2CID 24442201 .

[50] Dodd, Lori E.; Pepe, Margaret S. (2003). "Partial AUC Estimation and Regression" . Biometrics . 59 (3): 614–623 . doi : 10.1111/ 1541-0420.00071 . PMID 14601762. S2CID 23054670 .

[51] Karplus, Kevin (2011); Better than Chance: the importance of null models、カリフォルニア大学サンタクルーズ校、Proceedings of the First International Workshop on Pattern Recognition in Proteomics, Structural Biology and Bioinformatics (PR PS BB 2011)

[52] 「C統計量：定義、例、重み付け、有意性」 . Statistics How To . 2016年8月28日。

[53] Pontius, Robert Gilmore; Parmentier, Benoit (2014). "相対操作特性 (ROC) の使用に関する推奨事項". Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 .

[54] Pontius, Robert Gilmore; Si, Kangping (2014). "複数の閾値の診断能力を測定するための総動作特性". International Journal of Geographical Information Science . 28 (3): 570–583 . Bibcode : 2014IJGIS..28..570P . doi : 10.1080/13658816.2013.862623 . S2CID 29204880 .

[55] Navratil, J.; Klusacek, D. (2007-04-01). "On Linear DETs". 2007 IEEE International Conference on Acoustics, Speech and Signal Processing - ICASSP '07 . Vol. 4. pp. IV–229–IV–232. doi : 10.1109/ICASSP.2007.367205 . ISBN 978-1-4244-0727-9. S2CID 18173315 .

[56] Dev P. Chakraborty (2017年12月14日). "double+probability+paper"&pg=PT214診断画像処理のための観測者性能法：基礎、モデリング、およびRベースの例を用いた応用。CRC Press. p. 214. ISBN 97813512307112019年7月11日に取得。

[57] MacMillan, Neil A.; Creelman, C. Douglas (2005). Detection Theory: A User's Guide (2nd ed.). Mahwah, NJ: Lawrence Erlbaum Associates. ISBN 978-1-4106-1114-7。

[58] Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). "認識記憶における受信者操作特性曲線の傾き". Journal of Experimental Psychology: Learning, Memory, and Cognition . 25 (2): 500– 513. doi : 10.1037/0278-7393.25.2.500 .

[59] Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). "認識記憶ROC関数からのデータの経験的一般性とGMMへの示唆". Journal of Experimental Psychology: Learning, Memory, and Cognition . 20 (4): 763– 785. CiteSeerX 10.1.1.410.2114 . doi : 10.1037/0278-7393.20.4.763 . PMID 8064246 .

[60] Zhang, Jun; Mueller, Shane T. (2005). "ROC分析と感度のノンパラメトリック推定に関する注記". Psychometrika . 70 : 203–212 . CiteSeerX 10.1.1.162.1515 . doi : 10.1007/s11336-003-1119-8 . S2CID 122355230 .

[61] Yonelinas, Andrew P.; Kroll, Neal EA; Dobbins, Ian G.; Lazzara, Michele; Knight, Robert T. (1998). "健忘症における想起と親近感の欠損：想起-既知、プロセス解離、および受信者操作特性データの収束". Neuropsychology . 12 (3): 323– 339. doi : 10.1037/0894-4105.12.3.323 . PMID 9673991 .

[green66-62] 1 2グリーン、デイビッド M.、スウェッツ、ジョン A. (1966).信号検出理論と精神物理学. ニューヨーク、NY: ジョン・ワイリー・アンド・サンズ社. ISBN 978-0-471-32420-1。

[roc_etymology-63] 「分類モデルを分析するための受信者操作特性（ROC）曲線の使用：歴史的に興味深い最後の注記」（PDF）。ユタ大学数学科。2020年8月22日のオリジナルからアーカイブ（PDF）。 2017年5月25日取得。

[64] Zweig, Mark H.; Campbell, Gregory (1993). "受信者操作特性 (ROC) プロット: 臨床医学における基本的な評価ツール" (PDF) . Clinical Chemistry . 39 (8): 561– 577. doi : 10.1093/clinchem/39.4.561 . PMID 8472349 .

[65] ペペ、マーガレット S. (2003).分類と予測のための医療検査の統計的評価. ニューヨーク、NY: オックスフォード。ISBN 978-0-19-856582-6。

[66] Obuchowski, Nancy A. (2003). "受信者操作特性曲線とその放射線学における使用". Radiology . 229 (1): 3– 8. doi : 10.1148/radiol.2291010898 . PMID 14519861 .

[67] Spackman, Kent A. (1989). "信号検出理論：帰納的学習を評価するための貴重なツール".第6回国際機械学習ワークショップ議事録. サンマテオ、カリフォルニア州：Morgan Kaufmann . pp. 160–163 .

[68] Kharin, Viatcheslav (2003). "確率予測のROCスコアについて" . Journal of Climate . 16 (24): 4145– 4150. Bibcode : 2003JCli...16.4145K . doi : 10.1175/1520-0442(2003)016 < 4145:OTRSOP > 2.0.CO ; 2 .

[69] 「マーク・A・リチャード（2022）。レーダー信号処理の基礎、第3版。マグロウヒル。ISBN 978-1-260-46871-7。

[HandTill01-70] Till, DJ; Hand, RJ (2001). "A Simple Generalisation of the Area Under the ROC Curve for Multiple Class Classification Problems" . Machine Learning . 45 (2): 171– 186. doi : 10.1023/A:1010920819831 .

[Mossman99-71] Mossman, D. (1999). "3方向ROC曲線". Medical Decision Making . 19 (1): 78– 89. doi : 10.1177/0272989x9901900110 . PMID 9917023 . S2CID 24623127 .

[Ferri03-72] Ferri, C.; Hernandez-Orallo, J.; Salido, MA (2003). "多クラス問題におけるROC曲面下の体積". Machine Learning: ECML 2003. pp. 108–120 .

[bij2003regression-73] Bi, J.; Bennett, KP (2003). "回帰誤差特性曲線" (PDF) .第20回国際機械学習会議 (ICML-2003). ワシントン DC .

[hernandez2013rroc-74] Hernandez-Orallo, J. (2013). "回帰のためのROC曲線". Pattern Recognition . 46 (12): 3395–3411 . arXiv : 1211.2359 . Bibcode : 2013PatRe..46.3395H . doi : 10.1016/j.patcog.2013.06.014 . hdl : 10251/40252 . S2CID 15651724 .

[

[ 2 ]

、

[ 4 ]

[

[

[

[ 8 ]

[ 17 ]

[ 18 ]。

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ] 。

[ 27 ]

陽性

28

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[

[

[

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[

[ 51 ]

[ 52 ]

[ 53 ]

[

[ 55 ]

[

[

[ 58 ]

[ 59 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ]を解くことによって計算できます。

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]