受信者動作特性

受信者動作特性曲線（ROC曲線）は、さまざまなしきい値でのバイナリ分類モデル（マルチクラス分類にも使用可能）のパフォーマンスを示すグラフィカルなプロットです。

ROC 曲線は、各しきい値設定における真陽性率(TPR) と偽陽性率(FPR) をプロットしたものです。

ROC は、決定ルールのタイプ I の誤りの関数として統計的検出力をプロットしたものと考えることもできます(パフォーマンスが母集団のサンプルのみから計算される場合、これらの量の推定値と考えることができます)。したがって、ROC 曲線は、偽陽性率の関数としての感度です。

真陽性と偽陽性の両方の確率分布が既知であると仮定すると、ROC 曲線は、y軸の検出確率の累積分布関数(CDF、判別しきい値までの確率分布の下の領域) とx軸の偽陽性確率の CDF として得られます。 $-\infty$

ROC 分析は、コストコンテキストやクラス分布とは無関係に (および指定する前に)、最適なモデルを選択し、最適でないモデルを破棄するためのツールを提供します。ROC 分析は、診断上の意思決定のコスト/利益分析に直接的かつ自然に関連しています。

用語

真陽性率は、感度または検出確率とも呼ばれます。^[1]偽陽性率は、誤報確率とも呼ばれます^[1]、(1 −特異度) に等しくなります。ROCは、基準が変化するにつれて2つの動作特性 (TPRとFPR) を比較するため、相対動作特性曲線とも呼ばれます。^[2]

歴史

ROC曲線は、1941年に第二次世界大戦中に電気技師とレーダー技師によって戦場で敵の物体を検出するために初めて開発され、その名前（「受信機動作特性」）の由来となった。^[3]

ROC分析はすぐに心理学に導入され、刺激の知覚的検出を説明するようになりました。ROC分析は、医学、放射線学、生体測定学、自然災害の予測、^[4]気象学、^[5]モデル性能評価、^{[6]などの分野で何十年も使用されており、}機械学習やデータマイニングの研究でもますます使用されています。

基本的な考え方

分類モデル（分類器または診断^[7]）は、特定のクラス/グループ間のインスタンスのマッピングです。分類器または診断結果は任意の実数値（連続出力）になる可能性があるため、クラス間の分類器の境界はしきい値によって決定する必要があります（たとえば、血圧測定値に基づいて人が高血圧であるかどうかを判断する場合）。または、クラスの1つを示す離散クラスラベルになることもあります。

結果が陽性 ( p ) または陰性 ( n )のいずれかとしてラベル付けされる2 クラス予測問題 (バイナリ分類) について考えます。バイナリ分類器からは 4 つの結果が考えられます。予測からの結果がpで、実際の値もpである場合は、真陽性(TP)と呼ばれます。ただし、実際の値がnの場合は、偽陽性(FP)と呼ばれます。逆に、予測結果と実際の値の両方がnの場合は真陰性(TN) が発生し、予測結果がnで実際の値がpの場合は偽陰性(FN) が発生します。

現実の問題の適切な例として、ある人が特定の病気にかかっているかどうかを判定する診断テストを考えてみましょう。この場合の偽陽性は、検査結果が陽性でも、実際には病気にかかっていない場合に発生します。一方、偽陰性は、検査結果が陰性で、健康であると示唆されるが、実際には病気にかかっている場合に発生します。

ある条件に対するP 個の肯定的な事例とN 個の否定的な事例からの実験を考えてみましょう。4 つの結果は、次のように 2×2の分割表または混同行列で定式化できます。

^ データ内の実際の陽性症例数
^ 状態または特性の存在を正しく示す検査結果
^ タイプIIエラー: 特定の条件または属性が欠如していると誤って示すテスト結果
^ データ内の実際の陰性症例数
^ 症状や特徴が存在しないことを正しく示す検査結果
^ タイプIエラー: 特定の条件または属性が存在すると誤って示すテスト結果

ROCスペース

分割表は、いくつかの評価「メトリック」を導き出すことができます (情報ボックスを参照)。ROC 曲線を描くには、真陽性率 (TPR) と偽陽性率 (FPR) のみが必要です (分類子パラメータの関数として)。TPR は、テスト中に利用可能なすべての陽性サンプルの中で、正しい陽性結果がいくつ発生するかを定義します。一方、FPR は、テスト中に利用可能なすべての陰性サンプルの中で、誤った陽性結果がいくつ発生するかを定義します。

ROC 空間は、それぞれFPR と TPR をx軸とy軸として定義され、真陽性 (利点) と偽陽性 (コスト) の相対的なトレードオフを表します。TPR は感度に相当し、FPR は 1 −特異度に等しいため、ROC グラフは感度対 (1 − 特異度) プロットと呼ばれることもあります。各予測結果または混同行列のインスタンスは、ROC 空間の 1 つのポイントを表します。

最も良い予測方法は、ROC空間の左上隅または座標(0,1)の点を生成し、100%の感度(偽陰性なし)と100%の特異度(偽陽性なし)を表します。(0,1)点は完全分類とも呼ばれます。ランダムな推測では、左下隅から右上隅までの対角線(いわゆる無差別線)に沿った点が生成されます(陽性ベースレートと陰性ベースレートに関係なく)。^[16]ランダムな推測の直感的な例は、コインを投げて決定することです。サンプルのサイズが大きくなるにつれて、ランダム分類器のROC点は対角線に向かう傾向があります。バランスの取れたコインの場合は、点(0.5, 0.5)に向かう傾向があります。

対角線は ROC 空間を分割します。対角線の上の点は、良い分類結果 (ランダムよりも良い) を表します。対角線の下の点は、悪い結果 (ランダムよりも悪い) を表します。一貫して悪い予測子の出力を単純に反転すると、良い予測子が得られることに注意してください。

100 個の肯定的なインスタンスと 100 個の否定的なインスタンスからの 4 つの予測結果を検討します。

上記の 4 つの結果を ROC 空間にプロットしたものが図に示されています。方法Aの結果は、 A、B、Cの中で明らかに最高の予測力を示しています。 Bの結果はランダム推測線 (対角線) 上にあり、表ではBの精度が 50% であることがわかります。ただし、C を中心点 (0.5,0.5) で反転すると、結果として得られる方法C′ はAよりもさらに優れています。この反転された方法は、C分割表を生成した方法またはテストの予測を単純に反転したものです。元のC方法の予測力は負ですが、その決定を単純に反転すると、予測力が正の新しい予測方法C′になります。 C方法がpまたはn を予測する場合、C′方法はそれぞれnまたはpを予測します。このように、C′テストが最高のパフォーマンスを発揮します。分割表の結果が左上隅に近いほど予測精度は高くなりますが、ランダム推測線からいずれかの方向への距離は、その方法の予測力の最良の指標です。結果が線より下の場合 (つまり、方法がランダム推測より悪い場合)、その方法のパワーを活用するために、その方法の予測をすべて逆転させ、結果をランダム推測線より上に移動する必要があります。

ROC空間の曲線

バイナリ分類では、各インスタンスのクラス予測は、多くの場合、連続ランダム変数に基づいて行われます。連続ランダム変数は、インスタンスに対して計算された「スコア」（ロジスティック回帰における推定確率など）です。しきい値パラメータが与えられると、の場合にインスタンスは「陽性」に分類され、それ以外の場合は「陰性」に分類されます。インスタンスが実際にクラス「陽性」に属する場合は確率密度が、それ以外の場合はに従います。したがって、真陽性率はで与えられ、偽陽性率はで与えられます。ROC 曲線は、を可変パラメータとして、に対してパラメトリックにプロットされます。 $X$ $T$ $X>T$ $X$ $f_{1}(x)$ $f_{0}(x)$ ${\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx$ ${\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx$ ${\mbox{TPR}}(T)$ ${\mbox{FPR}}(T)$ $T$

たとえば、病気の人と健康な人の血液タンパク質レベルが、それぞれ平均2 g / dLと 1 g/dL で正規分布しているとします。医療検査では、血液サンプル内の特定のタンパク質レベルを測定し、特定のしきい値を超える数値を病気の兆候として分類する場合があります。実験者はしきい値 (図の緑の縦線) を調整できます。これにより、偽陽性率が変わります。しきい値を上げると、曲線が左に移動し、偽陽性が減り (偽陰性が増えます) ます。曲線の実際の形状は、2 つの分布がどれだけ重なり合っているかによって決まります。

批判

いくつかの研究では、ROC曲線とその曲線下面積を、バイナリ分類を評価するための測定方法として特定の用途に使用しているが、その用途に関連する情報を捉えていないと批判している。^[18]^[17]^[19]^[20]^[21]

これらの研究で述べられているROC曲線に対する主な批判は、曲線下面積（AUC）の計算に、感度と特異度の低い領域（両方とも0.5未満）を組み込んでいることに関するものである。 ^[19]右の図に示されている。

これらの研究の著者によると、曲線の下の領域（感度と特異度が低い）の部分は、バイナリ予測が悪い結果を得る混同行列に関するものであり、したがって全体的なパフォーマンスの評価に含めるべきではないとのことです。さらに、AUCのその部分は、混同行列の閾値が高いか低いかを示す空間を示しており、どの分野でもバイナリ分類を行う科学者にとってはほとんど関心の対象ではありません。^[19]

ROCとその曲線下面積に対するもう一つの批判は、精度と陰性の予測値については何も語っていないということである。^[17]

たとえば、0.9 などの高い ROC AUC は、[0, 1] の範囲で 0.2 や 0.1 などの低い精度と陰性予測値の値に対応する可能性があります。バイナリ分類を実行し、0.9 の ROC AUC を取得し、このメトリックのみに焦点を当てることにした場合、バイナリテストが優れていると過度に楽観的に信じる可能性があります。ただし、この人が精度と陰性予測値の値を確認すると、値が低いことに気付く可能性があります。

ROC AUCは感度と特異度を要約しますが、精度と陰性の予測値については情報を提供しません。^[17]

さらなる解釈

ROC は要約統計を生成するために使用されることがあります。一般的なバージョンは次のとおりです。

ROC曲線と無差別線に直交する45度の線との切片 -感度=特異度となるバランスポイント
ROC曲線の、無差別線と平行な45度の接線で、エラーのない点（0,1）に最も近いもの。ユーデンのJ統計とも呼ばれ、インフォームドネスとして一般化されている^[要出典]
ROC曲線と無差別線の間の面積に2を掛けたものは、特に信用スコアリングの文脈ではジニ係数と呼ばれます。^{[22]これは}、ジニ係数とも呼ばれる統計的分散の尺度と混同しないでください。
完全なROC曲線と（0,0）、（1,1）および選択された1つの動作点のみを含む三角ROC曲線の間の領域- 一貫性^[23] $(tpr,fpr)$
ROC曲線の下の面積、または「AUC」（「曲線の下の面積」）、またはA'（「エープライム」と発音）^[24]または「c統計量」（「一致統計量」）^{[25] 。}
感度指数d ′ (「d-プライム」と発音) は、ノイズのみの条件下でのシステム内の活動分布の平均と信号のみの条件下での分布の間の距離を、標準偏差で割ったもので、これら 2 つの分布は同じ標準偏差で正規分布であると仮定しています。これらの仮定の下では、ROC の形状はd′によって完全に決定されます。

ただし、ROC 曲線を 1 つの数値にまとめようとすると、特定の識別アルゴリズムのトレードオフのパターンに関する情報が失われます。

確率的解釈

曲線の下の面積（単にAUCと呼ばれることが多い）は、分類器がランダムに選択された陽性例を、ランダムに選択された陰性例よりも高くランク付けする確率に等しい（「陽性」が「陰性」よりも高くランク付けされると仮定）。^[26]言い換えれば、ランダムに選択された陽性例1つとランダムに選択された陰性例1つが与えられた場合、AUCは分類器がどちらがどちらかを判断できる確率である。

これは次のように表すことができます。曲線の下の面積は次のように表されます（積分境界は逆になっており、閾値が大きいほどx軸上の値が低くなります）。 $T$

\operatorname {TPR} (T):T\to y(x)

\operatorname {FPR} (T):T\to x

{\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}

ここで、は正のインスタンスのスコア、は負のインスタンスのスコア、およびは前のセクションで定義した確率密度です。 $X_{1}$ $X_{0}$ $f_{0}$ $f_{1}$

およびが2 つのガウス分布に従う場合、となります。 $X_{0}$ $X_{1}$ $A=\Phi \left((\mu _{1}-\mu _{0})/{\sqrt {\sigma _{1}^{2}+\sigma _{0}^{2}}}\right)$

曲線の下の面積

AUCは、陽性が陰性よりも高い順位にあるかどうかを検定するマン・ホイットニーU [ ^27]^[28]と密接に関連していることが示されています。予測変数の場合、そのAUCの不偏推定量は、次のウィルコクソン・マン・ホイットニー統計量で表すことができます。^[29] ${\textstyle f}$

{\text{AUC}}(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},

ここで、は、そうでない場合は 1 を返し、そうでない場合は 0 を返すインジケータ関数を表します。は負の例の集合であり、は正の例の集合です。 ${\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}$ $f(t_{0})<f(t_{1})$ ${\mathcal {D}}^{0}$ ${\mathcal {D}}^{1}$

信用スコアリングの文脈では、AUC の再スケール版がよく使用されます。

$G_{1}=2\operatorname {AUC} -1$ 。

$G_{1}$ はジニ指数またはジニ係数と呼ばれますが^{[30] 、}ジニ係数とも呼ばれる統計的分散の尺度と混同しないでください。はサマーズのDの特殊なケースです。 $G_{1}$

また、ROC凸包の下の面積（ROC AUCH = ROCH AUC）を計算することも一般的です。これは、2つの予測結果の間の線分上の任意の点を、線分の反対側のコンポーネントの相対的な長さに比例する確率で、どちらかのシステムをランダムに使用することで達成できるためです。^[31]また、凹面を反転することも可能です。図のように、悪い解をより良い解に反映させることができます。凹面はどの線分にも反映させることができますが、このより極端な融合形式では、データが過剰適合する可能性がはるかに高くなります。^[32]

機械学習コミュニティでは、モデル比較にROC AUC統計が最もよく使用されます。^[33] AUC推定値は非常にノイズが多く、他の問題を抱えているため、この方法は疑問視されてきました。^[34]^[35]^[36]それにもかかわらず、集約された分類パフォーマンスの尺度としてのAUCの一貫性は、均一なレート分布の観点から実証されており、^{[37] AUCは}Brierスコアなどの他の多くのパフォーマンス指標に関連付けられています。^[38]

ROC AUC のもう 1 つの問題は、ROC 曲線を 1 つの数値に減らすと、それが個々のシステムのパフォーマンスではなく、プロットされたさまざまなシステムまたはパフォーマンスポイント間のトレードオフに関するものであるという事実が無視され、凹面修復の可能性も無視されるため、情報提供度^[要出典]や DeltaP などの関連する代替指標が推奨されることです。^[23]^[39]これらの指標は、DeltaP' = 情報提供度 = 2AUC-1 の単一の予測ポイントのジニ係数と本質的に同等ですが、DeltaP = マーク度はデュアル (つまり、実際のクラスから予測を予測する) を表し、それらの幾何平均はマシューズ相関係数です。^[要出典]

ROC AUC は 0 から 1 の間で変動し、無情報分類器では 0.5 になりますが、情報提供度^[要出典] 、確実性^[23]、ジニ係数 (単一パラメータ化または単一システムの場合) ^[要出典]として知られる代替尺度はすべて、0 が偶然のパフォーマンスを表すのに対し 1 は完全なパフォーマンスを表し、-1 は常に間違った応答を返す完全な情報提供の「間違った」ケースを表すという利点があります。^{[40]偶然のパフォーマンスを 0 にすると、これらの代替尺度をカッパ統計として解釈できます。情報提供度は、}Cohen KappaやFleiss Kappaなどの他の一般的なカッパの定義と比較して、機械学習に望ましい特性を持つことが示されています。^[要出典]^[41]

ROC曲線全体を見るよりも、特定の領域を見る方が有用な場合があります。部分的なAUCを計算することが可能です。^[42]たとえば、偽陽性率が低い曲線の領域に焦点を当てることができます。これは、集団スクリーニングテストで主に関心のあるものです。^{[43] P ≪ N である分類問題に対するもう1つの一般的なアプローチ（バイオインフォマティクスアプリケーションで一般的）は、}x軸に対数スケールを使用することです。^[44]

ROC曲線下面積はc統計量またはc統計量とも呼ばれます。^[45]

その他の対策

総合動作特性（TOC）も診断能力を特徴づけると同時に、ROCよりも多くの情報を明らかにする。各閾値について、ROCはTP/(TP + FN)とFP/(FP + TN)の2つの比率を明らかにする。言い換えれば、ROCはとを明らかにする。一方、TOCは各閾値の分割表の合計情報を示す。^[46] TOC法は、ROC法が提供するすべての情報に加えて、ROCでは明らかにされない重要な追加情報、つまり各閾値の分割表の各エントリのサイズを明らかにする。TOCは、ROCの一般的なAUCも提供する。^[47] ${\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}$ ${\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}$

これらの図は、同じデータとしきい値を使用した TOC 曲線と ROC 曲線です。しきい値 74 に対応する点について考えてみましょう。TOC 曲線はヒット数 3、つまりミス数 7 を示しています。さらに、TOC 曲線は誤報数が 4、正しい拒否数が 16 であることを示しています。ROC 曲線の任意のポイントで、およびの比率の値を収集することができます。たとえば、しきい値 74 では、x 座標が 0.2、y 座標が 0.3 であることがわかります。ただし、これら 2 つの値では、基礎となる 2 行 2 列の分割表のすべてのエントリを構築するには不十分です。 ${\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}$ ${\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}$

検出誤差トレードオフグラフ

ROC 曲線の代替として、検出エラートレードオフ(DET) グラフがあります。これは、偽陰性率 (検出漏れ) と偽陽性率 (誤報) を非線形に変換された x 軸と y 軸上にプロットします。変換関数は、正規分布の分位関数、つまり累積正規分布の逆関数です。これは、ヒット率の補数であるミス率または偽陰性率が使用されることを除いて、実際には以下の zROC と同じ変換です。この代替方法では、関心領域に多くのグラフ領域が費やされます。ROC 領域の大部分はあまり重要ではありません。主に、y軸に近接した領域と左上隅が重要です。ミス率をその補数であるヒット率の代わりに使用するため、DET プロットでは左下隅になります。さらに、DET グラフには、線形性と正規分布に対する線形しきい値動作という便利な特性があります。^[48] DETプロットは自動話者認識コミュニティで広く使用されており、DETという名前が最初に使用されたのはそこでした。軸を歪ませたグラフでのROCパフォーマンスの分析は、20世紀半ばに心理学者によって知覚研究で使用され、^{[引用が必要]}これは「二重確率論文」と呼ばれました。^[49]

Zスコア

ROC曲線に標準スコアを適用すると、曲線は直線に変換されます。^[50] このzスコアは、平均が0で標準偏差が1の正規分布に基づいています。記憶力理論では、zROCは線形であるだけでなく、傾きが1.0であると想定する必要があります。ターゲット（被験者が思い出す必要がある学習対象）とルアー（被験者が思い出そうとする非学習対象）の正規分布は、zROCが線形になる要因です。

zROC曲線の直線性は、ターゲット強度分布とルアー強度分布の標準偏差に依存します。標準偏差が等しい場合、傾きは1.0になります。ターゲット強度分布の標準偏差がルアー強度分布の標準偏差よりも大きい場合、傾きは1.0より小さくなります。ほとんどの研究では、zROC曲線の傾きは常に1を下回り、通常は0.5〜0.9であることがわかっています。^[51]多くの実験でzROCの傾きは0.8でした。傾きが0.8ということは、ターゲット強度分布の変動性がルアー強度分布の変動性よりも25％大きいことを意味します。^[52]

使用される別の変数はd'（dプライム）（上記「その他の尺度」で説明）であり、これはz値で簡単に表現できます。d 'はよく使用されるパラメータですが、上記の強度理論の非常に強力な仮定に厳密に従う場合にのみ関連することを認識する必要があります。^[53]

ROC 曲線の z スコアは、特別な状況を除いて、想定どおり常に線形です。ヨネリナスの親近感-想起モデルは、認識記憶の 2 次元的な説明です。被験者は特定の入力に対して単に「はい」または「いいえ」と答えるのではなく、入力に親近感を与えます。これは元の ROC 曲線のように機能します。ただし、変わるのは想起 (R) のパラメーターです。想起は全か無かであると想定され、親近感よりも優先されます。想起コンポーネントがない場合、zROC の予測傾きは 1 になります。ただし、想起コンポーネントを追加すると、zROC 曲線は凹状になり、傾きが減少します。この形状と傾きの違いは、一部の項目が想起されることによる変動性の追加要素によって生じます。順行性健忘の患者は想起できないため、ヨネリナスの zROC 曲線の傾きは 1.0 に近くなります。^[54]

歴史

ROC曲線は、信号検出理論に採用される前に、第二次世界大戦中にレーダー信号の分析に初めて使用されました。^{[55] 1941年の}真珠湾攻撃の後、米軍はレーダー信号から日本軍の航空機を正確に検出する予測を向上させるための新しい研究を開始しました。この目的のために、彼らはレーダー受信機の操作者がこれらの重要な区別を行う能力を測定しました。これは受信機動作特性と呼ばれていました。^[56]

1950年代、ROC曲線は心理物理学において、人間（時には人間以外の動物）による微弱信号の検出を評価するために採用されました。^[55]医学では、ROC分析は診断検査の評価に広く使用されています。^[57]^{[58] ROC曲線は}疫学や医学研究でも広く使用されており、エビデンスに基づく医療と関連して頻繁に言及されています。放射線学では、ROC分析は新しい放射線技術を評価するための一般的な手法です。^[59]社会科学では、ROC分析はしばしばROC精度比と呼ばれ、デフォルト確率モデルの精度を判断するための一般的な手法です。 ROC曲線は、検査の診断精度を評価したり、検査の最適なカットオフを選択したり、複数の検査の診断精度を比較したりするために、臨床検査医学で広く使用されています。

ROC曲線は機械学習技術の評価にも有用であることが証明されている。機械学習におけるROCの最初の応用はSpackmanによるもので、彼は異なる分類アルゴリズムを比較評価する際のROC曲線の価値を実証した。^[60]

ROC曲線は気象学における予報の検証にも使用される。^[61]

レーダーの詳細

前述のように、ROC 曲線はレーダーの動作と理論にとって重要です。受信局で受信される信号は、ターゲットによって反射され、ノイズフロアと比較してエネルギーが非常に低いことがよくあります。信号対ノイズ比は、ターゲットが検出されるかどうかを判断する際の重要な指標です。この信号対ノイズ比は、レーダーシステム全体の受信機の動作特性に直接相関しており、レーダーシステムの能力を定量化するために使用されます。

レーダーシステムの開発を考えてみましょう。システムの能力の仕様は、誤報に対する一定の許容度、を伴う検出確率で提供される場合があります。受信局で必要な信号対雑音比の簡略化された近似値は、 ^[62]を解くことで計算できます。 $P_{D}$ $P_{FA}$

P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X}}}\right)

信号対雑音比です。ここで、は、多くのレーダーアプリケーションで一般的なデシベル単位ではありません。デシベルへの変換はを使用します。この図から、レーダー距離方程式 (雑音係数を含む) の一般的な項目を解くと、必要な有効放射電力を推定できます。 ${\mathcal {X}}$ ${\mathcal {X}}$ ${\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}$

バイナリ分類を超えたROC曲線

2クラス以上の分類問題にROC曲線を拡張するのは面倒です。クラスが複数ある場合の一般的なアプローチは2つあります。(1)すべてのペアワイズAUC値を平均する^[63]、(2)表面下の体積(VUS)を計算する^{[64] 、}^{[65]です。すべてのペアワイズクラスを平均するには、他のクラスが存在しないかのように、それらの2つのクラスの例のみを使用して、各クラスのペアのAUCを計算し、次にこれらのAUC値をすべての可能なペアで平均します。c} $個$ のクラスがある場合、 $c (c -1)/2個$ の可能なクラスペアがあります。

表面下の体積アプローチでは、曲線ではなく超曲面をプロットし、その超曲面の下の超体積を測定します。 $c$ $クラスの分類器に使用できる可能性のあるすべての決定ルールは、その真陽性率(TPR 1 、...、TPR c)$ で説明できます。この率の集合が点を定義し、すべての可能な決定ルールの集合から、超曲面を定義する点のクラウドが生成されます。この定義では、VUS は、各クラスからランダムに選択された 1 つの例を含むセットが与えられた場合に、分類器が $c 個$ の例すべてに正しくラベルを付けることができる確率です。入力セットが各クラスから 1 つの例で構成されていることを認識している分類器の実装では、まず例とクラスの $c 2 個$ の可能な組み合わせのそれぞれについて適合度スコアを計算し、次にハンガリアンアルゴリズムを使用して、各クラスに正確に 1 つの例を割り当てる $c$ 個の可能な方法すべてについて $、選択された$ $c 個$ のスコアの合計を最大化します。

分類モデルの評価におけるROC曲線の成功を踏まえ、他の教師ありタスクに対するROC曲線の拡張も研究されてきた。回帰問題に対する注目すべき提案は、いわゆる回帰誤差特性（REC）曲線^[66]と回帰ROC（RROC）曲線^[67]である。後者では、RROC曲線は、非対称性、優位性、凸包の概念により、分類のROC曲線と非常に類似している。また、RROC曲線の下の面積は、回帰モデルの誤差分散に比例する。

参照

参考文献

^ ab 「ROC曲線を使用した検出器性能分析 - MATLAB & Simulinkの例」www.mathworks.com 。 2016年8月11日閲覧。
^ スウェッツ、ジョン A.; 心理学と診断における信号検出理論と ROC 分析: 論文集、ローレンスエルバウムアソシエイツ、マホワ、ニュージャージー、1996 年
^ Junge, MR; Dettori, JR (2024年5月3日). 「ROC Solid: より良い診断テストの基盤としての受信者動作特性 (ROC) 曲線」. Global Spine Journal . 8 (4): 424–429. doi :10.1177/2192568218778294. PMC 6022965. PMID 29977728 .
^ Peres, DJ; Cancelliere, A. (2014-12-08). 「モンテカルロ法による地滑り誘発閾値の導出と評価」Hydrol. Earth Syst. Sci . 18 (12): 4913–4931. Bibcode :2014HESS...18.4913P. doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938.
^ マーフィー、アラン H. (1996-03-01). 「フィンリー事件: 予報検証の歴史における重要な出来事」.天気と予報. 11 (1): 3–20. Bibcode :1996WtFor..11....3M. doi : 10.1175/1520-0434(1996)011<0003:tfaase>2.0.co;2 . ISSN 0882-8156.
^ Peres, DJ; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (2015-10-01). 「ニューラルネットワークと再解析風データによる有意波高記録の拡張」.海洋モデリング. 94 : 128–140. Bibcode :2015OcMod..94..128P. doi :10.1016/j.ocemod.2015.08.002.
^ Sushkova, Olga; Morozov, Alexei; Gabova, Alexandra; Karabanov, Alexei; Illarioshkin, Sergey (2021). 「2Dおよび3D曲線下面積図に基づく探索的データ分析のための統計的手法：パーキンソン病の調査」. Sensors . 21 (14): 4700. Bibcode :2021Senso..21.4700S. doi : 10.3390/s21144700 . PMC 8309570. PMID 34300440 .
^ Fawcett, Tom (2006). 「ROC分析入門」(PDF) .パターン認識レター. 27 (8): 861–874. doi :10.1016/j.patrec.2005.10.010. S2CID 2027090.
^ Provost, Foster、Tom Fawcett (2013-08-01)。「ビジネスのためのデータサイエンス: データマイニングとデータ分析的思考について知っておくべきこと」。O'Reilly Media, Inc.
^ Powers, David MW (2011). 「評価: 精度、再現率、F 値から ROC、情報量、注目度、相関まで」。機械学習テクノロジージャーナル。2 (1): 37–63。
^ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8。
^ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). 「WWRP/WGNE Joint Working Group on Forecast Verification Research」.オーストラリア気象気候研究のためのコラボレーション。世界気象機関。2019-07-17閲覧。
^ Chicco D、Jurman G (2020年1月)。「バイナリ分類評価におけるF1スコアと 精度に対するMatthews相関係数(MCC )の利点」。BMC Genomics。21 ( 1): 6-1–6-13。doi : 10.1186 / s12864-019-6413-7。PMC 6941312。PMID 31898477。
^ Chicco D、Toetsch N、Jurman G (2021年2月)。「マシューズ相関係数（MCC）は、2クラス混同行列評価において、バランスのとれた正確性、ブックメーカーの情報、マーク度よりも信頼性が高い」。BioData Mining。14 （ 13 ）：13。doi ：10.1186 /s13040-021-00244 - z。PMC 7863449。PMID 33541410。
^ Tharwat A. (2018年8月). 「分類評価方法」.応用コンピューティングと情報科学. 17 :168–192. doi : 10.1016/j.aci.2018.08.003 .
^ 「分類 - ランダム分類器の AUC-ROC」。Data Science Stack Exchange。2020年 11 月 30 日閲覧。
^ abcd Chicco, Davide; Jurman, Giuseppe (2023-02-17). 「マシューズ相関係数（MCC）は、バイナリ分類を評価するための標準指標としてROC AUCに代わるべきである」。BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381. PMC 9938573. PMID 36800973 .
^ Muschelli, John (2019-12-23). 「バイナリ予測子を使用したROCとAUC：潜在的に誤解を招く指標」。Journal of Classification。37 ( 3 ) 。Springer Science and Business Media LLC：696–708。doi ： 10.1007 / s00357-019-09345-1。ISSN 0176-4268。PMC 7695228。PMID 33250548 。
^ abc ロボ、ホルヘ M.;ヒメネス・バルベルデ、アルベルト。レアル、ライムンド (2008)。「AUC: 予測分布モデルのパフォーマンスの誤解を招く尺度」。地球生態学と生物地理学。17 (2)。ワイリー: 145–151。土井：10.1111/j.1466-8238.2007.00358.x。ISSN 1466-822X。
^ Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015-01-20). 「画像検査を評価するために受信者動作特性曲線下面積を使用することの欠点：代替アプローチの議論と提案」.欧州放射線学. 25 (4). Springer Science and Business Media LLC: 932–939. doi : 10.1007/s00330-014-3487-0 . ISSN 0938-7994. PMC 4356897. PMID 25599932 .
^ Berrar, D.; Flach, P. (2011-03-21). 「臨床マイクロアレイ研究におけるROC分析の注意点と落とし穴（およびその回避方法）」. Briefings in Bioinformatics . 13 (1). Oxford University Press (OUP): 83–97. doi : 10.1093/bib/bbr008 . ISSN 1467-5463.
^ ジェザチ、M.、ジェザチ、F. (2011)。「信用スコアリングモデルの品質を測定する方法」。チェコ経済金融ジャーナル (Finance a úvěr)。61 (5)。カレル大学プラハ社会科学部: 486–507。
^ abc Powers, David MW (2012). 「ROC-ConCert: ROC ベースの一貫性と確実性の測定」(PDF) . Spring Congress on Engineering and Technology (SCET) . Vol. 2. IEEE. pp. 238–241.^{[リンク切れ‍ ]}
^ Fogarty, James; Baker, Ryan S.; Hudson, Scott E. (2005)。「人間とコンピュータのインタラクションにおけるセンサーベースの推定値に対する ROC 曲線分析の使用に関するケーススタディ」。ACM国際会議議事録シリーズ、Proceedings of Graphics Interface 2005。ウォータールー、オンタリオ州: Canadian Human-Computer Communications Society。
^ Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2009).統計学習の要素: データマイニング、推論、予測(第2版)。
^ Fawcett, Tom (2006); ROC分析入門、パターン認識レター、27、861–874。
^ Hanley, James A.; McNeil, Barbara J. (1982). 「受信者動作特性 (ROC) 曲線下面積の意味と使用」.放射線学. 143 (1): 29–36. doi :10.1148/radiology.143.1.7063747. PMID 7063747. S2CID 10511727.
^ Mason, Simon J.; Graham, Nicholas E. (2002). 「相対動作特性 (ROC) 曲線と相対動作レベル (ROL) 曲線の下の領域: 統計的有意性と解釈」(PDF) . Quarterly Journal of the Royal Mediterranean Society . 128 (584): 2145–2166. Bibcode :2002QJRMS.128.2145M. CiteSeerX 10.1.1.458.8392 . doi :10.1256/003590002320603584. S2CID 121841664. 2008-11-20 にオリジナル(PDF)からアーカイブ。
^ トゥーン州カルダース;ヤロシェヴィチ、シモン (2007)。「分類のための効率的な AUC 最適化」。コクにて、N.ジュースト。コロナッキ、ヤチェク。ロペス・デ・マンタラス、ラモン。マウィン、スタン。ムラデニッチ、ドゥンハ。アンジェイ・スコウロン（編）。データベースにおける知識の発見: PKDD 2007。コンピューターサイエンスの講義ノート。 Vol. 4702. ベルリン、ハイデルベルク: Springer。 42～53ページ。土井: 10.1007/978-3-540-74976-9_8。ISBN 978-3-540-74976-9。
^ Hand, David J.; および Till, Robert J. (2001);複数クラス分類問題に対する ROC 曲線の下の領域の単純な一般化、機械学習、45、171–186。
^ Provost, F.; Fawcett, T. (2001). 「不正確な環境に対する堅牢な分類」.機械学習. 42 (3): 203–231. arXiv : cs/0009007 . doi :10.1023/a:1007601015854. S2CID 5415722.
^ Flach, PA; Wu, S. (2005). 「ROC 曲線の凹みの修復」(PDF) .第 19 回国際人工知能合同会議 (IJCAI'05) . pp. 702–707.
^ Hanley, James A.; McNeil, Barbara J. (1983-09-01). 「同じ症例から得られた受信者動作特性曲線の下の領域を比較する方法」.放射線学. 148 (3): 839–843. doi : 10.1148/radiology.148.3.6878708 . PMID 6878708.
^ Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). 「ROC関連推定値の小サンプル精度」.バイオインフォマティクス. 26 (6): 822–830. doi : 10.1093/bioinformatics/btq037 . PMID 20130029.
^ ロボ、ホルヘ・M.ヒメネス・バルベルデ、アルベルト。レアル、ライムンド (2008)。「AUC: 予測分布モデルのパフォーマンスの誤解を招く尺度」。地球生態学と生物地理学。17 (2): 145–151。土井：10.1111/j.1466-8238.2007.00358.x。S2CID 15206363。
^ Hand, David J (2009). 「分類器のパフォーマンスの測定: ROC 曲線の下の領域に代わる一貫した方法」.機械学習. 77 : 103–123. doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .
^ Flach, PA; Hernandez-Orallo, J.; Ferri, C. (2011). 「集約された分類パフォーマンスの尺度としての AUC の一貫した解釈」(PDF)。第 28 回国際機械学習会議 (ICML-11) の議事録。pp. 657–664。
^ Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2012). 「パフォーマンスメトリックの統一的な見方: しきい値の選択を予測される分類損失に変換する」( PDF)。Journal of Machine Learning Research。13 : 2813–2869。
^ Powers, David MW (2012). 「曲線下面積の問題」。国際情報科学技術会議。
^ Powers, David MW (2003). 「ブックメーカーに対するリコールと精度」(PDF)。国際認知科学会議 (ICSC-2003) の議事録、オーストラリアのシドニー、2003 年、529 ～ 534 ページ。
^ Powers, David MW (2012). 「Kappa の問題」(PDF)。計算言語学協会ヨーロッパ支部会議 (EACL2012) ROBUS-UNSUP 合同ワークショップ。 2016 年 5 月 18 日のオリジナル(PDF)からアーカイブ。 2012 年 7 月 20 日閲覧。
^ McClish, Donna Katzman (1989-08-01). 「ROC曲線の一部を分析する」。医療意思決定。9 (3): 190–195。doi : 10.1177 /0272989X8900900307。PMID 2668680。S2CID 24442201。
^ Dodd, Lori E.; Pepe, Margaret S. (2003). 「部分AUC推定と回帰」.バイオメトリクス. 59 (3): 614–623. doi : 10.1111/1541-0420.00071 . PMID 14601762. S2CID 23054670.
^ Karplus, Kevin (2011); 「偶然よりも優れている: ヌルモデルの重要性」、カリフォルニア大学サンタクルーズ校、プロテオミクス、構造生物学、バイオインフォマティクスにおけるパターン認識に関する第 1 回国際ワークショップの議事録 (PR PS BB 2011)
^ 「C統計量：定義、例、重み付け、および有意性」。統計ハウツー。2016年8月28日。
^ポンティウス、ロバート ・ギルモア、パルメンティエ、ブノワ（2014）。「相対動作特性（ROC）の使用に関する推奨事項」ランドスケープエコロジー。29 （3）：367–382。doi ： 10.1007 / s10980-013-9984-8。S2CID 15924380 。
^ Pontius, Robert Gilmore; Si, Kangping (2014). 「複数の閾値の診断能力を測定するための総合動作特性」. International Journal of Geographical Information Science . 28 (3): 570–583. doi :10.1080/13658816.2013.862623. S2CID 29204880.
^ Navratil, J.; Klusacek, D. (2007-04-01). 「線形 DET について」。2007 IEEE 国際音響、音声、信号処理会議 - ICASSP '07。第 4 巻。pp. IV–229–IV–232。doi :10.1109 / ICASSP.2007.367205。ISBN 978-1-4244-0727-9. S2CID 18173315。
^ Dev P. Chakraborty (2017 年 12 月 14 日)。「double+probability+paper」&pg=PT214 診断イメージングのための観察者パフォーマンス手法: R ベースの例による基礎、モデリング、およびアプリケーション。CRC Press。p. 214。ISBN 9781351230711. 2019年7月11日閲覧。
^ MacMillan, Neil A.; Creelman, C. Douglas (2005).検出理論: ユーザーズガイド(第 2 版). マホワ、ニュージャージー: Lawrence Erlbaum Associates. ISBN 978-1-4106-1114-7。
^ Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). 「認識記憶における受信者動作特性の傾き」.実験心理学ジャーナル: 学習、記憶、認知. 25 (2): 500–513. doi :10.1037/0278-7393.25.2.500.
^ Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). 「認識記憶 ROC 関数のデータの経験的一般性と GMM への影響」.実験心理学ジャーナル: 学習、記憶、認知. 20 (4): 763–785. CiteSeerX 10.1.1.410.2114 . doi :10.1037/0278-7393.20.4.763. PMID 8064246.
^ Zhang, Jun; Mueller, Shane T. (2005). 「ROC分析と感度のノンパラメトリック推定に関する注記」. Psychometrika . 70 : 203–212. CiteSeerX 10.1.1.162.1515 . doi :10.1007/s11336-003-1119-8. S2CID 122355230.
^ Yonelinas, Andrew P.; Kroll, Neal EA; Dobbins, Ian G.; Lazzara, Michele; Knight, Robert T. (1998). 「健忘症における想起と親近感の障害: 記憶-認識、プロセス解離、受信者動作特性データの収束」。神経心理学。12 (3): 323–339。doi :10.1037/0894-4105.12.3.323。PMID 9673991 。
^ ab グリーン、デビッド・M.; スウェッツ、ジョン・A. (1966).信号検出理論と心理物理学. ニューヨーク、NY: John Wiley and Sons Inc. ISBN 978-0-471-32420-1。
^ 「受信者操作特性（ROC）曲線を使用した分類モデルの分析：歴史的関心の最終メモ」（PDF）。ユタ大学数学部。 2020年8月22日時点のオリジナルよりアーカイブ（PDF）。 2017年5月25日閲覧。
^ Zweig, Mark H.; Campbell, Gregory (1993). 「受信者動作特性 (ROC) プロット: 臨床医学における基本的な評価ツール」(PDF) .臨床化学. 39 (8): 561–577. doi : 10.1093/clinchem/39.4.561 . PMID 8472349.
^ Pepe, Margaret S. (2003).分類と予測のための医療検査の統計的評価。ニューヨーク、NY: Oxford。ISBN 978-0-19-856582-6。
^ Obuchowski, Nancy A. (2003). 「受信者動作特性曲線と放射線学におけるその使用」.放射線学. 229 (1): 3–8. doi :10.1148/radiol.2291010898. PMID 14519861.
^ Spackman, Kent A. (1989). 「信号検出理論: 帰納的学習を評価するための有用なツール」.第 6 回国際機械学習ワークショップの議事録. サンマテオ、カリフォルニア州: Morgan Kaufmann . pp. 160–163.
^ Kharin, Viatcheslav (2003). 「確率予測のROCスコアについて」Journal of Climate . 16 (24): 4145–4150. Bibcode :2003JCli...16.4145K. doi : 10.1175/1520-0442(2003)016<4145:OTRSOP>2.0.CO;2 .
^ 「レーダーの基礎」、デジタル信号処理技術とレーダー画像処理への応用、ホーボーケン、ニュージャージー州、米国：John Wiley & Sons、Inc.、pp. 93–115、2008-01-29、doi：10.1002/9780470377765.ch4、ISBN 9780470377765、 2023-05-20取得
^ Till, DJ; Hand, RJ (2001). 「複数クラス分類問題におけるROC曲線下面積の単純な一般化」.機械学習. 45 (2): 171–186. doi : 10.1023/A:1010920819831 .
^ Mossman, D. (1999). 「3方向ROC」.医療意思決定. 19 (1): 78–89. doi :10.1177/0272989x9901900110. PMID 9917023. S2CID 24623127.
^ Ferri, C.; Hernandez-Orallo, J.; Salido, MA (2003). 「多クラス問題における ROC 面の下の体積」。機械学習: ECML 2003。pp. 108–120。
^ Bi, J.; Bennett, KP (2003). 「回帰誤差特性曲線」(PDF) .第20回国際機械学習会議 (ICML-2003). ワシントン DC .
^ Hernandez-Orallo, J. (2013). 「回帰のためのROC曲線」.パターン認識. 46 (12): 3395–3411. Bibcode :2013PatRe..46.3395H. doi :10.1016/j.patcog.2013.06.014. hdl : 10251/40252 . S2CID 15651724.

外部リンク

簡単なROC計算機
アニメーションROCデモ
ROCデモ
別のROCデモ
ROCビデオ説明
総合動作特性の紹介：土地変化モデル評価における有用性
RでTOCパッケージを実行する方法
Github 上の TOC R パッケージ
TOC 曲線を生成するための Excel ワークブック

さらに読む

バラクリシュナン、ナラヤナスワミ (1991);物流ハンドブック、マルセル・デッカー社、ISBN 978-0-8247-8587-1
Brown, Christopher D.; Davis, Herbert T. (2006). 「受信者動作特性曲線と関連する意思決定尺度: チュートリアル」.ケモメトリクスとインテリジェントラボシステム. 80 : 24–38. doi :10.1016/j.chemolab.2005.05.004.
Rotello, Caren M.; Heit, Evan; Dubé, Chad (2014). 「データが増えると誤った結論に導く: 誤った従属尺度による反復は誤った結論を永続させる」(PDF) . Psychonomic Bulletin & Review . 22 (4): 944–954. doi : 10.3758/s13423-014-0759-2 . PMID 25384892. S2CID 6046065.
Fawcett, Tom (2004). 「ROC グラフ: 研究者のためのメモと実践的検討事項」(PDF) .パターン認識レター. 27 (8): 882–891. CiteSeerX 10.1.1.145.4649 . doi :10.1016/j.patrec.2005.10.012.
ゴネン、ミタット（2007）；SAS を使用した受信者動作特性曲線の分析、SAS プレス、ISBN 978-1-59994-298-8
グリーン、ウィリアム H.、(2003)計量経済分析、第 5 版、Prentice Hall、ISBN 0-13-066189-9
Heagerty, Patrick J.; Lumley, Thomas; Pepe, Margaret S. (2000). 「打ち切り生存データと診断マーカーの時間依存 ROC 曲線」.バイオメトリクス. 56 (2): 337–344. doi :10.1111/j.0006-341x.2000.00337.x. PMID 10877287. S2CID 8822160.
Hosmer, David W.; Lemeshow, Stanley (2000); Applied Logistic Regression、第 2 版、ニューヨーク、NY: Wiley、ISBN 0-471-35632-8
Lasko, Thomas A.; Bhagwat, Jui G.; Zou, Kelly H.; Ohno-Machado, Lucila (2005). 「バイオメディカルインフォマティクスにおける受信者動作特性曲線の使用」。Journal of Biomedical Informatics . 38 (5): 404–415. CiteSeerX 10.1.1.97.9674 . doi :10.1016/j.jbi.2005.02.008. PMID 16198999.
マス、ジャン＝フランソワ。フィリョ、ブリタルド・ソアレス。ポンティアス・ジュニア、ロバート・ギルモア。グティエレス、ミシェル・ファルファン。ロドリゲス、ヘルマン (2013)。「空間モデルの ROC 分析のためのツールスイート」。ISPRS 国際地理情報ジャーナル。2 (3): 869–887。Bibcode :2013IJGI....2..869M。土井：10.3390/ijgi2030869。{{cite journal}}: CS1 maint: multiple names: authors list (link)
Pontius, Jr, Robert Gilmore; Parmentier, Benoit (2014). 「相対動作特性 (ROC) の使用に関する推奨事項」. Landscape Ecology . 29 (3): 367–382. doi :10.1007/s10980-013-9984-8. S2CID 15924380.{{cite journal}}: CS1 maint: multiple names: authors list (link)
Pontius, Jr, Robert Gilmore; Pacheco, Pablo (2004)。「インド西ガーツ山脈における森林撹乱モデルの較正と検証 1920-1990」。GeoJournal。61 ( 4 ): 325–334。doi : 10.1007 /s10708-004-5049-5。S2CID 155073463 。{{cite journal}}: CS1 maint: multiple names: authors list (link)
Pontius, Jr、Robert Gilmore、Batchu 、 Kiran (2003)。「相対的動作特性を使用して、インドにおける土地被覆変化の場所の予測の確実性を定量化する」。Transactions in GIS。7 ( 4): 467–484。doi : 10.1111/1467-9671.00159。S2CID 14452746 。{{cite journal}}: CS1 maint: multiple names: authors list (link)
Pontius, Jr, Robert Gilmore; Schneider, Laura (2001). 「米国マサチューセッツ州イプスウィッチ流域におけるROC法による土地利用変化モデルの検証」. Agriculture, Ecosystems & Environment . 85 (1–3): 239–248. doi :10.1016/S0167-8809(01)00187-6.{{cite journal}}: CS1 maint: multiple names: authors list (link)
Stephan, Carsten; Wesseling, Sebastian; Schink, Tania ; Jung, Klaus (2003). 「受信者動作特性分析のための 8 つのコンピュータプログラムの比較」。臨床化学。49 ( 3 ) : 433–439。doi : 10.1373 /49.3.433。PMID 12600955。
スウェッツ、ジョン A.、ドーズ、ロビン M.、モナハン、ジョン (2000)、「科学によるより良い意思決定」、サイエンティフィック・アメリカン、10 月、pp. 82-87
Zou, Kelly H.; O'Malley, A. James; Mauri, Laura (2007). 「診断テストと予測モデルを評価するための受信者動作特性分析」Circulation . 115 (5): 654–7. doi : 10.1161/circulationaha.105.594929 . PMID 17283280.
周暁華、オブコウスキー、ナンシー A.、マクリッシュ、ドナ K. (2002)。診断医学における統計的手法。ニューヨーク、NY: Wiley & Sons。ISBN 978-0-471-34772-9。
Chicco D.; Jurman G. (2023). 「マシューズ相関係数 (MCC) は、バイナリ分類を評価するための標準指標として ROC AUC に代わるべきである」。BioData Mining . 16 (1): 4. doi : 10.1186/s13040-023-00322-4 . PMC 9938573. PMID 36800973 .

[16] データ内の実際の陽性症例数

[17] 状態または特性の存在を正しく示す検査結果

[18] タイプIIエラー: 特定の条件または属性が欠如していると誤って示すテスト結果

[19] データ内の実際の陰性症例数

[20] 症状や特徴が存在しないことを正しく示す検査結果

[21] タイプIエラー: 特定の条件または属性が存在すると誤って示すテスト結果

[matlab-1] 「ROC曲線を使用した検出器性能分析 - MATLAB & Simulinkの例」www.mathworks.com 。 2016年8月11日閲覧。

[Swets1996-2] スウェッツ、ジョン A.; 心理学と診断における信号検出理論と ROC 分析: 論文集、ローレンスエルバウムアソシエイツ、マホワ、ニュージャージー、1996 年

[3] Junge, MR; Dettori, JR (2024年5月3日). 「ROC Solid: より良い診断テストの基盤としての受信者動作特性 (ROC) 曲線」. Global Spine Journal . 8 (4): 424–429. doi :10.1177/2192568218778294. PMC 6022965. PMID 29977728 .

[4] Peres, DJ; Cancelliere, A. (2014-12-08). 「モンテカルロ法による地滑り誘発閾値の導出と評価」Hydrol. Earth Syst. Sci . 18 (12): 4913–4931. Bibcode :2014HESS...18.4913P. doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938.

[5] マーフィー、アラン H. (1996-03-01). 「フィンリー事件: 予報検証の歴史における重要な出来事」.天気と予報. 11 (1): 3–20. Bibcode :1996WtFor..11....3M. doi : 10.1175/1520-0434(1996)011<0003:tfaase>2.0.co;2 . ISSN 0882-8156.

[6] Peres, DJ; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (2015-10-01). 「ニューラルネットワークと再解析風データによる有意波高記録の拡張」.海洋モデリング. 94 : 128–140. Bibcode :2015OcMod..94..128P. doi :10.1016/j.ocemod.2015.08.002.

[Sushkova-7] Sushkova, Olga; Morozov, Alexei; Gabova, Alexandra; Karabanov, Alexei; Illarioshkin, Sergey (2021). 「2Dおよび3D曲線下面積図に基づく探索的データ分析のための統計的手法：パーキンソン病の調査」. Sensors . 21 (14): 4700. Bibcode :2021Senso..21.4700S. doi : 10.3390/s21144700 . PMC 8309570. PMID 34300440 .

[8] Fawcett, Tom (2006). 「ROC分析入門」(PDF) .パターン認識レター. 27 (8): 861–874. doi :10.1016/j.patrec.2005.10.010. S2CID 2027090.

[9] Provost, Foster、Tom Fawcett (2013-08-01)。「ビジネスのためのデータサイエンス: データマイニングとデータ分析的思考について知っておくべきこと」。O'Reilly Media, Inc.

[10] Powers, David MW (2011). 「評価: 精度、再現率、F 値から ROC、情報量、注目度、相関まで」。機械学習テクノロジージャーナル。2 (1): 37–63。

[11] Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8。

[12] Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). 「WWRP/WGNE Joint Working Group on Forecast Verification Research」.オーストラリア気象気候研究のためのコラボレーション。世界気象機関。2019-07-17閲覧。

[13] ^ Chicco D、Jurman G (2020年1月)。「バイナリ分類評価におけるF1スコアと 精度に対するMatthews相関係数(MCC )の利点」。BMC Genomics。21 ( 1): 6-1–6-13。doi : 10.1186 / s12864-019-6413-7。PMC 6941312。PMID 31898477。

[14] Chicco D、Toetsch N、Jurman G (2021年2月)。「マシューズ相関係数（MCC）は、2クラス混同行列評価において、バランスのとれた正確性、ブックメーカーの情報、マーク度よりも信頼性が高い」。BioData Mining。14 （ 13 ）：13。doi ：10.1186 /s13040-021-00244 - z。PMC 7863449。PMID 33541410。

[15] Tharwat A. (2018年8月). 「分類評価方法」.応用コンピューティングと情報科学. 17 :168–192. doi : 10.1016/j.aci.2018.08.003 .

[22] 「分類 - ランダム分類器の AUC-ROC」。Data Science Stack Exchange。2020年 11 月 30 日閲覧。

[Chicco_Jurman_2023_p.-23] Chicco, Davide; Jurman, Giuseppe (2023-02-17). 「マシューズ相関係数（MCC）は、バイナリ分類を評価するための標準指標としてROC AUCに代わるべきである」。BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381. PMC 9938573. PMID 36800973 .

[Muschelli_2019_pp._696–708-24] Muschelli, John (2019-12-23). 「バイナリ予測子を使用したROCとAUC：潜在的に誤解を招く指標」。Journal of Classification。37 ( 3 ) 。Springer Science and Business Media LLC：696–708。doi ： 10.1007 / s00357-019-09345-1。ISSN 0176-4268。PMC 7695228。PMID 33250548 。

[Lobo_Jiménez-Valverde_Real_2008_pp._145–151-25] ロボ、ホルヘ M.;ヒメネス・バルベルデ、アルベルト。レアル、ライムンド (2008)。「AUC: 予測分布モデルのパフォーマンスの誤解を招く尺度」。地球生態学と生物地理学。17 (2)。ワイリー: 145–151。土井：10.1111/j.1466-8238.2007.00358.x。ISSN 1466-822X。

[Halligan_Altman_Mallett_2015_pp._932–939-26] Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015-01-20). 「画像検査を評価するために受信者動作特性曲線下面積を使用することの欠点：代替アプローチの議論と提案」.欧州放射線学. 25 (4). Springer Science and Business Media LLC: 932–939. doi : 10.1007/s00330-014-3487-0 . ISSN 0938-7994. PMC 4356897. PMID 25599932 .

[Berrar_Flach_2011_pp._83–97-27] Berrar, D.; Flach, P. (2011-03-21). 「臨床マイクロアレイ研究におけるROC分析の注意点と落とし穴（およびその回避方法）」. Briefings in Bioinformatics . 13 (1). Oxford University Press (OUP): 83–97. doi : 10.1093/bib/bbr008 . ISSN 1467-5463.

[28] ジェザチ、M.、ジェザチ、F. (2011)。「信用スコアリングモデルの品質を測定する方法」。チェコ経済金融ジャーナル (Finance a úvěr)。61 (5)。カレル大学プラハ社会科学部: 486–507。

[Powers2012a-29] Powers, David MW (2012). 「ROC-ConCert: ROC ベースの一貫性と確実性の測定」(PDF) . Spring Congress on Engineering and Technology (SCET) . Vol. 2. IEEE. pp. 238–241.^{[リンク切れ‍ ]}

[30] Fogarty, James; Baker, Ryan S.; Hudson, Scott E. (2005)。「人間とコンピュータのインタラクションにおけるセンサーベースの推定値に対する ROC 曲線分析の使用に関するケーススタディ」。ACM国際会議議事録シリーズ、Proceedings of Graphics Interface 2005。ウォータールー、オンタリオ州: Canadian Human-Computer Communications Society。

[31] Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2009).統計学習の要素: データマイニング、推論、予測(第2版)。

[fawcett-32] Fawcett, Tom (2006); ROC分析入門、パターン認識レター、27、861–874。

[Hanley-33] Hanley, James A.; McNeil, Barbara J. (1982). 「受信者動作特性 (ROC) 曲線下面積の意味と使用」.放射線学. 143 (1): 29–36. doi :10.1148/radiology.143.1.7063747. PMID 7063747. S2CID 10511727.

[Mason-34] Mason, Simon J.; Graham, Nicholas E. (2002). 「相対動作特性 (ROC) 曲線と相対動作レベル (ROL) 曲線の下の領域: 統計的有意性と解釈」(PDF) . Quarterly Journal of the Royal Mediterranean Society . 128 (584): 2145–2166. Bibcode :2002QJRMS.128.2145M. CiteSeerX 10.1.1.458.8392 . doi :10.1256/003590002320603584. S2CID 121841664. 2008-11-20 にオリジナル(PDF)からアーカイブ。

[35] トゥーン州カルダース;ヤロシェヴィチ、シモン (2007)。「分類のための効率的な AUC 最適化」。コクにて、N.ジュースト。コロナッキ、ヤチェク。ロペス・デ・マンタラス、ラモン。マウィン、スタン。ムラデニッチ、ドゥンハ。アンジェイ・スコウロン（編）。データベースにおける知識の発見: PKDD 2007。コンピューターサイエンスの講義ノート。 Vol. 4702. ベルリン、ハイデルベルク: Springer。 42～53ページ。土井: 10.1007/978-3-540-74976-9_8。ISBN 978-3-540-74976-9。

[36] Hand, David J.; および Till, Robert J. (2001);複数クラス分類問題に対する ROC 曲線の下の領域の単純な一般化、機械学習、45、171–186。

[37] Provost, F.; Fawcett, T. (2001). 「不正確な環境に対する堅牢な分類」.機械学習. 42 (3): 203–231. arXiv : cs/0009007 . doi :10.1023/a:1007601015854. S2CID 5415722.

[FlachWu2005-38] Flach, PA; Wu, S. (2005). 「ROC 曲線の凹みの修復」(PDF) .第 19 回国際人工知能合同会議 (IJCAI'05) . pp. 702–707.

[39] Hanley, James A.; McNeil, Barbara J. (1983-09-01). 「同じ症例から得られた受信者動作特性曲線の下の領域を比較する方法」.放射線学. 148 (3): 839–843. doi : 10.1148/radiology.148.3.6878708 . PMID 6878708.

[Hanczar2010-40] Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). 「ROC関連推定値の小サンプル精度」.バイオインフォマティクス. 26 (6): 822–830. doi : 10.1093/bioinformatics/btq037 . PMID 20130029.

[Lobo2008-41] ロボ、ホルヘ・M.ヒメネス・バルベルデ、アルベルト。レアル、ライムンド (2008)。「AUC: 予測分布モデルのパフォーマンスの誤解を招く尺度」。地球生態学と生物地理学。17 (2): 145–151。土井：10.1111/j.1466-8238.2007.00358.x。S2CID 15206363。

[Hand2009-42] Hand, David J (2009). 「分類器のパフォーマンスの測定: ROC 曲線の下の領域に代わる一貫した方法」.機械学習. 77 : 103–123. doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .

[Flachetal2011-43] Flach, PA; Hernandez-Orallo, J.; Ferri, C. (2011). 「集約された分類パフォーマンスの尺度としての AUC の一貫した解釈」(PDF)。第 28 回国際機械学習会議 (ICML-11) の議事録。pp. 657–664。

[hernandez2012unified-44] Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2012). 「パフォーマンスメトリックの統一的な見方: しきい値の選択を予測される分類損失に変換する」( PDF)。Journal of Machine Learning Research。13 : 2813–2869。

[Powers2012b-45] Powers, David MW (2012). 「曲線下面積の問題」。国際情報科学技術会議。

[46] Powers, David MW (2003). 「ブックメーカーに対するリコールと精度」(PDF)。国際認知科学会議 (ICSC-2003) の議事録、オーストラリアのシドニー、2003 年、529 ～ 534 ページ。

[47] Powers, David MW (2012). 「Kappa の問題」(PDF)。計算言語学協会ヨーロッパ支部会議 (EACL2012) ROBUS-UNSUP 合同ワークショップ。 2016 年 5 月 18 日のオリジナル(PDF)からアーカイブ。 2012 年 7 月 20 日閲覧。

[48] McClish, Donna Katzman (1989-08-01). 「ROC曲線の一部を分析する」。医療意思決定。9 (3): 190–195。doi : 10.1177 /0272989X8900900307。PMID 2668680。S2CID 24442201。

[49] Dodd, Lori E.; Pepe, Margaret S. (2003). 「部分AUC推定と回帰」.バイオメトリクス. 59 (3): 614–623. doi : 10.1111/1541-0420.00071 . PMID 14601762. S2CID 23054670.

[50] Karplus, Kevin (2011); 「偶然よりも優れている: ヌルモデルの重要性」、カリフォルニア大学サンタクルーズ校、プロテオミクス、構造生物学、バイオインフォマティクスにおけるパターン認識に関する第 1 回国際ワークショップの議事録 (PR PS BB 2011)

[51] 「C統計量：定義、例、重み付け、および有意性」。統計ハウツー。2016年8月28日。

[52] ^ポンティウス、ロバート ・ギルモア、パルメンティエ、ブノワ（2014）。「相対動作特性（ROC）の使用に関する推奨事項」ランドスケープエコロジー。29 （3）：367–382。doi ： 10.1007 / s10980-013-9984-8。S2CID 15924380 。

[53] Pontius, Robert Gilmore; Si, Kangping (2014). 「複数の閾値の診断能力を測定するための総合動作特性」. International Journal of Geographical Information Science . 28 (3): 570–583. doi :10.1080/13658816.2013.862623. S2CID 29204880.

[54] Navratil, J.; Klusacek, D. (2007-04-01). 「線形 DET について」。2007 IEEE 国際音響、音声、信号処理会議 - ICASSP '07。第 4 巻。pp. IV–229–IV–232。doi :10.1109 / ICASSP.2007.367205。ISBN 978-1-4244-0727-9. S2CID 18173315。

[55] Dev P. Chakraborty (2017 年 12 月 14 日)。「double+probability+paper」&pg=PT214 診断イメージングのための観察者パフォーマンス手法: R ベースの例による基礎、モデリング、およびアプリケーション。CRC Press。p. 214。ISBN 9781351230711. 2019年7月11日閲覧。

[56] MacMillan, Neil A.; Creelman, C. Douglas (2005).検出理論: ユーザーズガイド(第 2 版). マホワ、ニュージャージー: Lawrence Erlbaum Associates. ISBN 978-1-4106-1114-7。

[57] Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). 「認識記憶における受信者動作特性の傾き」.実験心理学ジャーナル: 学習、記憶、認知. 25 (2): 500–513. doi :10.1037/0278-7393.25.2.500.

[58] Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). 「認識記憶 ROC 関数のデータの経験的一般性と GMM への影響」.実験心理学ジャーナル: 学習、記憶、認知. 20 (4): 763–785. CiteSeerX 10.1.1.410.2114 . doi :10.1037/0278-7393.20.4.763. PMID 8064246.

[59] Zhang, Jun; Mueller, Shane T. (2005). 「ROC分析と感度のノンパラメトリック推定に関する注記」. Psychometrika . 70 : 203–212. CiteSeerX 10.1.1.162.1515 . doi :10.1007/s11336-003-1119-8. S2CID 122355230.

[60] Yonelinas, Andrew P.; Kroll, Neal EA; Dobbins, Ian G.; Lazzara, Michele; Knight, Robert T. (1998). 「健忘症における想起と親近感の障害: 記憶-認識、プロセス解離、受信者動作特性データの収束」。神経心理学。12 (3): 323–339。doi :10.1037/0894-4105.12.3.323。PMID 9673991 。

[green66-61] グリーン、デビッド・M.; スウェッツ、ジョン・A. (1966).信号検出理論と心理物理学. ニューヨーク、NY: John Wiley and Sons Inc. ISBN 978-0-471-32420-1。

[roc_etymology-62] 「受信者操作特性（ROC）曲線を使用した分類モデルの分析：歴史的関心の最終メモ」（PDF）。ユタ大学数学部。 2020年8月22日時点のオリジナルよりアーカイブ（PDF）。 2017年5月25日閲覧。

[63] Zweig, Mark H.; Campbell, Gregory (1993). 「受信者動作特性 (ROC) プロット: 臨床医学における基本的な評価ツール」(PDF) .臨床化学. 39 (8): 561–577. doi : 10.1093/clinchem/39.4.561 . PMID 8472349.

[64] Pepe, Margaret S. (2003).分類と予測のための医療検査の統計的評価。ニューヨーク、NY: Oxford。ISBN 978-0-19-856582-6。

[65] Obuchowski, Nancy A. (2003). 「受信者動作特性曲線と放射線学におけるその使用」.放射線学. 229 (1): 3–8. doi :10.1148/radiol.2291010898. PMID 14519861.

[66] Spackman, Kent A. (1989). 「信号検出理論: 帰納的学習を評価するための有用なツール」.第 6 回国際機械学習ワークショップの議事録. サンマテオ、カリフォルニア州: Morgan Kaufmann . pp. 160–163.

[67] Kharin, Viatcheslav (2003). 「確率予測のROCスコアについて」Journal of Climate . 16 (24): 4145–4150. Bibcode :2003JCli...16.4145K. doi : 10.1175/1520-0442(2003)016<4145:OTRSOP>2.0.CO;2 .

[68] 「レーダーの基礎」、デジタル信号処理技術とレーダー画像処理への応用、ホーボーケン、ニュージャージー州、米国：John Wiley & Sons、Inc.、pp. 93–115、2008-01-29、doi：10.1002/9780470377765.ch4、ISBN 9780470377765、 2023-05-20取得

[HandTill01-69] Till, DJ; Hand, RJ (2001). 「複数クラス分類問題におけるROC曲線下面積の単純な一般化」.機械学習. 45 (2): 171–186. doi : 10.1023/A:1010920819831 .

[Mossman99-70] Mossman, D. (1999). 「3方向ROC」.医療意思決定. 19 (1): 78–89. doi :10.1177/0272989x9901900110. PMID 9917023. S2CID 24623127.

[Ferri03-71] Ferri, C.; Hernandez-Orallo, J.; Salido, MA (2003). 「多クラス問題における ROC 面の下の体積」。機械学習: ECML 2003。pp. 108–120。

[bij2003regression-72] Bi, J.; Bennett, KP (2003). 「回帰誤差特性曲線」(PDF) .第20回国際機械学習会議 (ICML-2003). ワシントン DC .

[hernandez2013rroc-73] Hernandez-Orallo, J. (2013). 「回帰のためのROC曲線」.パターン認識. 46 (12): 3395–3411. Bibcode :2013PatRe..46.3395H. doi :10.1016/j.patcog.2013.06.014. hdl : 10251/40252 . S2CID 15651724.