総合動作特性

総合動作特性（TOC）は、ブール変数とランク変数を比較する統計的手法です。TOCは、特性の有無を診断するインデックス変数の能力を測定できます。特性の有無の診断は、インデックスの値がしきい値を超えているかどうかによって決まります。TOCは複数の可能なしきい値を考慮します。各しきい値は、ヒット、ミス、誤報、正しい拒否の4つのエントリを含む2行2列の分割表を生成します。^[1]

受信者動作特性（ROC）も診断能力を特徴づけますが、ROCが明らかにする情報はTOCよりも少ないです。各閾値について、ROCはヒット/（ヒット+ミス）と誤報/（誤報+正しい拒否）の2つの比率を明らかにしますが、TOCは各閾値の分割表の合計情報を示します。^[2] TOC法は、ROC法が提供するすべての情報に加えて、ROCでは明らかにされない追加の重要な情報、つまり各閾値の分割表の各エントリのサイズを明らかにします。TOCは、ROCの 一般的な曲線下面積（AUC）も提供します。

TOC は、土地変化科学、医療用画像処理、天気予報、リモートセンシング、材料試験など、さまざまな分野の診断能力を測定するために適用できます。

TOC 曲線を作成する手順では、ブール変数をインデックス変数と比較し、インデックスがさまざまなしきい値とどのように関連しているかに応じて、各観測を存在または不在として診断します。観測のインデックスがしきい値以上である場合、観測は存在と診断され、そうでない場合は、観測は不在と診断されます。ブール変数と単一のしきい値の診断の比較から得られる分割表には、4 つの中心となるエントリがあります。4 つの中心となるエントリは、ヒット ( H )、ミス ( M )、誤報 ( F )、および正しい拒否 ( C ) です。観測の総数は P  +  Qです。「真陽性」、「偽陰性」、「偽陽性」および「真陰性」という用語は、それぞれヒット、ミス、誤報、および正しい拒否に相当します。エントリは、次のように 2 x 2 の分割表または混同行列で定式化できます。

4 ビットの情報によって、分割表のすべてのエントリ（その限界合計を含む）が決定されます。たとえば、H、M、F、Cがわかれば、任意のしきい値のすべての限界合計を計算できます。あるいは、H / P、F / Q、P、Qがわかれば、表のすべてのエントリを計算できます。^[1] 2 ビットの情報だけでは分割表を完成させるには不十分です。たとえば、 ROC が示すようにH / PとF / Qしかわかっていない場合、表のすべてのエントリを知ることは不可能です。^[1]

4 つのボックスがある TOC 曲線は、TOC 曲線上の点がヒット、ミス、誤報、正しい拒否をどのように示すかを示します。TOC 曲線は、すべてのしきい値について分割表の合計情報を示す効果的な方法です。この TOC 曲線の作成に使用されたデータは、こちらからダウンロードできます。このデータセットには 30 個の観測値があり、それぞれがブール変数とインデックス変数の値で構成されています。観測値は、インデックスの最大値から最小値の順にランク付けされます。しきい値は 31 個あり、インデックスの 30 個の値と、すべてのインデックス値より大きい 1 つの追加しきい値で構成され、原点 (0,0) に点が作成されます。各点には、各しきい値の値を示すラベルが付けられています。水平軸の範囲は 0 から 30 で、これはデータセット内の観測数 ( P  +  Q ) です。垂直軸の範囲は 0 から 10 で、これはブール変数の存在観測数P (つまり、ヒット + ミス) です。 TOC曲線は、診断された存在量がブール値の存在量と一致する閾値も示します。これは、左側のTOC曲線が示すように、最大​​線とヒット+ミス線が交わる点の真下にある閾値点です。^[1]

次の 4 つの情報は、各しきい値の分割表の中心的なエントリです。

1. 各しきい値でのヒット数は、しきい値のポイントと水平軸の間の距離です。
2. 各しきい値でのミスの数は、しきい値のポイントとグラフの上部にあるヒット + ミスの水平線との間の距離です。
3. 各しきい値での誤警報の数は、しきい値のポイントと TOC スペースの左側を囲む青い破線の最大線との間の距離です。
4. 各しきい値での正しい拒否の数は、しきい値のポイントと TOC スペースの右側を囲む紫色の破線の最小線との間の距離です。

これらの図は、同じデータとしきい値を使用した TOC 曲線と ROC 曲線です。しきい値 74 に対応するポイントについて考えてみましょう。TOC 曲線はヒット数 3 を示し、したがってミス数 7 を示します。さらに、TOC 曲線は誤報数が 4 で正しい拒否数が 16 であることを示しています。ROC 曲線の任意のポイントで、誤報/(誤報 + 正しい拒否) およびヒット数/(ヒット + ミス) の比率の値を収集することができます。たとえば、しきい値 74 では、x 座標が 0.2、y 座標が 0.3 であることがわかります。ただし、これら 2 つの値では、基礎となる 2 x 2 分割表のすべてのエントリを構成するには不十分です。

TOC 曲線または ROC 曲線を要約するには、曲線下面積 (AUC) を報告するのが一般的です。ただし、診断能力を 1 つの数値に凝縮すると、曲線の形状を理解できなくなります。次の 3 つの TOC 曲線は、AUC が 0.75 であるものの、形状が異なる TOC 曲線です。^{[引用が必要]}

左側の TOC 曲線は、インデックス変数が原点付近の高い閾値では高い診断能力を持ち、曲線の右上付近の低い閾値ではランダムな診断能力を持つ例を示しています。曲線は、閾値 86 に達するまで存在の正確な診断を示しています。その後、曲線は横ばいになり、ランダムな線付近で予測します。^{[引用が必要]}

この TOC 曲線は、インデックス変数がすべてのしきい値で中程度の診断能力を持つ例を示しています。曲線は一貫してランダム ラインより上にあります。

この TOC 曲線は、インデックス変数が高しきい値でランダムな診断能力を持ち、低しきい値で高い診断能力を持つ例を示しています。曲線は原点付近の最高しきい値でランダムな線をたどり、右上隅付近でしきい値が下がるとインデックス変数は欠如を正しく診断します。

診断能力を測定する際によく報告される指標は、曲線下面積（AUC）です。AUC は、TOC と ROC から計算できます。TOC 曲線の曲線下面積を計算する場合でも、ROC 曲線の曲線下面積を計算する場合でも、AUC の値は、同じデータに対して一貫しています。AUC は、診断によって、ランダムに選択されたブール値の存在の観測値が、ランダムに選択されたブール値の欠如の観測値よりも高くランク付けされる確率を示します。^[3] AUC は、診断能力を 1 つの数値で要約するため、多くの研究者の関心を集めていますが、特に空間的に明示的な分析の場合、AUC は誤解を招く可能性がある指標として批判されてきました。^{[3] [4]} 批判される AUC の特徴には、1) AUC がしきい値を無視する、2) AUC が、めったに操作されない TOC または ROC 空間の領域にわたってテストのパフォーマンスを要約する、3) AUC が省略エラーとコミッション エラーを同等に重み付けする、4) AUC がモデル エラーの空間分布に関する情報を提供しない、などがあります。 5)空間範囲の選択は、正確に診断された欠席率とAUCスコアに大きく影響します。^[5] しかし、これらの批判のほとんどは、他の多くの指標にも当てはまります。

正規化された単位を使用する場合、曲線の下の面積（単にAUCと呼ばれることが多い）は、分類器がランダムに選択された陽性インスタンスをランダムに選択された陰性インスタンスよりも高くランク付けする確率に等しい（「陽性」が「陰性」よりも高いランク付けであると仮定）。^[6]これは次のように見ることができます。曲線の下の面積は次のように与えられます（積分境界は逆で、Tが大きいほどx軸上の値が低くなります）

${\displaystyle TPR(T):T\rightarrow y(x)}$

${\displaystyle FPR(T):T\rightarrow x}$

${\displaystyle A=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'>T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}>X_{0})}$

ここで、は正のインスタンスのスコア、は負のインスタンスのスコア、 およびは前のセクションで定義した確率密度です。 ${\displaystyle X_{1}}$${\displaystyle X_{0}}$${\displaystyle f_{0}}$${\displaystyle f_{1}}$

さらに、AUCはマン・ホイットニーU検定^{[7] [8]}と密接に関連していることが示されています。マン・ホイットニーU検定は、陽性が陰性よりも高い順位にあるかどうかを検定する検定です。また、ウィルコクソンの順位検定^[8]と同等です。AUCは、ジニ係数（）と次の式で関連しています。 ${\displaystyle G_{1}}$${\displaystyle G_{1}=2{\mbox{AUC}}-1}$

${\displaystyle G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})}$^[9]

この方法では、いくつかの台形近似の平均を使用して AUC を計算することができます。

TOC凸包の下の面積（ROC AUCH = ROCH AUC）を計算することも一般的です。これは、2つの予測結果間の線分上の任意の点を、線分の反対側のコンポーネントの相対的な長さに比例する確率で、どちらかのシステムをランダムに使用することで実現できるためです。^[10]また、凹面を反転することも可能です。図のように、悪い解をより良い解に反映させることができます。凹面はどの線分にも反映させることができますが、この極端な融合形式では、データが過剰適合する可能性がはるかに高くなります。^[11]

TOC AUC のもう 1 つの問題は、TOC 曲線を 1 つの数値に減らすと、それが個々のシステムのパフォーマンスではなく、プロットされたさまざまなシステムまたはパフォーマンス ポイント間のトレードオフに関するものであるという事実が無視され、凹面修復の可能性も無視されるため、情報提供^[要出典]や DeltaP などの関連する代替指標が推奨されることです。^{[12] [13]}これらの指標は、DeltaP' = 情報提供 = 2AUC-1 の単一の予測ポイントのジニ係数と本質的に同等ですが、DeltaP = マークネスはデュアル (つまり、実際のクラスから予測を予測する) を表し、それらの幾何平均はマシューズ相関係数です。^[要出典]

TOC AUC は 0 から 1 の間で変動し、無情報分類器では 0.5 になりますが、情報提供度^{[引用が必要]} 、確実性^[12]、ジニ係数(単一パラメータ化または単一システムの場合) ^{[引用が必要]}として知られる代替尺度はすべて、0 が偶然のパフォーマンスを表すのに対し 1 は完全なパフォーマンスを表し、-1 は常に間違った応答を返す完全な情報提供の「間違った」ケースを表すという利点があります。^{[14]偶然のパフォーマンスを 0 にすると、これらの代替尺度をカッパ統計として解釈できます。情報提供度は、}コーエン カッパやフライス カッパなどの他の一般的なカッパの定義と比較して、機械学習に望ましい特性を持つことが示されています。^{[引用が必要] [15]}

TOC曲線全体を見るよりも、特定の領域を見る方が有用な場合があります。部分的なAUCを計算することが可能です。^[16]たとえば、偽陽性率が低い曲線の領域に焦点を当てることができます。これは、集団スクリーニングテストで最も重要なことです。^[17] P ≪ N である分類問題に対するもう1つの一般的なアプローチ（バイオインフォマティクスアプリケーションで一般的）は、x軸に対数スケールを使用することです。^[18]

• ブライアースコア
• 決定係数
• 一定の誤報率
• 検出誤差のトレードオフ
• 検出理論
• F1スコア
• 誤報
• 精度と再現率
• ロケット
• 受信者動作特性

ウィキメディア・コモンズには、受信者動作特性に関連するメディアがあります。

• Pontius Jr、Robert Gilmore、Si、Kangping (2014)。「複数の閾値の診断能力を測定するための総合動作特性」。国際地理情報科学ジャーナル。28 (3): 570–583。doi :10.1080/13658816.2013.862623。S2CID 29204880  。
• Pontius Jr、Robert Gilmore、Parmentier、Benoit (2014)。「相対動作特性 (ROC) の使用に関する推奨事項」。Landscape Ecology。29 ( 3 ): 367–382。doi : 10.1007 /s10980-013-9984-8。S2CID 254740981  。
• マス、ジャン＝フランソワ。フィリョ、ブリタルド・ソアレス。ポンティアス・ジュニア、ロバート・ギルモア。グティエレス、ミシェル・ファルファン。ロドリゲス、ヘルマン (2013)。 「空間モデルの ROC 分析のためのツール スイート」。ISPRS 国際地理情報ジャーナル。2 (3): 869–887。Bibcode :2013IJGI....2..869M。土井：10.3390/ijgi2030869。
• Pontius Jr, Robert Gilmore; Pacheco, Pablo (2004)。「インド西ガーツ山脈における森林撹乱モデルの較正と検証 1920-1990」。GeoJournal。61 ( 4 ): 325–334。doi : 10.1007 /s10708-004-5049-5。S2CID 155073463  。
• Pontius Jr、Robert Gilmore、Batchu 、 Kiran (2003)。「相対的動作特性を使用して、インドにおける土地被覆変化の場所の予測の確実性を定量化する」。Transactions in GIS。7 ( 4): 467–484。doi : 10.1111/1467-9671.00159。S2CID 14452746  。
• Pontius Jr, Robert Gilmore; Schneider, Laura (2001). 「米国マサチューセッツ州イプスウィッチ流域におけるROC法による土地利用変化モデルの検証」. Agriculture, Ecosystems & Environment . 85 (1–3): 239–248. doi :10.1016/s0167-8809(01)00187-6.

• 総合動作特性の紹介：土地変化モデル評価における有用性
• 山火事リスクにおけるTOCの活用
• RでTOCパッケージを実行する方法
• Github 上の TOC R パッケージ
• TOC 曲線を生成するための Excel ワークブック
• Google Earth Engine TOC 曲線チュートリアル
• Google Earth Engine TOC 曲線のソースコード