複数の異なる集合またはクラスのいずれかに属するメンバーで構成される集団が与えられた場合、分類ルールまたは分類器は、集団の要素がそれぞれいずれかのクラスに属すると予測される手順です。[ 1 ]完全な分類とは、集団内のすべての要素が実際に属するクラスに割り当てられる分類のことです。ベイズ分類器は、分類対象の要素の既知の属性(つまり特徴または回帰変数)に基づいてクラスを最適に割り当てる分類器です。
分類規則の特殊な形態として、二値分類がある。これは、クラスが2つしかない問題に適用される。
xとyのペアからなるデータセットが与えられたとき、xは母集団の要素を表し、yはそれが属するクラスを表す。分類規則h ( x )は、各要素xを予測されたクラスに割り当てる関数である。二値分類とは、ラベルyが2つの値のうち1つしか取らない分類のことである。
真のラベルy i は既知であるが、必ずしも近似値と一致するとは限らない二値分類において、正しく分類されなかった要素は、偽陽性および偽陰性と呼ばれます。
分類ルールの中には静的な関数であるものもあれば、コンピュータプログラムであるものもある。コンピュータ分類器は学習することも、静的な分類ルールを実装することもできる。トレーニングデータセットの場合、真のラベルy jは不明だが、近似値である分類手順の主要なターゲットである。可能な限り正確に近似を行う必要があり、その近似の精度は、将来の観測データが抽出される母集団全体の統計的または確率的特性に基づいて判断する必要がある。
分類規則が与えられた場合、分類テストとは、その規則を初期データセットの有限サンプルに適用した結果のことである。
分類は、二値分類と多クラス分類という 2 つの別々の問題として考えることができます。二値分類は、よりよく理解されているタスクであり、2 つのクラスのみが関係しますが、多クラス分類では、オブジェクトを複数のクラスのいずれかに割り当てます。[ 2 ]多くの分類手法は二値分類のために特別に開発されているため、多クラス分類では、多くの場合、複数の二値分類器を組み合わせて使用する必要があります。重要な点は、多くの実際的な二値分類問題では、2 つのグループが対称ではないということです。全体的な精度ではなく、さまざまな種類のエラーの相対的な割合が重要になります。たとえば、医療検査では、偽陽性 (病気が存在しないのに病気を検出する) は、偽陰性 (病気が存在するのに病気を検出しない) とは異なるものとして考えられます。多クラス分類では、クラスは対称的 (すべてのエラーが同等) または非対称的 (かなり複雑) に考えることができます。
二値分類手法には、プロビット回帰とロジスティック回帰が含まれます。多クラス分類手法には、多項プロビットと多項ロジットが含まれます。

分類関数が完璧でない場合、誤った結果が表示されます。右の画像の例では、線の左側(真の側)に 20 個の点がありますが、そのうち実際に正しいのは 8 個だけです。同様の状況が線の右側(誤った側)にあり、右側に 16 個の点があり、そのうち 4 個の点が誤って正しいとマークされています。点の位置を使用して、値を表現するための混同行列を作成できます。4 つの異なる結果を表現するために、4 つの異なる指標を使用できます。真陽性 (TP)、偽陽性 (FP)、偽陰性 (FN)、および真陰性 (TN) です。
偽陽性とは、検査が誤って(不正確に)陽性結果を報告する場合に発生します。例えば、ある疾患の医学検査で、患者が実際にはその疾患にかかっていないにもかかわらず、陽性結果が出たと判定されることがあります。偽陽性は、混同行列の右上(状態陰性×検査結果陽性)の要素として表されるのが一般的です。
一方、偽陰性とは、検査が誤って陰性結果を報告する場合に発生します。例えば、ある疾患の医学検査で、患者が実際にはその疾患にかかっているにもかかわらず、陰性結果が出たとしても、患者は疾患にかかっていないと判断されることがあります。偽陰性は、混同行列の左下(状態陽性×検査結果陰性)の単位として一般的に表されます。
真陽性とは、検査が正しく陽性結果を報告する場合に発生します。例えば、ある疾患の医学検査で陽性結果が出たとすると、患者はその疾患に罹患していることを示します。患者の検査で疾患の存在が確認された場合、これは真陽性であることが証明されます。真陽性は、混同行列の左上(状態陽性×検査結果陽性)の要素として表されるのが一般的です。
真の陰性とは、検査が正しく陰性結果を報告する場合を指します。例えば、ある疾患の医学検査で陽性結果が出たとしても、患者はその疾患にかかっていないと判断される場合があります。患者の検査結果も陰性であれば、これは真実であることが証明されます。真の陰性は、混同行列の右下(状態陰性×検査結果陰性)の要素として表されるのが一般的です。
ベイズの定理を用いることで、真陽性、偽陽性、真陰性、偽陰性を計算することもできます。ベイズの定理を用いることで、事象に関連する可能性のある条件に関する事前知識に基づいて、事象の確率(確率論)を記述することができます。以下の例を用いて、4つの分類を示します。
真陽性、偽陽性、偽陰性、真陰性に関して:
ベイズの定理を用いることで、陽性結果が実際には偽陽性である確率を求めることができます。病気が稀な場合、検査の精度が比較的高くても、陽性結果の大部分は偽陽性である可能性があることがわかります。
単純に考えると、陽性反応が出た検査結果のうち、偽陽性はわずか5%に過ぎないと思うかもしれないが、それは全くの間違いである。これから見ていくとおりだ。
仮に、人口のわずか0.1%しかその病気にかかっていないとすると、無作為に選ばれた患者がその病気にかかっている事前確率は0.001となる。
ベイズの定理を用いることで、陽性検査結果が偽陽性である確率を計算できる。
したがって、陽性結果が偽陽性である確率は約 1 − 0.019 = 0.98、つまり98% です。
検査の精度は高いように見えるものの、この疾患の発生率が非常に低いため、検査で陽性反応が出た患者の大多数は実際には疾患にかかっていません。しかしながら、検査で陽性反応が出た患者のうち実際に疾患にかかっている人の割合(0.019)は、まだ検査を受けていない人のうち疾患にかかっている人の割合(0.001)の19倍です。したがって、この検査は無意味ではなく、再検査によって結果の信頼性が向上する可能性があります。
偽陽性の問題を減らすためには、患者が病気にかかっていない場合に陰性結果を報告する検査は非常に正確でなければなりません。検査が病気にかかっていない患者に対して0.999の確率で陰性結果を報告する場合、
つまり、1 − 0.5 = 0.5 が偽陽性の確率となります。
上記の例を用いて、ベイズの定理により、陰性結果が実際には偽陰性である確率を求めることができます。
陰性結果が偽陰性である確率は約0.0000105、つまり0.00105%です。疾患が稀な場合、偽陰性は検査における大きな問題にはなりません。
しかし、人口の60%が病気にかかっている場合、偽陰性の確率は高くなります。上記の検査では、偽陰性の確率は
陰性結果が偽陰性である確率は0.0155、つまり 1.55%に上昇する。
上記の例を用いて、ベイズの定理を使って、陽性結果が実際に真の陽性である確率を求めることができます。
Aを患者が病気にかかっている状態、Bを検査結果が陽性である証拠とします。このとき、検査結果が陽性である場合に患者が実際に病気にかかっている確率は次のようになります。
陽性結果が真の陽性である確率は約0.019%です。
ベイズの定理を用いて、真の陰性の確率を計算することもできます。上記の例を用いて説明します。
陰性結果が真の陰性である確率は0.9999494、つまり99.99%です。この疾患は稀であり、陽性率が高く、陰性率も高いため、真の陰性率は高くなります。
分類器を訓練する際には、感度と特異度という広く受け入れられている指標を用いてその性能を測定したいと思うかもしれません。病気の罹患率に基づいてコインを投げるランダム分類器と分類器を比較することは有益かもしれません。ある人が病気にかかっている確率がそして、そうしない確率はでは、患者がその病気にかかっていると推測するランダム分類器が同じ確率で存在すると仮定しましょう。そして、同じ確率でそうではないと推測する。
真陽性の確率は、患者が病気にかかっている確率に、ランダム分類器がこれを正しく推測する確率を掛けたものです。同様の推論により、偽陰性の確率は上記の定義から、この分類器の感度は同様の推論により、特異度を次のように計算できます。。
つまり、この指標自体は疾患の罹患率とは無関係ですが、このランダム分類器の性能は疾患の罹患率に依存します。分類器の性能は、このランダム分類器と似ていますが、より適切な重み付け(感度と特異度が高い)を持つ可能性があります。したがって、これらの指標は疾患の罹患率の影響を受ける可能性があります。性能の別の指標としてマシューズ相関係数があり、ランダム分類器の平均スコアは0になります。
この概念を非二値分類に拡張すると、混同行列が得られます。