ナイーブベイズ分類器

統計学において、ナイーブベイズ分類器は、対象クラスが与えられた場合に特徴が条件付きで独立していると仮定する線形「確率分類器」のファミリーです。この仮定の強さ（ナイーブさ）が分類器の名前の由来です。これらの分類器は、最も単純なベイジアンネットワークモデルの1つです。^[1]

ナイーブベイズ分類器は拡張性が高く、学習問題における変数（特徴量/予測子）の数に比例するパラメータ数を必要とします。最大尤度トレーニングは、他の多くの分類器で使用される 高価な反復近似ではなく、線形時間で閉形式式を評価することによって実行できます。 ^{[2] : 718}

統計学の文献では、ナイーブベイズモデルは、単純ベイズや独立ベイズなど、さまざまな名前で知られています。^[3]これらの名前はすべて、分類器の決定ルールでベイズの定理を使用していることを示していますが、ナイーブベイズは（必ずしも）ベイズ法ではありません。^{[2] [3]}

ナイーブ ベイズは、分類器を構築するためのシンプルな手法です。分類器は、問題インスタンスにクラス ラベルを割り当てるモデルで、クラス ラベルは有限セットから抽出され、特徴値のベクトルとして表されます。このような分類器をトレーニングするための単一のアルゴリズムはありませんが、共通の原則に基づくアルゴリズム ファミリがあります。つまり、すべてのナイーブ ベイズ分類器は、クラス変数が与えられた場合、特定の特徴の値は他の特徴の値とは無関係であると想定します。たとえば、果物が赤く、丸く、直径が約 10 cm の場合、それはリンゴであるとみなされます。ナイーブ ベイズ分類器は、色、丸み、直径の特徴間の 相関関係に関係なく、これらの特徴のそれぞれが、この果物がリンゴである確率に独立して寄与しているとみなします。

多くの実際のアプリケーションでは、ナイーブ ベイズ モデルのパラメータ推定に最大尤度法が使用されます。つまり、ベイズ確率を受け入れたり、ベイズ法を使用したりせずに、ナイーブ ベイズ モデルを操作できます。

ナイーブベイズ分類器は、その素朴な設計と、明らかに単純化しすぎた仮定にもかかわらず、多くの複雑な現実世界の状況で非常にうまく機能してきました。2004年に行われたベイズ分類問題の分析では、ナイーブベイズ分類器の一見信じ難い有効性には、しっかりとした理論的根拠があることが示されました。^{[4]それでも、2006年に行われた他の分類アルゴリズムとの包括的な比較では、ベイズ分類は}ブーストツリーやランダムフォレストなどの他のアプローチよりも優れていることが示されました。^[5]

ナイーブベイズの利点は、分類に必要なパラメータを推定するのに少量のトレーニングデータしか必要としないことである。^[6]

抽象的には、ナイーブベイズは条件付き確率モデルです。分類すべき問題インスタンスを与えられた場合に、K個の可能な結果またはクラスのそれぞれに確率を割り当てます。これは、 n個の特徴（独立変数）をエンコードしたベクトルによって表されます。 ^[7]${\displaystyle p(C_{k}\mid x_{1},\ldots ,x_{n})}$ ${\displaystyle C_{k}}$${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{n})}$

上記の定式化の問題点は、特徴の数nが大きい場合、または特徴が多数の値を取る可能性がある場合、そのようなモデルを確率表に基づいて作成することは実行不可能であるということです。したがって、モデルはより扱いやすいように再定式化する必要があります。ベイズの定理を使用すると、条件付き確率は次のように分解できます。 $${\displaystyle p(C_{k}\mid \mathbf {x} )={\frac {p(C_{k})\ p(\mathbf {x} \mid C_{k})}{p(\mathbf {x} )}}\,}$$

平易な英語で、ベイズ確率の用語を使って、上記の式は次のように書くことができる。 $${\displaystyle {\text{事後確率}}={\frac {{\text{事前確率}}\times {\text{尤度}}}{\text{証拠}}}\,}$$

実際には、分数の分子にのみ関心があります。分母は に依存せず、特徴の値が与えられているため、分母は実質的に一定です。分子は、条件付き確率の定義を繰り返し適用するための連鎖律 を使用して、次のように書き直すことができる結合確率モデル に相当します。 ${\displaystyle C}$${\displaystyle x_{i}}$$${\displaystyle p(C_{k},x_{1},\ldots ,x_{n})\,}$$$${\displaystyle {\begin{aligned}p(C_{k},x_{1},\ldots ,x_{n})&=p(x_{1},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\ p(x_{3},\ldots ,x_{n},C_{k})\\&=\cdots \\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\cdots p(x_{n-1}\mid x_{n},C_{k})\ p(x_{n}\mid C_{k})\ p(C_{k})\\\end{aligned}}}$$

ここで、「単純な」条件付き独立性の仮定が作用します。つまり、 内のすべての特徴が、カテゴリ を条件として相互に独立していると仮定します。この仮定の下では、 ${\displaystyle \mathbf {x} }$${\displaystyle C_{k}}$$${\displaystyle p(x_{i}\mid x_{i+1},\ldots ,x_{n},C_{k})=p(x_{i}\mid C_{k})\,.}$$

したがって、ジョイントモデルは 次のように表すことができます。 ここで、分母は省略されているため、は比例を表します。$${\displaystyle {\begin{aligned}p(C_{k}\mid x_{1},\ldots ,x_{n})\varpropto \ &p(C_{k},x_{1},\ldots ,x_{n})\\&=p(C_{k})\ p(x_{1}\mid C_{k})\ p(x_{2}\mid C_{k})\ p(x_{3}\mid C_{k})\ \cdots \\&=p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})\,,\end{aligned}}}$$${\displaystyle \varpropto }$${\displaystyle p(\mathbf {x} )}$

これは、上記の独立性の仮定の下で、クラス変数上の条件付き分布が次のようになることを意味します。 ここで、証拠はのみに依存するスケーリング係数、つまり、特徴変数の値がわかっている場合は定数です。 ${\displaystyle C}$$${\displaystyle p(C_{k}\mid x_{1},\ldots ,x_{n})={\frac {1}{Z}}\ p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})}$$${\displaystyle Z=p(\mathbf {x} )=\sum _{k}p(C_{k})\ p(\mathbf {x} \mid C_{k})}$${\displaystyle x_{1},\ldots ,x_{n}}$

これまでの議論では、独立した特徴モデル、つまりナイーブベイズ確率モデルを導出しました。ナイーブベイズ分類器は、このモデルを決定ルールと組み合わせます。一般的なルールの 1 つは、誤分類の確率を最小限に抑えるために最も可能性の高い仮説を選択することです。これは、最大事後確率またはMAP決定ルールとして知られています。対応する分類器であるベイズ分類器は、次のように kにクラスラベルを割り当てる関数です。${\displaystyle {\hat {y}}=C_{k}}$$${\displaystyle {\hat {y}}={\underset {k\in \{1,\ldots ,K\}}{\operatorname {argmax} }}\ p(C_{k})\displaystyle \prod _{i=1}^{n}p(x_{i}\mid C_{k}).}$$

クラスの事前分布は、等確率クラス、すなわち と仮定して計算するか、トレーニングセットからクラス確率の推定値を計算することによって計算できます。 特徴の分布のパラメータを推定するには、分布を仮定するか、トレーニングセットから特徴のノンパラメトリックモデル を生成する必要があります。 ^[8]${\displaystyle p(C_{k})={\frac {1}{K}}}$$${\displaystyle {\text{prior for a given class}}={\frac {\text{no. of samples in that class}}{\text{total no. of samples}}}\,}$$

特徴の分布に関する仮定は、ナイーブベイズ分類器の「イベントモデル」と呼ばれます。文書分類（スパムフィルタリングを含む）で遭遇するような離散的な特徴の場合、多項分布とベルヌーイ分布が一般的です。これらの仮定は、しばしば混同される2つの異なるモデルにつながります。^{[9] [10]}

連続データを扱う場合、各クラスに関連付けられた連続値は正規分布（またはガウス分布）に従って分布しているという仮定が一般的です。たとえば、トレーニング データに連続属性 が含まれているとします。データは最初にクラス でセグメント化され、次に各クラスで の平均と分散が計算されます。をクラス に関連付けられた値の平均とし、 をクラス に関連付けられた値のベッセル補正分散とします。ある観測値 を収集したとします。すると、クラス が与えられた場合の確率密度、つまり は、およびによってパラメータ化された正規分布の方程式に代入することで計算できます。正式には、 ${\displaystyle x}$${\displaystyle x}$${\displaystyle \mu _{k}}$${\displaystyle x}$${\displaystyle C_{k}}$${\displaystyle \sigma _{k}^{2}}$${\displaystyle x}$${\displaystyle C_{k}}$${\displaystyle v}$${\displaystyle v}$${\displaystyle C_{k}}$${\displaystyle p(x=v\mid C_{k})}$${\displaystyle v}$${\displaystyle \mu _{k}}$${\displaystyle \sigma _{k}^{2}}$$${\displaystyle p(x=v\mid C_{k})={\frac {1}{\sqrt {2\pi \sigma _{k}^{2}}}}\,e^{-{\frac {(v-\mu _{k})^{2}}{2\sigma _{k}^{2}}}}}$$

連続値を扱うためのもう一つの一般的な手法は、ビニングを使用して特徴値を離散化し、ベルヌーイ分布の特徴の新しいセットを取得することです。一部の文献では、ナイーブベイズを使用するにはこれが必要であると示唆していますが、離散化によって識別情報が失われる可能性があるため、これは正しくありません。^[3]

クラス条件付き周辺密度の分布は、正規分布から大きく外れている場合があります。このような場合、カーネル密度推定を使用して、各クラスの周辺密度をより現実的に推定することができます。ジョンとラングレーによって導入されたこの方法^[8]は、分類器の精度を大幅に向上させることができます。^{[11] [12]}

多項式イベントモデルでは、サンプル（特徴ベクトル）は、多項式 によって特定のイベントが生成された頻度を表します。ここで、はイベントiが発生する確率です（または、多クラスの場合はK個のそのような多項式）。特徴ベクトルはヒストグラムで、 は特定のインスタンスでイベントiが観測された回数をカウントします。これは、ドキュメント分類によく使用されるイベントモデルで、イベントは単一のドキュメント内の単語の出現を表します（bag of words仮定を参照）。^{[13]ヒストグラム}x を観測する尤度は次のように与えられます。 ここで、 。 ${\displaystyle (p_{1},\dots ,p_{n})}$${\displaystyle p_{i}}$${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})}$${\displaystyle x_{i}}$$${\displaystyle p(\mathbf {x} \mid C_{k})={\frac {(\sum _{i=1}^{n}x_{i})!}{\prod _{i=1}^{n}x_{i}!}}\prod _{i=1}^{n}{p_{ki}}^{x_{i}}}$$${\displaystyle p_{ki}:=p(i\mid C_{k})}$

多項式ナイーブベイズ分類器は、対数空間で表現すると線形分類器になる: ^[14] ここで、およびである。多数の小さな値を乗算すると大きな丸め誤差が生じる可能性があるため、対数空間でパラメータを推定することは有利である。対数変換を適用すると、この丸め誤差の影響が軽減される。 $${\displaystyle {\begin{aligned}\log p(C_{k}\mid \mathbf {x} )&\varpropto \log \left(p(C_{k})\prod _{i=1}^{n}{p_{ki}}^{x_{i}}\right)\\&=\log p(C_{k})+\sum _{i=1}^{n}x_{i}\cdot \log p_{ki}\\&=b+\mathbf {w} _{k}^{\top }\mathbf {x} \end{aligned}}}$$${\displaystyle b=\log p(C_{k})}$${\displaystyle w_{ki}=\log p_{ki}}$

特定のクラスと特徴値がトレーニング データ内で一緒に出現しない場合、頻度ベースの確率推定値は 0 になります。これは、確率推定値が特徴値の発生回数に直接比例するためです。他の確率を掛け合わせると、他の確率の情報がすべて消去されるため、これは問題となります。したがって、確率が正確に 0 に設定されないように、すべての確率推定値に擬似カウントと呼ばれる小サンプル補正を組み込むことが望ましい場合がよくあります。このナイーブ ベイズ正規化方法は、擬似カウントが 1 の場合はラプラス スムージング、一般的な場合は リドストン スムージングと呼ばれます。

レニーらは、文書分類の文脈における多項式仮定の問題点と、生の用語頻度の代わりにtf-idf重みを使用し、文書長を正規化するなど、それらの問題を軽減する可能性のある方法について議論し、サポートベクターマシンと競合できるナイーブベイズ分類器を作成しています。^[14]

多変量ベルヌーイ事象モデルでは、特徴は入力を記述する独立したブール変数（バイナリ変数）です。多項式モデルと同様に、このモデルは文書分類タスクでよく使用されます。^[9]このタスクでは、用語の頻度ではなくバイナリ用語出現特徴が使用されます。 が語彙のi番目の用語の出現または不在を表すブール値である場合、クラスが与えられた文書の尤度は次のように与えられます。^[9] ここで、 はクラスが用語を生成する確率です。このイベントモデルは、短いテキストを分類する場合に特によく使用されます。用語の不在を明示的にモデル化できるという利点があります。ベルヌーイ事象モデルを使用したナイーブベイズ分類器は、頻度カウントが 1 に切り捨てられた多項式 NB 分類器と同じではないことに注意してください。 ${\displaystyle x_{i}}$${\displaystyle C_{k}}$ $${\displaystyle p(\mathbf {x} \mid C_{k})=\prod _{i=1}^{n}p_{ki}^{x_{i}}(1-p_{ki})^{(1-x_{i})}}$$${\displaystyle p_{ki}}$${\displaystyle C_{k}}$${\displaystyle x_{i}}$

ラベル付きデータからナイーブベイズ分類器を訓練する方法が与えられれば、教師あり学習アルゴリズムをループで実行することで、ラベル付きデータとラベルなしデータの組み合わせから学習できる半教師あり訓練アルゴリズムを構築することが可能です。^[15]

1. ラベル付きサンプルLとラベルなしサンプルUのコレクションが与えられた場合、 Lで単純ベイズ分類器をトレーニングすることから始めます。${\displaystyle D=L\uplus U}$
2. 収束するまで、次の操作を実行します。
   1. すべての例xのクラス確率を予測します。${\displaystyle P(C\mid x)}$${\displaystyle D}$
   2. 前のステップで予測された確率（ラベルではなく）に基づいてモデルを再トレーニングします。

収束はモデル尤度の改善に基づいて決定されます。ここで、はナイーブベイズモデルのパラメータを表します。 ${\displaystyle P(D\mid \theta )}$${\displaystyle \theta }$

このトレーニングアルゴリズムは、より一般的な期待最大化アルゴリズム（EM）の一例です。ループ内の予測ステップはEMのEステップであり、ナイーブベイズの再トレーニングはMステップです。このアルゴリズムは、データが混合モデルによって生成され、この混合モデルのコンポーネントがまさに分類問題のクラスであるという仮定によって正式に正当化されます。^[15]

広範囲にわたる独立性の仮定はしばしば不正確であるという事実にもかかわらず、ナイーブベイズ分類器は、実際には驚くほど有用となるいくつかの特性を有する。特に、クラス条件付き特徴分布の分離は、各分布を独立して 1 次元分布として推定できることを意味する。これは、特徴の数に応じて指数関数的に拡大するデータセットの必要性など、次元の呪いに起因する問題を軽減するのに役立つ。ナイーブベイズは正しいクラス確率の適切な推定値を生成できないことが多いが、 ^[16]これは多くのアプリケーションで必須ではないかもしれない。たとえば、正しいクラスが他のどのクラスよりも確率が高いと予測される限り、ナイーブベイズ分類器は正しい MAP 決定ルール分類を行う。これは、確率推定値がわずかに、あるいは大幅に不正確であるかどうかに関係なく当てはまる。このようにして、全体的な分類器は、その基礎となるナイーブ確率モデルの重大な欠陥を無視できるほど堅牢になる可能性がある。^[17]ナイーブベイズ分類器の成功のその他の理由については、以下に引用する文献で議論されている。

離散入力（離散イベントの指標または頻度特徴）の場合、ナイーブベイズ分類器は多項ロジスティック回帰分類器と生成-識別ペアを形成します。各ナイーブベイズ分類器は、結合尤度を最適化する確率モデルを当てはめる方法と考えることができますが、ロジスティック回帰は同じ確率モデルを当てはめて条件付きを最適化します。^[18]${\displaystyle p(C,\mathbf {x} )}$${\displaystyle p(C\mid \mathbf {x} )}$

より正式には、次のようになります。

2 つの関係は、ナイーブ ベイズの決定関数 (バイナリの場合) が「 のオッズが のオッズを超える場合にクラスを予測する」と書き直せることを観察することでわかります。これを対数空間で表現すると次のようになります。 ${\displaystyle C_{1}}$${\displaystyle p(C_{1}\mid \mathbf {x} )}$${\displaystyle p(C_{2}\mid \mathbf {x} )}$$${\displaystyle \log {\frac {p(C_{1}\mid \mathbf {x} )}{p(C_{2}\mid \mathbf {x} )}}=\log p(C_{1}\mid \mathbf {x} )-\log p(C_{2}\mid \mathbf {x} )>0}$$

この式の左側は、ロジスティック回帰の基礎となる線形モデルによって予測される量である対数オッズ、またはlogitです。ナイーブ ベイズも 2 つの「離散」イベント モデルの線形モデルであるため、線形関数 として再パラメータ化できます。確率を取得するには、ロジスティック関数を に適用するか、マルチクラスの場合はソフトマックス関数 を適用します。 ${\displaystyle b+\mathbf {w} ^{\top }x>0}$${\displaystyle b+\mathbf {w} ^{\top }x}$

識別分類器は生成分類器よりも漸近誤差が低いが、NgとJordanの研究では、いくつかの実用的なケースでは、ナイーブベイズの方が漸近誤差に早く到達するため、ロジスティック回帰よりも優れていることが示された。^[18]

問題: 測定された特徴に基づいて、特定の人物が男性か女性かを分類します。特徴には、身長、体重、足のサイズが含まれます。NB 分類器では、これらを独立したものとして扱いますが、実際にはそうではありません。

以下にトレーニング セットの例を示します。

ガウス分布の仮定を使用してトレーニング セットから作成された分類器は次のようになります (分散は不偏 サンプル分散であると仮定)。

次の例では、P(男性) = P(女性) = 0.5 となるように、クラスが等確率であると想定しています。この事前確率分布は、より大きな集団またはトレーニング セット内の頻度に関する事前知識に基づいている可能性があります。

以下は男性または女性として分類されるサンプルです。

サンプルを分類するには、男性と女性のどちらの事後分布が大きいかを判断する必要がある。男性として分類する場合、事後分布は次のように表される。 $${\displaystyle {\text{posterior (male)}}={\frac {P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})}{\text{evidence}}}}$$

女性として分類する場合、事後確率は次のように表される。 $${\displaystyle {\text{posterior (female)}}={\frac {P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})}{\text{evidence}}}}$$

証拠（正規化定数とも呼ばれる）は次のように計算できます。 $${\displaystyle {\begin{aligned}{\text{evidence}}=P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})\\+P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})\end{aligned}}}$$

ただし、サンプルが与えられている場合、証拠は定数であるため、両方の事後分布を均等にスケーリングします。したがって、分類には影響せず、無視できます。これで、サンプルの性別の 確率分布を決定できます。 ここで、 と は、トレーニング セットから以前に決定された正規分布のパラメーターです。ここでは 1 より大きい値でも問題ないことに注意してください。身長は連続変数である ため、これは確率ではなく確率密度です。$${\displaystyle P({\text{male}})=0.5}$$ $${\displaystyle p({\text{height}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(6-\mu )^{2}}{2\sigma ^{2}}}\right)\approx 1.5789,}$$${\displaystyle \mu =5.855}$${\displaystyle \sigma ^{2}=3.5033\cdot 10^{-2}}$

$${\displaystyle p({\text{weight}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(130-\mu )^{2}}{2\sigma ^{2}}}\right)=5.9881\cdot 10^{-6}}$$ $${\displaystyle p({\text{foot size}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(8-\mu )^{2}}{2\sigma ^{2}}}\right)=1.3112\cdot 10^{-3}}$$ $${\displaystyle {\text{posterior numerator (male)}}={\text{their product}}=6.1984\cdot 10^{-9}}$$

$${\displaystyle P({\text{female}})=0.5}$$ $${\displaystyle p({\text{height}}\mid {\text{female}})=2.23\cdot 10^{-1}}$$ $${\displaystyle p({\text{weight}}\mid {\text{female}})=1.6789\cdot 10^{-2}}$$ $${\displaystyle p({\text{foot size}}\mid {\text{female}})=2.8669\cdot 10^{-1}}$$ $${\displaystyle {\text{posterior numerator (female)}}={\text{their product}}=5.3778\cdot 10^{-4}}$$

女性の場合、事後分子が大きいため、サンプルは女性であると予測されます。

文書分類問題に対するナイーブベイズ分類の実例を示します。文書をその内容によって分類する問題、たとえばスパムメールと非スパムメールに分類する問題を考えてみましょう。文書がいくつかの文書クラスから抽出され、単語の集合としてモデル化できるとします。ここで、ある文書の i 番目の単語がクラスCの文書に出現する (独立した) 確率は次のように表すことができます。 $${\displaystyle p(w_{i}\mid C)\,}$$

(この処理では、単語が文書内でランダムに分布していると仮定することで、さらに簡略化されます。つまり、単語は文書の長さ、他の単語との関係における文書内の位置、または他の文書のコンテキストに依存しません。)

すると、クラスCが与えられた場合、文書Dにすべての単語が含まれる確率は 、${\displaystyle w_{i}}$$${\displaystyle p(D\mid C)=\prod _{i}p(w_{i}\mid C)\,}$$

答えなければならない質問は、「特定の文書D が特定のクラスCに属する確率はどれくらいか？」ということです。言い換えれば、 とは何でしょうか？ ${\displaystyle p(C\mid D)\,}$

定義 上 、 $${\displaystyle p(D\mid C)={p(D\cap C) \over p(C)}}$$$${\displaystyle p(C\mid D)={p(D\cap C) \over p(D)}}$$

ベイズの定理は、これらを尤度の観点から確率の記述に変換します。 $${\displaystyle p(C\mid D)={\frac {p(C)\,p(D\mid C)}{p(D)}}}$$

現時点では、相互に排他的なクラスがSと¬S（例：スパムと非スパム）の2つだけあり、すべての要素（電子メール）がどちらか一方に属すると 仮定します 。 $${\displaystyle p(D\mid S)=\prod _{i}p(w_{i}\mid S)\,}$$$${\displaystyle p(D\mid \neg S)=\prod _{i}p(w_{i}\mid \neg S)\,}$$

上記のベイズの結果を使用すると、次のように書くことができます。 $${\displaystyle p(S\mid D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\mid S)}$$ $${\displaystyle p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)}$$

一方を他方で割ると次のようになります。 $${\displaystyle {p(S\mid D) \over p(\neg S\mid D)}={p(S)\,\prod _{i}p(w_{i}\mid S) \over p(\neg S)\,\prod _{i}p(w_{i}\mid \neg S)}}$$

これは次のようにリファクタリングできます。 $${\displaystyle {p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}}$$

したがって、確率比 p( S | D ) / p(¬ S | D ) は、一連の尤度比で表すことができます。実際の確率 p( S | D ) は、p( S | D ) + p(¬ S | D ) = 1という観察に基づいて、log (p( S | D ) / p(¬ S | D ) ) から簡単に計算できます。

これらすべての比率の 対数を取ると、次のようになります。$${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}}$$

(この「対数尤度比」の手法は、統計学では一般的な手法です。2 つの相互に排他的な選択肢がある場合 (この例など)、対数尤度比から確率への変換はシグモイド曲線の形をとります。詳細については、 logit を参照してください。)

最終的に、文書は次のように分類されます。(つまり、) の場合、それはスパムであり、それ以外の場合はスパムではありません。 ${\displaystyle p(S\mid D)>p(\neg S\mid D)}$${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)}>0}$

• アオデ
• ベイズ分類器
• ベイジアンスパムフィルタリング
• ベイジアンネットワーク
• ランダムナイーブベイズ
• 線形分類器
• ロジスティック回帰
• パーセプトロン
• 最善を追求するヒューリスティック

• Domingos, Pedro; Pazzani, Michael (1997). 「ゼロ-1損失における単純なベイズ分類器の最適性について」.機械学習. 29 (2/3): 103–137. doi : 10.1023/A:1007413511361 .
• Webb, GI; Boughton, J.; Wang, Z. (2005). 「それほど単純ではないベイズ: 1 依存推定量の集約」.機械学習. 58 (1): 5–24. doi : 10.1007/s10994-005-4258-6 .
• Mozina, M.; Demsar, J.; Kattan, M.; Zupan, B. (2004). 単純ベイズ分類器の視覚化のためのノモグラム(PDF) . Proc. PKDD-2004. pp. 337–348.
• Maron, ME (1961). 「自動インデックス作成: 実験的調査」Journal of the ACM . 8 (3): 404–417. doi :10.1145/321075.321084. hdl : 2027/uva.x030748531 . S2CID  6692916.
• ミンスキー, M. (1961).人工知能へのステップ. Proc. IRE. Vol. 49. pp. 8–30.

• 本の章: ナイーブベイズテキスト分類、情報検索入門
• 不均衡なクラスを持つテキスト分類のためのナイーブベイズ