判別モデル

条件付きモデルは条件付き確率分布をモデル化するのに対し、従来の識別モデルは最も類似した学習済みサンプルを中心に入力をマッピングすることを最適化することを目的としています。^{[ 1 ]}

統計的分類では、生成アプローチと識別アプローチという2つの主要なアプローチがあります。これらは、統計的モデリングの度合いが異なる様々なアプローチによって分類器を計算します。用語は一貫していませんが、^{[ a ]} 3つの主要なタイプを区別できます。

1. 生成モデルは、同時確率分布の統計モデルである。${\displaystyle P(X,Y)}$与えられた観測変数Xと目標変数Yについて、生成モデルを使用して観測xのランダムなインスタンス (結果) を「生成」することができます。
2. 判別モデルは条件付き確率のモデルである${\displaystyle P(Y\mid X=x)}$観測値 x が与えられた場合、目標変数Yの値を「識別」するために使用できます。
3. 確率モデルを使用せずに計算された分類器は、大まかに「識別型」とも呼ばれる。

これら最後の2つのクラスの区別は、必ずしも一貫してなされているわけではない。

別の区分では、これらを対称的に次のように定義します。

• 生成モデルとは、目標yが与えられたときの観測可能なXの条件付き確率のモデルであり、記号的には、${\displaystyle P(X\mid Y=y)}$
• 識別モデルとは、観測値xが与えられたときのターゲットYの条件付き確率のモデルであり、記号的には、${\displaystyle P(Y\mid X=x)}$

厳密な定義に関わらず、この用語は憲法に則っている。なぜなら、生成モデルは観測値と目標値のいずれかのランダムなインスタンス（結果）を「生成」するために使用できるからである。${\displaystyle (x,y)}$または、目標値yが与えられた観測xの一方、識別モデルまたは識別分類器 (モデルなし) は、観測xが与えられた場合に目標変数Yの値を「識別」するために使用できます。

私たちはその機能を使用する予定です${\displaystyle f(x)}$線形分類器法を用いて、訓練データセットから観察された挙動をシミュレートする。結合特徴ベクトルを使用する。${\displaystyle \phi (x,y)}$決定関数は次のように定義されます。

${\displaystyle f(x;w)=\arg \max _{y}w^{T}\phi (x,y)}$

メミシェヴィッチの解釈によれば、^{[ 2 ]}${\displaystyle w^{T}\phi (x,y)}$これも${\displaystyle c(x,y;w)}$入力の互換性を測定するスコアを計算します${\displaystyle x}$潜在的な出力${\displaystyle y}$それから${\displaystyle \arg \max }$最高得点を獲得したクラスを決定します。

0-1損失関数は決定理論でよく使われるものなので、条件付き確率分布${\displaystyle P(y|x;w)}$、 どこ${\displaystyle w}$は、トレーニングデータを最適化するためのパラメータベクトルであり、ロジスティック回帰モデルについては以下のように再考することができる。

${\displaystyle P(y|x;w)={\frac {1}{Z(x;w)}}\exp(w^{T}\phi (x,y))}$、 と

${\displaystyle Z(x;w)=\textstyle \sum _{y}\displaystyle \exp(w^{T}\phi (x,y))}$

上記の式はロジスティック回帰を表しています。モデル間の大きな違いは、事後確率の導入方法にあることに注意してください。事後確率はパラメトリックモデルから推測されます。そして、次の式によってパラメータを最大化することができます。

${\displaystyle L(w)=\textstyle \sum _{i}\displaystyle \log p(y^{i}|x^{i};w)}$

また、以下の対数損失方程式に置き換えることもできます。

${\displaystyle l^{\log }(x^{i},y^{i},c(x^{i};w))=-\log p(y^{i}|x^{i};w)=\log Z(x^{i};w)-w^{T}\phi (x^{i},y^{i})}$

対数損失は微分可能であるため、勾配ベースの手法を用いてモデルを最適化できる。目的関数は凸関数であるため、大域的最適解が保証される。対数尤度の勾配は次のように表される。

${\displaystyle {\frac {\partial L(w)}{\partial w}}=\textstyle \sum _{i}\displaystyle \phi (x^{i},y^{i})-E_{p(y|x^{i};w)}\phi (x^{i},y)}$

どこ${\displaystyle E_{p(y|x^{i};w)}}$期待は${\displaystyle p(y|x^{i};w)}$。

上記の方法は、分類対象の数が比較的少ない場合に効率的な計算を可能にする。