二次分類器

統計学において、二次分類器とは、2つ以上のクラスの対象物または事象の測定値を分離するために二次決定面を用いる統計的分類器である。これは線形分類器のより一般的なバージョンである。

統計的分類では、オブジェクトまたはイベントの観測ベクトルxの集合を考慮します。各観測ベクトルは既知のタイプyを持ちます。この集合はトレーニング セットと呼ばれます。問題は、与えられた新しい観測ベクトルに対して、最適なクラスを決定することです。二次分類器の場合、正しい解は測定値に関して 二次であると想定されるため、y は、$${\displaystyle \mathbf {x^{T}Ax} +\mathbf {b^{T}x} +c}$$

各観測値が2つの測定値から構成される特殊なケースでは、クラスを分離する面は円錐曲線（直線、円または楕円、放物線または双曲線）になります。この意味で、二次モデルは線形モデルの一般化であり、より複雑な分離面を表現する分類器の能力を拡張したいという要望によって、その使用が正当化されると言えます。

二次判別分析（QDA）は、各クラスの測定値が正規分布に従うと仮定される線形判別分析（LDA）と密接に関連しています。^{[ 1 ]}しかし、LDAとは異なり、QDAでは各クラスの共分散が同一であるという仮定はありません。 ^{[ 2 ]}正規性の仮定が真である場合、特定の測定値が特定のクラスからのものであるという仮説に対する最良の検定は尤度比検定です。平均値が 2 つのグループのみであると仮定します。${\displaystyle \mu _{0},\mu _{1}}$および共分散行列$\displaystyle \Sigma _{0},\Sigma _{1}}$対応する${\displaystyle y=0}$そして${\displaystyle y=1}$それぞれ。すると尤度比は次のように与えられる。 $$尤度比 = {\frac {{\sqrt {|2\pi \Sigma _{1}|}}^{-1}\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }}_{1})^{T}\Sigma _{1}^{-1}(\mathbf {x} -{\boldsymbol {\mu }}_{1})\right)}{{\sqrt {|2\pi \Sigma _{0}|}}^{-1}\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }}_{0})^{T}\Sigma _{0}^{-1}(\mathbf {x} -{\boldsymbol {\mu }}_{0})^{T}\Sigma _{0}^{-1}(\mathbf {x} -{\boldsymbol {\mu }}_{0}) }}_{0})\right)}}<t}$$ ある閾値に対して${\displaystyle t}$整理すると、結果として得られるクラス間の分離面は二次関数であることが示される。この式では、平均ベクトルと分散共分散行列の標本推定値が母集団の値に代入される。

QDAは分類器を取得する最も一般的な方法ですが、他の方法も可能です。そのような方法の1つは、個々の測定値のすべてのペアワイズ積を加算することによって、古い測定ベクトルからより長い測定ベクトルを作成することです。たとえば、ベクトル $${\displaystyle [x_{1},\;x_{2},\;x_{3}]}$$ になるだろう $${\displaystyle [x_{1},\;x_{2},\;x_{3},\;x_{1}^{2},\;x_{1}x_{2},\;x_{1}x_{3},\;x_{2}^{2},\;x_{2}x_{3},\;x_{3}^{2}].}$$

元の測定値に対する二次分類器を見つけることは、拡張された測定ベクトルに基づく線形分類器を見つけることと同じになります。この観察はニューラルネットワークモデルの拡張に利用されています。^{[ 3 ]}「円形」ケースは、純粋な二次項の和のみを導入することに対応します。${\displaystyle \;x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+\cdots \;}$混合製品なし（${\displaystyle \;x_{1}x_{2},\;x_{1}x_{3},\;\ldots \;}$）は、分類器の表現力を拡張することと過学習のリスクを制御することの間の最適な妥協点であることが証明されています（Vapnik-Chervonenkis次元）。^{[ 4 ]}

内積のみに基づく線形分類器の場合、高次元空間における内積は元の空間における内積と単純に関連しているため、これらの拡張された測定値を実際に計算する必要はありません。これは、いわゆるカーネルトリックの一例であり、線形判別分析やサポートベクターマシンにも適用できます。