関連性ベクトルマシン

数学において、関連性ベクトルマシン（RVM）は、回帰と確率的分類の簡潔な解を得るためにベイズ推論を使用する機械学習手法です。^{[ 1 ]}その後、貪欲最適化手順、したがって高速バージョンが開発されました。^{[ 2 ] [ 3 ]} RVMはサポートベクターマシンと同一の関数形式を持ちますが、確率的分類を提供します。

これは実際には、共分散関数を持つガウス過程モデルと同等です。

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

どこ${\displaystyle \varphi }$はカーネル関数（通常はガウス関数）であり、$\displaystyle \alpha _{j}}$重みベクトルの事前分布の分散は ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$、 そして$\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$これらはトレーニングセットの入力ベクトルです。^{[ 4 ]}

サポートベクターマシン（SVM）と比較すると、RVMのベイズ定式化は、SVMの自由パラメータセット（通常は交差検証に基づく事後最適化が必要）を回避します。しかし、RVMは期待値最大化（EM）に似た学習方法を使用するため、局所最適解に陥るリスクがあります。これは、 SVMが採用する標準的な逐次最小最適化（SMO）ベースのアルゴリズムとは異なり、SVMは（凸問題の）大域最適解を見つけることが保証されています。

関連性ベクトルマシンは、米国でマイクロソフトによって特許が取得されました（特許は2019年9月4日に失効）。^{[ 5 ]}

• カーネルトリック
• プラットスケーリング：SVMを確率モデルに変換する