プラットスケーリング

機械学習において、プラットスケーリングまたはプラットキャリブレーションは、分類モデルの出力をクラス全体の確率分布に変換する方法です。この方法は、サポートベクターマシンのコンテキストでジョン・プラットによって発明され、^[1]ヴァプニックによる以前の方法に代わるものですが、他の分類モデルにも適用できます。^{[2]プラットスケーリングは、}ロジスティック回帰モデルを分類器のスコアに当てはめることによって機能します。

説明

バイナリ分類の問題を考えてみましょう。入力 $x$ について、これらが 2 つのクラス (任意に $+1$ と $-1$ とラベル付け) のどちらに属するかを判断します。分類問題は、実数値関数 $f$ がクラスラベル $y = sign(f (x))$ を予測することで解決されると仮定します。^[a]多くの問題では、確率、つまり答えだけでなく答えの確実性も与える分類を得ると便利です。一部の分類モデルは、このような確率を提供しないか、確率の推定値が不十分です。 $P(y=1|x)$

$L=1,k=1,x_{0}=0$ 。

プラットスケーリングは、前述の問題を解決するためのアルゴリズムです。確率推定値を生成します。

\mathrm {P} (y=1|x)={\frac {1}{1+\exp(Af(x)+B)}}

、

すなわち、分類器スコア $f$ $($ $x$ $)の$ ロジスティック変換であり、 $A$ と $Bは$ アルゴリズムによって学習される2つのスカラーパラメータである。確率推定値が古い決定関数 $y$ $= sign($ $f$ $($ $x$ $))$ と比較して補正されているかどうかに応じて予測を行うことができるようになったことに留意されたい。^[3] $y=1{\text{ iff }}P(y=1|x)>{\frac {1}{2}};$ $B\neq 0,$

パラメータ $A$ と $Bは、元の分類器$ $f$ と同じトレーニングセットを最適化する最大尤度法を使用して推定されます。このセットへの過剰適合を避けるために、ホールドアウトキャリブレーションセットまたはクロスバリデーションを使用できますが、プラットはさらにラベル $yを$ ターゲット確率に変換することを提案しています。

t_{+}={\frac {N_{+}+1}{N_{+}+2}}

陽性サンプル（

y = 1

）の場合、

t_{-}={\frac {1}{N_{-}+2}}

負のサンプルの場合、

y = -1

。

ここで、 $N +$ と $N - は$ それぞれ正のサンプル数と負のサンプル数です。この変換は、ラベルに対して均一な事前分布を持つサンプル外データのモデルにベイズの定理を適用することで行われます。 ^[1]分子と分母の定数 1 と 2 は、ラプラス平滑化の適用から導き出されます。

プラット自身はパラメータを最適化するためにレーベンバーグ・マルカートアルゴリズムを使用することを提案したが、後に数値的により安定したニュートンアルゴリズムが提案された。^[4]

分析

プラットスケーリングは、SVMだけでなく、ブーストモデルやナイーブベイズ分類器など、歪んだ確率分布を生成する他の種類の分類モデルにも効果的であることが示されています。予測確率にシグモイド歪みを示すSVMやブーストツリーなどの最大マージン法には特に効果的ですが、ロジスティック回帰、多層パーセプトロン、ランダムフォレストなどの適切に調整されたモデルでは効果が低くなります。^[2]

確率較正の代替アプローチは、等尺性回帰モデルを較正が不十分な確率モデルに適合させることである。これは、特に十分なトレーニングデータが利用できる場合に、プラットスケーリングよりも効果的であることが証明されている。^[2]

プラットスケーリングは、ディープニューラルネットワーク分類器にも適用できます。CIFAR-100などの画像分類では、LeNet-5などの小規模ネットワークはキャリブレーションは良好ですが精度が低く、ResNetなどの大規模ネットワークは精度が高いですが予測に自信過剰になります。2017年の論文では、温度スケーリングが提案されました。これは、ソフトマックスを取る前に、ネットワークの出力ロジットを定数で乗算するだけです。トレーニング中は、は1に設定されます。トレーニング後は、ホールドアウトされたキャリブレーションセットで最適化され、キャリブレーション損失を最小限に抑えます。^[5] $1/T$ $T$ $T$

参照

関連性ベクターマシン: サポートベクターマシンの確率的代替

注記

^ 符号関数を参照してください。f $($ $x$ $) = 0$ のラベルは、0 または 1 のいずれかに任意に選択されます $。$

参考文献

^ ab Platt, John (1999). 「サポートベクターマシンの確率的出力と正規化尤度法との比較」.ラージマージン分類器の進歩. 10 (3): 61–74.
^ abc Niculescu-Mizil, Alexandru; Caruana, Rich (2005). 教師あり学習による良好な確率の予測(PDF) . ICML. doi :10.1145/1102351.1102430.
^ Olivier Chapelle、Vladimir Vapnik、Olivier Bousquet、Sayan Mukherjee (2002)。「サポートベクターマシンの複数のパラメータの選択」(PDF)。機械学習。46 :131–159。doi : 10.1023 / a:1012450327387。
^ Lin, Hsuan-Tien; Lin, Chih-Jen; Weng, Ruby C. (2007). 「サポートベクターマシンのPlattの確率的出力に関する注記」(PDF) .機械学習. 68 (3): 267–276. doi : 10.1007/s10994-007-5018-6 .
^ Guo, Chuan; Pleiss, Geoff; Sun, Yu; Weinberger, Kilian Q. (2017-07-17). 「現代のニューラルネットワークのキャリブレーションについて」。機械学習に関する第34回国際会議の議事録。PMLR: 1321–1330。

[3] 符号関数を参照してください。f $($ $x$ $) = 0$ のラベルは、0 または 1 のいずれかに任意に選択されます $。$

[platt99-1] Platt, John (1999). 「サポートベクターマシンの確率的出力と正規化尤度法との比較」.ラージマージン分類器の進歩. 10 (3): 61–74.

[Niculescu-2] Niculescu-Mizil, Alexandru; Caruana, Rich (2005). 教師あり学習による良好な確率の予測(PDF) . ICML. doi :10.1145/1102351.1102430.

[4] Olivier Chapelle、Vladimir Vapnik、Olivier Bousquet、Sayan Mukherjee (2002)。「サポートベクターマシンの複数のパラメータの選択」(PDF)。機械学習。46 :131–159。doi : 10.1023 / a:1012450327387。

[5] Lin, Hsuan-Tien; Lin, Chih-Jen; Weng, Ruby C. (2007). 「サポートベクターマシンのPlattの確率的出力に関する注記」(PDF) .機械学習. 68 (3): 267–276. doi : 10.1007/s10994-007-5018-6 .

[6] Guo, Chuan; Pleiss, Geoff; Sun, Yu; Weinberger, Kilian Q. (2017-07-17). 「現代のニューラルネットワークのキャリブレーションについて」。機械学習に関する第34回国際会議の議事録。PMLR: 1321–1330。