フーバーの損失

統計学において、Huber 損失はロバスト回帰で使用される損失関数であり、二乗誤差損失よりもデータ内の外れ値に対する感度が低くなります。分類のバリエーションも使用されることがあります。

フーバー損失関数は推定手順 fによって発生するペナルティを記述する。フーバー（1964）は損失関数を次のように区分的に定義する^[1]

${\displaystyle L_{\delta }(a)={\begin{cases}{\frac {1}{2}}{a^{2}}&{\text{for }}|a|\leq \delta ,\\\delta \cdot \left(|a|-{\frac {1}{2}}\delta \right),&{\text{otherwise.}}\end{cases}}}$

この関数は、 aの値が小さい場合は2次関数、値が大きい場合は線形関数となり、2つの点における異なるセクションの値と傾きは等しくなります。変数aは、多くの場合、残差、つまり観測値と予測値の差を指すため、前者は次のように展開できます^[2]${\displaystyle |a|=\delta }$${\displaystyle a=yf(x)}$

${\displaystyle L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}(yf(x))^{2}&{\text{for }}|yf(x)|\leq \delta ,\\\delta \ \cdot \left(|yf(x)|-{\frac {1}{2}}\delta \right),&{\text{otherwise.}}\end{cases}}}$

Huber 損失は、絶対値関数と直交関数を畳み込み、スケーリングして変換したものです。したがって、前者の原点の角が「滑らか」になります。

非常に一般的に使用される 2 つの損失関数は、二乗損失、と絶対損失、です。二乗損失関数は算術平均-不偏推定量を生成し、絶対値損失関数は中央値- 不偏推定量 (1 次元の場合、および多次元の場合、幾何中央値- 不偏推定量) を生成します。二乗損失には、外れ値によって支配される傾向があるという欠点があります。つまり、一連の を合計する場合( のように)、分布が裾が重い場合、標本平均は少数の特に大きな - 値によって大きく影響されてしまいます。推定理論の観点では、平均の漸近相対効率は裾が重い分布では貧弱です。 ${\displaystyle L(a)=a^{2}}$${\displaystyle L(a)=|a|}$${\displaystyle a}$${\textstyle \sum _{i=1}^{n}L(a_{i})}$${\displaystyle a}$

上で定義したように、Huber 損失関数は、その最小値の一様近傍で強く凸です。この一様近傍の境界では、Huber 損失関数は、点およびでアフィン関数への微分可能な拡張を持ちます。これらの特性により、平均の不偏かつ最小分散推定量 (2 次損失関数を使用) の感度と、中央値の不偏推定量 (絶対値関数を使用) の堅牢性の多くを組み合わせることができます。 ${\displaystyle a=0}$${\displaystyle a=-\delta }$${\displaystyle a=\delta }$

擬似フーバー損失関数は、フーバー損失関数の 滑らかな近似として使用できます。これは、目標/最小値に近いときに強く凸になり、極端な値に対してはそれほど急峻ではないという、 L2 二乗損失とL1 絶対損失の最良の特性を組み合わせたものです。擬似フーバー損失関数が最小値に近い値のL2損失から極端な値のL1損失に遷移するスケールと、極端な値での急峻さは、値によって制御できます。擬似フーバー損失関数は、すべての次数に対して導関数が連続であることを保証します。これは次のように定義されます^{[3] [4]}${\displaystyle \delta}$

${\displaystyle L_{\delta }(a)=\delta ^{2}\left({\sqrt {1+(a/\delta )^{2}}}-1\right).}$

したがって、この関数はの値が小さい場合はを近似し、の値が大きい場合は の傾きを持つ直線を近似します。 ${\displaystyle a^{2}/2}$${\displaystyle a}$${\displaystyle \delta}$${\displaystyle a}$

上記は最も一般的な形式ですが、Huber損失関数の他の滑らかな近似も存在します。^[5]

分類の目的では、Huber損失の変形である修正Huber損失が使用されることがある。予測値（実数値分類器スコア）と真のバイナリクラスラベルが与えられた場合、修正Huber損失は次のように定義される^[6]${\displaystyle f(x)}$${\displaystyle y\in \{+1,-1\}}$

${\displaystyle L(y,f(x))={\begin{cases}\max(0,1-y\,f(x))^{2}&{\textrm {for}}\,\,y\,f(x)>-1,\\-4y\,f(x)&{\textrm {otherwise.}}\end{cases}}}$

という用語はサポートベクターマシンで使用されるヒンジ損失であり、2次平滑化ヒンジ損失は の一般化である。^[6]${\displaystyle \max(0,1-y\,f(x))}$${\displaystyle L}$

フーバー損失関数はロバスト統計、 M推定、加法モデリングで使用されます。^[7]

• ウィンザーライジング
• ロバスト回帰
• M推定量
• 異なるM推定値の視覚的な比較