ソフトプラス

数学と機械学習において、ソフトプラス関数は

${\displaystyle f(x)=\log(1+e^{x}).}$

これは、機械学習では整流子またはReLU (Rectified Linear Unit)として知られるランプ関数の滑らかな近似値 (実際には解析関数)です。 大きな負の値の場合は となるため、0 よりわずかに上になります。一方、大きな正の値の場合は となるため、 よりわずかに上になります。 ${\displaystyle x}$${\displaystyle \log(1+e^{x})=\log(1+\epsilon )\gtrapprox \log 1=0}$${\displaystyle x}$${\displaystyle \log(1+e^{x})\gtrapprox \log(e^{x})=x}$${\displaystyle x}$

機械学習では、 softplus ^{[1] [2]}やSmoothReLU ^[3]という名前が使用されています。softplus (2000) という名前は、以前のsoftmax (1989) との類似性から、おそらくxの正の部分を滑らかに (ソフトに) 近似したもので、上付き文字プラス,で表記されることもあるためと思われます。 ${\displaystyle x^{+}:=\max(0,x)}$

ソフトプラスの導関数はロジスティック関数です。

${\displaystyle f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

ロジスティックシグモイド関数は、整流器の導関数であるヘビサイド ステップ関数の滑らかな近似です。

単一変数ソフトプラスの多変数一般化は、最初の引数がゼロに設定された LogSumExpです。

${\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}}).}$

LogSumExp関数は

${\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}}),}$

その勾配はソフトマックスです。最初の引数をゼロに設定したソフトマックスは、ロジスティック関数の多変数一般化です。LogSumExp とソフトマックスはどちらも機械学習で使用されます。

softplus 関数の凸共役(具体的には、Legendre 変換) は、負のバイナリ エントロピー (底e ) です。これは、(Legendre 変換の定義に従うと、導関数は逆関数である) softplus の導関数がロジスティック関数であり、その逆関数が負のバイナリ エントロピーの導関数である logitであるためです。

Softplus はロジスティック損失(正の数)として解釈できるため、双対性により、ロジスティック損失を最小化することはエントロピーを最大化することに対応します。これにより、損失最小化としてのエントロピー最大化の原理が正当化されます。

この関数は次のように近似できます。

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

変数の変更により、これは次の式と等しくなります。 ${\displaystyle x=y\ln(2)}$

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0.\end{cases}}}$

シャープネスパラメータが含まれる場合があります: ${\displaystyle k}$

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad \qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}.}$