整流線形ユニット

整流器の滑らかな近似は解析関数である。

${\displaystyle f(x)=\ln(1+e^{x}),\qquad f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

これはソフトプラス（2000）^{[ 29 ] [ 4 ]}またはSmoothReLU関数^{[ 30 ]}と呼ばれています。大きな負の値の場合${\displaystyle x}$おおよそ${\displaystyle \ln 1}$、0 よりわずかに上、一方、大きな正の値の場合${\displaystyle x}$おおよそ${\displaystyle \ln(e^{x})}$ちょうどその上${\displaystyle x}$。

この関数は次のように近似できます。

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

変数変換を行うことにより${\displaystyle x=y\ln(2)}$これは、

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0\end{cases}}}$

鮮明度パラメータ${\displaystyle k}$含まれる可能性があります:

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}}$

ソフトプラスの導関数はロジスティック関数である。これは、整流器の導関数であるヘヴィサイド階段関数の滑らかな近似と見なすことができる。

単一変数ソフトプラスの多変数への一般化は、最初の引数をゼロに設定したLogSumExpです。

${\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}})}$

LogSumExp関数は

${\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}})}$

そしてその勾配はソフトマックス関数です。最初の引数をゼロに設定したソフトマックス関数は、ロジスティック関数の多変数一般化です。LogSumExpとソフトマックス関数はどちらも機械学習で使用されます。

指数線形ユニット（2015）は負の値をスムーズに許容します。これは平均活性化をゼロに近づけることで学習を高速化しようとする試みです。ELUはReLUよりも高い分類精度が得られることが示されています。^{[ 31 ]}

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha \left(e^{x}-1\right)&x\leq 0\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha e^{x}&x\leq 0\end{cases}}}$

これらの式では、${\displaystyle \alpha }$制約条件で調整されるハイパーパラメータです${\displaystyle \alpha \geq 0}$。

同じ解釈を前提として${\displaystyle \alpha }$ELUは、シフトReLU（SReLU）の平滑化バージョンと見なすことができ、その形式は次のようになります。${\displaystyle f(x)=\max(-\alpha ,x)}$。

GELU（2016）は整流器の滑らかな近似である。

${\displaystyle f(x)=x\Phi (x)=x\cdot {\frac {1}{2}}\left[1+\operatorname {erf} \left(x/{\sqrt {2}}\right)\right],}$

${\displaystyle f'(x)=x\Phi '(x)+\Phi (x)}$

どこ${\displaystyle \Phi (x)=P(X\leqslant x)}$は標準正規分布の累積分布関数であり、${\displaystyle \operatorname {erf} (z)}$は誤差関数です。

この活性化関数は、この記事の冒頭の図に示されています。x < 0 の左側に負の導関数を持つ「隆起」があります。これは、 BERTなどの多くのトランスフォーマーモデルのデフォルトの活性化関数として機能します。^{[ 32 ]}

同じ論文では、GELU のより高速な近似もいくつか紹介されている。最初の近似は、次の近似から導かれる。${\displaystyle \Phi (x)}$: ^{[ 33 ]}

${\displaystyle f(x)\approx {\frac {1}{2}}x\left(1+\tanh \left[{\sqrt {2/\pi }}\left(x+0.044715x^{3}\right)\right]\right)}$

2番目の精度の低い近似では、シグモイド（ロジスティック）関数を次のように使用します。${\displaystyle f(x)\approx x\cdot \operatorname {sigmoid} (1.702x)}$、その式はSiLUに似ている（下記参照）。^{[ 32 ]}

SiLU（シグモイド線形ユニット）またはswish関数^{[ 34 ]}は、シグモイド（ロジスティック）関数を使用する別の滑らかな近似であり、2016年のGELU論文^{[ 32 ]で初めて導入されました。}

${\displaystyle f(x)=x\cdot \operatorname {sigmoid} (x),}$

${\displaystyle f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x)}$

GELUよりも計算コストが低い。また、「ピーク」がある。

ミッシュ関数（2019）は、整流器の滑らかな近似としても使用できます。^{[ 34 ]}これは次のように定義されます。

${\displaystyle f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},}$

どこ${\displaystyle \tanh(x)}$は双曲線正接であり、${\displaystyle \operatorname {softplus} (x)}$はソフトプラス関数です。

Mish was obtained by experimenting with functions similar to Swish (SiLU, see above). It is non-monotonic (has a "bump") like Swish. The main new feature is that it exhibits a "self-regularizing" behavior attributed to a term in its first derivative.^[34][35]

Squareplus (2021)^[36] is the function

${\displaystyle f(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}}$

where ${\displaystyle b\geq 0}$ is a hyperparameter that determines the "size" of the curved region near ${\displaystyle x=0}$. (For example, letting ${\displaystyle b=0}$ yields ReLU, and letting ${\displaystyle b=4}$ yields the metallic mean function.) Squareplus shares many properties with softplus: It is monotonic, strictly positive, approaches 0 as ${\displaystyle x\to -\infty }$, approaches the identity as ${\displaystyle x\to +\infty }$, and is ${\displaystyle C^{\infty }}$smooth. However, squareplus can be computed using only algebraic functions, making it well-suited for settings where computational resources or instruction sets are limited. Additionally, squareplus requires no special consideration to ensure numerical stability when ${\displaystyle x}$ is large.

ExtendeD Exponential Linear Unit (DELU, 2023) is an activation function which is smoother within the neighborhood of zero and sharper for bigger values, allowing better allocation of neurons in the learning process for higher performance. Thanks to its unique design, it has been shown that DELU may obtain higher classification accuracy than ReLU and ELU.^[37]

${\displaystyle f(x)={\begin{cases}x&x>x_{c},\\(e^{ax}-1)/b&x\leq x_{c}\end{cases}}\qquad f'(x)={\begin{cases}1&x>x_{c},\\(a/b)e^{ax}&x\leq x_{c}\end{cases}}}$

In these formulas, ${\displaystyle a}$, ${\displaystyle b}$ and ${\displaystyle x_{c}}$ are hyperparameter values which could be set as default constraints ${\displaystyle a=1}$, ${\displaystyle b=2}$ and ${\displaystyle x_{c}=1.25643}$, as done in the original work.