整流線形ユニット

整流器の滑らかな近似は解析関数である。

${\displaystyle f(x)=\ln(1+e^{x}),\qquad f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

これはソフトプラス（2000）^{[ 29 ] [ 4 ]}またはSmoothReLU関数^{[ 30 ]}と呼ばれています。大きな負の値の場合${\displaystyle x}$おおよそ${\displaystyle \ln 1}$、0 よりわずかに上、一方、大きな正の値の場合${\displaystyle x}$おおよそ${\displaystyle \ln(e^{x})}$ちょうどその上${\displaystyle x}$。

この関数は次のように近似できます。

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

変数変換を行うことにより${\displaystyle x=y\ln(2)}$これは、

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0\end{cases}}}$

鮮明度パラメータ${\displaystyle k}$含まれる可能性があります:

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}}$

ソフトプラスの導関数はロジスティック関数である。これは、整流器の導関数であるヘヴィサイド階段関数の滑らかな近似と見なすことができる。

単一変数ソフトプラスの多変数への一般化は、最初の引数をゼロに設定したLogSumExpです。

${\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}})}$

LogSumExp関数は

${\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}})}$

そしてその勾配はソフトマックス関数です。最初の引数をゼロに設定したソフトマックス関数は、ロジスティック関数の多変数一般化です。LogSumExpとソフトマックス関数はどちらも機械学習で使用されます。

指数線形ユニット（2015）は負の値をスムーズに許容します。これは平均活性化をゼロに近づけることで学習を高速化しようとする試みです。ELUはReLUよりも高い分類精度が得られることが示されています。^{[ 31 ]}

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha \left(e^{x}-1\right)&x\leq 0\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha e^{x}&x\leq 0\end{cases}}}$

これらの式では、${\displaystyle \alpha }$制約条件で調整されるハイパーパラメータです${\displaystyle \alpha \geq 0}$。

同じ解釈を前提として${\displaystyle \alpha }$ELUは、シフトReLU（SReLU）の平滑化バージョンと見なすことができ、その形式は次のようになります。${\displaystyle f(x)=\max(-\alpha ,x)}$。

GELU（2016）は整流器の滑らかな近似である。

${\displaystyle f(x)=x\Phi (x)=x\cdot {\frac {1}{2}}\left[1+\operatorname {erf} \left(x/{\sqrt {2}}\right)\right],}$

${\displaystyle f'(x)=x\Phi '(x)+\Phi (x)}$

どこ${\displaystyle \Phi (x)=P(X\leqslant x)}$は標準正規分布の累積分布関数であり、${\displaystyle \operatorname {erf} (z)}$は誤差関数です。

この活性化関数は、この記事の冒頭の図に示されています。x < 0 の左側に負の導関数を持つ「隆起」があります。これは、 BERTなどの多くのトランスフォーマーモデルのデフォルトの活性化関数として機能します。^{[ 32 ]}

同じ論文では、GELU のより高速な近似もいくつか紹介されている。最初の近似は、次の近似から導かれる。${\displaystyle \Phi (x)}$: ^{[ 33 ]}

${\displaystyle f(x)\approx {\frac {1}{2}}x\left(1+\tanh \left[{\sqrt {2/\pi }}\left(x+0.044715x^{3}\right)\right]\right)}$

2番目の精度の低い近似では、シグモイド（ロジスティック）関数を次のように使用します。${\displaystyle f(x)\approx x\cdot \operatorname {sigmoid} (1.702x)}$、その式はSiLUに似ている（下記参照）。^{[ 32 ]}

SiLU（シグモイド線形ユニット）またはswish関数^{[ 34 ]}は、シグモイド（ロジスティック）関数を使用する別の滑らかな近似であり、2016年のGELU論文^{[ 32 ]で初めて導入されました。}

${\displaystyle f(x)=x\cdot \operatorname {sigmoid} (x),}$

${\displaystyle f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x)}$

GELUよりも計算コストが低い。また、「ピーク」がある。

ミッシュ関数（2019）は、整流器の滑らかな近似としても使用できます。^{[ 34 ]}これは次のように定義されます。

${\displaystyle f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},}$

どこ${\displaystyle \tanh(x)}$は双曲線正接であり、${\displaystyle \operatorname {softplus} (x)}$はソフトプラス関数です。

Mish は Swish に似た関数 (SiLU、上記参照) を実験して得られたものです。Swish と同様に非単調 (「バンプ」がある) です。主な新しい特徴は、1 階微分に含まれる項に起因する「自己正則化」挙動を示すことです。^{[ 34 ] [ 35 ]}

Squareplus (2021) ^{[ 36 ]}は関数です

${\displaystyle f(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}}$

どこ${\displaystyle b\geq 0}$は、曲がった領域の「サイズ」を決定するハイパーパラメータです。${\displaystyle x=0}$（例えば、${\displaystyle b=0}$ReLU を生成し、${\displaystyle b=4}$（金属平均関数が得られます。）Squareplusはsoftplusと多くの特性を共有しています。単調であり、厳密に正であり、0に近づきます。${\displaystyle x\to -\infty }$は、アイデンティティにアプローチします${\displaystyle x\to +\infty }$、そして${\displaystyle C^{\infty }}$滑らかです。ただし、squareplus は代数関数のみを使用して計算できるため、計算リソースや命令セットが限られている環境に適しています。さらに、squareplus は数値安定性を確保するために特別な考慮を必要としません。${\displaystyle x}$大きい。

Extended Exponential Linear Unit (DELU、2023) は、ゼロ付近では滑らかで、値が大きいほどシャープになる活性化関数であり、学習プロセスにおけるニューロンの割り当てを改善してパフォーマンスを向上させることができます。独自の設計のおかげで、DELU は ReLU や ELU よりも高い分類精度を達成できることが示されています。^{[ 37 ]}

${\displaystyle f(x)={\begin{cases}x&x>x_{c},\\(e^{ax}-1)/b&x\leq x_{c}\end{cases}}\qquad f'(x)={\begin{cases}1&x>x_{c},\\(a/b)e^{ax}&x\leq x_{c}\end{cases}}}$

これらの式では、${\displaystyle a}$、${\displaystyle b}$そして${\displaystyle x_{c}}$デフォルトの制約として設定できるハイパーパラメータ値です。${\displaystyle a=1}$、${\displaystyle b=2}$そして${\displaystyle x_{c}=1.25643}$オリジナル作品で行われたように。