整流器（ニューラルネットワーク）

人工ニューラルネットワークの文脈では、整流子またはReLU（整流線形単位）活性化関数^{[1] [2]}は、その引数の非負部分、すなわちランプ関数として定義される活性化関数である。

${\displaystyle \operatorname {ReLU} (x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{if }}x>0,\\0&x\leq 0\end{cases}}}$

ここで はニューロンへの入力です。これは電気工学における半波整流に似ています。 ${\displaystyle x}$

ReLUは人工ニューラルネットワークの最も人気のある活性化関数の一つであり^{[3] 、}ディープニューラルネットワークと計算神経科学を用いたコンピュータビジョン^[4]や音声認識^{[5] [6]}に応用されています。^{[7] [8] [9]}

これは、1941年にアルストン・ハウスホルダーによって生物学的ニューラルネットワークの数学的抽象化として初めて使用されました。 ^[10]これは、階層型ニューラルネットワークにおける視覚的特徴抽出の文脈で、1969年に福島邦彦によって導入されました。 ^{[11] [12]}後に、これには強力な生物学的動機と数学的正当性があると主張されました。^{[13] [14]} 2011年には、^[4] ReLU活性化により、2011年以前に広く使用されていた活性化関数、例えばロジスティックシグモイド（確率論に触発された、ロジスティック回帰を参照）や、より実用的な^[15]双曲正接と比較して、教師なし事前トレーニングなしで深層教師ありニューラルネットワークのトレーニングが可能になりました。

ReLU の利点は次のとおりです。

• スパースなアクティベーション: たとえば、ランダムに初期化されたネットワークでは、隠れユニットの約 50% のみがアクティブ化されます (つまり、出力がゼロ以外になります)。
• 勾配伝播の改善：両方向に飽和するシグモイド活性化関数に比べて勾配消失問題が少なくなります。 ^[4]
• 効率性: 比較と加算のみが必要です。
• スケール不変（同次）:

${\displaystyle \max(0,ax)=a\max(0,x){\text{ for }}a\geq 0}$。

考えられる欠点としては、次のようなものがあります。

• ゼロで微分不可能 (ただし、他の場所では微分可能であり、ゼロでの導関数の値は0 または 1 に任意に選択できます)。
• ゼロ中心ではない: ReLU 出力は常に非負です。勾配更新は重みを一方向 (正または負) に押し上げる傾向があるため、バックプロパゲーション中にネットワークが学習するのが難しくなる可能性があります。バッチ正規化は、この問題に対処するのに役立ちます。^{[引用が必要]}
• ReLU は無制限です。
• 死にゆく ReLU: ReLU ニューロンは、基本的にすべての入力に対して非アクティブになる状態に押し込まれることがあります。この状態では、勾配はニューロンを逆方向に流れないため、ニューロンは永久に非アクティブな状態のままになります (「死にます」)。これは、勾配消失問題の一種です。場合によっては、ネットワーク内の多数のニューロンがデッド状態に陥り、モデル容量が実質的に減少し、学習プロセスが停止する可能性もあります。この問題は通常、学習率が高すぎる場合に発生します。代わりに「漏れやすい」ReLU を使用することで、この問題を軽減できます。この場合は、に小さな正の傾斜が割り当てられます。ただし、タスクによっては、パフォーマンスが低下する可能性があります。${\displaystyle x<0}$

リーキーReLUは、ユニットが非アクティブなときに小さな正の勾配を許容し、^[6]勾配消失問題を緩和するのに役立ちます。この勾配はパラメータによって定義され、通常は0.01～0.3に設定されます。^{[16] [17]}${\displaystyle \alpha }$

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha x&x\leq 0\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha &x\leq 0\end{cases}}}$

パラメトリックReLU（PReLU）は、他のネットワークパラメータとともに学習可能なパラメータを作成することでこのアイデアをさらに進めます。 ^[18]${\displaystyle \alpha }$

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha x&x\leq 0\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha &x\leq 0\end{cases}}}$

の場合、これは次と同等である ことに注意してください。${\displaystyle \alpha \leq 1}$

${\displaystyle f(x)=\max(x,\alpha x)}$

したがって、「maxout」ネットワークと関係がある。^[18]

連結ReLU（CReLU）は正と負の位相情報を保存する：^[19]

${\displaystyle f(x)=[\operatorname {ReLU} (x),\operatorname {ReLU} (-x)]}$

GELU は整流器の滑らかな近似です。

${\displaystyle f(x)=x\Phi (x),}$

${\displaystyle f'(x)=x\Phi '(x)+\Phi (x)}$

ここで、は標準正規分布の累積分布関数です。 ${\displaystyle \Phi (x)=P(X\leqslant x)}$

この活性化関数は、この記事の冒頭の図に示されています。x < 0の左側に「隆起」があり、 BERTなどのモデルのデフォルトの活性化として機能します。 [ ^20]

SiLU（シグモイド線形単位）またはスウィッシュ関数^[21]は、シグモイド関数を使用する別の滑らかな近似であり、GELU論文^{[20]で初めて導入されました。}

${\displaystyle f(x)=x\cdot \operatorname {sigmoid} (x),}$

${\displaystyle f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x)}$

整流器の滑らかな近似は解析関数である。

${\displaystyle f(x)=\ln(1+e^{x}),\qquad f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

これはソフトプラス^{[22] [4]}またはSmoothReLU関数^[23]と呼ばれます。大きな負の場合にはおおよそ となり、0よりわずかに上になります。一方、大きな正の場合にはおおよそとなり、 よりわずかに上になります。 ${\displaystyle x}$${\displaystyle \ln 1}$${\displaystyle x}$${\displaystyle \ln(e^{x})}$${\displaystyle x}$

この関数は次のように近似できます。

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

変数の変更により、これは次の式と等しくなります。 ${\displaystyle x=y\ln(2)}$

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0\end{cases}}}$

シャープネスパラメータが含まれる場合があります: ${\displaystyle k}$

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}}$

softplus の導関数はロジスティック関数です。

ロジスティックシグモイド関数は、整流器の導関数であるヘビサイド ステップ関数の滑らかな近似です。

単一変数ソフトプラスの多変数一般化は、最初の引数がゼロに設定された LogSumExpです。

${\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}})}$

LogSumExp関数は

${\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}})}$

その勾配はソフトマックスです。最初の引数をゼロに設定したソフトマックスは、ロジスティック関数の多変数一般化です。LogSumExp とソフトマックスはどちらも機械学習で使用されます。

指数線形ユニットは平均活性化をゼロに近づけようとし、学習を高速化します。ELUはReLUよりも高い分類精度が得られることが示されています。^[24]

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha \left(e^{x}-1\right)&x\leq 0\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha e^{x}&x\leq 0\end{cases}}}$

これらの式では、は制約 で調整されるハイパーパラメータです。 ${\displaystyle \alpha }$${\displaystyle \alpha \geq 0}$

を同じように解釈すると、ELU は、 という形式を持つシフト ReLU (SReLU) の平滑化バージョンとして見ることができます。 ${\displaystyle \alpha }$${\displaystyle f(x)=\max(-\alpha ,x)}$

ミッシュ関数は整流器の滑らかな近似としても使用できる。^[21]これは次のように定義される。

${\displaystyle f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},}$

ここで は双曲正接、 はソフトプラス関数です。 ${\displaystyle \tanh(x)}$${\displaystyle \operatorname {softplus} (x)}$

Mishは非単調かつ自己ゲート型である。^{[25]これは}ReLUの変種であるSwishに触発されたものである。^[25]

スクエアプラス^[26]は関数

${\displaystyle f(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}}$

ここで、 は、付近の曲線領域の「サイズ」を決定するハイパーパラメータです。(たとえば、 とするとReLU が得られ、 とすると金属平均関数が得られます。) Squareplus は、softplus と多くの特性を共有しています。単調、が正で、 が のときに 0 に近づき、 が のときに恒等関数に近づき、 が滑らかです。ただし、squareplus は代数関数のみを使用して計算できるため、計算リソースや命令セットが制限されている設定に適しています。さらに、が大きい 場合、squareplus では数値安定性を確保するために特別な考慮は必要ありません。${\displaystyle b\geq 0}$${\displaystyle x=0}$${\displaystyle b=0}$${\displaystyle b=4}$${\displaystyle x\to -\infty }$${\displaystyle x\to +\infty }$${\displaystyle C^{\infty }}$ ${\displaystyle x}$

• ソフトマックス関数
• シグモイド関数
• トービットモデル
• レイヤー（ディープラーニング）