スウィッシュ機能

スウィッシュ関数は、以下のように定義される数学関数の族です。

${\displaystyle \operatorname {swish} _{\beta }(x)=x\operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.}$^{[ 1 ]}

どこ${\displaystyle \beta }$定数（通常は 1 に設定）または学習可能であり、「シグモイド」はロジスティック関数を指します。

swishファミリーは、線形関数とReLU（ Rectified Linear Unit ）関数の間を滑らかに補間するように設計されています。

^{正の値を考慮すると、Swish は[ 2 ]}で定義された二重パラメータ化シグモイド収縮関数の特殊なケースです^{。式 3}。Swish 関数の変種にはMishがあります。^{[ 3 ]}

β  =  0 の場合、関数は線形になります: f( x ) = x /2。

β  = 1 の場合、関数はシグモイド線形ユニット(SiLU) です。

β  = 1.702 の場合、この関数はGeLUに近似する。^{[ 4 ]}

β  →  ∞ の場合、関数はReLUに収束します。

したがって、Swishファミリーは線形関数とReLU関数の間を滑らかに補間します。 ^{[ 1 ]}

以来${\displaystyle \operatorname {swish} _{\beta }(x)=\operatorname {swish} _{1}(\beta x)/\beta }$、swish のすべてのインスタンスはデフォルトと同じ形状です$\displaystyle \operatorname {swish} _{1}}$ズームイン${\displaystyle \beta }$通常は設定します${\displaystyle \beta >0}$。 いつ${\displaystyle \beta }$は学習可能であり、この制約は以下のように強制できます。$\displaystyle \beta =e^{b}}$、 どこ${\displaystyle b}$訓練可能である。

$${\displaystyle \operatorname {swish} _{1}(x)={\frac {x}{2}}+{\frac {x^{2}}{4}}-{\frac {x^{4}}{48}}+{\frac {x^{6}}{480}}+O\left(x^{8}\right)}$$

$${\displaystyle {\begin{aligned}\operatorname {swish} _{1}(x)&={\frac {x}{2}}\tanh \left({\frac {x}{2}}\right)+{\frac {x}{2}}\\\operatorname {swish} _{1}(x)+\operatorname {swish} _{-1}(x)&=x\tanh \left({\frac {x}{2}}\right)\\\operatorname {swish} _{1}(x)-\operatorname {swish} _{-1}(x)&=x\end{aligned}}}$$

なぜなら${\displaystyle \operatorname {swish} _{\beta }(x)=\operatorname {swish} _{1}(\beta x)/\beta }$デフォルトの場合については、その導関数を計算すれば十分である。$${\displaystyle \operatorname {swish} _{1}'(x)={\frac {x+\sinh(x)}{4\cosh ^{2}\left({\frac {x}{2}}\right)}}+{\frac {1}{2}}}$$それで${\displaystyle \operatorname {swish} _{1}'(x)-{\frac {1}{2}}}$奇妙だ。$$\displaystyle \operatorname {swish} _{1}''(x)={\frac {1-{\frac {x}{2}}\tanh \left({\frac {x}{2}}\right)}{2\cosh ^{2}\left({\frac {x}{2}}\right)}}}$$それで${\displaystyle \operatorname {swish} _{1}''(x)}$均等です。

SiLUは2016年にGELUとともに初めて提案され^{[ 4 ]} 、その後2017年に強化学習におけるシグモイド重み付き線形ユニット（SiL）として再び提案されました^{[ 5 ] [ 1 ]}。SiLU /SiLは、最初の発見から1年以上経ってからSWISHとして再び提案されましたが、当初は学習可能なパラメータβなしで提案されていたため、βは暗黙的に1に等しくなっていました。その後、SWISHの論文が更新され、学習可能なパラメータβによる活性化が提案されました。

2017年、Googleの研究者らはImageNetデータの分析を行った結果、この関数を人工ニューラルネットワークの活性化関数として使用すると、ReLU関数やシグモイド関数と比較してパフォーマンスが向上することを示しました。^{[ 1 ]}改善の理由の一つは、swish関数がバックプロパゲーション中の勾配消失問題を軽減するのに役立つと考えられています。^{[ 6 ]}

• アクティベーション機能
• ゲーティング機構