アクティベーション機能

リッジ関数は、入力変数の線形結合に作用する多変数関数です。よく使われる例としては、以下のようなものがあります。

• 線形活性化：${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$、
• ReLU活性化関数:${\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}$、
• ヘヴィサイド活性化:${\displaystyle \phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}}$、
• 物流の活性化：${\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}$。

生物学的着想に基づくニューラルネットワークでは、活性化関数は通常、細胞内の活動電位の発火率を表す抽象化です。 ^{[ 9 ]}最も単純な形式では、この関数はバイナリです。つまり、ニューロンが発火しているかしていないかのどちらかです。^{[ 10 ]}

ニューロンは一定の速度よりも速く発火することはできません。この生物学的な制約から、出力範囲が有限区間に限定されるシグモイド活性化関数が用いられます。

関数は次のようになります。${\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )}$、 どこ${\displaystyle U}$はヘヴィサイド階段関数です。

一方、直線の傾きが正の場合、入力電流の増加に伴って発火率が増加することを示している可能性があります。このような関数は次の形式になります。${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$。

RBFネットワークでは、放射基底関数（RBF）と呼ばれる特殊な活性化関数が使用されます。これらの活性化関数は様々な形式をとりますが、通常は以下のいずれかの関数として現れます。

• ガウス分布：${\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)}$
• 多重二次関数:${\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}$
• 逆多重二次関数:${\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}}$
• 多調和スプライン

どこ${\displaystyle \mathbf {c} }$は関数中心を表すベクトルであり、${\displaystyle a}$そして${\displaystyle \sigma }$これらは半径の広がり方に影響を与えるパラメータです。

周期関数は活性化関数として使用できます。通常は正弦波が使用されます。なぜなら、任意の周期関数はフーリエ変換によって正弦波に分解できるからです。^{[ 11 ]}

二次活性化マップ${\displaystyle x\mapsto x^{2}}$[ ^{12 ] [ 13 ]​}

畳み込み活性化関数は、畳み込みニューラルネットワークのプーリング層や、多クラス分類ネットワークの出力層で広く用いられています。これらの活性化関数は、入力に対して平均値、最小値、最大値などの集約処理を行います。多クラス分類においては、ソフトマックス活性化関数がよく用いられます。

以下の表は、前の層または複数の層からの1つのフォールドxの関数であるいくつかの活性化関数の特性を比較したものです。

以下の表は、前の層または複数の層からの単一のフォールドxの関数ではない活性化関数を示しています。

^ここで、${\displaystyle \delta _{ij}}$はクロネッカーデルタです。

^例えば、${\displaystyle j}$前のニューラルネットワーク層のカーネルの数を反復処理しながら${\displaystyle i}$現在の層のカーネルの数だけ反復処理を行います。

変分量子回路ではなく量子パーセプトロンに基づくゲートモデル量子コンピュータ上でプログラムされた量子ニューラルネットワークでは、活性化関数の非線形性は、各層の各パーセプトロンの出力を測定する必要なく実装できます。重ね合わせなどの回路内にロードされた量子特性は、パーセプトロン自体によって計算された引数のテイラー級数を作成し、適切な量子回路で所望の近似度までべき乗を計算することによって保持できます。このような量子回路の柔軟性により、任意の古典的な活性化関数を近似するように設計できます。^{[ 26 ]}