シグモイド関数

シグモイド関数とは、グラフが特徴的なS字型またはシグモイド曲線を持つ数学関数のことです。

シグモイド関数の一般的な例としては、ロジスティック関数が挙げられます。

その他のシグモイド関数については、「例」の項を参照してください。一部の分野、特に人工ニューラルネットワークの分野では、「シグモイド関数」という用語は「ロジスティック関数」の同義語として使用されます。

シグモイド関数の特殊なケースには、ゴンペルツ曲線（ xの値が大きいときに飽和するシステムのモデリングに使用）やオジー曲線（一部のダムの放水路に使用）などがあります。シグモイド関数の定義域はすべての実数で、戻り値（応答値）は通常単調増加ですが、減少することもあります。シグモイド関数は、戻り値（y軸）が 0 から 1 の範囲になることが最も多いです。もう 1 つの一般的な範囲は -1 から 1 です。

また、0と1の間を瞬時に遷移するヘヴィサイド階段関数も存在する。

ロジスティック関数や双曲線正接関数など、さまざまなシグモイド関数が人工ニューロンの活性化関数として使用されてきました。シグモイド曲線は、統計学において累積分布関数（0から1までの値をとる）としてもよく用いられ、例えばロジスティック密度関数、正規密度関数、スチューデントのt確率密度関数の積分などが挙げられます。ロジスティックシグモイド関数は可逆であり、その逆関数はロジット関数です。

数学において、ユニタリシグモイド関数は、単位範囲に正規化された有界シグモイド型関数であり、通常は0と1に下限漸近線と上限漸近線を持ちます。Grebenc ^{[ 1 ]}が提案した理論では、漸近挙動と漸近線付近での振動の有無に基づいて、3種類のユニタリシグモイド関数を区別しています。

ユニタリシグモイド関数の一般形は

${\displaystyle y=A\,S(f(x))+B,}$

どこ${\displaystyle S}$は増加シグモイド関数であり、${\displaystyle f(x)}$これは独立変数の変換であり、${\displaystyle A}$そして${\displaystyle B}$これらは、拡大縮小と移動を制御する定数です。

分類

^第1種

第一種ユニタリシグモイド関数とは、振動することなく、下限漸近線と上限漸近線に単調に近づく有界増加関数である。このクラスには、統計学、生物数学、工学などで用いられる多くの標準的なシグモイド関数、例えばロジスティック関数やその一般化などが含まれる。

^第2種

第2種ユニタリシグモイド関数は、全体的なシグモイド遷移を維持しながら、上側漸近線付近で振動する有界増加関数である。

^第3種

第3種ユニタリシグモイド関数は、下限漸近線と上限漸近線の両方の近傍で振動する、有界増加関数です。これらの関数はシグモイド曲線の全体的な形状を保持しますが、両方の極限状態の近傍で振動的な挙動を示します。

シグモイド関数は、有界で微分可能な実関数であり、すべての実数入力値に対して定義され、各点で正の導関数を持ちます。^{[ 13 ] [ 14 ]}

一般に、シグモイド関数は単調であり、その1階導関数はベル型になります。逆に、連続で非負のベル型関数（縮退していない限り、1つの局所最大値と局所最小値を持つ）の積分はシグモイド関数になります。したがって、多くの一般的な確率分布の累積分布関数はシグモイド関数です。そのような例の1つは、正規分布の累積分布関数に関連する誤差関数です。もう1つは、コーシー分布の累積分布関数に関連するarctan関数です。

シグモイド関数は、次の2つの水平漸近線によって制約されます。${\displaystyle x\rightarrow \pm \infty }$。

シグモイド関数は、ある特定の点より小さい値では凸関数であり、その点より大きい値では凹関数です。ここで挙げた例の多くでは、その点は0です。

• ロジスティック関数$${\displaystyle f(x)={\frac {1}{1+e^{-x}}}}$$
• 双曲線正接関数（上記のロジスティック関数を平行移動およびスケーリングしたバージョン）$${\displaystyle f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$$
• 逆正接関数$${\displaystyle f(x)=\arctan x}$$
• グーデルマン関数$${\displaystyle f(x)=\operatorname {gd} (x)=\int _{0}^{x}{\frac {dt}{\cosh t}}=2\arctan \left(\tanh \left({\frac {x}{2}}\right)\right)}$$
• エラー関数$${\displaystyle f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt}$$
• 一般化ロジスティック関数$${\displaystyle f(x)=\left(1+e^{-x}\right)^{-\alpha },\quad \alpha >0}$$
• スムーズステップ機能$${\displaystyle f(x)={\begin{cases}{\displaystyle \left(\int _{0}^{1}\left(1-u^{2}\right)^{N}du\right)^{-1}\int _{0}^{x}\left(1-u^{2}\right)^{N}\ du},&|x|\leq 1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\quad N\in \mathbb {Z} \geq 1}$$
• 例えば、いくつかの代数関数$${\displaystyle f(x)={\frac {x}{\sqrt {1+x^{2}}}}}$$
• より一般的な形では^{[ 15 ]}$${\displaystyle f(x)={\frac {x}{\left(1+|x|^{k}\right)^{1/k}}}}$$
• シフトとスケーリングを除いて、多くのシグモイドは、$${\displaystyle f(x)=\varphi (\varphi (x,\beta ),\alpha ),}$$どこ$${\displaystyle \varphi (x,\lambda )={\begin{cases}(1-\lambda x)^{1/\lambda }&\lambda \neq 0\\e^{-x}&\lambda =0\\\end{cases}}}$$は負のボックス・コックス変換の逆であり、${\displaystyle \alpha <1}$そして${\displaystyle \beta <1}$形状パラメータです。^{[ 16 ]}
• 滑らかな遷移関数^{[ 17 ]}を(−1,1)に正規化：

$${\displaystyle {\begin{aligned}f(x)&={\begin{cases}{\displaystyle {\frac {2}{1+e^{-2m{\frac {x}{1-x^{2}}}}}}-1},&|x|<1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\\&={\begin{cases}{\displaystyle \tanh \left(m{\frac {x}{1-x^{2}}}\right)},&|x|<1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\end{aligned}}}$$上記の双曲線正接関数を使用します。ここで、${\displaystyle m}$は、傾斜を符号化する自由パラメータです。${\displaystyle x=0}$これは以上でなければならない${\displaystyle {\sqrt {3}}}$なぜなら、それより小さい値では、複数の変曲点を持つ関数となり、真のシグモイド関数ではなくなるからです。この関数は、有限の範囲内で極限値 −1 と 1 に達するため、珍しい関数です。つまり、すべての に対して値は −1 で一定です。${\displaystyle x\leq -1}$そして1は全員に${\displaystyle x\geq 1}$それにもかかわらず、それは滑らかである（無限に微分可能、${\displaystyle C^{\infty }}$）あらゆる場所で、${\displaystyle x=\pm 1}$。

複雑系学習曲線などの多くの自然現象は、小さな始まりから始まり、時間の経過とともに加速してクライマックスに近づくという進行を示します。^{[ 18 ]}特定の数学モデルがない場合は、シグモイド関数がよく使用されます。^{[ 19 ]}

ファン・ゲヌヒテン・グプタモデルは逆S字曲線に基づいており、土壌塩分濃度に対する作物収量の反応に適用される。

農業における作物の反応のモデリングでは、作物の収量（小麦）が土壌の塩分濃度と地下水位の深さの両方に反応する際のロジスティックS曲線の適用例が示されています。

人工ニューラルネットワークでは、効率性を高めるために非平滑関数が使用されることがあり、これらはハードシグモイドとして知られています。

音声信号処理では、アナログ回路のクリッピング音をエミュレートするために、シグモイド関数が波形整形伝達関数として使用されます。^{[ 20 ]}

一般的にデジタル信号処理において、シグモイド関数は連続性の次数が高いため、周波数領域における漸近的な減衰がヘビーサイド階段関数よりもはるかに速く、サンプリング前に不連続性を平滑化してエイリアシングを低減するのに役立ちます。これは、例えば、多くの種類のデジタルシンセサイザで方形波を生成する際に使用されます。

生化学および薬理学において、ヒル方程式およびヒル・ラングミュア方程式はシグモイド関数である。

運転において、車線変更はS字曲線を描く軌道に沿ってスムーズに行われる。

コンピュータグラフィックスやリアルタイムレンダリングにおいて、シグモイド関数は、2つの値の間で色や形状をブレンドするために使用され、継ぎ目や不連続性が目立たない滑らかな遷移を実現します。

強酸と強塩基間の滴定曲線は、pHスケールが対数的な性質を持つため、S字型になります。

ロジスティック関数は、タイプIIIのUnumsを利用することで効率的に計算できます。^{[ 21 ]}

複雑さ（パラメータの数）が増していくシグモイド成長モデルの階層が構築されました^{[ 22 ]。}主な目的は、電気化学における不均一核生成実験^{[ 23 ]}からの速度論的データ、いわゆるNt曲線を再解析することです。この階層には現在、最大核数_Nmaxを除けば、それぞれ1、2、3パラメータの3つのモデルが含まれています。2Dでの拡散律速結晶成長（凝集ではない！）を記述するために考案されたtanh ²ベースのα _21モデル^{[ 24 ]}、Johnson–Mehl–Avrami–Kolmogorov（JMAK）モデル^{[ 25 ]} 、およびRichardsモデルです。^{[ 26 ]}具体的な目的においては、最も単純なモデルでも機能することが示され、したがって、再検討された実験は、最初の段階が安定相の核が形成される準安定相の成長である2段階核生成の例であることが示唆された。^{[ 22 ]}

• ミッチェル、トム・M. (1997).機械学習. WCBマグロウヒル. ISBN 978-0-07-042807-2。（注：特に「第4章：人工ニューラルネットワーク」（特に 96～97ページ）を参照。ミッチェルはそこで「ロジスティック関数」と「シグモイド関数」を同義語として用いており、この関数を「圧縮関数」とも呼んでいる。また、シグモイド（別名ロジスティック）関数は、多層ニューラルネットワークの「ニューロン」の出力を圧縮するために使用される。）
• ハンフリーズ、マーク。「連続出力、シグモイド関数」。2022年7月14日にオリジナルからアーカイブ済み。2022年7月14日に取得。（注：シグモイド関数の特性、軸に沿った移動方法、定義域の変換方法など。）