シグモイド関数

シグモイド関数は、グラフが特徴的な S 字型またはシグモイド曲線を持つ数学関数です。

シグモイド関数の一般的な例としてはロジスティック関数があり、次の式で定義される: ^[1]

${\displaystyle \sigma (x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{1+e^{x}}}=1-\sigma (-x).}$

その他のシグモイド関数については、「例」のセクションを参照してください。一部の分野、特に人工ニューラル ネットワークの分野では、「シグモイド関数」という用語は「ロジスティック関数」の同義語として使用されます。

シグモイド関数の特殊なケースには、ゴンペルツ曲線（x の大きな値で飽和するシステムのモデリングに使用）やオジー曲線（一部のダムの放水路に使用）などがあります。シグモイド関数はすべての実数の定義域を持ち、戻り値（応答値）は通常単調に増加しますが、減少することもあります。シグモイド関数は、ほとんどの場合、戻り値（y 軸）を 0 から 1 の範囲で示します。よく使用される別の範囲は -1 から 1 です。

ロジスティック関数や双曲正接関数を含むさまざまなシグモイド関数が、人工ニューロンの活性化関数として使用されています。シグモイド曲線は、ロジスティック密度関数、正規密度関数、スチューデントのt確率密度関数の積分など、累積分布関数(0 から 1 の範囲)として統計学でもよく使用されます。ロジスティック シグモイド関数は逆関数であり、その逆関数はロジット関数です。

シグモイド関数は、すべての実入力値に対して定義され、各点^{[1] [2]}で非負の導関数と、正確に1つの変曲点を持つ、有界で微分可能な実関数です。

一般に、シグモイド関数は単調で、1次導関数はベル型です。逆に、連続的で負でないベル型関数 (退化していない限り、極大値が 1 つあり、極小値がない) の積分はシグモイド型になります。したがって、多くの一般的な確率分布の累積分布関数はシグモイド型です。このような例の 1 つは誤差関数で、これは正規分布の累積分布関数に関連します。もう 1 つは逆正接関数で、これはコーシー分布の累積分布関数に関連します。

シグモイド関数は、一対の水平漸近線によって制約され ます。${\displaystyle x\rightarrow \pm \infty }$

シグモイド関数は、特定の点より小さい値に対しては凸型であり、その点より大きい値に対しては 凹型です。ここでの多くの例では、その点は 0 です。

• ロジスティック関数 $${\displaystyle f(x)={\frac {1}{1+e^{-x}}}}$$
• 双曲正接（上記のロジスティック関数をシフトおよびスケールしたバージョン）$${\displaystyle f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$$
• 逆正接関数 $${\displaystyle f(x)=\arctan x}$$
• グーデルマン関数 $${\displaystyle f(x)=\operatorname {gd} (x)=\int _{0}^{x}{\frac {dt}{\cosh t}}=2\arctan \left(\tanh \left({\frac {x}{2}}\right)\right)}$$
• エラー関数 $${\displaystyle f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt}$$
• 一般化ロジスティック関数 $${\displaystyle f(x)=\left(1+e^{-x}\right)^{-\alpha },\quad \alpha >0}$$
• スムーズステップ機能$${\displaystyle f(x)={\begin{cases}{\displaystyle \left(\int _{0}^{1}\left(1-u^{2}\right)^{N}du\right)^{-1}\int _{0}^{x}\left(1-u^{2}\right)^{N}\ du},&|x|\leq 1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\quad N\in \mathbb {Z} \geq 1}$$
• いくつかの代数関数、例えば$${\displaystyle f(x)={\frac {x}{\sqrt {1+x^{2}}}}}$$
• より一般的な形では^[3] $${\displaystyle f(x)={\frac {x}{\left(1+|x|^{k}\right)^{1/k}}}}$$
• シフトとスケーリングを除けば、多くのシグモイドは の特殊なケースであり、 は負のボックス-コックス変換の逆であり、 とは形状パラメータである。^[4]$${\displaystyle f(x)=\varphi (\varphi (x,\beta ),\alpha ),}$$$${\displaystyle \varphi (x,\lambda )={\begin{cases}(1-\lambda x)^{1/\lambda }&\lambda \neq 0\\e^{-x}&\lambda =0\\\end{cases}}}$$${\displaystyle \alpha <1}$${\displaystyle \beta <1}$
• 滑らかな遷移関数^[5]を（-1,1）に正規化すると、

$${\displaystyle {\begin{aligned}f(x)&={\begin{cases}{\displaystyle {\frac {2}{1+e^{-2m{\frac {x}{1-x^{2}}}}}}-1},&|x|<1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\\&={\begin{cases}{\displaystyle \tanh \left(m{\frac {x}{1-x^{2}}}\right)},&|x|<1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\end{aligned}}}$$上述の双曲正接を用いて、は における傾きを表す自由パラメータで、 以上にする必要があります。これは、より小さい値では関数が複数の変曲点を持つようになり、真のシグモイドではなくなるためです。 この関数は、有限の範囲内で実際に -1 と 1 の極限値に達するという点で珍しい関数です。つまり、 のすべての場合で値が -1 で一定であり、のすべての場合で値が 1で一定であることを意味します。 それにもかかわらず、 を含むあらゆる で滑らか(無限に微分可能、)です。 ${\displaystyle m}$${\displaystyle x=0}$${\displaystyle {\sqrt {3}}}$${\displaystyle x\leq -1}$${\displaystyle x\geq 1}$${\displaystyle C^{\infty }}$${\displaystyle x=\pm 1}$

複雑なシステムの学習曲線などの多くの自然プロセスは、小さな始まりから加速して時間の経過とともにクライマックスに近づく進行を示します。特定の数学モデルが不足している場合は、シグモイド関数がよく使用されます。^[6]

van Genuchten-Gupta モデルは逆 S 字曲線に基づいており、土壌塩分に対する作物収量の反応に適用されます。

土壌塩分濃度と土壌地下水位の深さの両方に対する作物収量（小麦）の反応にロジスティック S 曲線を適用した例は、「農業における作物の反応のモデル化」に示されています。

人工ニューラル ネットワークでは、効率性を高めるために、代わりに非滑らかな関数が使用されることがあります。これらはハード シグモイドと呼ばれます。

オーディオ信号処理では、シグモイド関数はアナログ回路のクリッピングの音をエミュレートするための波形 整形伝達関数として使用されます。^[7]

生化学および薬理学において、ヒル方程式とヒル・ラングミュア方程式はシグモイド関数です。

コンピュータ グラフィックスとリアルタイム レンダリングでは、シグモイド関数の一部は、2 つの値の間で色やジオメトリを滑らかに、目に見える継ぎ目や不連続なしにブレンドするために使用されます。

強酸と強塩基の間の滴定曲線は、 pH スケールの対数特性によりシグモイド形状になります。

ロジスティック関数はタイプIII Unumsを利用することで効率的に計算できる。^[8]

ウィキメディア・コモンズには、シグモイド関数に関連するメディアがあります。

• ミッチェル、トム M. (1997)。機械学習。WCBマグロウヒル。ISBN 978-0-07-042807-2。(注: 特に「第 4 章: 人工ニューラル ネットワーク」(特に 96 ～ 97 ページ) を参照してください。ここで、Mitchell は「ロジスティック関数」と「シグモイド関数」という単語を同義語として使っています。この関数は「圧縮関数」とも呼ばれています。また、シグモイド (別名ロジスティック) 関数は、多層ニューラル ネットワークの「ニューロン」の出力を圧縮するために使用されます。)
• Humphrys, Mark. 「連続出力、シグモイド関数」。2022年7月14日時点のオリジナルよりアーカイブ。2022年7月14日閲覧。(注: シグモイドの特性、軸に沿ってどのようにシフトできるか、そのドメインをどのように変換できるかなど)

• 「SegRegA を使用したロジスティック S 曲線 (シグモイド) のデータへのフィッティング」。2022 年 7 月 14 日にオリジナルからアーカイブされました。