人工ニューロン

人工ニューロンは、ニューラルネットワーク内の生物学的ニューロンのモデルとして考え出された数学的関数である。人工ニューロンは、人工ニューラルネットワークの基本単位である。^[1]人工ニューロンは、1つ以上の入力を受け取り、これらの入力に重みを適用し、それらを合計して出力を生成する関数である。

人工ニューロンの設計は神経回路からヒントを得た。その入力は神経樹状突起における興奮性シナプス後電位と抑制性シナプス後電位に類似している。活性化、その重みはシナプス重みに類似しており、その出力は軸索に沿って伝達されるニューロンの活動電位に類似しています。

通常、各入力は個別に重み付けされ、その合計はバイアスと呼ばれる項（しきい値電位に大まかに相当）に追加されてから、活性化関数または伝達関数と呼ばれる非線形関数^{[明確化が必要]}に渡されます。伝達関数は通常シグモイド形状をしていますが、他の非線形関数、区分線形関数、またはステップ関数の形をとることもあります。また、単調増加、連続、微分可能、有界であることもよくあります。多くのタスクでシグモイドおよびReLU のような活性化関数よりも優れた、複数のゼロを持つ非単調、無制限、振動の活性化関数も最近研究されています。しきい値関数は、しきい値ロジックと呼ばれるロジックゲートの構築にインスピレーションを与えました。これは、脳の処理に似たロジック回路の構築に適用できます。たとえば、メモリスタなどの新しいデバイスは、最近、そのようなロジックの開発に広く使用されています。^[2]

人工ニューロンの伝達関数は、線形システムの伝達関数と混同しないでください。

人工ニューロンは、使用される構造に応じて、 半線形ユニット、Nv ニューロン、バイナリ ニューロン、線形閾値関数、またはMcCulloch–Pitts ( MCP )ニューロンと呼ばれることがあります。

マカロック・ピッツモデルなどの単純な人工ニューロンは、1つまたは複数の神経生理学的観察を反映することを意図しているが、現実感を考慮に入れていないため、「カリカチュアモデル」と呼ばれることもあります。^[3]人工ニューロンは、自然の物理的ニューロンに似た、 神経形態工学における人工細胞（以下を参照）を指すこともあります。

与えられた人工ニューロン k に対して、 信号x ₀からx _m、重みw _{k 0}からw _{k m}を持つm + 1 個の入力があるとします。通常、x _{0入力には値 +1 が割り当てられ、} w _{k 0}  =  b _kのバイアス入力になります。これにより、ニューロンへの実際の入力はx _1からx _mまでのm 個だけになります。

k番目のニューロンの出力は次のようになります。

${\displaystyle y_{k}=\varphi \left(\sum _{j=0}^{m}w_{kj}x_{j}\right)}$

ここで、(phi) は伝達関数 (通常は閾値関数) です。 ${\displaystyle \varphi}$

出力は生物学的ニューロンの軸索に似ており、その値はシナプスを介して次の層の入力に伝播します。また、出力ベクトルの一部としてシステムから出力されることもあります。

学習プロセスそのものはなく、伝達関数の重みが計算され、しきい値が事前に決定されます。

MCP ニューロンは、離散的な時間ステップで動作する制限付き人工ニューロンの一種です。各ニューロンには 0 個以上の入力があり、 と表記されます。出力は 1 つあり、 と表記されます。各入力は興奮性または抑制性のいずれかです。出力は静止または発火のいずれかです。MCP ニューロンにはしきい値 もあります。 ${\displaystyle x_{1},...,x_{n}}$${\displaystyle y}$${\displaystyle b\in \{0,1,2,...\}}$

MCP ニューラル ネットワークでは、すべてのニューロンが の同期した離散時間ステップで動作します。 の時点で、発火する興奮性入力の数が少なくともしきい値に等しく、発火する抑制性入力がない場合、ニューロンの出力は になり、それ以外の場合は になります。 ${\displaystyle t=0,1,2,3,...}$${\displaystyle t+1}$${\displaystyle y(t+1)=1}$${\displaystyle y(t+1)=0}$

各出力は、それ自体を含む任意の数のニューロンへの入力になることができます(つまり、自己ループが可能です)。ただし、出力は 1 つのニューロンに複数回接続することはできません。ネットワークは同期した離散的な時間ステップで動作するため、自己ループによって矛盾が発生することはありません。

簡単な例として、しきい値 0 の単一のニューロンと単一の抑制自己ループを考えてみましょう。その出力は、各ステップで 0 と 1 の間を振動し、「時計」として機能します。

あらゆる有限状態機械はMCPニューラルネットワークでシミュレートできます。^[4]無限テープが装備されたMCPニューラルネットワークは、あらゆるチューリングマシンをシミュレートできます。^[5]

人工ニューロンは、生物学的ニューロンの特徴を模倣するように設計されています。しかし、生物学的ニューラルネットワークと人工ニューラルネットワークの間には、大きなパフォーマンスのギャップが存在します。特に、人間の脳内では、XOR関数を学習できる振動活性化関数を持つ単一の生物学的ニューロンが発見されています。^[6]

• 樹状突起– 生物ニューロンでは、樹状突起は入力ベクトルとして機能します。これらの樹状突起により、細胞は多数の (>1000) 隣接ニューロンから信号を受信できます。上記の数学的処理と同様に、各樹状突起は、その樹状突起の「重み値」による「乗算」を実行できます。乗算は、シナプス神経伝達物質と、シナプス神経伝達物質に応じて樹状突起に導入される信号化学物質の比率を増減することで実現されます。負の乗算効果は、シナプス神経伝達物質の受信に応じて、樹状突起に沿って信号抑制剤 (つまり、反対に帯電したイオン) を伝達することで実現できます。
• 細胞体– 生物学的ニューロンでは、細胞体は上記の数学的説明に見られるように、加算機能として機能します。正と負の信号 (それぞれ興奮と抑制) が樹状突起から細胞体に到達すると、正イオンと負イオンは、細胞体内の溶液内で単純に混合されることによって、加算されて効果的に加算されます。
• 軸索– 軸索は細胞体内で発生する加算動作から信号を受け取ります。軸索の開口部は、細胞体内の溶液の電位を本質的にサンプリングします。細胞体が特定の電位に達すると、軸索はその全長にわたってオールイン信号パルスを送信します。この点で、軸索は人工ニューロンを他の人工ニューロンに接続する機能として機能します。

しかし、ほとんどの人工ニ​​ューロンとは異なり、生物ニューロンは離散的なパルスで発火します。細胞体内の電位が特定のしきい値に達するたびに、パルスが軸索に伝達されます。このパルスは連続値に変換できます。軸索が発火する速度 (1 秒あたりの活性化など) は、隣接する細胞に信号イオンが導入される速度に直接変換されます。生物ニューロンの発火が速いほど、近くのニューロンが電位を蓄積する速度が速くなります (または、発火したニューロンに接続する樹状突起の「重み付け」に応じて、電位を失います)。この変換により、コンピューター科学者や数学者は、異なる値 (多くの場合、-1 から 1) を出力できる人工ニューロンを使用して、生物ニューラル ネットワークをシミュレートできます。

研究によると、鳥の鳴き声の生成を担う神経回路では単項符号化が使われていることがわかっています。 ^{[7] [8]}生物ネットワークで単項符号化が使われるのは、おそらく符号化の本質的な単純さによるものと思われます。もう1つの要因としては、単項符号化がある程度エラー訂正を可能にすることが挙げられます。^[9]

有機および無機の物理的な人工ニューロンの研究開発が行われています。

例えば、人工ニューロンの中には^{[10] [11]}ドーパミン（電気信号ではなく化学信号）を受信・放出し、ラットの天然の筋肉や脳細胞と通信できるものがあり、 BCIや義肢に使用できる可能性があります。^{[12] [13]}

低電力の生体適合性メモリスタは、生物学的活動電位の電圧で機能する人工ニューロンの構築を可能にし、ニューロモルフィックコンピューティングや生物学的ニューロンとの直接通信のためにバイオセンシング信号を直接処理するために使用できる可能性があります。^{[14] [15] [16]}

ポリマーで作られた有機ニューロモルフィック回路は、イオンを豊富に含むゲルでコーティングされており、実際のニューロンのように電荷を運ぶことができるため、ロボットに組み込まれ、シミュレーションや仮想世界ではなく、現実世界の中で感覚運動的に学習できるようになりました。^{[17] [18]}さらに、ソフトマター（ポリマー）で作られた人工スパイクニューロンは、生物学的に関連する環境で動作し、人工領域と生物学的領域間の相乗的なコミュニケーションを可能にします。^{[19] [20]}

最初の人工ニューロンは、1943 年にWarren McCullochとWalter Pittsによって最初に提案されたしきい値論理ユニット (TLU)、または線形しきい値ユニット^[21]でした。このモデルは、脳内の「神経網」の計算モデルとして特に対象とされました。^[22]伝達関数として、ヘビサイドのステップ関数を使用するのと同等のしきい値を使用しました。当初は、バイナリ入力と出力、可能な重みに関するいくつかの制限、およびより柔軟なしきい値を持つ単純なモデルのみが検討されました。当初から、このようなデバイスのネットワークによって任意のブール関数を実装できることがすでに認識されていました。これは、AND 関数と OR 関数を実装し、それらを選言標準形または連言標準形で使用できるという事実から簡単にわかります。研究者はすぐに、ニューロンを介したフィードバックを持つ循環ネットワークがメモリを備えた動的システムを定義できることにも気付きましたが、研究のほとんどは、より困難が少ないため、 厳密にフィードフォワード ネットワークに集中しました (現在も集中しています) 。

線形閾値関数を使用した重要かつ先駆的な人工ニューラル ネットワークの 1 つに、 Frank Rosenblattが開発したパーセプトロンがあります。このモデルは、ニューロン内のより柔軟な重み値をすでに考慮しており、適応機能を備えたマシンで使用されていました。閾値をバイアス項として表現する方法は、1960 年にBernard Widrowによって導入されました ( ADALINE を参照) 。

1980年代後半、ニューラルネットワークの研究が再び活発になると、より連続的な形状を持つニューロンが検討され始めました。活性化関数を微分化できる可能性により、重みの調整に勾配降下法やその他の最適化アルゴリズムを直接使用できるようになりました。ニューラルネットワークは、一般的な関数近似モデルとしても使用され始めました。最もよく知られているトレーニングアルゴリズムであるバックプロパゲーションは、何度も再発見されていますが、その最初の開発はポール・ウェルボスの研究にまで遡ります。^{[23] [24]}

ニューロンの伝達関数（活性化関数）は、ニューロンを含むネットワークを強化または簡素化するいくつかの特性を持つように選択されます。重要なことは、たとえば、線形伝達関数を使用する多層パーセプトロンは、同等の単層ネットワークを持つということです。したがって、多層ネットワークの利点を得るには、非線形関数が必要です。^[要出典]

以下では、uはニューロンへのすべての入力の加重合計を指す。つまり、n入力の場合、

${\displaystyle u=\sum _{i=1}^{n}w_{i}x_{i}}$

ここで、w はシナプス重みのベクトルであり、x は入力のベクトルです。

この伝達関数の出力y は、入力が指定されたしきい値θ を満たすかどうかに応じてバイナリになります。アクティベーションがしきい値を満たすと、「信号」が送信され、つまり出力が 1 に設定されます。

${\displaystyle y={\begin{cases}1&{\text{if }}u\geq \theta \\0&{\text{if }}u<\theta \end{cases}}}$

この関数はパーセプトロンで使用され、他の多くのモデルでもよく使用されます。入力の空間を超平面で分割します。入力のバイナリ分類を実行するネットワークの最後の層で特に役立ちます。重みに大きな値を割り当てることで、他のシグモイド関数から近似できます。

この場合、出力ユニットは、単に入力の加重合計とバイアス項を加えたものになります。このような線形ニューロンがいくつかあり、入力ベクトルの線形変換を実行します。これは通常、ネットワークの最初の層でより役立ちます。調和解析など、線形モデルに基づく分析ツールが多数存在し、それらはすべてこの線形ニューロンを含むニューラル ネットワークで使用できます。バイアス項により、データに アフィン変換を行うことができます。

参照:線形変換、調和解析、線形フィルタ、ウェーブレット、主成分分析、独立成分分析、デコンボリューション。

ロジスティック関数などのシグモイド関数は、かなり単純な非線形関数で、導関数も簡単に計算できます。これは、ネットワークの重みの更新を計算するときに重要になることがあります。そのため、ネットワークを数学的に操作しやすくなり、シミュレーションの計算負荷を最小限に抑える必要があった初期のコンピュータ科学者にとって魅力的でした。以前は、多層パーセプトロンでよく見られました。ただし、最近の研究では、シグモイドニューロンは正規化線形ニューロンよりも効果が低いことが示されています。その理由は、バックプロパゲーションアルゴリズムによって計算された勾配は、活性化がシグモイドニューロンの層を伝播するにつれてゼロに向かって減少する傾向があり、複数のシグモイドニューロン層を使用してニューラルネットワークを最適化することが困難になるためです。

人工ニューラル ネットワークのコンテキストでは、整流子またはReLU (Rectified Linear Unit)は、引数の正の部分として定義される 活性化関数です。

${\displaystyle f(x)=x^{+}=\max(0,x),}$

ここで、xはニューロンへの入力です。これはランプ関数とも呼ばれ、電気工学における半波整流に類似しています。この活性化関数は、2000年にHahnloserらによってNature誌に発表された論文^[25]で、強い生物学的動機と数学的正当性をもって動的ネットワークに初めて導入されました。^{[ 26]}この関数は、2011年に初めて、2011年以前に広く使用されていた活性化関数、すなわちロジスティックシグモイド（確率論に触発された、ロジスティック回帰を参照）やそのより実用的な^[28]対応物である双曲正接と比較して、より深いネットワークのトレーニングを向上させることが実証されました。 [27]

ReLU 活性化関数のよく使われるバリエーションは、ユニットがアクティブでない場合に小さな正の勾配を許可する Leaky ReLU です。

${\displaystyle f(x)={\begin{cases}x&{\text{if }}x>0,\\ax&{\text{otherwise}}.\end{cases}}}$

ここでxはニューロンへの入力であり、aは小さな正の定数である（元の論文ではaに0.01の値が使用されていた）。^[29]

以下は、ブール入力 (true または false) を受け取り、アクティブになると単一のブール出力を返す単一の TLU の単純な疑似コード実装^{[引用が必要]です。}オブジェクト指向モデルが使用されています。トレーニング方法はいくつか存在するため、定義されていません。純粋に機能的なモデルが使用される場合、以下のクラス TLU は、入力パラメータしきい値、重み、およびブール値を返す入力を持つ関数 TLU に置き換えられます。

クラスTLU は次のように定義されます:
    データ メンバーしきい値:数値
    データ メンバー重み:サイズXの数値のリスト

    関数メンバーfire(入力:サイズ X のブール値のリスト) :ブール値は次のように定義されます:変数T :数値
        
        T ← 0
         1からXの各iについて、入力 (i)がtrueの場合、 
                T ← T + weights (i) を
            実行し、各について、 T > しきい値の場合、 true
        を返し、そうでない場合はfalse
        を返します。
            
        
        
            
            
    

• 結合ニューロン
• コネクショニズム

• 人工ニューロンが人間の細胞の機能を模倣
• マカロック・ピッツニューロン（概要）