スパイキングニューラルネットワーク

スパイキングニューラルネットワーク（SNN）は、自然のニューラルネットワークをより忠実に模倣した人工ニューラルネットワーク（ANN）です。^[1]これらのモデルは、離散スパイクのタイミングを主な情報伝達手段として活用します。^[2]

ニューロンとシナプスの状態に加えて、SNN は時間の概念を動作モデルに組み込んでいます。その考え方は、 SNN のニューロンは(一般的な多層パーセプトロン ネットワークのように) 各伝播サイクルで情報を伝達するのではなく、膜電位(膜電荷に関連するニューロンの固有の特性) がしきい値と呼ばれる特定の値に達したときにのみ情報を伝達するというものです。膜電位がしきい値に達すると、ニューロンが発火し、他のニューロンに伝わる信号を生成します。他のニューロンは、この信号に反応して電位を増減します。しきい値を超えた瞬間に発火するニューロン モデルは、スパイキング ニューロン モデルとも呼ばれます。^[3]

これまで、脳はスパイクレートを通じて情報をエンコードすると考えられていましたが、これは従来のANNのアナログ変数出力と見なすことができますが、^[4]神経生物学の分野での研究では、高速処理はレートベースのスキームだけでは実行できないことが示されています。たとえば、人間は、連続する層（網膜から側頭葉まで）を通過するニューロンごとに10ミリ秒未満の処理時間を必要とするレートで画像認識タスクを実行できます。この時間枠は、レートベースのエンコードには短すぎます。スパイクニューロンの小さなセットでの正確なスパイクタイミングは、レートベースのアプローチと比較して、より高い情報コーディング容量も備えています。^[5]

最も有名なスパイクニューロンモデルは、リーキー積分発火モデルです。^[6]積分発火モデルでは、瞬間的な活性化レベル（微分方程式としてモデル化）が通常、ニューロンの状態であると考えられており、入ってくるスパイクがこの値を上げたり下げたりして、最終的に状態が減衰するか、発火閾値に達した場合はニューロンが発火します。発火後、状態変数はより低い値にリセットされます。

スパイクの頻度 (レートコード)、刺激後の最初のスパイクまでの時間、またはスパイク間の間隔 に基づいて、出力されるスパイク列を実数値として解釈するためのさまざまなデコード方法が存在します。

多くの多層人工ニューラルネットワークは完全に接続されており、前の層のすべてのニューロンから入力を受け取り、次の層のすべてのニューロンに信号を送ります。これらのネットワークは多くの分野で画期的な進歩を遂げましたが、生物学的には不正確であり、生物の脳内のニューロンの動作メカニズムを模倣していません。^[要出典]

生物学にヒントを得たスパイクニューロンのホジキン・ハクスリーモデルは1952年に提案された。このモデルは活動電位がどのように開始され伝播するかを説明する。シナプス間隙における化学神経伝達物質の交換を必要とするニューロン間のコミュニケーションは、積分発火モデル、フィッツヒュー・ナグモモデル（1961～1962年）、ヒンドマーシュ・ローズモデル（1984年）など、さまざまなモデルで説明されている。漏洩積分発火モデル（またはその派生モデル）は、ホジキン・ハクスリーモデルよりも計算が容易であるため、一般的に使用されている。^[7]

人工スパイキングニューラルネットワークの概念が広く知られるようになったのは21世紀の最初の四半世紀に入ってからであるが、^{[8] [9] [10]} 1980年から1995年の間にこの概念を支持する研究が数多く行われ、このタイプの人工ニューラルネットワークの最初のモデルは非アルゴリズム的な知的情報処理システムをシミュレートするものと思われた。^{[11] [12] [13]}しかし、スパイキングニューラルネットワークを数学モデルとして捉えるという概念自体は、1970年代初頭にすでに研究されていた。^[14]

脳内の情報は活動電位（ニューロンスパイク）として表され、スパイク列や協調した脳活動の波にグループ化されることがあります。神経科学の基本的な問題は、ニューロンが速度コードまたは時間コードで通信するかどうかを決定することです。^[15] 時間コーディングは、単一のスパイクニューロンがシグモイドニューラルネット上の何百もの隠れユニットを置き換えることができることを示唆しています。^[1]

SNN は、離散領域ではなく連続領域で計算を行います。ニューロンは、伝播の反復ごとにアクティブ化をテストするのではなく (一般的な多層パーセプトロンネットワークの場合のように)、膜電位が特定の値に達したときにのみアクティブ化をテストするという考え方です。ニューロンがアクティブになると、接続されたニューロンに渡される信号が生成され、膜電位が上がったり下がったりします。

スパイキングニューラルネットワークでは、ニューロンの現在の状態は膜電位（微分方程式としてモデル化される可能性がある）として定義されます。^[16]入力パルスにより、膜電位は一定期間上昇し、その後徐々に低下します。これらのパルスシーケンスを数値として解釈するためのエンコードスキームが構築されており、パルス周波数とパルス間隔の両方が考慮されています。パルス発生時間に基づくニューラルネットワークモデルを確立できます。^[17]パルス発生の正確な時間を使用することで、ニューラルネットワークはより多くの情報を使用し、より優れたコンピューティング特性を提供できます。^[18]

SNN アプローチは、従来の人工ニューラル ネットワーク(ANN)のバイナリ出力ではなく、連続出力を生成します。パルス列は簡単に解釈できないため、上記のようなエンコード方式が必要になります。ただし、パルス列表現は、時空間データ (または連続的な実世界の感覚データ分類) の処理に適している場合があります。^[19] SNN は、ニューロンを近くのニューロンにのみ接続して入力ブロックを個別に処理することで空間を考慮します (フィルターを使用するCNNと同様)。バイナリ エンコードで情報が失われないように、情報をパルス列としてエンコードすることで時間を考慮します。これにより、再帰型ニューラル ネットワーク(RNN) の複雑さが増すのを回避できます。インパルス ニューロンは、従来の人工ニューロンよりも強力な計算ユニットであることが判明しています。^[20]

^{SNNは理論的には[20]}で定義されているいわゆる「第二世代ネットワーク」よりも強力です。「[ANN]は、入力の加重和（または多項式）に連続した可能な出力値のセットを持つ活性化関数を適用する計算ユニットに基づいていますが、SNNのトレーニングの問題とハードウェア要件により、その使用が制限されます。ヘブビアン学習やSTDPなどの生物学にヒントを得た教師なし学習方法は利用できますが、第二世代ネットワークよりも優れたパフォーマンスを提供できる効果的な教師ありトレーニング方法はSNNに適していません。^[20] SNNのスパイクベースの活性化は微分可能ではないため、誤差逆伝播を実行するための勾配降下ベースのトレーニング方法を開発することは困難です。

SNNは、従来のANNに比べて現実的なニューラルモデルをシミュレートするための計算コストがはるかに大きい。^[21]

パルス結合ニューラル ネットワーク(PCNN) は、SNN と混同されることがよくあります。PCNN は SNN の一種と見なすことができます。

現在、SNN を使用する際に研究者が積極的に取り組んでいる課題がいくつかあります。最初の課題は、スパイク非線形性の非微分性に関するものです。順方向学習法と逆方向学習法の両方の式には、ニューロンの出力がスパイク時に 1、それ以外の場合は 0 であるため、微分不可能なニューラル活性化関数の導関数が含まれています。バイナリ スパイク非線形性のこの全か無かの動作により、勾配が「流れる」ことがなくなり、LIF ニューロンは勾配ベースの最適化に適さなくなります。2 番目の課題は、最適化アルゴリズム自体の実装に関するものです。標準 BP は、計算、メモリ、通信の点でコストが高く、実装するハードウェア (コンピューター、脳、ニューロモルフィック デバイスなど) によって決まる制約に適さない場合があります。^[22]最初の課題に関しては、解決するためのアプローチがいくつかあります。そのうちのいくつかは次のとおりです。

1. 隠れユニットに対して完全に生物学にヒントを得た局所学習ルールを採用する
2. 従来訓練された「レートベース」NNをSNNに変換する
3. ネットワークモデルを連続的に微分可能に平滑化する
4. SG（代理勾配）を実勾配の連続緩和として定義する

SNNの開発において、スパイク周波数適応（SFA）などの追加のニューロンダイナミクスをニューロンモデルに組み込むことは、効率と計算能力の両方を向上させるという注目すべき進歩を示しています。^{[6] [23]}これらのニューロンは、生物学的複雑性と計算複雑性の中間に位置します。^{[24]生物学的洞察に由来するSFAは、効率的なコーディングを通じて電力使用量を削減することにより、}特に反復的または強力な刺激の場合に、計算上の大きな利点を提供します。 この適応により、バックグラウンドノイズに対する信号の明瞭性が向上し、ニューロンレベルで基本的な短期記憶が導入され、情報処理の精度と効率が向上します。^[26]最近、この現象は主にコンパートメントニューロンモデルを使用して実現されました。 より単純なバージョンは、SFAを実現する間接的な方法である適応しきい値を備えたニューロンモデルです。 これにより、シナプス可塑性が制約されていても、SNNの学習機能が向上し、計算効率が向上します。^{[27] [28]}この機能は、スパイク処理の必要性を減らすことでネットワーク層への要求を軽減し、ニューラルコンピューティングの重要な側面である計算負荷とメモリアクセス時間を削減します。さらに、SFAが可能なニューロンを利用するSNNは、長期短期記憶モデルに基づくものを含む従来の人工ニューラルネットワークに匹敵するレベルの精度を達成し、^{[29] [30]}同等の計算タスクに必要なニューロンの数も少なくなります。この効率は、計算ワークフローを合理化するだけでなく、スペースとエネルギーを節約し、技術的な完全性を維持しながら、複雑な計算タスクに対するSNNの実用的アプリケーションにおける実用的な一歩を踏み出します。ニューロンあたり0.3スパイクの高性能ディープスパイキングニューラルネットワーク

SNNは、原理的には従来のANNと同じアプリケーションに適用できます。^[31]さらに、SNNは、環境に関する事前の知識なしに餌を探している昆虫など、生物の中枢神経系をモデル化できます。 ^{[32]比較的リアルなため、}生物学的神経回路の動作を研究するために使用できます。生物学的神経回路のトポロジーとその機能に関する仮説から始めて、この回路の記録を対応するSNNの出力と比較し、仮説の妥当性を評価することができます。ただし、SNNの効果的なトレーニングメカニズムが不足しており、コンピュータービジョンタスクを含む一部のアプリケーションでは阻害となる可能性があります。

2019年現在、SNNは精度の点でANNに遅れをとっていますが、その差は縮まっており、いくつかのタスクでは消えています。^[33]

画像ベースのデータにSNNを使用する場合、画像をバイナリスパイク列に変換する必要があります。^[34]エンコーディングの種類には以下が含まれます。^[35]

• 時間的コーディング。ニューロンごとに 1 つのスパイクを生成し、スパイクの遅延はピクセルの強度に反比例します。
• レートコーディング: ピクセルの強度をスパイク列に変換します。スパイクの数はピクセルの強度に比例します。
• 直接コーディング。トレーニング可能なレイヤーを使用して、各タイム ステップの浮動小数点値を生成します。レイヤーは、特定のタイム ステップで各ピクセルを浮動小数点値に変換し、生成された浮動小数点値にしきい値を使用して 0 または 1 を選択します。
• 位相コーディング。グローバル発振器に基づいて時間情報をスパイク パターンにエンコードします。
• バーストコーディング。短時間にスパイクのバーストを送信し、ニューロン間のシナプス通信の信頼性を高めます。

さまざまなアプリケーション ソフトウェアでSNN をシミュレートできます。このソフトウェアは、用途に応じて分類できます。

これらは複雑な神経モデルを高いレベルの詳細さと精度でシミュレートします。大規模なネットワークでは通常、長時間の処理が必要になります。候補には以下が含まれます。^[36]

• ブライアン–高等師範学校のロマン・ブレットとダン・グッドマンによって開発されました。
• GENESIS（一般神経シミュレーションシステム^{[37] ） -}カリフォルニア工科大学のジェームズ・バウアーの研究室で開発された。
• NEST – NEST Initiative によって開発されました。
• NEURON – 主にイェール大学とデューク大学の Michael Hines、John W. Moore、Ted Carnevale によって開発されました。
• RAVSim（ランタイムツール）^{[38] – 主に}ビーレフェルト応用科学芸術大学のSanaullahによって開発されました。

将来のニューロモルフィックアーキテクチャ^[39]は、このようなナノシナプスを数十億個含むことになるが、そのためには可塑性を担う物理的メカニズムを明確に理解する必要がある。強誘電体トンネル接合に基づく実験システムは、異種分極スイッチングからSTDPを利用できることを示すために使用されてきた。走査プローブイメージング、電気輸送、原子スケールの分子動力学を組み合わせることで、核形成が支配的なドメイン反転によって伝導性の変化をモデル化できる。シミュレーションでは、強誘電体ナノシナプスのアレイが予測可能な方法でパターンを認識することを自律的に学習できることが示されており、教師なし学習への道が開かれている。^[40]

• Akida は、 BrainChip社が開発した 120 万個の人工ニューロンと 100 億個の人工シナプスを備えた、完全にデジタル化されたイベントベースのニューラル処理装置です。イベントベースの処理を利用して、特定のポイントで重要な入力を分析します。結果はオンチップのメモリ ユニットに保存されます。
• Neurogridは、スパイキング ニューラル ネットワークをハードウェアで直接シミュレートできるボードです。(スタンフォード大学)
• SpiNNaker (Spiking Neural Network Architecture)は、6 層の視床皮質モデルに基づく超並列コンピューティング プラットフォームの構成要素としてARMプロセッサを使用します。 (マンチェスター大学) ^{[41] SpiNNaker システムは、} ARM アーキテクチャを使用したカスタム デジタル マルチコア チップ上でリアルタイムに実行される数値モデルに基づいています。カスタム デジタル チップにはそれぞれ 18 個のコアと共有ローカル 128 MB の RAM があり、合計で 1,000,000 個を超えるコアがあります。^[42] 1 つのチップで、800 万個の可塑性シナプスを持つ 16,000 個のニューロンをリアルタイムでシミュレートできます。^[43]
• TrueNorthは 54 億個のトランジスタを搭載し、消費電力はわずか 70ミリワットのプロセッサです。パーソナル コンピュータのプロセッサのほとんどは約 14 億個のトランジスタを搭載し、35 ワット以上の電力を必要とします。IBM は TrueNorth の設計原理をニューロモルフィック コンピューティングと呼んでいます。その主な目的はパターン認識です。批評家はこのチップの性能が十分でないと語っていますが、支持者はこれはまだ第 1 世代に過ぎず、改良を重ねればその性能が明らかになると指摘しています。(IBM) ^[44]

教師なし学習法^[45]に従って訓練されたスパイキングネットワークの分類機能は、Iris、Wisconsin Breast Cancer、Statlog Landsat データセットなどの一般的なベンチマークデータセットでテストされています。^{[46] [47]}情報エンコーディングとネットワーク設計にはさまざまなアプローチが使用されています。たとえば、データのクラスタリングと分類のための 2 層フィードフォワードネットワークです。Hopfield (1995) で提案されたアイデアに基づいて、著者らは、ラジアル基底関数 (RBF) とスパイキングニューロンの特性を組み合わせた局所受容野のモデルを実装し、浮動小数点表現を持つ入力信号 (分類データ) をスパイキング表現に変換しました。^{[48] [49]}