スパイクニューラルネットワーク

スパイクニューラルネットワーク（SNN）は、自然界のニューラルネットワークを模倣した人工ニューラルネットワーク（ANN）です。^{[ 1 ]}これらのモデルは、離散的なスパイクのタイミングを主要な情報伝達手段として利用します。^{[ 2 ]}

SNNは、ニューロンとシナプスの状態に加えて、動作モデルに時間の概念を取り入れています。SNNのニューロンは、（一般的な多層パーセプトロンネットワークのように）各伝播サイクルで情報を伝達するのではなく、膜電位（ニューロンの膜電荷に関連する固有の性質）が閾値と呼ばれる特定の値に達したときにのみ情報を伝達します。膜電位が閾値に達すると、ニューロンが発火し、他のニューロンに伝わる信号を生成します。他のニューロンは、この信号に応じて電位を増減させます。閾値を超えた瞬間に発火するニューロンモデルは、スパイクニューロンモデルとも呼ばれます。^{[ 3 ]}

スパイク発火率は従来のANNの可変出力のアナログと考えることができるが、^{[ 4 ]}神経生物学の研究によると、高速処理はレートベースの方式だけでは実行できないことが示されている。例えば、人間は画像認識タスクを実行する際に、連続する層（網膜から側頭葉まで）を通してニューロンあたり10ms以下の処理時間しか必要としない。この時間窓はレートベースのエンコーディングには短すぎる。少数の発火ニューロンの正確なスパイクタイミングは、レートベースのアプローチと比較してより高い情報符号化能力も持つ。^{[ 5 ]}

最も有名なスパイクニューロンモデルは、リーキー積分発火モデルです。^{[ 6 ]}このモデルでは、瞬間的な活性化レベル（微分方程式としてモデル化される）が通常ニューロンの状態とみなされ、入力されるスパイクによってこの値が上昇または下降し、最終的に状態が減衰するか、発火閾値に達した場合はニューロンが発火します。発火後、状態変数はより低い値にリセットされます。

発信されるスパイク列を実数値として解釈するための様々な復号方法が存在し、それらはスパイクの頻度（レートコード）、刺激後の最初のスパイクまでの時間、またはスパイク間の間隔のいずれかに依存している。

多くの多層人工ニューラルネットワークは完全接続型であり、前の層のすべてのニューロンから入力を受け取り、次の層のすべてのニューロンに信号を送ります。これらのネットワークは画期的な成果を上げていますが、生物学的ネットワークとは一致せず、ニューロンを模倣するものでもありません。

生物学に着想を得たスパイクニューロンのホジキン・ハクスリーモデルは1952年に提案されました。このモデルは、活動電位がどのように開始され、伝播するかを説明しています。シナプス間隙での化学神経伝達物質の交換を必要とするニューロン間のコミュニケーションは、積分発火モデル、フィッツヒュー・ナグモモデル（1961～1962年）、ヒンドマーシュ・ローズモデル（1984年）などのモデルで説明されています。リーキー積分発火モデル（またはその派生モデル）は、ホジキン・ハクスリーモデルよりも計算が容易であるため、一般的に使用されています。^{[ 7 ]}

人工スパイクニューラルネットワークの概念が普及したのは21世紀になってからですが、^{[ 8 ] [ 9 ] [ 10 ]} 1980年から1995年の間に行われた研究でこの概念が支持されました。このタイプのANNの最初のモデルは、非アルゴリズム的なインテリジェント情報処理システムをシミュレートしているように見えました。^{[ 11 ] [ 12 ] [ 13 ]}しかし、スパイクニューラルネットワークを数学モデルとして扱うという概念は、1970年代初頭に初めて研究されました。^{[ 14 ]}

2019年の時点では、SNNは精度においてANNに劣っていたが、その差は縮小しており、一部のタスクでは解消されている。^{[ 15 ]}

脳内の情報は活動電位（ニューロンのスパイク）として表現され、スパイク列や協調波にグループ化されることがある。神経科学の根本的な問題は、ニューロンがレートコードまたは時間コードによって通信するかどうかを決定することである。^{[ 16 ]}時間コーディングは、1つのスパイクニューロンが従来のニューラルネットワーク上の数百の隠れユニットを置き換えることができることを意味する。^{[ 1 ]}

SNNは、ニューロンの現在の状態をその電位（微分方程式としてモデル化される場合もある）として定義します。^{[ 17 ]}入力パルスによって電位が上昇し、その後徐々に低下します。エンコーディング方式は、パルス周波数とパルス間隔を考慮して、これらのパルスシーケンスを数値として解釈できます。^{[ 18 ]}パルス発生の正確な時間を使用することで、ニューラルネットワークはより多くの情報を考慮し、より優れた計算特性を提供できます。^{[ 19 ]}

SNNは連続領域で計算を行います。このようなニューロンは、電位が特定の値に達したときにのみ活性化を判定します。ニューロンが活性化されると、接続されたニューロンに信号が伝達され、それに応じて接続されたニューロンの電位が上昇または下降します。

SNN アプローチは、従来の ANN のバイナリ出力ではなく、連続出力を生成します。パルス列は解釈が容易ではないため、エンコーディング スキームが必要です。ただし、パルス列表現は、時空間データ (または実世界の感覚データの分類) の処理により適している可能性があります。^{[ 20 ]} SNN は、ニューロンを近くのニューロンにのみ接続して、入力ブロックを個別に処理します (フィルタを使用するCNNと同様)。情報をパルス列としてエンコードすることで時間を考慮し、情報を失わないようにします。これにより、リカレント ニューラル ネットワーク(RNN)の複雑さを回避します。インパルス ニューロンは、従来の人工ニューロンよりも強力な計算ユニットです。^{[ 21 ]}

SNNは、理論的には「入力の重み付き和（または多項式）に連続的な出力値を持つ活性化関数を適用する計算ユニットに基づく」ANNとして定義されるいわゆる「第2世代ネットワーク」よりも強力ですが、SNNのトレーニングの問題とハードウェア要件により、その使用は制限されます。ヘッブ学習やSTDPなどの生物学的着想に基づく教師なし学習法は利用可能ですが、第2世代ネットワークよりも優れたパフォーマンスを提供できるSNNに適した効果的な教師ありトレーニング法はありません。^{[ 21 ]} SNNのスパイクベースの活性化は微分可能ではないため、勾配降下法に基づくバックプロパゲーション（BP）は利用できません。

SNNは、従来のANNよりも現実的なニューラルモデルをシミュレートするための計算コストがはるかに大きい。^{[ 22 ]}

パルス結合型ニューラルネットワーク（PCNN）は、SNNと混同されることが多い。PCNNは、一種のSNNとみなすことができる。

研究者たちは様々なテーマに積極的に取り組んでいます。その一つが微分可能性です。順方向学習法と逆方向学習法の両方の式には、ニューロンの活性化関数の導関数が含まれていますが、ニューロンの出力はスパイク発生時に1、それ以外の場合は0となるため、微分不可能です。この全か無かの挙動は勾配を乱し、これらのニューロンを勾配ベースの最適化には不向きなものにしています。この問題を解決するためのアプローチとしては、以下のようなものがあります。

• 隠れユニットには完全に生物学的な着想に基づく局所学習ルールを採用する
• 従来型の「レートベース」ニューラルネットワークをSNNに変換する
• ネットワークモデルを連続的に微分可能に平滑化する
• SG（代理勾配）を、実際の勾配の連続的な緩和として定義する。

2つ目は最適化アルゴリズムに関するものです。標準BPは計算、メモリ、通信の面でコストがかかり、それを実装するハードウェア（コンピュータ、脳、ニューロモルフィックデバイスなど）には適さない場合があります。^{[ 23 ]}

スパイク周波数適応 (SFA) などの追加のニューロンダイナミクスを組み込むことは、効率と計算能力を高める注目すべき進歩です。^{[ 6 ] [ 24 ]}これらのニューロンは、生物学的複雑性と計算複雑性の間に位置しています。^{[ 25 ]}生物学的洞察から生まれた SFA は、特に反復的または強い刺激の場合に、電力使用量を削減することで、計算上の大きな利点をもたらします。 ^{[ 26 ]}この適応により、信号/ノイズの明瞭度が向上し、ニューロンレベルで基本的な短期記憶が導入され、その結果、精度と効率が向上します。^{[ 27 ]}これは主にコンパートメントニューロンモデルを使用して達成されました。適応閾値を持つニューロンモデルのより単純なバージョンは、SFA を達成する間接的な方法です。これにより、制約されたシナプス可塑性であっても、SNN に改善された学習能力が備わり、計算効率が向上します。^{[ 28 ] [ 29 ]}この機能は、スパイク処理の必要性を減らすことでネットワーク層への要求を軽減し、ニューラル計算の重要な側面である計算負荷とメモリアクセス時間を短縮します。さらに、SFA が可能なニューロンを利用する SNN は、従来の ANN に匹敵するレベルの精度を達成し、^{[ 30 ] [ 31 ]}同等のタスクに必要なニューロン数も少なくて済みます。この効率性により、計算ワークフローが合理化され、スペースとエネルギーが節約され、技術的な整合性が維持されます。高性能の深層スパイクニューラルネットワークは、ニューロンあたり 0.3 スパイクで動作できます。^{[ 32 ]}

SNNは原理的には従来のANNと同じアプリケーションに適用できます。^{[ 33 ]}さらに、SNNは、環境に関する事前知識なしに餌を探す昆虫などの生物の中枢神経系をモデル化できます。 ^{[ 34 ]}相対的に現実的であるため、生物学的神経回路の研究に使用できます。生物学的神経回路のトポロジーとその機能に関する仮説から始めて、この回路の記録を対応するSNNの出力と比較し、仮説の妥当性を評価することができます。SNNには効果的なトレーニングメカニズムがないため、コンピュータビジョンを含む一部のアプリケーションが複雑になる可能性があります。

画像ベースのデータにSNNを使用する場合、画像をバイナリスパイク列に変換する必要があります。^{[ 35 ]}エンコーディングの種類には以下が含まれます。^{[ 36 ]}

• 時間符号化：ニューロンごとに1つのスパイクを生成し、スパイクの潜伏時間はピクセル強度に反比例する。
• レートコーディング：ピクセル強度をスパイク列に変換する方式で、スパイクの数はピクセル強度に比例する。
• 直接コーディング：学習可能なレイヤーを使用して、各タイムステップごとに浮動小数点値を生成します。このレイヤーは、特定のタイムステップにおける各ピクセルを浮動小数点値に変換し、生成された浮動小数点値に対して閾値を適用して、0または1を選択します。
• 位相符号化：グローバル発振器に基づいて、時間情報をスパイクパターンに符号化する。
• バースト符号化：パルス状のデータを断続的に送信することで、通信の信頼性を向上させる。

SNNをシミュレートできるアプリケーションソフトウェアは多岐にわたる。これらのソフトウェアは、用途に応じて以下のように分類できる。

SNNシミュレーション

これらは複雑なニューラルモデルをシミュレートします。大規模なネットワークは通常、長時間の処理を必要とします。候補には以下が含まれます: ^{[ 37 ]}

• ブライアン–高等師範学校のロマン・ブレットとダン・グッドマンによって開発されました。
• GENESIS（GENeral NEural SImulation System ^{[ 38 ]} ）は、カリフォルニア工科大学のジェームズ・バウアーの研究室で開発されました。
• NEST – NESTイニシアチブによって開発された。
• ニューロン– 主にイェール大学とデューク大学のマイケル・ハインズ、ジョン・W・ムーア、テッド・カーネヴァーレによって開発された。
• RAVSim（ランタイムツール）^{[ 39 ]} – 主にビーレフェルト応用科学芸術大学のSanaullahによって開発されました。
• snnTorch – PyTorch を使用してスパイクニューラルネットワークの構築と勾配ベースのトレーニングの実装を簡素化するオープンソースの Python ライブラリ。^{[ 40 ]}

ハードウェアベースのスパイクニューラルネットワーク（SNN）を実装する取り組みは、研究者たちが脳にヒントを得たニューロモルフィックシステムを研究し始めた1980年代に始まりました^{[ 41 ]}。その後数十年間、半導体技術の進歩により、いくつかの注目すべきプロジェクトが開発されました^{[ 42 ] 。}

そのようなプロジェクトの一つが、マンチェスター大学で開発されたSpiNNakerである。これは、数百万個の処理コアを利用して、発火ニューロンの大規模なシミュレーションを行う。

IBMが開発したTrueNorthは、エネルギー効率と並列処理を目的として設計された、最初の商用ニューロモルフィックチップの一つである。

インテルの研究用チップであるLoihiは、ニューロモルフィックモデリングにおけるオンライン学習と適応性に焦点を当てています。

研究分野では、ヨーロッパで開発されたBrainScaleSなどのプラットフォームが、アナログ回路とデジタル回路を統合して神経シミュレーションを高速化しています。スタンフォード大学のNeurogrid は、生物学的ニューロンとシナプスを効率的にシミュレートするように設計されています。iniLabs が開発した Dynap-se ^{[ 43 ]}モデルは、ロボット工学やモノのインターネット (IoT) アプリケーションでの使用を目的とした、低消費電力のイベントベースのニューロモルフィック チップのファミリーです。

さらに、低消費電力化と生物学的ニューラルモデルとの互換性向上を目指し、SNNの実装には、メモリスやその他の新興メモリ技術に基づくハードウェアが検討されている。^{[ 42 ]}

サットンとバルトは、将来のニューロモルフィックアーキテクチャ^{[ 44 ]}は数十億個のナノシナプスで構成され、それに伴う物理的メカニズムを明確に理解する必要があると提唱した。強誘電体トンネル接合に基づく実験システムは、STDPが不均一な分極スイッチングから利用できることを示すために使用されてきた。走査プローブイメージング、電気輸送、原子スケールの分子動力学を組み合わせることで、コンダクタンスの変化は核生成が支配的なドメイン反転によってモデル化できる。シミュレーションでは、強誘電体ナノシナプスのアレイが予測可能な方法でパターンを認識することを自律的に学習できることが示され、教師なし学習への道が開かれた。^{[ 45 ]}

^{教師なし学習法[ 46 ]}に従って訓練されたスパイクネットワークの分類能力は、Iris、Wisconsin Breast Cancer、Statlog Landsat データセットなどのベンチマークデータセットでテストされています。^{[ 47 ] [ 48 ]}情報エンコーディングとネットワーク設計にはさまざまなアプローチが使用されており、データクラスタリングと分類には 2 層のフィードフォワードネットワークが使用されています。Hopfield (1995) に基づいて、著者らは、浮動小数点表現を持つ入力信号をスパイク表現に変換するために、放射基底関数とスパイクニューロンの特性を組み合わせた局所受容野のモデルを実装しました。^{[ 49 ] [ 50 ]}