ヘブビアン理論

ヘブ理論は、シナプス前細胞がシナプス後細胞を繰り返し持続的に刺激することでシナプスの効力が増すという神経心理学の理論である。これは、学習プロセス中の脳ニューロンの適応であるシナプス可塑性を説明する試みである。ドナルド・ヘブが1949年の著書『行動の組織化』で提唱した。^[1]この理論は、ヘブの法則、ヘブの公準、細胞集合理論とも呼ばれる。ヘブは次のように述べている。

反響活動（または「痕跡」）の持続または反復は、細胞の安定性を高める持続的な細胞変化を引き起こす傾向があると仮定しましょう。...細胞Aの軸索が細胞B を刺激するのに十分近く、繰り返しまたは持続的に発火に関与すると、細胞Aの一方または両方で何らかの成長プロセスまたは代謝変化が発生し、細胞Bを発火させる細胞の 1 つとしての効率が向上します。^{[1] : 62}

この理論は「一緒に発火するニューロンは一緒に配線される」と要約されることが多い。^[2]しかし、ヘブは細胞Aが細胞Bの「発火に参加する」必要があり、そのような因果関係は細胞Aが細胞Bと同時にではなく直前に発火した場合にのみ発生することを強調した。ヘブの研究における因果関係のこの側面は、時間的な先行性を必要とするスパイクタイミング依存可塑性について現在知られていることを予見していた。^[3]

この理論は、細胞の同時活性化がそれらの細胞間のシナプス強度の顕著な増加につながる連合学習またはヘブ学習を説明しようとしています。また、教育と記憶の回復のためのエラーのない学習方法の生物学的基礎を提供します。認知機能の神経ネットワークの研究では、これはしばしば教師なし学習の神経基盤と見なされています。

ヘブ理論は、ニューロンがどのように接続してエングラムを形成するかに関するものである。ヘブの細胞集合体の形状と機能に関する理論は、次のことから理解できる。^{[1] : 70}

一般的な考え方は古くからあるものですが、同時に繰り返し活動する 2 つの細胞または細胞システムは「関連」する傾向があり、一方の活動が他方の活動を促進するというものです。

ヘブはまた次のように書いている: ^{[1] : 63}

ある細胞が他の細胞の発火を繰り返し補助すると、最初の細胞の軸索は、2 番目の細胞の細胞体と接触するシナプス突起を発達させます (または、すでに存在する場合はそれを拡大します)。

[D. アラン・オールポート] は、自己連合の概念に沿って、細胞集合理論とそれがエングラムの形成に果たす役割について、次のように追加の考えを提唱しています。

システムへの入力によって同じ活動パターンが繰り返し発生する場合、そのパターンを構成するアクティブな要素のセットは、ますます強く相互に関連付けられるようになります。つまり、各要素は他のすべての要素をオンにし、パターンの一部を形成しない要素をオフにする傾向があります（負の重み）。言い換えると、パターン全体が「自動関連付け」されます。学習された（自動関連付けされた）パターンをエングラムと呼ぶことができます。^{[4] : 44}

エリック・カンデルの研究室で行われた研究では、海洋腹足類 アメフラシのシナプスにおけるヘッブ学習メカニズムの関与を示す証拠が得られている。^[要出典]脊椎動物の中枢神経系シナプスにおけるヘッブシナプス修正メカニズムの実験は、海洋無脊椎動物で研究されている比較的単純な末梢神経系シナプスの実験よりも制御がはるかに困難である。脊椎動物のニューロン間の長期にわたるシナプス変化（長期増強など）に関する研究の多くは、脳細胞に対する非生理学的な実験的刺激の使用を伴う。しかし、脊椎動物の脳で研究されてきた生理学的に関連するシナプス修正メカニズムのいくつかは、ヘッブ過程の例であると思われる。そのような研究の1つ^[5]では、ヘブビアンメカニズムと非ヘブビアンの両方のメカニズムを介して生理学的に関連するシナプス活動によってシナプス強度の長期的な変化が誘発される可能性があることを示す実験結果をレビューしています。

人工ニューロンと人工ニューラル ネットワークの観点から見ると、ヘブの原理は、モデル ニューロン間の重みを変更する方法を決定する方法として説明できます。2 つのニューロンが同時にアクティブになると、2 つのニューロン間の重みが増加し、別々にアクティブになると減少します。同時に両方とも正または両方とも負になる傾向があるノードは、強い正の重みを持ち、反対になる傾向があるノードは、強い負の重みを持ちます。

以下はヘブ学習の定式的な説明です。（他の多くの説明も可能です）

${\displaystyle \,w_{ij}=x_{i}x_{j}}$

ここで、 はニューロン間の接続の重みとニューロンの入力です。これはパターン学習（重みはトレーニング例ごとに更新される）であることに注意してください。ホップフィールド ネットワークでは、 （再帰接続が許可されない）の場合、接続は 0 に設定されます。バイナリ ニューロン（アクティブ化が 0 または 1）では、接続されたニューロンがパターンに対して同じアクティブ化を持つ場合、接続は 1 に設定されます。 ${\displaystyle w_{ij}}$${\displaystyle j}$${\displaystyle i}$${\displaystyle x_{i}}$${\displaystyle i}$${\displaystyle w_{ij}}$${\displaystyle i=j}$

複数のトレーニング パターンが使用される場合、式は個々のパターンの平均になります。

${\displaystyle w_{ij}={\frac {1}{p}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}}$

ここで、はニューロン からニューロン への接続の重み、はトレーニング パターンの数、 はニューロン の -番目の入力です。これはエポックによる学習 (すべてのトレーニング例が提示された後に重みが更新される) であり、最後の項は離散トレーニング セットと連続トレーニング セットの両方に適用されます。また、ホップフィールド ネットワークでは、(再帰接続なし) の場合、接続はゼロに設定されます。${\displaystyle w_{ij}}$${\displaystyle j}$${\displaystyle i}$${\displaystyle p}$${\displaystyle x_{i}^{k}}$${\displaystyle k}$${\displaystyle i}$${\displaystyle w_{ij}}$${\displaystyle i=j}$

ブロッキングやその他の多くの神経学習現象を考慮したヘブビアン学習のバリエーションとして、ハリー・クロフの数学的モデルがあります。^[6]クロフのモデルは、非常に多くの生物学的現象を再現し、実装も簡単です。

ヘブ学習はシナプス前部とシナプス後部の活動の一致のみに基づく単純な性質のため、この形態の可塑性がなぜ意味のある学習につながるのかは直感的に明らかではないかもしれません。しかし、ヘブ学習は、教師なし学習として分類できる方法で入力の統計的特性を拾い上げることが示されています。

これは、単純化された例で数学的に示すことができます。入力がレート であるレート の単一のレートベースニューロンという単純化された仮定の下で作業してみましょう。ニューロンの応答は通常、入力 の線形結合とそれに続く応答関数として記述されます。 ${\displaystyle y(t)}$${\displaystyle x_{1}(t)...x_{N}(t)}$${\displaystyle y(t)}$${\displaystyle \sum _{i}w_{i}x_{i}}$ ${\displaystyle f}$

${\displaystyle y=f\left(\sum _{i=1}^{N}w_{i}x_{i}\right).}$

前のセクションで定義したように、ヘブビアン可塑性はシナプス荷重の時間的変化を記述します。 ${\displaystyle w}$

${\displaystyle {\frac {dw_{i}}{dt}}=\eta x_{i}y.}$

簡単にするために、恒等応答関数を仮定すると、次のように書くことができる。 ${\displaystyle f(a)=a}$

${\displaystyle {\frac {dw_{i}}{dt}}=\eta x_{i}\sum _{j=1}^{N}w_{j}x_{j}}$

または行列形式では:

${\displaystyle {\frac {d\mathbf {w} }{dt}}=\eta \mathbf {x} \mathbf {x} ^{T}\mathbf {w} .}$

前の章と同様に、エポックごとのトレーニングが行われた場合、離散的または連続的な（時間）トレーニング セットの平均を次のように行うことができます。ここで、 は、（つまり、入力の平均がゼロである）という追加の仮定の下での入力の相関行列です。これは、結合された線形微分方程式のシステムです。 は対称 であるため、 は対角化可能でもあり、その解は、その固有ベクトルの基底で作業することにより、次の形式であることが分かります。 ${\displaystyle \langle \dots \rangle }$${\displaystyle \mathbf {x} }$$${\displaystyle {\frac {d\mathbf {w} }{dt}}=\langle \eta \mathbf {x} \mathbf {x} ^{T}\mathbf {w} \rangle =\eta \langle \mathbf {x} \mathbf {x} ^{T}\rangle \mathbf {w} =\eta C\mathbf {w} .}$$${\displaystyle C=\langle \,\mathbf {x} \mathbf {x} ^{T}\rangle }$${\displaystyle \langle \mathbf {x} \rangle =0}$${\displaystyle N}$${\displaystyle C}$

${\displaystyle \mathbf {w} (t)=k_{1}e^{\eta \alpha _{1}t}\mathbf {c} _{1}+k_{2}e^{\eta \alpha _{2}t}\mathbf {c} _{2}+...+k_{N}e^{\eta \alpha _{N}t}\mathbf {c} _{N}}$

ここで、は任意の定数、は の固有ベクトル、 はそれらの対応する固有値です。相関行列は常に正定値行列であるため、固有値はすべて正であり、上記の解が時間とともに常に指数関数的に発散することが容易にわかります。これは、このバージョンのヘブの法則が不安定であることによる本質的な問題です。支配的な信号を持つネットワークでは、シナプスの重みが指数関数的に増加または減少するためです。直感的には、シナプス前ニューロンがシナプス後ニューロンを興奮させるたびに、それらの間の重みが強化され、将来さらに強い興奮を引き起こし、以下同様に自己強化的に続くためです。解決策は、非線形の飽和応答関数 を追加してシナプス後ニューロンの発火率を制限することだと思われるかもしれませんが、実際には、どのニューロンモデルでもヘブの法則は不安定であることがわかります。^{[7]そのため、ニューロンのネットワークモデルでは通常、} BCM理論、オージャの法則、^[8]、一般化ヘブビアンアルゴリズムなどの他の学習理論が採用されます。 ${\displaystyle k_{i}}$${\displaystyle \mathbf {c} _{i}}$${\displaystyle C}$${\displaystyle \alpha _{i}}$${\displaystyle f}$

いずれにせよ、上記の不安定な解であっても、十分な時間が経過すると、項の1つが他の項よりも優位になり、

${\displaystyle \mathbf {w} (t)\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}}$

ここで、は の最大固有値です。このとき、シナプス後ニューロンは次の操作を実行します。 ${\displaystyle \alpha ^{*}}$${\displaystyle C}$

${\displaystyle y\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}\mathbf {x} }$

繰り返しになりますが、は 間の相関行列の最大固有値に対応する固有ベクトルであるため、これは入力の 最初の主成分を計算することに正確に対応します。${\displaystyle \mathbf {c} ^{*}}$${\displaystyle x_{i}}$

このメカニズムは、シナプス後ニューロンを追加することで、入力の完全な PCA (主成分分析) を実行するように拡張できます。ただし、シナプス後ニューロンがすべて同じ主成分を拾うことがないようにする必要があります (たとえば、シナプス後層に側方抑制を追加するなど)。このようにして、ネットワークが入力の有用な統計的側面を拾い上げ、それを出力で簡潔に「記述」できるという意味で、ヘブビアン学習を PCA に結び付けました。^[9]

長期増強にはヘブのモデルがよく使われているが、ヘブの原理はすべての形態のシナプス長期可塑性をカバーするわけではない。ヘブは抑制性シナプスの規則を仮定しておらず、また反因果スパイクシーケンス（シナプス後ニューロンの後にシナプス前ニューロンが発火する）の予測も行っていない。シナプス修飾は活性化ニューロンAとBの間だけでなく、隣接するシナプスでも発生する可能性がある。^[10]したがって、すべての形態のヘテロシナプス可塑性と恒常性可塑性は非ヘブ的であると考えられる。一例として、シナプス前末端への逆行性シグナル伝達が挙げられる。^[11]この逆行性伝達物質の役割を果たすと最も一般的に特定されている化合物は一酸化窒素であり、その高い溶解性と拡散性により、近くのニューロンに影響を及ぼすことが多い。^[12]このタイプの拡散シナプス修飾はボリューム学習として知られており、従来のヘブのモデルには含まれていない。^[13]

ヘブ学習とスパイクタイミング依存の可塑性は、ミラーニューロンがどのように出現するかについての有力な理論で使用されてきた。^{[14] [15]}ミラーニューロンは、個人が行動を起こしたときと、個人が他の人が同様の行動をしているのを見たとき^[16]または聞いたとき^[17]の両方で発火するニューロンである。これらのニューロンの発見は、人が他の人の行動を知覚すると、その人は同様の行動を起こすために使用する運動プログラムを活性化するということを示すことにより、個人が他の人の行動を理解する方法を説明する上で非常に影響力があった。これらの運動プログラムの活性化は、知覚に情報を追加し、知覚者自身の運動プログラムに基づいてその人が次に何をするかを予測するのに役立ちます。課題は、個人が行動を起こしているときと、他の人が同様の行動をしているのを聞いたり見たりしているときの両方で反応するニューロンを持つようになった理由を説明することであった。

クリスチャン・キーザーズとデイビッド・ペレットは、人が特定の行動をとるとき、その人はその行動の実行を視覚、聴覚、感覚で感じると提唱しました。これらの再求心性感覚信号は、行動の視覚、聴覚、感覚に反応するニューロンの活動を誘発します。これらの感覚ニューロンの活動は、行動を引き起こした運動ニューロンの活動と常に時間的に重なるため、ヘブ学習では、行動の視覚、聴覚、感覚に反応するニューロンと行動を引き起こしたニューロンをつなぐシナプスが増強されるはずだと予測されます。人が鏡で自分を見たり、自分のしゃべり声を聞いたり、他の人に真似されたりするときも同じことが言えます。この再求心を繰り返し経験すると、行動の感覚表現と運動表現をつなぐシナプスが非常に強くなり、運動ニューロンが行動の音や視覚に反応して発火し始め、ミラーニューロンが形成されます。

この見解の根拠は、運動プログラムの実行と刺激を繰り返し組み合わせた後、新しい聴覚刺激や視覚刺激によって運動プログラムが誘発されることを示す多くの実験から得られています (根拠のレビューについては、Giudice et al., 2009 ^[18]を参照)。たとえば、ピアノを弾いたことのない人がピアノ曲を聞いても、ピアノ演奏に関与する脳領域は活性化しません。ピアノの鍵盤を押すたびにピアノの音を聞く 5 時間のピアノ レッスンは、後でピアノ曲を聞いたときに脳の運動領域の活動を誘発するのに十分であることが証明されています。^[19]スパイクタイミング依存性可塑性は、シナプス前ニューロンの発火がシナプス後ニューロンの発火を予測する場合にのみ発生するという事実と一致して、^[20]感覚刺激と運動プログラム間のリンクも、刺激が運動プログラムに依存している場合にのみ強化されるようです。

• ヘブ、DO (1961)。「高等動物の学習の特徴」。JF デラフレスナイ編『脳のメカニズムと学習』。ロンドン：オックスフォード大学出版局。
• ヘブ、DO (1940)。「前頭葉からの広範囲両側切除後の人間の行動」。神経学および精神医学のアーカイブ。44 (2): 421–438。doi : 10.1001 /archneurpsyc.1940.02280080181011。
• ビショップ、CM (1995)。パターン認識のためのニューラルネットワーク。オックスフォード：オックスフォード大学出版局。ISBN 978-0-19-853849-3。
• Paulsen, O.; Sejnowski, TJ (2000). 「自然な活動パターンと長期シナプス可塑性」Current Opinion in Neurobiology . 10 (2): 172–179. doi :10.1016/S0959-4388(00)00076-3. PMC  2900254. PMID  10753798 .

• 概要 2017-05-02にWayback Machineでアーカイブされました
• ヘブビアン学習チュートリアル (パート 1: 新規性フィルタリング、パート 2: PCA)