前頭前皮質基底核ワーキングメモリ

前頭前野基底核ワーキングメモリ（PBWM ）は、前頭前野と基底核のワーキングメモリをモデル化するアルゴリズムです。^[1]

機能的には長短期記憶（LSTM）と比較できますが、より生物学的に説明可能です。^{[1] [2]}

これは、前頭前野と基底核の生物学に基づいて、前頭前野のワーキングメモリ更新システムを訓練するために、主要な価値学習価値モデルを使用します。 ^[3]

これはLeabraフレームワークの一部として使用され、 2019 年にEmergentに実装されました。

前頭前野は、ワーキング メモリ (処理のためにオンラインで情報を保持する) と「実行」機能 (ワーキング メモリの操作方法と処理の実行方法を決定する) の両方に関係していると長い間考えられてきました。ワーキング メモリの計算モデルは数多く開発されてきましたが、実行機能のメカニズムの基礎は依然として不明です。

PBWM は、前頭前野の計算モデルであり、それ自体と他の脳領域の両方を戦略的かつタスクに適した方法で制御します。これらの学習メカニズムは、中脳、基底核、扁桃体の皮質下構造に基づいており、これらが一緒になってアクター/批評家のアーキテクチャを形成します。批評家システムは、どの前頭前野表現がタスクに関連しているかを学習し、アクターをトレーニングします。これにより、ワーキング メモリの更新を制御するための動的なゲーティング メカニズムが提供されます。計算的には、学習メカニズムは、時間的クレジット割り当て問題と構造的クレジット割り当て問題を同時に解決するように設計されています。

このモデルのパフォーマンスは、難しい1-2-AXワーキングメモリタスクやその他のベンチマークワーキングメモリタスクにおいて、標準的なバックプロパゲーションベースの時間学習メカニズムと比較して優れています。 ^{[1] [サードパーティソースが必要]}

まず、前頭前皮質と線条体層には複数の独立したストライプ（ユニットのグループ）があります。各ストライプは独立して更新できるため、このシステムは同時に複数の異なることを記憶することができ、それぞれが異なる「更新ポリシー」で記憶を更新および維持します。記憶のアクティブな維持は前頭前皮質（PFC）で行われ、更新信号（およびより一般的には更新ポリシー）は線条体ユニット（基底核ユニットのサブセット）から来ます。^[3]

PVLV は、基底核の動的ゲーティング システムをトレーニングするための 強化学習信号を提供します。

感覚入力は後部皮質に接続され、後部皮質は運動出力に接続されます。感覚入力はPVLVシステムにもリンクされています。

後部皮質は、入力/出力マッピングの隠れ層を形成します。PFC は、この入力/出力マッピングを文脈化するために後部皮質に接続されています。

PFC (出力ゲーティング用) には、ストライプごとに入力ユニットのローカリスト 1 対 1 表現があります。したがって、これらの PFC 表現を調べて、ネットワークが維持しているものを直接確認できます。PFC は、タスクを実行するために必要な作業メモリを維持します。

これは、基底核の線条体ユニットを表す動的ゲーティング システムです。ストライプ内のすべての偶数インデックス ユニットは「Go」を表し、奇数インデックス ユニットは「NoGo」を表します。Go ユニットは PFC を更新し、NoGo ユニットは PFC に既存のメモリ表現を維持させます。

ストライプごとにユニットのグループがあります。

Emergentの PBWM モデルでは、マトリックスは線条体を表します。

これらのレイヤーはすべてPVLVシステムの一部です。PVLV システムは、基底核 (BG) のドーパミン調節を制御します。したがって、BG/PVLV は、PVLV システムがいつ更新するかを学習するアクター クリティック アーキテクチャを形成します。^{[引用が必要]}

SNrThal は、黒質 網様部(SNr) とそれに関連する視床領域を表し、特定のストライプ内の Go/NoGo ユニット間の競争を生み出し、k 勝者総取りダイナミクスを使用して競争を仲介します。特定のストライプで全体的な Go アクティビティが多い場合、関連する SNrThal ユニットがアクティブになり、PFC の更新が促進されます。すべてのストライプに対して、SNrThal に 1 つのユニットがあります。^{[引用が必要]}

腹側被蓋野(VTA) と黒質緻密部(SNc) はドーパミン層の一部です。この層は中脳ドーパミンニューロンをモデル化しています。これらは基底核のドーパミン調節を制御します。 ^{[引用が必要]}

• 状態–行動–報酬–状態–行動
• サモンマッピング
• スキルツリーの構築