ベルビック

近年、進化アルゴリズムなどの生物学にヒントを得た手法が、複雑な計算問題の解決や分析にますます利用されるようになってきた。BELBIC （Brain Emotional Learning Based Intelligent Controller）は、Caro Lucas、Danial Shahmirzadi、Nima Sheikholeslamiによって提案されたそのようなコントローラーの1つであり、MorenとBalkeniusによって開発されたネットワークモデルを採用し、感情を生み出すことが知られている脳の部分（扁桃体、眼窩前頭皮質、視床、感覚入力皮質）を模倣している。^[1]

伝統的に、生物システムにおける学習の研究は、あまり知られていない動機と感情という相対するものを無視して行われてきました。しかし、これらの現象を切り離すことはできません。^[2]動機は、あらゆるシステムに何かを行わせる原動力です。動機がなければ、行動する理由はありません。感情は、一連の行動がどれだけ成功したか、代わりに別の一連の行動を取るべきだったかどうかを示します。感情は、学習システムへの絶え間ないフィードバックです。一方、学習は、動機と感情のサブシステムが絶えず変化する状況に適応できることを保証します。^[3]

このように、生物の研究において、感情は、生物学的にヒントを得たあらゆるシステムの不可欠な部分として、重要な位置を占めるようになりました。しかし、生物は感情からどのような利益を得るのでしょうか。計算上の問題を解決するために、生物学的にヒントを得た手法をますます採用しようとする中で、この疑問に答えることは非常に重要です。

すべての生物は、世界で生き残るために適応する生来の能力を持っています。食物、避難所、パートナー、危険を識別できます。しかし、これらの「刺激と反応の単純なマッピングは、生物が問題に遭遇するのを防ぐのに十分ではありません。」^[4]たとえば、特定の動物が捕食者が特性 A、B、C を持っていることを知っていれば、それらの特性を持つすべての生物から逃げます。そして、存在しない危険に多くのエネルギーとリソースを浪費します。

捕食者も同じ速度で進化しているため、進化が危険を評価するためのより高度なアルゴリズムを提供することは期待できません。したがって、生物システムは学習能力を備える必要があります。この学習と再学習のメカニズムにより、生物は非常に複雑で高度な状況に適応することができます。^[3]

効果的に学習するために、すべての学習生物は現状の評価と、学習結果がどれだけ有益であったかのフィードバックを必要とします。^[4]ほとんどの場合、これらの評価メカニズムは組み込まれています。そこで新たな問題に遭遇します。生物は評価に基づいてリアルタイムで適切な措置を講じますが、これらの組み込みの評価手順は進化の過程で開発されます。しかし、すべての生物は、適切な反応を学ぶのと同じように、生涯を通じて新しい評価手法を学ぶ必要があります。

ここで、感情反応を条件付ける能力が作用します。生物は、生来の感情刺激を、世界で遭遇する他の刺激と関連付け、必要に応じて感情的な意味を与えます。^[4]これらの評価は、非常に特定の時間、特定の場所、または他の特定の刺激を伴う場合に機能するように監視できます。

これらの観察が非常に重要である理由は他にもあります。それは人工システムの作成です。これらのシステムは時間の経過とともに進化するのではなく、最初から特定の機能を備えて設計されます。したがって、その適応性は組み込まれている必要があります。

モデルとは、現象を簡略化して記述したものです。モデルは、現象のある側面を浮き彫りにする一方で、他の側面を無視します。モデルにどの側面が保持され、どの側面が無視されるかは、研究テーマによって大きく異なります。したがって、モデルの性質は、研究者が実行しようとしている目的によって異なります。計算モデルとは、コンピュータ システムを使用して数学的に分析、テスト、シミュレーションできるモデルです。^[4]

脳内の感情学習の計算モデルを構築するには、扁桃体 と眼窩前頭皮質、そしてそれらの相互作用を徹底的に分析する必要がある。^[5]

哺乳類では、感情的な反応は大脳皮質にある大脳辺縁系と呼ばれる脳の一部で処理されます。大脳辺縁系の主な構成要素は、扁桃体、眼窩前頭皮質、視床、感覚皮質 です。

扁桃体はアーモンド型の領域で、大脳辺縁系内の他のすべての皮質と通信できるように配置されています。大脳辺縁系の主要な感情的条件付けは扁桃体内で行われます。つまり、刺激とその感情的結果の関連付けはこの領域で行われます。^[4]

学習は 2 つの基本的なステップで行われると示唆されています。^[6]まず、特定の刺激が感情的な反応と相関します。この刺激は、顔を観察することから、匂いを感知すること、音を聞くことなど、無数の現象である可能性があります。次に、この感情的な結果が刺激と反応の関連性を形成します。^[6]この分析は、感情が学習に重要な役割を果たすことを示唆した最初の分析の 1 つであったため、非常に影響力があります。^[5]最近の研究では、刺激とその感情的な結果の関連性は扁桃体で発生することが示されています。^{[3] [7]}「この領域では、皮質で高度に分析された刺激表現が感情的な価値と関連付けられます。したがって、感情は刺激の特性です。」^[5]

扁桃体の任務は、一次強化子と対になっている各刺激に一次感情的価値を割り当てることである^[7]。強化子とは、哺乳類が受け取る報酬と罰である。この任務は、眼窩前頭複合体によって補助される。「学習理論の観点から見ると、扁桃体は一次強化子の提示を扱い、眼窩前頭皮質は強化子の省略の検出に関与しているようだ。」^[5]

モレンとバルケニウスが開発した計算モデルで最初に気づくのは、感情学習を扱う脳内に相互作用する学習システムが多数存在することです。計算モデルは以下のように示されています。

• Th  : 視床
• CX  : 感覚皮質
• A  : 扁桃体の入力構造
• E  : 扁桃体の出力構造
• O  : 眼窩前頭皮質
• Rew/Pun  : 報酬と罰の提示を識別する外部信号
• CR/UR  : 条件反応/無条件反応
• V  : 学習によって変化する皮質表象から扁桃体への連合力
• W  ：学習中に変化する眼窩前頭皮質から扁桃体への抑制性接続

この画像は、感覚入力が視床THから入ってくることを示しています。生物系では、視床が刺激に対する反応プロセスを開始する役割を担っています。視床は信号を扁桃体と感覚皮質に渡すことでこれを行います。^[8]

この信号は皮質領域CXで分析されます。生物システムでは、感覚皮質は入ってくる信号を扁桃体と眼窩前頭皮質の間で適切に分配することによって機能します。^[9] CXのこの感覚表現は、経路Vを介して扁桃体Aに送られます。

これがこのモデルにおける学習の主な経路です。報酬と罰は扁桃体に入り、扁桃体と経路のつながりを強化します。後の段階で皮質で同様の表現が活性化されると、Eが活性化され、感情的な反応を生み出します。

O、眼窩前頭皮質は、知覚された（すなわち期待された）報酬／罰と実際に受け取った報酬／罰との差に基づいて機能します。この知覚された報酬／罰は、学習メカニズムを使用して時間をかけて脳内で開発されたものであり、感覚皮質と扁桃体を介して眼窩前頭皮質に到達します。一方、受け取った報酬／罰は外界からもたらされ、種が今得た実際の報酬／罰です。これら2つが同一である場合、出力はEを通じて常に同じです。そうでない場合、眼窩前頭皮質は感情的な反応を抑制して制限し、さらなる学習に道を開きます。したがって、パスW はそのような状況でのみアクティブになります。

複雑な非線形性を含むほとんどの産業プロセスでは、制御アルゴリズムを使用して線形化モデルを作成します。^[10]その理由の1つは、これらの線形モデルがプロセステストデータから簡単な方法を使用して開発されるためです。

しかし、プロセスが非常に複雑で非線形であり、頻繁に外乱を受ける場合は、非線形モデルが必要になります。^[10]生物学的動機に基づくインテリジェントコントローラは、このような状況でますます採用されています。その中でも、ファジーロジック、ニューラルネットワーク、遺伝的アルゴリズムは、非常に複雑な非線形設定の制御アプリケーションで最も広く使用されているツールの一部です。^{[11] [12]}

BELBIC はそのような非線形コントローラの 1 つです。これは、制御アクションを生成するために、上に示した計算学習モデルに基づくニューロモルフィックコントローラです。このモデルは、これらの制御工学アプリケーションでアルゴリズムのように使用されます。これらの新しいアプローチでは、知能は外部からシステムに与えられるのではなく、実際にはシステム自体によって獲得されます。^{[1] [10]}

この単純なモデルは、制御設計問題に適用するフィードバック コントローラとして採用されています。制御工学でこのモデルが使用される理由の 1 つは、この分野の多くの専門家が、完全に合理的な熟考アプローチに焦点が当てられすぎているが、多くの現実世界の状況では、限られた合理性しか提供されていないという信念を持っていることです。計算の複雑さ、目的の多様性、不確実性の蔓延などの要因により、よりアドホックで経験則に基づいたアプローチを求めることになります。感情的な意思決定は、完全に認知的でも完全に行動的でもないため、これらの問題に対処する能力が非常に高いです。^[13]

モデルフリーコントローラであるBELBICは、すべてのインテリジェントモデルフリーコントローラと同じ欠点を抱えています。不安定なシステムや不安定な平衡点を持つシステムには適用できません。これは、学習手順の試行錯誤様式の自然な結果であり、適切な制御信号を見つけるための探索は不安定性につながる可能性があります。^{[14] [15]}模倣学習とファジー推論システムを統合することにより、BELBICは不安定なシステムを制御できるように一般化されています。^{[14] [15]}

現在までに、BELBICとその改良版は以下のアプリケーションでテストされています。^[16]

• HVACシステム（暖房、換気、空調）：これらは制御システムの中で最も困難なプラントの1つであり、世界の総エネルギー消費量の50％を消費します。^[17]
• 不安定なシステム（または不安定な平衡点を持つ安定したシステム）^{[14] [15]}
• 倒立振り子システム^[15]
• 非線形システム^{[11] [12]}
• 細胞間マッピングアルゴリズム^[18]
• 電気加熱式マイクロ熱交換器：この装置は、縮小システムにおける流体と熱の交換を加速するために開発されました。
• ロボカップレスキューシミュレーション：大規模なマルチエージェントシステムは、エージェント間の正確な調整が必要であるため、制御と調整が最も難しい環境の1つです。^[19]
• インテリジェント洗濯機の制御：家電製品のインテリジェント制御は近年、科学者や業界から大きな注目を集めています。洗濯機の場合、インテリジェント制御は使いやすさとエネルギーと水の節約の両方を意味します。^[20]
• 自動着陸システム^[21]
• DCモーターの速度制御^[22]
• アクティブキュー管理^[23]
• 航空宇宙ロケット制御^[24]
• インポッシブルAIBO 4足歩行ロボカップ大会
• 地磁気活動指数の予測^[25]このアプリケーションでは、研究者によってさまざまな拡張モデルが提案されています。Babaeiらは脳の感情学習のマルチエージェントモデルを提示し、LotfiとAkbarzadehは地磁気活動指数を予測するために脳の感情学習の教師あり学習バージョンを提案しました。^{[26] [27]}
• 遺伝子発現 マイクロアレイ分類。^{[27] [28]}
• スイッチドリラクタンスモータの速度制御^[29]
• マイクロ熱交換器のインテリジェント制御^[30]
• 天井走行クレーンのモデルフリー制御^{[31] [32]}
• 2自由度ヘリコプターモデルの自動操縦制御設計^[33]
• 車の経路追跡^[34]
• クアッドローターの姿勢制御^[35]
• デジタルサーボシステム^[36]
• マルチエージェントシステム^{[37] [38]}
• マイクログリッドの二次制御^[39]
• 実際の実験室でのEHSアクチュエータの位置制御：電気油圧サーボバルブは、漏れ、摩擦、ヒステリシス、ヌルシフト、飽和、デッドゾーン、特にサーボ機構を通る流体の流れの表現など、多くの要因により非線形で非滑らかであることが知られています。^[40]

• ファジー論理
• 進化アルゴリズム
• ニューラルネットワーク
• 遺伝的アルゴリズム
• カロ・ルーカス

• 遺伝的アルゴリズムに関する実践的なチュートリアル。遺伝的アルゴリズムを段階的にプログラミングします。
• ファジー論理 –スタンフォード哲学百科事典の記事
• 国際遺伝進化計算学会
• IEEE 計算知能学会 (IEEE CIS)
• 非線形モデルとデモ アプレットのコレクション (モナッシュ大学のバーチャル ラボ内)
• MIT の OpenCourseWare における非線形ダイナミクス I: カオス
• 2つの連結蒸留塔プロセスのためのPSO-BELBICスキーム
• 脳の感情学習に着想を得たモデル