アクションの選択

人工知能の歴史の初期には、エージェントが次に何をすべきかを選択する最善の方法は、おそらく最適な計画を計算し、その計画を実行することだと考えられていました。これが、記号を操作できる物理的なエージェントが知能にとって必要かつ十分であるという、物理記号システム仮説につながりました。多くのソフトウェアエージェントは、現在でも行動選択にこのアプローチを使用しています。通常、すべてのセンサーの読み取り値、世界、すべての行動、すべての目標を何らかの述語論理で記述する必要があります。このアプローチの批判者は、リアルタイムの計画には遅すぎること、そして証明されているにもかかわらず、現実の記述を論理に還元するとエラーが発生しやすいため、最適な計画を生成する可能性は低いと正しく主張しています。

満足化とは、最適な解決策を見つけるのではなく、十分性の基準を満たそうとする意思決定戦略である。満足化戦略は、完全な情報を入手するためのコストなど、意思決定プロセス自体のコストを結果の計算に含める場合、実際には（ほぼ）最適となることが多い。

目標駆動型アーキテクチャ– これらの記号的アーキテクチャでは、エージェントの行動は通常、一連の目標によって記述されます。各目標は、事前に規定された計画によって記述されるプロセスまたはアクティビティによって達成できます。エージェントは、与えられた目標を達成するためにどのプロセスを実行するかを決定するだけで済みます。計画はサブ目標に拡張できるため、プロセスはわずかに再帰的になります。技術的には、計画は条件ルールを利用します。これらのアーキテクチャは、リアクティブまたはハイブリッドです。目標駆動型アーキテクチャの古典的な例としては、 JAMやIVEのような信念-欲求-意図アーキテクチャの実装可能な改良版が挙げられます。

記号的なアプローチとは対照的に、分散型行動選択システムでは、エージェント内に次の行動を決定する単一の「ボックス」は実際には存在しない。少なくとも理想化された形態では、分散型システムは多数のモジュールが並列に動作し、各モジュールの局所的な専門知識に基づいて最適な行動を決定する。このような理想化されたシステムでは、相互作用するコンポーネントを慎重に設計することで、全体的な一貫性が自然に生まれることが期待される。このアプローチは、人工ニューラルネットワークの研究から着想を得ていることが多い。

• ASMOは、Mary-Anne Williams、Benjamin Johnston、および彼らの博士課程学生であるRony Noviantoによって開発されたアテンションベースのアーキテクチャです^{。 [ 1 ]}これは、環境を認識し、情報を処理し、行動を計画し、実行する行動を提案するために独自の表現と技術を使用できる、多様なモジュール型分散プロセスをオーケストレーションします。
• 勝者総取り方式の様々なアーキテクチャでは、選択された単一の動作がモーターシステムを完全に制御します。
• マエス・ネッツ（ANA）を含む拡散活性化
• 拡張ローゼンブラット＆ペイトンは、1993年にトビー・ティレルによって開発された拡散活性化アーキテクチャです。エージェントの行動は、ティレルがフリーフロー階層と名付けた階層型コネクショニズムネットワークの形で保存されます。最近では、例えばde Sevin & Thalmann (2005)やKadleček (2001)によって活用されています。
• 行動ベースAIは、記号的行動選択技術を用いたロボットの動作速度の遅さに対する対応策として生まれた。この方式では、個別のモジュールが異なる刺激に反応し、それぞれ独自の応答を生成する。当初のサブサンプションアーキテクチャでは、これらのモジュールは互いの入力と出力を監視および抑制できる異なるレイヤーで構成されていた。
• Creaturesは、適応型の3層ニューラルネットワークによって駆動されるコンピュータゲームに登場する仮想ペットです。ネットワークは各タイムステップでペットが実行すべきタスクを決定するため、そのメカニズムは反応型です。このネットワークについては、 Grandら（1997）の論文およびCreatures開発者リソースで詳しく説明されています。Creatures Wikiも参照してください。

純粋な分散システムを構築するのは難しいため、多くの研究者はシステムの優先順位を決定するために、明示的にハードコーディングされた計画を使用するようになった。

動的または反応的な計画手法は、現在の状況と事前に設定された計画に基づいて、あらゆる瞬間に次の行動を1つだけ計算します。従来の計画手法とは対照的に、反応的または動的なアプローチは組み合わせ爆発を起こしません。一方で、計画が事前にコード化されているため、これらの手法は柔軟性に欠け、強力なAIとはみなされない場合もあります。同時に、自然知能は、状況によっては柔軟性に富み適応力がある一方で、状況によっては柔軟性に欠ける場合もあります。

動的な計画メカニズムの例としては、以下のようなものがある。

• 有限状態機械これらは、主にコンピュータゲームのエージェント、特にファーストパーソン・シューティングゲームのボットや、仮想映画の俳優に使用されるリアクティブ・アーキテクチャです。通常、状態機械は階層構造になっています。具体的なゲームの例については、 Damian Isla によるHalo 2 ボットに関する論文(2005 年) またはJan Paul van Waveren によるQuake III ボットに関する修士論文(2001 年) を参照してください。映画の例としては、 Softimage を参照してください。
• Other structured reactive plans tend to look a little more like conventional plans, often with ways to represent hierarchical and sequential structure. Some, such as PRS's 'acts', have support for partial plans.^[2] Many agent architectures from the mid-1990s included such plans as a "middle layer" that provided organization for low-level behavior modules while being directed by a higher level real-time planner. Despite this supposed interoperability with automated planners, most structured reactive plans are hand coded (Bryson 2001, ch. 3). Examples of structured reactive plans include James Firby's RAP System and the Nils Nilsson's Teleo-reactive plans. PRS, RAPs & TRP are no longer developed or supported. One still-active (as of 2006) descendant of this approach is the Parallel-rooted Ordered Slip-stack Hierarchical (or POSH) action selection system, which is a part of Joanna Bryson's Behaviour Oriented Design.

Sometimes to attempt to address the perceived inflexibility of dynamic planning, hybrid techniques are used. In these, a more conventional AI planning system searches for new plans when the agent has spare time, and updates the dynamic plan library when it finds good solutions. The important aspect of any such system is that when the agent needs to select an action, some solution exists that can be used immediately (see further anytime algorithm).

• CogniTAO is a decision making engine it based on BDI (belief-desire-intention), it includes built in teamwork capabilities.
• Soar is a symboliccognitive architecture. It is based on condition-action rules known as productions. Programmers can use the Soar development toolkit for building both reactive and planning agents or any compromise between these two extremes.
• Excalibur was a research project led by Alexander Nareyek featuring any-time planning agents for computer games. The architecture is based on structural constraint satisfaction, which is an advanced artificial intelligence technique.
• ACT-R is similar to Soar. It includes a Bayesian learning system to help prioritize the productions.
• ABL/Hap
• Fuzzy architectures The fuzzy approach in action selection produces more smooth behavior than can be produced by architectures exploiting Boolean condition-action rules (like Soar or POSH). These architectures are mostly reactive and symbolic.

Some researchers create elaborate models of neural action selection. See for example:

• The Computational Cognitive Neuroscience Lab (CU Boulder).
• The Adaptive Behaviour Research GroupArchived 2006-10-08 at the Wayback Machine (Sheffield).

青斑核（LC）は脳内のノルアドレナリンの主要な供給源の1つであり、注意や行動課題などの認知処理の選択と関連付けられています。 ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ]}黒質緻密部（SNc）は脳内のドーパミンの主要な供給源の1つであり、主に基底核の一部として行動選択と関連付けられています。^{[ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ]}  CNETはSNcとLC（カテコールアミン作動性ニューロン）における仮説上の神経シグナル伝達メカニズムであり、行動選択の一部として各グループのニューロン間でエネルギーをルーティングすることにより、各グループの1つ以上のニューロンが活動電位に達するのを助けることで、行動選択を補助する可能性があります。^{[ 12 ] [ 13 ]}これは2018年に初めて提案されたもので、ニューロンのいくつかの物理的パラメータに基づいており、それらは3つの主要な構成要素に分解できます。

1)フェリチンとニューロメラニンはこれらのニューロンに高濃度で存在しますが、2018年時点では、これらのニューロンの中で最も大きいものの間でマイクロメートルスケールで比較的長い距離にわたって電子を伝達できる構造を形成しているかどうかは不明でした。これはこれまで提案も観察もされていませんでした。 ^{[ 14 ]} これらの構造はルーティングまたはスイッチング機能も提供する必要がありますが、これもこれまで提案も観察もされていませんでした。その後、これらのニューロンにフェリチンとニューロメラニン構造が存在すること、およびそれらが逐次トンネル効果によって電子を伝導し、ニューロンの経路をルーティング/スイッチングする能力があるという証拠が得られました。^{[ 15 ] [ 16 ] [ 17 ]}

2) ) The axons of large SNc neurons were known to have extensive arbors, but it was unknown whether post-synaptic activity at the synapses of those axons would raise the membrane potential of those neurons sufficiently to cause the electrons to be routed to the neuron or neurons with the most post-synaptic activity for the purpose of action selection.  At the time, prevailing explanations of the purpose of those neurons was that they did not mediate action selection and were only modulatory and non-specific.^[18] Prof. Pascal Kaeser of Harvard Medical School subsequently obtained evidence that large SNc neurons can be temporally and spatially specific and mediate action selection.^[19]  Other evidence indicates that the large LC axons have similar behavior.^[20][21]

3) Several sources of electrons or excitons to provide the energy for the mechanism were hypothesized in 2018 but had not been observed at that time.  Dioxetane cleavage (which can occur during somatic dopamine metabolism by quinone degradation of melanin) was contemporaneously proposed to generate high energy triplet state electrons by Prof. Doug Brash at Yale, which could provide a source for electrons for the CNET mechanism.^[22][23][24]

While evidence of a number of physical predictions of the CNET hypothesis has thus been obtained, evidence of whether the hypothesis itself is correct has not been sought. One way to try to determine whether the CNET mechanism is present in these neurons would be to use quantum dot fluorophores and optical probes to determine whether electron tunneling associated with ferritin in the neurons is occurring in association with specific actions.^[6][25][26]