内発的動機付け（人工知能）

人工知能とロボット工学の研究における内発的動機づけとは、人工エージェント（ロボットを含む）が探究や好奇心といった本質的に報酬のある行動を示すことを可能にするメカニズムであり、心理学の研究においても同じ用語で分類される。心理学者は、人間の内発的動機づけを、単に楽しさや挑戦のために、本質的に満足感を得るために活動を行う意欲であると考えている。^[¹^]

意味

情報の内容そのもの、あるいは行動によって生じる経験が動機となる場合、知能エージェントは本質的に行動する動機を持つと言える。

この文脈における情報内容は、不確実性を定量化する情報理論的な意味で測定される。典型的な内発的動機は、珍しい、驚くべき状況を探すこと（探索）であり、これは食料を探すこと（恒常性）などの典型的な外発的動機とは対照的である。^{[ 2 ]}外発的動機は、人工知能では通常、タスク依存的または目標指向的であると説明される。

心理学における起源

心理学と神経科学における内発的動機づけの研究は、1950年代に一部の心理学者が操作と探索への衝動を通して探索を説明したことから始まったが、この恒常性観はホワイトによって批判された。^{[ 3 ]} 1960年にバーリンが提示した別の説明は、新しさと馴染みやすさの最適なバランスの追求であった。^{[ 4 ]}フェスティンガーは、世界の内的観と外的観の違いを、生物が減らそうとする不協和音として説明した。^{[ 5 ]}同様の見解は、70年代にケーガンによって、認知構造と経験の間の不適合性を減らしたいという欲求として表現された。^{[ 6 ]}最適な不一致という考え方とは対照的に、デシとライアンは80年代半ばに、能力と自己決定に基づく内発的動機づけを特定した。^{[ 7 ]}

計算モデル

1990年代初頭にシュミットフーバーによって人工的な好奇心を実装するための影響力のある初期の計算アプローチが、その後「創造性、楽しさ、および内発的動機の形式理論」へと発展した。^{[ 8 ]}

内発的動機づけは、計算論的強化学習の枠組みで研究されることが多い^{[ 9 ]}^{[ 10 ]} （ SuttonとBartoによって導入された）では、エージェントの行動を促す報酬は外部から課せられるのではなく、内発的に導き出され、環境から学習する必要がある^{[ 11 ]} 。強化学習は報酬がどのように生成されるかには無関心である。エージェントは、行動と環境によって提供される報酬の分布からポリシー（行動戦略）を学習する。このスキームにおける内発的動機づけへの各アプローチは、本質的にエージェントの報酬関数を生成する異なる方法である。

好奇心 vs. 探求心

内発的に動機づけられた人工エージェントは、好奇心や探索に似た行動を示します。人工知能とロボット工学における探索は、強化学習モデルで広く研究されており、 ^{[ 12 ]}通常は、エージェントが環境のダイナミクスに関する不確実性を減らすため（遷移関数の学習）、および目標を達成するための最良の方法（報酬関数の学習）を学習するために、可能な限り多くの環境を探索するように促します。対照的に、内発的動機づけは、エージェントがより多くの情報をもたらす環境の側面を最初に探索し、目新しさを求めるように促します。状態訪問回数探索と内発的動機づけを統合した最近の研究では、ビデオゲームの設定でより速い学習が示されています。^{[ 13 ]}

モデルの種類

OudeyerとKaplanは、内発的動機づけの研究に大きく貢献した。^{[ 14 ]}^{[ 2 ]}^{[ 15 ]}彼らは、Berlyneの理論に基づいて内発的動機づけを定義し、^{[ 4 ]}内発的動機づけの実装へのアプローチを、心理学のルーツに大きく従う3つのカテゴリー、「知識ベースモデル」、「能力ベースモデル」、「形態モデル」に分類した。^{[ 2 ]}知識ベースモデルはさらに、「情報理論的」と「予測的」に細分化される。^{[ 15 ]} BaldassareとMirolliは、知識ベースモデルを予測ベースと新規性ベースに区別する同様の類型論を提示している。^{[ 16 ]}

情報理論に基づく内発的動機づけ

行動を促す予測と新規性の定量化は、一般的に情報理論モデルの適用によって可能になります。このモデルでは、エージェントの状態と戦略（ポリシー）は、マルコフ決定過程を記述する確率分布によって表され、知覚と行動のサイクルは情報チャネルとして扱われます。^{[ 17 ]}^{[ 18 ]}これらのアプローチは、脳機能に対するベイズ的アプローチのファミリーの一部として、生物学的実現可能性を主張しています。これらのモデルの主な批判と難しさは、大きな離散的または連続的な状態空間上の確率分布を計算するのが困難であることです。^{[ 2 ]}それにもかかわらず、感覚運動サイクル周辺の情報の流れをモデル化する研究が相当数蓄積されており、不確実性の低減から派生した事実上の報酬関数につながっています。これには、最も注目すべきアクティブ推論^{[ 19 ]}だけでなく、インフォタキシス^{[ 20 ]} 、予測情報^{[ 21 ]}^{[ 22 ]}、エンパワーメント^[²³^]も含まれます。

能力ベースのモデル

スティールの自己目的原理^{[ 24 ]}はフロー（心理学）を形式化しようとする試みである。^{[ 25 ]}

達成、所属、権力モデル

計算によってモデル化されてきたその他の内在的動機には、達成動機、所属動機、権力動機などがあります。^{[ 26 ]}これらの動機は、成功確率やインセンティブの関数として実装できます。エージェントの集団には、達成動機、所属動機、権力動機のプロファイルが異なる個人が含まれる可能性があり、集団の多様性をモデル化し、同じ状況に直面したときに異なる個人が異なる行動をとる理由を説明できます。

業績、所属、権力を超えて

より最近の内発的動機づけの計算理論は、そのような動機に基づいたさまざまな心理学的知見を説明しようと試みている。特に、この内発的動機づけのモデルは、達成、所属、権力といったものだけでなく、他の重要な人間の動機も考慮に入れている。心理学からの実証データは、このモデルを使用して計算的にシミュレートされ、説明された。^{[ 27 ]}

内発的動機づけ学習

内発的に動機づけられた（または好奇心主導の）学習は、人工知能と発達ロボット工学における新たな研究テーマであり^{[ 28 ]}、資源の獲得などの外発的タスクのパフォーマンスを向上させるために展開できる一般的なスキルや行動を学習できるエージェントの開発を目指しています。^{[ 29 ]内発的に動機づけられた学習は、機械における自律的な生涯学習}^{[ 30 ]}^{[ 31 ]}やコンピュータゲームのキャラクターにおけるオープンエンド学習^{[ 32 ]}へのアプローチとして研究されてきました。特に、エージェントが意味のある抽象表現を学習すると、2つの表現間の距離の概念を使用して新規性を評価することができ、それによって環境を効率的に探索することができます。^{[ 33 ]}特定の領域（AlphaGoなど）における深層学習の目覚ましい成功にもかかわらず、この分野の多くの人々（Gary Marcusなど）は、汎化能力が人工知能における根本的な課題であり続けていることを指摘しています。内発的に動機づけられた学習は、外部から課せられたタスクなしに環境の構造から目標を生成できるという点で有望ではあるものの、一般化という同じ課題に直面している。つまり、ポリシーやアクションシーケンスをどのように再利用するか、連続的または複雑な状態空間をどのように圧縮して表現し、学習した顕著な特徴をどのように保持して再利用するかという課題である。^[²⁹^]

参考文献

↑ Ryan, Richard M; Deci, Edward L (2000). "内発的動機づけと外発的動機づけ：古典的な定義と新たな方向性". Contemporary Educational Psychology . 25 (1): 54–67 . doi : 10.1006/ceps.1999.1020 . hdl : 20.500.12799/2958 . PMID 10620381. S2CID 1098145 .
1 2 3 4 Oudeyer, Pierre-Yves; Kaplan, Frederic (2008). 「内発的動機付けをどのように定義できるか？」。第 8 回エピジェネティックロボティクス会議議事録。第 5巻、pp. 29–31。
↑ White, R. (1959). "動機づけの再考：能力の概念". Psychological Review . 66 (5): 297–333 . doi : 10.1037/h0040934 . PMID 13844397. S2CID 37385966 .
1 2バーリン、D.：葛藤、覚醒、好奇心。マグロウヒル、ニューヨーク（1960）
↑フェスティンガー、L.：認知的不協和の理論。エバンストン、ロウ、ピーターソン（1957）
↑ Kagan, J.: 動機と発達。人格・社会心理学ジャーナル 22、51–66
↑ Deci, EL、Ryan, RM：人間の行動における内発的動機づけと自己決定。プレナム出版、ニューヨーク（1985年）
↑ Schmidhuber, J (2010). "創造性、楽しさ、および内発的動機の形式理論（1990-2010）". IEEE Trans. Auton. Mental Dev . 2 (3): 230– 247. Bibcode : 2010ITAMD...2..230S . doi : 10.1109/TAMD.2010.2056368 . S2CID 234198 .
↑ Barto, A., Singh, S., Chentanez, N.: 階層的なスキルの集合の内発的動機づけ学習。ICDL 2004 2004 会議録、第 3 回国際開発学習会議、ソーク研究所、サンディエゴ (2004)
↑ Singh, S.、Barto, AG、および Chentanez, N. (2005)。内発的に動機づけられた強化学習。第18回ニューラル情報処理システム年次会議（NIPS）議事録、バンクーバー、BC、カナダ。
↑ Barto, AG: 内発的動機づけと強化学習。Baldassarre, G.、Mirolli, M. (編) 自然システムおよび人工システムにおける内発的動機づけ学習。Springer、ベルリン (2012)
↑ Thrun, SB (1992). 強化学習における効率的な探索。https ://doi.org/10.1007/978-1-4899-7687-1_244
↑ Bellemare, MG、Srinivasan, S.、Ostrovski, G.、Schaul, T.、Saxton, D.、Munos, R. (2016). カウントベースの探索と内発的動機付けの統合。Advances in Neural Information Processing Systems、1479–1487。
↑ Kaplan, F. および Oudeyer, P. (2004). 学習の進捗を最大化する: 発達のための内部報酬システム。Embodied artificial intelligence、629–629 ページ。
1 2 Oudeyer, PY、& Kaplan, F. (2009). 内発的動機づけとは何か？計算論的アプローチの類型。Frontiers in Neurorobotics、3(NOV)。https ://doi.org/10.3389/neuro.12.006.2007
↑ Baldassarre, Gianluca; Mirolli, Marco (2013). "内発的動機づけ学習システム：概要". Intrinsically Motivated Learning in Natural 1 and Artificial Systems . Rome, Italy: Springer. pp. 1–14 .
↑ Klyubin, A., Polani, D., and Nehaniv, C. (2008). Keep your options open: an information-based driving principle for sensorimotor systems. PLOS ONE, 3(12):e4018. https://dx.doi.org/10.1371%2Fjournal.pone.0004018
↑ Biehl, Martin; Guckelsberger, Christian; Salge, Christoph; Smith, Simón C.; Polani, Daniel (2018). "Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop" . Frontiers in Neurorobotics . 12 45. arXiv : 1806.08083 . doi : 10.3389/fnbot.2018.00045 . ISSN 1662-5218 . PMC 6125413 . PMID 30214404 .
↑ Friston, Karl; Kilner, James; Harrison, Lee (2006). "脳の自由エネルギー原理" (PDF) . Journal of Physiology-Paris . 100 ( 1– 3). Elsevier BV: 70– 87. doi : 10.1016/j.jphysparis.2006.10.001 . ISSN 0928-4257 . PMID 17097864 . S2CID 637885 .
↑ Vergassola, M., Villermaux, E., & Shraiman, BI (2007). 'Infotaxis' as a strategy for searching without gradients. Nature, 445(7126), 406–409. https://doi.org/10.1038/nature05464
↑ Ay, N., Bertschinger, N., Der, R., Güttler, F. and Olbrich, E. (2008), '自律ロボットの予測情報と探索行動', The European Physical Journal B 63(3), 329–339.
↑ Martius, G., Der, R., and Ay, N. (2013). Information driven self-organization of complex robotic behaviors. PLOS ONE 8:e63400. doi: 10.1371/journal.pone.0063400
↑ Salge, C; Glackin, C; Polani, D (2014). "エンパワーメント入門". Prokopenko, M (編). Guided Self-Organization: Inception. Emergence, Complexity and Computation . Vol. 9. Springer. pp. 67–114 . arXiv : 1310.1863 . doi : 10.1007/978-3-642-53734-9_4 . ISBN 978-3-642-53733-2. S2CID 9662065 .
↑ Steels, Luc: 自己目的原理。Iida, F.、Pfeifer, R.、Steels, L.、Kuniyoshi, Y. (編)『Embodied Artificial Intelligence』LNCS (LNAI)、第3139巻、231-242頁。Springer、ハイデルベルク (2004)
↑チクセントミハイ、M. (2000). 退屈と不安を超えて。ジョシー＝バス。
↑ Merrick, KE (2016). Computational Models of Motivation for Game-Playing Agents. Springer International Publishing, https://doi.org/10.1007/978-3-319-33459-2 .
↑ Sun, R., Bugrov, S, and Dai, D. (2022). さまざまな動機づけとパフォーマンス現象を解釈するための統一フレームワーク。Cognitive Systems Research, 71, 24–40.
↑ Lungarella, M., Metta, G., Pfeifer, R., and Sandini, G. (2003). Developmental robotics: a survey. Connect. Sci. 15, 151–190. doi: 10.1080/09540090310001655110
1 2 Santucci、VG、Oudeyer、PY、Barto、A.、および Baldassarre、G. (2020)。社説: 自律型ロボットにおける内発的動機づけに基づいたオープンエンド学習。ニューロボティクスのフロンティア、2019 ～ 2021 年 13 日（1 月）。 https://doi.org/10.3389/fnbot.2019.00115
↑ Barto, AG (2013). 「内発的動機づけと強化学習」、『自然システムと人工システムにおける内発的動機づけ学習』（ベルリン、ハイデルベルク：Springer）、17-47頁
↑ Mirolli, M., and Baldassarre, G. (2013). “Functions and mechanisms of intrinsic motivations,” in Intrinsically Motivated Learning in Natural and Artificial Systems, eds G. Baldassarre and M. Mirolli (Berlin; Heidelberg: Springer), 49–72
↑ Merrick, KE、Maher, ML (2009)。動機づけられた強化学習：マルチユーザーゲームのための好奇心旺盛なキャラクター。Springer-Verlag Berlin Heidelberg、 https://doi.org/10.1007/978-3-540-89187-1。
↑ Tao, Ruo Yu、Francois-Lavet, Vincent、Pineau, Joelle (2020). サンプル効率の良い探索のための表現空間における新規性探索。ニューラル情報処理システム、2020年。https ://arxiv.org/abs/2009.13579

[ryan2000-1] Ryan, Richard M; Deci, Edward L (2000). "内発的動機づけと外発的動機づけ：古典的な定義と新たな方向性". Contemporary Educational Psychology . 25 (1): 54–67 . doi : 10.1006/ceps.1999.1020 . hdl : 20.500.12799/2958 . PMID 10620381. S2CID 1098145 .

[oudeyer2008-2] 1 2 3 4 Oudeyer, Pierre-Yves; Kaplan, Frederic (2008). 「内発的動機付けをどのように定義できるか？」。第 8 回エピジェネティックロボティクス会議議事録。第 5巻、pp. 29–31。

[white1959-3] White, R. (1959). "動機づけの再考：能力の概念". Psychological Review . 66 (5): 297–333 . doi : 10.1037/h0040934 . PMID 13844397. S2CID 37385966 .

[Berlyne1960-4] 1 2バーリン、D.：葛藤、覚醒、好奇心。マグロウヒル、ニューヨーク（1960）

[festinger1957-5] フェスティンガー、L.：認知的不協和の理論。エバンストン、ロウ、ピーターソン（1957）

[kagan1972-6] Kagan, J.: 動機と発達。人格・社会心理学ジャーナル 22、51–66

[deci1985-7] Deci, EL、Ryan, RM：人間の行動における内発的動機づけと自己決定。プレナム出版、ニューヨーク（1985年）

[schmidhuber2010-8] Schmidhuber, J (2010). "創造性、楽しさ、および内発的動機の形式理論（1990-2010）". IEEE Trans. Auton. Mental Dev . 2 (3): 230– 247. Bibcode : 2010ITAMD...2..230S . doi : 10.1109/TAMD.2010.2056368 . S2CID 234198 .

[barto2004-9] Barto, A., Singh, S., Chentanez, N.: 階層的なスキルの集合の内発的動機づけ学習。ICDL 2004 2004 会議録、第 3 回国際開発学習会議、ソーク研究所、サンディエゴ (2004)

[singh2005-10] Singh, S.、Barto, AG、および Chentanez, N. (2005)。内発的に動機づけられた強化学習。第18回ニューラル情報処理システム年次会議（NIPS）議事録、バンクーバー、BC、カナダ。

[barto2012-11] Barto, AG: 内発的動機づけと強化学習。Baldassarre, G.、Mirolli, M. (編) 自然システムおよび人工システムにおける内発的動機づけ学習。Springer、ベルリン (2012)

[thrun1992-12] Thrun, SB (1992). 強化学習における効率的な探索。https ://doi.org/10.1007/978-1-4899-7687-1_244

[bellemare2016-13] Bellemare, MG、Srinivasan, S.、Ostrovski, G.、Schaul, T.、Saxton, D.、Munos, R. (2016). カウントベースの探索と内発的動機付けの統合。Advances in Neural Information Processing Systems、1479–1487。

[kaplan2004-14] Kaplan, F. および Oudeyer, P. (2004). 学習の進捗を最大化する: 発達のための内部報酬システム。Embodied artificial intelligence、629–629 ページ。

[oudeyer2009-15] 1 2 Oudeyer, PY、& Kaplan, F. (2009). 内発的動機づけとは何か？計算論的アプローチの類型。Frontiers in Neurorobotics、3(NOV)。https ://doi.org/10.3389/neuro.12.006.2007

[baldassarre2013-16] Baldassarre, Gianluca; Mirolli, Marco (2013). "内発的動機づけ学習システム：概要". Intrinsically Motivated Learning in Natural 1 and Artificial Systems . Rome, Italy: Springer. pp. 1–14 .

[klyubin2008-17] Klyubin, A., Polani, D., and Nehaniv, C. (2008). Keep your options open: an information-based driving principle for sensorimotor systems. PLOS ONE, 3(12):e4018. https://dx.doi.org/10.1371%2Fjournal.pone.0004018

[biehl2018-18] Biehl, Martin; Guckelsberger, Christian; Salge, Christoph; Smith, Simón C.; Polani, Daniel (2018). "Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop" . Frontiers in Neurorobotics . 12 45. arXiv : 1806.08083 . doi : 10.3389/fnbot.2018.00045 . ISSN 1662-5218 . PMC 6125413 . PMID 30214404 .

[friston2006-19] Friston, Karl; Kilner, James; Harrison, Lee (2006). "脳の自由エネルギー原理" (PDF) . Journal of Physiology-Paris . 100 ( 1– 3). Elsevier BV: 70– 87. doi : 10.1016/j.jphysparis.2006.10.001 . ISSN 0928-4257 . PMID 17097864 . S2CID 637885 .

[vergassola-20] Vergassola, M., Villermaux, E., & Shraiman, BI (2007). 'Infotaxis' as a strategy for searching without gradients. Nature, 445(7126), 406–409. https://doi.org/10.1038/nature05464

[ay2008-21] Ay, N., Bertschinger, N., Der, R., Güttler, F. and Olbrich, E. (2008), '自律ロボットの予測情報と探索行動', The European Physical Journal B 63(3), 329–339.

[martius2013-22] Martius, G., Der, R., and Ay, N. (2013). Information driven self-organization of complex robotic behaviors. PLOS ONE 8:e63400. doi: 10.1371/journal.pone.0063400

[salge2014-23] Salge, C; Glackin, C; Polani, D (2014). "エンパワーメント入門". Prokopenko, M (編). Guided Self-Organization: Inception. Emergence, Complexity and Computation . Vol. 9. Springer. pp. 67–114 . arXiv : 1310.1863 . doi : 10.1007/978-3-642-53734-9_4 . ISBN 978-3-642-53733-2. S2CID 9662065 .

[steels2004-24] Steels, Luc: 自己目的原理。Iida, F.、Pfeifer, R.、Steels, L.、Kuniyoshi, Y. (編)『Embodied Artificial Intelligence』LNCS (LNAI)、第3139巻、231-242頁。Springer、ハイデルベルク (2004)

[csik2000-25] チクセントミハイ、M. (2000). 退屈と不安を超えて。ジョシー＝バス。

[merrick2016-26] Merrick, KE (2016). Computational Models of Motivation for Game-Playing Agents. Springer International Publishing, https://doi.org/10.1007/978-3-319-33459-2 .

[sbd2022-27] Sun, R., Bugrov, S, and Dai, D. (2022). さまざまな動機づけとパフォーマンス現象を解釈するための統一フレームワーク。Cognitive Systems Research, 71, 24–40.

[lungarella2003-28] Lungarella, M., Metta, G., Pfeifer, R., and Sandini, G. (2003). Developmental robotics: a survey. Connect. Sci. 15, 151–190. doi: 10.1080/09540090310001655110

[santucci2020-29] 1 2 Santucci、VG、Oudeyer、PY、Barto、A.、および Baldassarre、G. (2020)。社説: 自律型ロボットにおける内発的動機づけに基づいたオープンエンド学習。ニューロボティクスのフロンティア、2019 ～ 2021 年 13 日（1 月）。 https://doi.org/10.3389/fnbot.2019.00115

[barto2013-30] Barto, AG (2013). 「内発的動機づけと強化学習」、『自然システムと人工システムにおける内発的動機づけ学習』（ベルリン、ハイデルベルク：Springer）、17-47頁

[mirolli2013-31] Mirolli, M., and Baldassarre, G. (2013). “Functions and mechanisms of intrinsic motivations,” in Intrinsically Motivated Learning in Natural and Artificial Systems, eds G. Baldassarre and M. Mirolli (Berlin; Heidelberg: Springer), 49–72

[merrick2009-32] Merrick, KE、Maher, ML (2009)。動機づけられた強化学習：マルチユーザーゲームのための好奇心旺盛なキャラクター。Springer-Verlag Berlin Heidelberg、 https://doi.org/10.1007/978-3-540-89187-1。

[tao2020novelty-33] Tao, Ruo Yu、Francois-Lavet, Vincent、Pineau, Joelle (2020). サンプル効率の良い探索のための表現空間における新規性探索。ニューラル情報処理システム、2020年。https ://arxiv.org/abs/2009.13579

[

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]内発的に動機づけられた学習は、機械における自律的な生涯学習

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

内発的動機付け（人工知能）

意味

心理学における起源

計算モデル

好奇心 vs. 探求心

モデルの種類

情報理論に基づく内発的動機づけ

能力ベースのモデル

達成、所属、権力モデル

業績、所属、権力を超えて

内発的動機づけ学習

関連項目

参考文献

関連するトピック

人工知能

ロボット工学

人工エージェント

ロボット