アクションモデル学習

アクションモデル学習（略してアクション学習とも呼ばれる）は、ソフトウェアエージェントが自身の環境内で実行可能なアクションの効果と前提条件に関する知識を作成および変更することに関わる機械学習の一分野である。この知識は通常、論理ベースのアクション記述言語で表現され、自動プランナーへの入力として使用される。

目標が変わると、行動モデルの学習が重要になります。エージェントがしばらく行動すると、その領域での行動に関する蓄積された知識を使用して、より良い意思決定を行うことができます。したがって、行動モデルの学習は強化学習とは異なります。それは、世界での高価な試行の代わりに、行動について推論することを可能にします。^{[ 1 ]}行動モデル学習は帰納的推論の一形態であり、エージェントの観察に基づいて新しい知識が生成されます。

行動モデル学習の一般的な動機は、プランナーのための行動モデルを手動で指定することが、多くの場合、困難で時間のかかる、エラーが発生しやすい作業であるという事実にある（特に複雑な環境では）。

行動モデル

トレーニングセットが与えられた場合 $E$ 例から成る $e=(s,a,s')$ 、どこ $s,s'$ 連続する2つの時間ステップにおける世界状態の観測値である $t,t'$ そして $a$ タイムステップで観測されたアクションインスタンス $t$ 一般的に、アクションモデル学習の目標はアクションモデルを構築することである。 $\langle D,P\rangle$ 、どこ $D$ これは、 STRIPS、ADL、PDDLなどのアクション記述形式におけるドメインダイナミクスの記述であり、 $P$ は、の要素上で定義された確率関数である。 $D$ ^{[ 2 ]}しかし、最先端のアクションラーニング手法の多くは決定論を前提としており、 $P$ 決定論に加えて、個々の手法は、ドメインの他の属性（例えば、部分的な観測可能性や感覚ノイズ）への対処方法においても異なっている。

アクションラーニングの方法

最先端の

最近のアクションラーニング手法は、さまざまなアプローチを採用し、人工知能と計算論理のさまざまな分野から幅広いツールを採用しています。命題論理に基づく手法の例として、エージェントの観測を使用して時間とともに長い命題式を構築し、その後充足可能性 (SAT) ソルバーを使用して解釈する SLAF (Simultaneous Learning and Filtering) アルゴリズム^{[ 1 ]}を挙げることができます。学習を充足可能性問題 (この場合は重み付きMAX-SAT )に変換し、SAT ソルバーを使用する別の手法は、ARMS (Action-Relation Modeling System) ^[³^]に実装されています。アクションラーニングに対する相互に類似した、完全に宣言的な 2 つのアプローチは、論理プログラミングパラダイムAnswer Set Programming (ASP) ^[⁴^{]とその拡張である Reactive ASP}^[⁵^]に基づいています。別の例では、ボトムアップの帰納的論理プログラミングアプローチが採用されました。^[⁶^]いくつかの異なるソリューションは、直接論理に基づいていません。例えば、パーセプトロンアルゴリズムを使用したアクションモデル学習^[⁷^]や、可能なアクションモデルの空間に対するマルチレベル貪欲探索^[⁸^]などがある。 1992年の古い論文^[⁹^]では、アクションモデル学習は強化学習の拡張として研究されていた。

しかしながら、異なる仮定の下で動作するアルゴリズムも存在します。FAMA ^{[ 10 ]}は、一部の観測データが欠落している場合でも機能し、一般的な（リフトされた）計画モデルを生成します。これは、行動モデルの学習を計画問題のように扱い、学習されたモデルが与えられた観測データと一致することを保証します。NOLAM ^{[ 11 ]}は、ノイズの多いデータや不完全なデータからでも一般的な行動モデルを学習できます。LOCM ^{[ 12 ]}は、データ内の行動の順序のみに焦点を当て、それらの行動間の状態に関する詳細を無視します。安全行動モデル（SAM）学習手法のファミリー^{[ 13 ]}は、それらを使用して作成された計画が実際に現実世界で機能することを保証するモデルを作成します。数値条件と効果を持つ行動モデルを学習できるN-SAM ^{[ 14 ]}と呼ばれる拡張機能もあります。

さらに、N-SAMのような数値アクションモデルは、RAMPアルゴリズムを通じて強化学習（RL）のパフォーマンスを向上させるために使用できます。^{[ 15 ]}

文学

アクションラーニングに関する研究論文のほとんどは、人工知能全般に焦点を当てた学術誌や学会（例：Journal of Artificial Intelligence Research (JAIR)、Artificial Intelligence, Applied Artificial Intelligence (AAI)、AAAI学会など）で発表されています。アクションモデル学習は、これらのトピックに相互関連性があるにもかかわらず、International Conference on Automated Planning and Scheduling (ICAPS)のような計画関連の学会では通常取り上げられません。

参考文献

1 2 Amir, Eyal; Chang, Allen (2008). " Learning Partially Observable Deterministic Action Models" . Journal of Artificial Intelligence Research . 33 : 349–402 . arXiv : 1401.3437 . doi : 10.1613/jair.2575 . S2CID 9432224 .
↑ Čertický, Michal (2014). "オンラインアルゴリズム3SGによるリアルタイムアクションモデル学習" .応用人工知能. 28 (7): 690– 711. doi : 10.1080/08839514.2014.927692 . S2CID 8210810 .
↑ Yang, Qiang; Kangheng, Wu; Yunfei, Jiang ( 2007). "Learning action models from plan examples using weighted MAX-SAT" . Artificial Intelligence . 171 ( 2–3 ): 107–143 . CiteSeerX 10.1.1.135.9266 . doi : 10.1016/j.artint.2006.11.005 .
↑バルドゥッチーニ、マルセロ (2007)。「A-Prolog によるアクション記述の学習: アクション言語 C」。AAAI春季シンポジウム: 常識的推論の論理形式化: 13–18。
↑ Čertický, Michal (2012). 「反応型回答集合プログラミングによるアクションラーニング：予備報告」 . ICAS 2012 : 第8回自律システム国際会議. pp. 107–111 . ISBN 9781612081878。
↑ Benson, Scott (1995). 「反応行動モデルの帰納的学習」.機械学習: 第12回国際会議議事録.
↑ Mourao, Kira; Petrick, Ronald; Steedman, Mark (2010). "Learning action effects in partially observable domains" . Frontiers in Artificial Intelligence and Applications . 215 (ECAI 2010): 973–974 . doi : 10.3233/978-1-60750-606-5-973 . hdl : 20.500.11820/810a5579-b991-441a-ad68-af0151689627 .
↑ Zettlemoyer, Luke; Pasula, Hanna; Kaelblin, Leslie Pack (2005). "ノイズのある確率的世界における計画ルールの学習" . AAAI : 911– 918.
↑ Lin, Long-Ji (1992). "強化学習、計画、および教育に基づく自己改善型反応エージェント" . Machine Learning . 8 ( 3–4 ): 293–321 . doi : 10.1023/A:1022628806385 .
↑アイネト、ディエゴ。ヒメネス・セロリオ、セルジオ。オナインディア、エヴァ（2019）。「可観測性を最小限に抑えた学習アクションモデル」。人工知能。275 : 104–137 .土井: 10.1016/j.artint.2019.05.003。
↑ Lamanna, Leonardo; Serafini, Luciano (2024). Action Model Learning from Noisy Traces: a Probabilistic Approach . International Conference on Automated Planning and Scheduling (ICAPS). pp. 342–350 . doi : 10.1609/icaps.v34i1.31493 .
↑ Cresswell, Stephen N.; McCluskey, Thomas L.; West, Margaret M. (2013). "LOCM を使用した計画ドメインモデルの取得" . The Knowledge Engineering Review . 28 (2): 195– 213. doi : 10.1017/S0269888912000422 .
↑ Juba, Brendan; Le, Hai S; Stern, Roni (2021). Safe Learning of Lifted Action Models (PDF) . Proceedings of the 18th International Conference on Principles of Knowledge Representation and Reasoning (KR). pp. 379–389 .
↑ Mordoch, Argaman; Juba, Brendan; Stern, Roni (2023). Learning Safe Numeric Action Models . AAAI Conference on Artificial Intelligence. Vol. 37. pp. 12079– 12086. doi : 10.1609/aaai.v37i10.26424 .
↑ Benyamin, Yarin; Mordoch, Argaman; Shperberg, Shahaf S.; Stern, Roni (2025). "複雑なタスクに取り組むための強化学習、アクションモデル学習、および数値計画の統合". arXiv : 2502.13006 [ cs.AI ].

[amir2008-1] 1 2 Amir, Eyal; Chang, Allen (2008). " Learning Partially Observable Deterministic Action Models" . Journal of Artificial Intelligence Research . 33 : 349–402 . arXiv : 1401.3437 . doi : 10.1613/jair.2575 . S2CID 9432224 .

[certicky2013-2] Čertický, Michal (2014). "オンラインアルゴリズム3SGによるリアルタイムアクションモデル学習" .応用人工知能. 28 (7): 690– 711. doi : 10.1080/08839514.2014.927692 . S2CID 8210810 .

[yang2007-3] Yang, Qiang; Kangheng, Wu; Yunfei, Jiang ( 2007). "Learning action models from plan examples using weighted MAX-SAT" . Artificial Intelligence . 171 ( 2–3 ): 107–143 . CiteSeerX 10.1.1.135.9266 . doi : 10.1016/j.artint.2006.11.005 .

[4] バルドゥッチーニ、マルセロ (2007)。「A-Prolog によるアクション記述の学習: アクション言語 C」。AAAI春季シンポジウム: 常識的推論の論理形式化: 13–18。

[5] Čertický, Michal (2012). 「反応型回答集合プログラミングによるアクションラーニング：予備報告」 . ICAS 2012 : 第8回自律システム国際会議. pp. 107–111 . ISBN 9781612081878。

[6] Benson, Scott (1995). 「反応行動モデルの帰納的学習」.機械学習: 第12回国際会議議事録.

[7] Mourao, Kira; Petrick, Ronald; Steedman, Mark (2010). "Learning action effects in partially observable domains" . Frontiers in Artificial Intelligence and Applications . 215 (ECAI 2010): 973–974 . doi : 10.3233/978-1-60750-606-5-973 . hdl : 20.500.11820/810a5579-b991-441a-ad68-af0151689627 .

[8] Zettlemoyer, Luke; Pasula, Hanna; Kaelblin, Leslie Pack (2005). "ノイズのある確率的世界における計画ルールの学習" . AAAI : 911– 918.

[9] Lin, Long-Ji (1992). "強化学習、計画、および教育に基づく自己改善型反応エージェント" . Machine Learning . 8 ( 3–4 ): 293–321 . doi : 10.1023/A:1022628806385 .

[10] アイネト、ディエゴ。ヒメネス・セロリオ、セルジオ。オナインディア、エヴァ（2019）。「可観測性を最小限に抑えた学習アクションモデル」。人工知能。275 : 104–137 .土井: 10.1016/j.artint.2019.05.003。

[11] Lamanna, Leonardo; Serafini, Luciano (2024). Action Model Learning from Noisy Traces: a Probabilistic Approach . International Conference on Automated Planning and Scheduling (ICAPS). pp. 342–350 . doi : 10.1609/icaps.v34i1.31493 .

[12] Cresswell, Stephen N.; McCluskey, Thomas L.; West, Margaret M. (2013). "LOCM を使用した計画ドメインモデルの取得" . The Knowledge Engineering Review . 28 (2): 195– 213. doi : 10.1017/S0269888912000422 .

[13] Juba, Brendan; Le, Hai S; Stern, Roni (2021). Safe Learning of Lifted Action Models (PDF) . Proceedings of the 18th International Conference on Principles of Knowledge Representation and Reasoning (KR). pp. 379–389 .

[14] Mordoch, Argaman; Juba, Brendan; Stern, Roni (2023). Learning Safe Numeric Action Models . AAAI Conference on Artificial Intelligence. Vol. 37. pp. 12079– 12086. doi : 10.1609/aaai.v37i10.26424 .

[15] Benyamin, Yarin; Mordoch, Argaman; Shperberg, Shahaf S.; Stern, Roni (2025). "複雑なタスクに取り組むための強化学習、アクションモデル学習、および数値計画の統合". arXiv : 2502.13006 [ cs.AI ].

[ 1 ]

[ 2 ]

[

[

[

[

[

[

[

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

アクションモデル学習

行動モデル

アクションラーニングの方法

最先端の

文学

関連項目

参考文献

関連するトピック

エージェント

機械学習

アクション記述言語で表現され、

自動プランナー