徒弟制度による学習

逆強化学習（IRL）は、観察された行動から報酬関数を導出するプロセスです。通常の「強化学習」では、報酬と罰を用いて行動を学習しますが、IRLでは方向が逆で、ロボットが人の行動を観察して、その行動が達成しようとしている目標を把握します。^{[ 3 ]} IRLの問題は次のように定義できます。^{[ 4 ]}

1) さまざまな状況下でのエージェントの行動の経時的な測定値、2) そのエージェントへの感覚入力の測定値、3) 物理環境のモデル（エージェントの身体を含む）が与えられた場合、エージェントが最適化している報酬関数を決定します。

IRL 研究者のStuart J. Russell氏は、IRL は人間を観察し、その複雑な「倫理的価値観」を体系化するために使用できる可能性があると提案しています。これは、明示的に指示されなくても「猫を料理してはいけない」といつか理解できる「倫理的なロボット」を作成するための取り組みです。 ^{[ 5 ]}このシナリオは、「協調型逆強化学習ゲーム」としてモデル化できます。このゲームでは、「人間」プレイヤーと「ロボット」プレイヤーが協力して、人間とロボットのどちらにも明示的に知られていない人間の暗黙の目標を確保します。^{[ 6 ] [ 7 ]}

2017年、OpenAIとDeepMindは、アタリゲームやバックフリップなどの単純なロボットタスクといった単純な領域で、協調型逆強化学習に深層学習を適用した。人間の役割は、2つの異なる動作のうちどちらが好ましいかをロボットから尋ねられた際に答えることに限られていた。研究者らは、この技術が現代のシステムに経済的に拡張可能であるという証拠を発見した。^{[ 8 ] [ 9 ]}

逆強化学習による徒弟制度(AIRP) は、2004 年にバークレーのEE CS学科の教授であるPieter Abbeel 氏とスタンフォード大学のコンピュータサイエンス学科の准教授であるAndrew Ng氏によって開発されました。AIRP は、「報酬関数が明示的に与えられていないが、代わりに学習したいタスクを実行する専門家のデモンストレーションを観察できるマルコフ決定プロセスを扱います」 ^{[ 1 ]} 。AIRPは、直感的に明らかな報酬関数がない非常に動的なシナリオの報酬関数をモデル化するために使用されてきました。たとえば、運転のタスクを考えてみましょう。安全な車間距離の維持、適切な速度、車線変更の頻度の低さなど、さまざまな目的が同時に機能します。このタスクは一見簡単そうに見えますが、単純な報酬関数では、望ましいポリシーに収束しない可能性があります。

AIRPが広く利用されている分野の1つはヘリコプターの制御です。単純な軌道は直感的に導き出すことができますが、ショー用の曲技飛行のような複雑なタスクも成功しています。これには、その場での宙返り、その場でのロール、ループ、ハリケーン、さらにはオートローテーション着陸などの曲技飛行が含まれます。この研究は、Pieter Abbeel、Adam Coates、およびAndrew Ngによって開発されました - 「徒弟学習による自律型ヘリコプター曲技飛行」^{[ 10 ]}

システムモデルは、世界のダイナミクスをモデル化することで専門家を模倣しようとします。^{[ 2 ]}