模倣学習

行動クローニング（BC）は、模倣学習の最も基本的な形態です。基本的に、教師あり学習を使用してポリシーを訓練します。${\displaystyle \pi _{\theta }}$つまり、ある観測値が与えられた場合$ot$アクション分布が出力される${\displaystyle \pi _{\theta }(\cdot |o_{t})}$それは専門家の行動分布とほぼ同じである。^{[ 13 ]}

BCは分布シフトの影響を受けやすい。具体的には、訓練されたポリシーが専門家のポリシーと異なる場合、専門家の軌跡から逸脱し、専門家の軌跡では決して起こらなかったであろう観測結果に至る可能性がある。^{[ 13 ]}

これはALVINNによって既に指摘されており、彼らは人間のデモンストレーションを使用してバンを運転するニューラルネットワークを訓練しました。彼らは、人間のドライバーは決して経路から大きく外れないため、ネットワークは経路から大きく外れた場合にどのような行動を取るべきかを訓練されないことに気づきました。^{[ 6 ]}

DAgger（Dataset Aggregation ）^{[ 14 ]}は、専門家のデモンストレーションのデータセットで反復的に学習することで、ビヘイビアクローニングを改善します。各反復において、アルゴリズムはまず学習済みのポリシーを展開することでデータを収集します。${\displaystyle \pi _{\theta }}$そして、最適な行動について専門家に問い合わせる。${\displaystyle a_{t}^{*}}$各観測値について$ot$展開中に遭遇した。最後に、新しいデータをデータセットに集約する。$${\displaystyle D\leftarrow D\cup \{(o_{1},a_{1}^{*}),(o_{2},a_{2}^{*}),...,(o_{T},a_{T}^{*})\}}$$そして、集約されたデータセットに対して新しいポリシーをトレーニングします。^{[ 13 ]}

Decision Transformerアプローチは、強化学習をシーケンスモデリング問題としてモデル化します。^{[ 15 ]}ビヘイビアクローニングと同様に、ロールアウトシーケンスをモデル化するTransformerなどのシーケンスモデルをトレーニングします。$${\displaystyle (R_{1},o_{1},a_{1}),(R_{2},o_{2},a_{2}),\dots ,(R_{t},o_{t},a_{t}),}$$どこ${\displaystyle R_{t}=r_{t}+r_{t+1}+\dots +r_{T}}$これは、ロールアウトにおける将来の報酬の合計です。トレーニング時間中、シーケンスモデルは各アクションを予測するようにトレーニングされます。${\displaystyle a_{t}}$前回の展開を背景として：$${\displaystyle (R_{1},o_{1},a_{1}),(R_{2},o_{2},a_{2}),\dots ,(R_{t},o_{t})}$$推論時、シーケンスモデルを効果的なコントローラとして使用するには、単純に非常に高い報酬予測を与えるだけでよい。${\displaystyle R}$そして、高い報酬をもたらす行動を予測することで一般化します。これは、 41のアタリゲームで超人的な10億のパラメータを持つトランスフォーマーに予測通りに拡張できることが示されました。^{[ 16 ]}

^{その他の例については[ 17 ] [ 18 ]}を参照してください。