探索と開発のジレンマ

探索と活用のジレンマは、探索と活用のトレードオフとしても知られ、多くの分野で生じる意思決定の基本的な概念です。^{[1] [2]}これは、2 つの対立する戦略のバランスを取る行為として表現されます。活用では、システムの現在の知識 (不完全または誤解を招く可能性があります) に基づいて最善のオプションを選択しますが、探索では、活用の機会を犠牲にして、将来的により良い結果につながる可能性のある新しいオプションを試すことが含まれます。これら 2 つの戦略の最適なバランスを見つけることは、長期的な利益を最大化することを目標とする多くの意思決定の問題において重要な課題です。^[3]

機械学習の文脈では、探索と活用のトレードオフは強化学習（RL）の基本です。RLは、環境からのフィードバックに基づいて意思決定を行うようにエージェントを訓練するタイプの機械学習です。重要なのは、このフィードバックが不完全または遅れている可能性があることです。^[4]エージェントは、現在の最もよく知られているポリシーを活用するか、パフォーマンスを向上させるために新しいポリシーを探索するかを決定する必要があります。

多腕バンディット(MAB) 問題はトレードオフの典型的な例であり、イプシロン グリーディ、トンプソン サンプリング、信頼上限 (UCB) など、多くの手法が開発されました。詳細については、MAB のページを参照してください。

MAB 問題よりも複雑な RL 状況では、エージェントは各選択を MAB として扱うことができ、その場合のペイオフは将来の期待報酬となります。たとえば、エージェントがイプシロン グリーディ法を実行する場合、エージェントは「最良のレバーを引く」ために、最も予測される期待報酬 (exploit) を持つアクションを選択することがよくあります。ただし、ランダムなアクション (explore) を選択する確率はイプシロンになります。たとえば、モンテ カルロ ツリー サーチでは、UCB 法のバリエーションが使用されています。^[5]

探索を困難にするいくつかの問題がある。^[5]

• 報酬がまばら。報酬が長い間に一度しか発生しない場合、エージェントは探索を継続しない可能性があります。さらに、行動空間が大きい場合、報酬がまばらであるということは、エージェントが報酬に導かれず、より深い探索のための適切な方向を見つけられないことを意味します。標準的な例はモンテスマの復讐です。^[6]
• 欺瞞的な報酬。初期のアクションの一部がすぐに小さな報酬を与え、他のアクションが後で大きな報酬を与える場合、エージェントは他のアクションの探索から誘惑される可能性があります。
• ノイズの多いテレビ問題。特定の観測にノイズが混じっている場合（ランダムな画像を映し出すテレビなど）、エージェントはそれらの観測を探索する（テレビを見る）ことに陥ってしまう可能性がある。^[7]

^{このセクションは[8]}に基づいています。

探索報酬（探索ボーナスとも呼ばれる）法は、探索と利用のジレンマを利用のバランスに変換する。つまり、エージェントに探索と利用のバランスを取らせようとするのではなく、探索は単に利用の別の形態として扱われ、エージェントは探索と利用からの報酬の合計を最大化しようとするだけである。探索報酬は、内発的報酬の一種として扱うことができる。^[9]

これらは と書き、時間ステップ における内的報酬と外的報酬を意味します。 ${\displaystyle r_{t}^{i},r_{t}^{e}}$${\displaystyle t}$

ただし、探索報酬は搾取報酬とは次の 2 つの点で異なります。

• 利用の報酬は自由に選択できず、環境によって与えられますが、探索の報酬は自由に選択できます。実際、以下に説明するように、設計にはさまざまな方法があります。${\displaystyle r_{t}^{i}}$
• 搾取の報酬は通常定常的（つまり、同じ状態で同じ行動をとれば同じ報酬が得られる）であるが、探索の報酬は非定常的（つまり、同じ状態で同じ行動をとれば得られる報酬はますます少なくなる）である。^[7]

カウントベースの探索では、時間ステップ の間に状態を訪れた回数 を使って探索報酬を計算します。これは、小さく離散的な状態空間でのみ可能です。密度ベースの探索は、密度モデル を使ってカウントベースの探索を拡張します。その考え方は、ある状態が訪問された場合、近くの状態も部分的に訪問されているというものです。^[10]${\displaystyle N_{n}(s)}$${\displaystyle s}$${\displaystyle 1:n}$${\displaystyle \rho _{n}(s)}$

最大エントロピー探索では、エージェントの政策のエントロピーは内在的報酬の項として含まれる。つまり、である。^[11]${\displaystyle \pi}$${\displaystyle r_{t}^{i}=-\sum _{a}\pi (a|s_{t})\ln \pi (a|s_{t})+\cdots }$

^{このセクションは[8]}に基づいています。

順方向動力学モデルは、現在の状態と現在のアクションに基づいて次の状態を予測する機能です。順方向動力学モデルは、エージェントがプレイするにつれてトレーニングされます。モデルは、何度も実行された状態とアクションのペアの状態遷移をより正確に予測できるようになります。 ${\displaystyle f:(s_{t},a_{t})\mapsto s_{t+1}}$

順方向動力学モデルは、探索報酬を で定義できます。つまり、報酬は予測と現実の二乗誤差です。これにより、エージェントは、これまで何度も実行されていなかった状態とアクションのペアを実行するように報酬が与えられます。ただし、これはノイズの多いテレビ問題の影響を受けやすいです。 ${\displaystyle r_{t}^{i}=\|f(s_{t},a_{t})-s_{t+1}\|_{2}^{2}}$

ダイナミクスモデルは潜在空間で実行できます。つまり、何らかのフィーチャライザーに対して実行できます。フィーチャライザーは恒等関数 (つまり)、ランダムに生成された関数、変分オートエンコーダのエンコーダ半分などです。優れたフィーチャライザーは順方向ダイナミクスの探索を改善します。^[12]${\displaystyle r_{t}^{i}=\|f(s_{t},a_{t})-\phi (s_{t+1})\|_{2}^{2}}$ ${\displaystyle \phi}$${\displaystyle \phi (x)=x}$

本質的好奇心モジュール（ICM）法は、順方向動力学モデルと特徴付け器を同時に訓練する。特徴付け器は逆動力学モデルによって訓練される。逆動力学モデルは、現在の状態と次の状態の特徴に基づいて現在の行動を予測する機能である。逆動力学を最適化することで、逆動力学モデルと特徴付け器の両方が改善される。そして、改善された特徴付け器は順方向動力学モデルを改善し、エージェントの探索を改善する。^[13]${\displaystyle g:(\phi (s_{t}),\phi (s_{t+1}))\mapsto a_{t}}$

ランダム ネットワーク蒸留(RND) 法は、教師と生徒の蒸留によってこの問題を解決しようとします。順方向動力学モデルの代わりに、2 つのモデルがあります。教師モデルは固定されており、生徒モデルは状態を最小化するようにトレーニングされます。状態が何度も訪問されるにつれて、生徒ネットワークは教師をより正確に予測できるようになります。一方、予測誤差はエージェントに対する探索報酬でもあるため、エージェントは予測誤差が大きくなるアクションを実行するように学習します。したがって、生徒ネットワークは予測誤差を最小化しようとし、エージェントは予測誤差を最大化しようとして探索を行うことになります。 ${\displaystyle f,f'}$${\displaystyle f'}$${\displaystyle f}$${\displaystyle \|f(s)-f'(s)\|_{2}^{2}}$${\displaystyle s}$

状態は移動平均を減算し、移動分散を割ることによって正規化されます。これは教師モデルが固定されているため必要です。報酬は移動分散で割ることによって正規化されます。^{[7] [14]}

不一致による探索は、すべてのタプルのランダムなサブセットごとに、順方向動力学モデルのアンサンブルを訓練する。探索報酬は、モデルの予測の分散である。 ^[15]${\displaystyle (s_{t},a_{t},s_{t+1})}$

ニューラルネットワークベースのエージェントの場合、NoisyNet法はニューラルネットワークモジュールの一部をノイズバージョンに変更します。つまり、一部のネットワークパラメータは確率分布からのランダム変数です。分布のパラメータ自体は学習可能です。^[16]たとえば、線形層では、両方が各ステップでガウス分布からサンプリングされ、パラメータは再パラメータ化トリックによって学習されます。^[17]${\displaystyle y=Wx+b}$${\displaystyle W,b}$${\displaystyle {\mathcal {N}}(\mu _{W},\Sigma _{W}),{\mathcal {N}}(\mu _{b},\Sigma _{b})}$${\displaystyle \mu _{W},\Sigma _{W},\mu _{b},\Sigma _{b}}$

• Amin, Susan; Gomrokchi, Maziar; Satija, Harsh; Hoof, van; Precup, Doina (2021年9月1日)。「強化学習における探索手法の調査」。arXiv : 2109.00157 [ cs.LG ]。