時間差学習

時間差分（TD）学習は、価値関数の現在の推定値からブートストラップによって学習するモデルフリー 強化学習法の一種です。これらの方法は、モンテカルロ法のように環境からサンプルを採取し、動的計画法のように現在の推定値に基づいて更新を実行します。 ^[1]

モンテカルロ法は最終結果が判明した後にのみ推定値を調整するのに対し、TD法は最終結果が判明する前に、より正確な将来予測と一致するように予測値を調整します。^[2]これはブートストラッピングの一種であり、次の例で説明されています。

土曜日の天気を予測したいとします。そして、その週の各曜日の天気に基づいて土曜日の天気を予測するモデルがあるとします。標準的なケースでは、土曜日まで待ってからすべてのモデルを調整します。しかし、たとえば金曜日であれば、土曜日の天気がどうなるかかなり正確に予測できるはずです。そのため、土曜日が来る前に、たとえば土曜日のモデルを変更できるはずです。^[2]

時間差分法は動物の学習の時間差分モデルに関連している。^{[3] [4] [5] [6] [7]}

表形式TD(0)法は、最も単純なTD法の1つです。これは、より一般的な確率近似法の特殊なケースです。これは、ポリシーの下での有限状態マルコフ決定プロセス(MDP)の状態価値関数を推定します。ポリシーの下での状態、報酬、割引率^[8]を持つMDPの状態価値関数を次のように表します。^[9]${\displaystyle \pi }$${\displaystyle V^{\pi }}$${\displaystyle (S_{t})_{t\in \mathbb {N} }}$${\displaystyle (R_{t})_{t\in \mathbb {N} }}$ ${\displaystyle \gamma }$${\displaystyle \pi }$

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.}$

便宜上、表記から作用を省略します。ハミルトン・ヤコビ・ベルマン方程式を満たします。 ${\displaystyle V^{\pi }}$

${\displaystyle V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},}$

したがって、は の不偏推定値です。この観察結果から、 を推定するための次のアルゴリズムが導き出されます。 ${\displaystyle R_{1}+\gamma V^{\pi }(S_{1})}$${\displaystyle V^{\pi }(s)}$${\displaystyle V^{\pi }}$

アルゴリズムは、MDP の各状態に対して 1 つの値を持つテーブルを任意に初期化することから始まります。正の学習率が選択されます。 ${\displaystyle V(s)}$ ${\displaystyle \alpha }$

次に、ポリシーを繰り返し評価し、報酬を得て、現在の状態の価値関数を次の規則に従って更新します。^[10]${\displaystyle \pi }$${\displaystyle r}$

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{learning rate}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{The TD target}}]}$

ここで、 と はそれぞれ現在の状態と次の状態です。 値はTD ターゲットと呼ばれ、 はTD エラーと呼ばれます。 ${\displaystyle S_{t}}$${\displaystyle S_{t+1}}$${\displaystyle R_{t+1}+\gamma V(S_{t+1})}$${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$

TD-Lambdaは、アーサー・サミュエルによる時間差学習に関する以前の研究に基づいてリチャード・S・サットンによって発明された学習アルゴリズムです。^{[11]このアルゴリズムは、ジェラルド・テサウロによって}TD-Gammonの作成に応用され、熟練した人間のプレイヤーのレベルでバックギャモンのゲームをプレイすることを学習するプログラムとして有名になりました。 ^[12]

ラムダ（）パラメータはトレース減衰パラメータを指し、 である。設定値が高いほどトレースの持続時間が長くなる。つまり、 が高いほど報酬からのクレジットのより大きな割合をより遠い状態や行動に与えることができ、モンテカルロRLアルゴリズムに並列学習をもたらす。^[13]${\displaystyle \lambda }$${\displaystyle 0\leqslant \lambda \leqslant 1}$${\displaystyle \lambda }$${\displaystyle \lambda =1}$

TDアルゴリズムは神経科学の分野でも注目を集めています。研究者らは、腹側被蓋野（VTA）と黒質（SNc）のドーパミン ニューロンの発火率が、アルゴリズムの誤差関数を模倣しているように見えることを発見しました。^{[3] [4] [5] [6] [7]}誤差関数は、任意の状態または時間ステップでの推定報酬と実際に受け取った報酬との差を報告します。誤差関数が大きいほど、予想報酬と実際の報酬の差が大きくなります。これを将来の報酬を正確に反映する刺激と組み合わせると、誤差を使用して刺激と将来の報酬を関連付けることができます。

ドーパミン細胞も同様の挙動を示すようです。ある実験では、刺激とジュースの報酬を関連付けるようにサルを訓練しながらドーパミン細胞を測定しました。^[14]最初、サルがジュースを受け取ったときにドーパミン細胞の発火率が上昇し、予想報酬と実際の報酬に差があることを示しました。時間が経つにつれて、この発火率の増加は報酬に対する最も早い信頼できる刺激に逆伝播しました。サルが完全に訓練されると、予測報酬の提示時に発火率の増加は見られませんでした。その後、予想報酬が生成されなかったときにドーパミン細胞の発火率は通常の活性化よりも低下しました。これは、TDのエラー関数が強化学習に使用される方法とよく似ています。

このモデルと潜在的な神経機能との関係から、行動研究の多くの側面を説明するためにTDを使用しようとする研究が生まれました。^{[15] [16]また、}統合失調症などの症状や、ドーパミンの薬理学的操作が学習に与える影響の研究にも使用されています。 ^[17]

• PVLV
• Q学習
• レスコーラ・ワーグナーモデル
• 状態-行動-報酬-状態-行動(SARSA)

• Sutton, Richard S.; Barto, Andrew G. (2018). 強化学習: 入門 (第 2 版). マサチューセッツ州ケンブリッジ: MIT プレス.
• Tesauro, Gerald (1995 年 3 月)。 「時間差学習と TD-Gammon」。Communications of the ACM。38 ( 3): 58– 68。doi : 10.1145/ 203330.203343。S2CID  6023746 。

• Meyn, SP (2007).複雑ネットワークの制御技術. ケンブリッジ大学出版局. ISBN 978-0521884419。最終章と付録を参照してください。
• Sutton, RS; Barto, AG (1990). 「パブロフ強化学習の時間微分モデル」(PDF) .学習と計算神経科学: 適応ネットワークの基礎: 497– 537.

• Connect Four TDGravity Applet (+ 携帯電話バージョン) – TD-Leaf メソッド (TD-Lambda と浅いツリー検索の組み合わせ) を使用して自己学習します
• 自己学習型メタ三目並べ。単純なボードゲームをプレイするミニマックス AI の状態評価定数を学習するために、時間差学習をどのように使用できるかを示す Web アプリの例。
• 強化学習問題、時間差学習を使用してQ 学習を高速化する方法を説明するドキュメント
• TD-シミュレータ 古典的条件付けのための時間差シミュレータ