ミューゼロ

MuZeroは、人工知能研究会社DeepMindが開発した、ルールを知らなくてもゲームをマスターできるコンピュータプログラムです。 ^{[1] [2] [3]} 2019年のリリースには、囲碁、チェス、将棋、標準的なAtariゲームスイートでのパフォーマンスのベンチマークが含まれていました。このアルゴリズムは、AlphaZeroと同様のアプローチを使用しています。チェスと将棋ではAlphaZeroのパフォーマンスに匹敵し、囲碁ではパフォーマンスを向上させ（世界新記録を樹立）、視覚的に複雑な領域である57のAtariゲームスイート（アーケード学習環境）をマスターするという最先端の技術を改善しました。

MuZeroはルール、オープニングブック、エンドゲームテーブルベースにアクセスせずにセルフプレイでトレーニングされました。トレーニングされたアルゴリズムはAlphaZeroと同じ畳み込みと残差のアーキテクチャを使用しましたが、検索ツリーのノードあたりの計算ステップは20％少なくなっています。^[4]

MuZero は、明示的なルールなしで効果的に計画し学習する能力を備えており、強化学習とAIにおける画期的な成果であり、人工知能の可能性の限界を押し広げています。

MuZero は、モデルを構築し、それを第一原理から理解する方法を実際に自ら発見しています。

— デビッド・シルバー、ディープマインド、Wired ^[5]

2019年11月19日、DeepMindチームはMuZeroを紹介するプレプリントをリリースしました。

MuZero (MZ) は、AlphaZero (AZ)アルゴリズムの高性能プランニングとモデルフリー強化学習のアプローチを組み合わせたものです。この組み合わせにより、囲碁などの従来のプランニング方式でのより効率的なトレーニングが可能になると同時に、ビジュアル ビデオ ゲームなど、各段階ではるかに複雑な入力を伴うドメインも処理できます。

MuZeroはAZコードから直接派生したもので、ハイパーパラメータの設定ルールを共有しています。アプローチの違いは次のとおりです。^[6]

• AZ の計画プロセスでは、シミュレータを使用します。シミュレータはゲームのルールを知っています。明示的にプログラムする必要があります。次に、ニューラル ネットワークが将来のポジションのポリシーと値を予測します。ゲーム ルールの完全な知識は、検索ツリーの状態遷移、各ノードで実行可能なアクション、ツリーのブランチの終了をモデル化する際に使用されます。MZ はルールにアクセスできないため、ニューラル ネットワークを使用してルールを学習します。
• AZ には、ゲーム用の単一のモデル (ボードの状態から予測まで) があります。一方、MZ には、現在の状態の表現(ボードの状態からその内部埋め込みまで)、状態のダイナミクス(アクションによってボードの状態の表現がどのように変化するか)、およびポリシーと将来のポジションの値の予測(状態の表現が与えられた場合) 用の個別のモデルがあります。
• MZ の隠しモデルは複雑である可能性があり、計算をホストできる可能性があります。トレーニングされた MZ インスタンスの隠しモデルの詳細を調査することは、今後の調​​査のトピックです。
• MZ は、勝者がすべてを手に入れる 2 人用ゲームを想定していません。MZ は、標準的な強化学習シナリオで動作します。これには、任意の大きさの継続的な中間報酬と時間割引を備えたシングルエージェント環境が含まれます。AZ は、勝ち、引き分け、負けになる可能性のある 2 人用ゲーム用に設計されています。

Atariゲームスイートのプレイ方法を学習するための以前の最先端技術は、R2D2（Recurrent Replay Distributed DQN）でした。^[7]

MuZero は、すべてのゲームで R2D2 を上回る成績を収めたわけではありませんが、一連のゲーム全体で R2D2 の平均および中央値を上回りました。

MuZero は、トレーニングに第 3 世代のテンソル プロセッシング ユニット(TPU) を 16 個使用し、ボード ゲームのセルフプレイには 1,000 個の TPU を使用してステップごとに 800 回のシミュレーションを実行しました。また、Atari ゲームでは、トレーニングに 8 個の TPU、セルフプレイに 32 個の TPU を使用してステップごとに 50 回のシミュレーションを実行しました。

AlphaZero はトレーニングに 64 個の第 2 世代 TPU を使用し、セルフプレイに 5000 個の第 1 世代 TPU を使用しました。TPU の設計は改善されており (第 3 世代チップは個別には第 2 世代チップの 2 倍の性能があり、ポッド内のチップ間の帯域幅とネットワークがさらに向上しています)、これらは同等のトレーニング セットアップです。

R2D2 は 200 万回のトレーニング ステップを通じて 5 日間トレーニングされました。

MuZero は、約 100 万回のトレーニング ステップを経て、チェスと将棋で AlphaZero のパフォーマンスに匹敵しました。50 万回のトレーニング ステップを経て、囲碁では AZ のパフォーマンスに匹敵し、100 万ステップ上回りました。50 万回のトレーニング ステップを経て、Atari ゲーム スイート全体で R2D2 の平均および中央値のパフォーマンスに匹敵し、100 万ステップ上回りましたが、スイート内の 6 つのゲームでは良いパフォーマンスを発揮しませんでした。

MuZeroはAlphaZeroに比べて大きな進歩であり、教師なし学習技術の一般化可能な前進と見なされました。^{[8] [9]}この研究は、より小さなコンポーネントからシステムを構成する方法の理解を深めるものと見なされ、純粋な機械学習の開発というよりもシステムレベルの開発でした。^[10]

開発チームからは疑似コードのみがリリースされたが、Werner Duvaudはそれに基づいてオープンソース実装を作成した。^[11]

MuZeroは、モデルベースの動作を生成する方法など、他の研究における参照実装として使用されています。^[12]

2021年後半には、MuZeroのより効率的な変種であるEfficientZeroが提案されました。これは「わずか2時間のリアルタイムゲーム体験で、Atari 100kベンチマークで人間の平均パフォーマンスの194.3%と中央値のパフォーマンスの109.0%を達成します」。^[13]

2022年初頭には、MuZeroの変種が確率的ゲーム（2048やバックギャモンなど）をプレイするために提案されました。これはStochastic MuZeroと呼ばれ、ダイナミクスネットワークをトレーニングする際に、アフターステートダイナミクスとチャンスコードを使用して環境の確率的性質を考慮します。^[14]

• 一般的なゲームプレイ
• 教師なし学習

• MuZeroの初期プレプリント
• オープンソース実装