アルファゼロ

AlphaZero は、人工知能研究会社DeepMindが開発した、チェス、将棋、囲碁のゲームをマスターするためのコンピュータ プログラムです。このアルゴリズムは、AlphaGo Zeroに似たアプローチを採用しています。

2017年12月5日、DeepMindチームは、AlphaZero ^[1]を紹介するプレプリント論文を発表しました。AlphaZeroは、間もなく世界チャンピオンのチェスエンジンであるStockfish、Elmo、および3日間のAlphaGo Zeroを破り、3つのゲームをプレイすることになります。いずれの場合も、Googleプログラムが使用するために最適化されたカスタムテンソルプロセッシングユニット（TPU）を使用しました。 ^[2] AlphaZeroは、ゲームを生成するために5,000個の第1世代TPUとニューラルネットワークをトレーニングするために64個の第2世代TPUを使用する、すべて並列でセルフプレイによってトレーニングされ、オープニングブックやエンドゲームテーブルにはアクセスしませんでした。 4時間のトレーニングの後、DeepMindはAlphaZeroがStockfish 8よりも高いEloレーティングでチェスをプレイしていると推定しました。9時間のトレーニングの後、アルゴリズムは時間制限のある100ゲームのトーナメントでStockfish 8を破りました（28勝0敗72引き分け）。^{[2] [3] [4]}訓練されたアルゴリズムは4つのTPUを搭載した単一のマシンでプレイされました。

DeepMindのAlphaZeroに関する論文は、2018年12月7日にサイエンス誌に掲載されました。^[5]実際のAlphaZeroプログラムは公開されていませんが、^[6]論文で説明されているアルゴリズムは公開されているソフトウェアに実装されています。2019年にDeepMindは、AlphaZeroの成果を一般化し、ゲームのルールや表現を知らなくてもAtariゲームとボードゲームの両方をプレイできる新しいアルゴリズムであるMuZeroを詳述した新しい論文を発表しました。 ^[7]

AlphaZero（AZ）は、AlphaGo Zero（AGZ）アルゴリズムのより一般化された変種であり、囲碁だけでなく将棋やチェスもプレイできます。AZとAGZの違いは次のとおりです。^[2]

• AZ には、検索ハイパーパラメータを設定するためのハードコードされたルールがあります。
• ニューラル ネットワークは継続的に更新されます。
• AZ は AGZ とは異なり、対称性を使用しません。
• チェスや将棋は囲碁と違って引き分けになることがあります。そのため、AlphaZero は引き分けの可能性を考慮します。

モンテカルロ木探索法を比較すると、AlphaZero はチェスでは 1 秒あたり 80,000 ポジション、将棋では 1 秒あたり 40,000 ポジションしか検索しませんが、Stockfish では 7,000 万、Elmo では 3,500 万です。AlphaZero は、評価数の少なさを、ディープ ニューラル ネットワークを使用して最も有望なバリエーションに選択的に焦点を当てることで補っています。^[2]

AlphaZeroは、ゲームを生成するために5,000個の第一世代TPU、ニューラルネットワークを訓練するために64個の第二世代TPUを使用し、自分自身と何度も対戦することで作成および訓練されました。訓練には数日かかり、合計で約41TPU年かかりました。並行して、訓練中のAlphaZeroは、1手1秒の短いゲームでベンチマーク（Stockfish、Elmo、またはAlphaGo Zero）と定期的に対戦され、訓練の進捗状況を判断しました。DeepMindは、Stockfishで約4時間、Elmoで約2時間、AlphaGo Zeroで約8時間の訓練後に、AlphaZeroのパフォーマンスがベンチマークを超えたと判断しました。^[2]

AlphaZeroとStockfish 8（2016 TCEC世界チャンピオン）とのチェスの試合では、各プログラムに1手あたり1分が与えられた。AlphaZeroはイギリスの国旗を掲げ、Stockfishはノルウェーの国旗を掲げていた。^[8] Stockfishには64のスレッドと1GBのハッシュサイズが割り当てられたが、 ^[2] StockfishのTord Romstadは後にこの設定は最適ではないと批判した。^{[9] [注1] AlphaZeroは試合前に合計9時間チェスのトレーニングを受けた。試合中、AlphaZeroは4つのアプリケーション固有の}TPUを搭載した単一のマシンで実行された。通常の開始位置からの100ゲームで、AlphaZeroは白で25ゲーム勝ち、黒で3ゲーム勝ち、残りの72ゲームを引き分けました。 [ ^10]最も人気のある12の人間のオープニングから始まるStockfishとの100ゲームマッチ12回（時間やリソースの制約は不特定）のシリーズで、AlphaZeroは290勝、886引き分け、24負けました。^[2]

AlphaZeroはトーナメント前に合計2時間将棋のトレーニングを受けた。Elmo（やねうら王4.73検索を使用した世界コンピュータ将棋選手権27夏2017トーナメントバージョン）との100回の将棋対局で、AlphaZeroは90回勝ち、8回負け、2回引き分けた。^[10]チェスの対局と同様に、各プログラムは1手あたり1分で、Elmoには64スレッドと1GBのハッシュサイズが与えられた。^[2]

34時間の囲碁自己学習とAlphaGo Zeroとの対戦で、AlphaZeroは60勝40敗となった。^{[2] [10]}

DeepMind はプレプリントで、「チェスのゲームは数十年にわたる AI 研究の頂点を代表しています。最先端のプログラムは、手作りのドメイン専門知識と洗練されたドメイン適応を活用して、何百万もの位置を検索する強力なエンジンに基づいています。AlphaZero は、もともと囲碁のために考案された汎用強化学習アルゴリズムであり、ルール以外のドメイン知識を必要とせずに、1000 倍少ない位置を検索し、数時間以内に優れた結果を達成しました。」と述べています。 ^[2] DeepMind のDemis Hassabis はチェス プレイヤーでもあり、AlphaZero のプレイ スタイルを「エイリアン」と呼んでいます。AlphaZero は、クイーンとビショップを犠牲にして位置的優位性を利用するなど、直感に反する犠牲を払って勝つことがあります。「まるで別の次元のチェスのようです。」^[11]

チェスでは強い相手に無理やり勝たせるのが難しいことを考えると、+28 –0 =72という結果は大きな勝利差だ。しかし、ヒカル・ナカムラやコモド開発者のラリー・カウフマンなど、一部のグランドマスターは、プログラムがオープニングデータベースにアクセスできれば試合はもっと接戦になっていただろう（Stockfishはそのシナリオに最適化されていたため）と主張し、AlphaZeroの勝利を軽視した。^[12]ロムスタッドはさらに、Stockfishは厳密に固定された時間の動きには最適化されておらず、使用されたバージョンは1年前のものだったと指摘した。^{[9] [13]}

同様に、将棋の観察者の中には、Elmoのハッシュサイズが小さすぎる、投了設定と「EnteringKingRule」設定（将棋§ Entering Kingを参照）が不適切である可能性がある、Elmoは新しいプログラムに比べてすでに時代遅れである、と主張する者もいた。^{[14] [15]}

新聞の見出しでは、チェスのトレーニングはたった4時間で済んだと報じられている。「朝食と昼食の間の時間で済んだ」。^{[3] [16]} Wired誌はAlphaZeroを「初のマルチスキルAIボードゲームチャンピオン」と評した。^[17] AI専門家のジョアンナ・ブライソンは、Googleの「宣伝上手」が同社を挑戦者に対して強い立場に導いていると指摘した。「最高のプログラマーを雇うことだけが目的ではない。また、非常に政治的な要素もある。AI部門を検討している政府や規制当局と交渉する際に、Googleを可能な限り強くするのに役立つからだ。」^[10]

人間のチェスのグランドマスターは、一般的にAlphaZeroに興奮を表明した。デンマークのグランドマスター、ピーター・ハイネ・ニールセンは、 AlphaZeroのプレイを優れたエイリアンのプレイに例えた。^[10]ノルウェーのグランドマスター、ジョン・ルドヴィク・ハマーは、 AlphaZeroのプレイを、深いポジショニングの理解を伴う「狂気の攻撃チェス」と評した。^[3]元チャンピオンの ガルリ・カスパロフは、「AlphaGoの後に予想されていたとしても、これは驚くべき成果だ」と述べた。^{[12] [18]}

グランドマスターのヒカル・ナカムラは、あまり感心せず、次のように述べた。「AlphaZeroは基本的にGoogleのスーパーコンピューターを使用しており、Stockfishはそのハードウェアでは動作しないという私の理解のため、結果に必ずしも多くの信憑性を置いているわけではありません。Stockfishは基本的に私のラップトップで動作していました。匹敵する試合をしたいのであれば、Stockfishもスーパーコンピューターで動作させる必要があります。」^[9]

米国のトップ通信チェスプレイヤーであるウォルフ・モローも感銘を受けておらず、すべてのエンジンが同等のハードウェアでプレイするTCECのような公平な大会では、AlphaZeroは準決勝に進出できないだろうと主張した。モローはさらに、AlphaZeroがペトロフ・ディフェンスのようなドローっぽいオープニングをプレイした場合は勝てないかもしれないが、通信チェスのゲームでもAlphaZeroは彼に勝つことはできないだろうと述べた。^[19]

やねうら王の作者である磯崎元宏氏は、AlphaZeroは確かにElmoを全面的に打ち負かしたが、将棋におけるAlphaZeroの評価はElmoよりせいぜい100～200高い程度で伸びが止まったと指摘している。この差はそれほど大きくなく、Elmoや他の将棋ソフトは1～2年で追いつくはずだ。^[20]

DeepMindは、2018年12月にScience誌に発表した論文の最終版で、多くの批判に対処した。^{[5]さらに、AlphaZeroはスーパーコンピュータで実行されているのではなく、5,000個の}テンソルプロセッシングユニット（TPU）を使用してトレーニングされたが、試合では4つのTPUと44コアのCPUでのみ実行されたことも明らかにした。^[21]

最終結果では、Stockfish 9 devはTCECスーパーファイナルと同じ条件で実行されました: 44 CPUコア、Syzygyエンドゲームテーブルベース、32 GBハッシュサイズ。1分あたり1手という固定時間制限ではなく、両方のエンジンにゲームを終了するために3時間と1手あたり15秒が与えられました。AlphaZeroは44 CPUコアに加えて4つのTPUを備えたマシンで実行されました。1000ゲームの試合で、AlphaZeroは155勝、6敗、839引き分けのスコアで勝利しました。DeepMindもTCECオープニングポジションを使用して一連のゲームをプレイしましたが、AlphaZeroはやはり圧勝しました。StockfishがAlphaZeroに匹敵するには10対1の時間オッズが必要でした。^[22]

Stockfish と同様に、Elmo は 2017 CSA チャンピオンシップと同じ条件で実行されました。使用された Elmo のバージョンは、WCSC27 と YaneuraOu 2017 Early KPPT 4.79 64AVX2 TOURNAMENT の組み合わせでした。Elmo は Stockfish と同じハードウェア (44 個の CPU コアと 32 GB のハッシュ サイズ) で動作しました。AlphaZero は先手 (つまり、最初の動き) で 98.2% のゲームに勝ち、全体では 91.2% のゲームに勝ちました。

人間のグランドマスターは、ストックフィッシュに対するAlphaZeroのゲームに概ね感銘を受けた。^[22]元世界チャンピオンのガルリ・カスパロフは、 AlphaZeroのプレイスタイルが彼自身のスタイルのようにオープンでダイナミックであるため、特にAlphaZeroのプレイを見るのは楽しいと語った。^{[23] [24]}

コンピュータチェスのコミュニティでは、コモド開発者のマーク・レフラーはこれを「かなり驚くべき成果」と呼んだが、2018年1月（ストックフィッシュ8がリリースされたとき）以来ストックフィッシュは大幅に強化されているため、データは古いとも指摘した。同僚の開発者ラリー・カウフマンは、トップチェスエンジン選手権（TCEC）の条件では、AlphaZeroは最新バージョンのストックフィッシュであるストックフィッシュ10との試合でおそらく負けるだろうと述べた。カウフマンは、ニューラルネットワークベースのエンジンの唯一の利点はGPUを使用していることであり、したがって、電力消費を考慮しない場合（たとえば、両方のエンジンが同じCPUとGPUにアクセスできる同等のハードウェアコンテストなど）、GPUが達成したものはすべて「無料」であると主張した。これに基づいて、彼は最も強力なエンジンはニューラルネットワークと標準的なアルファベータ検索のハイブリッドである可能性が高いと述べた。^[25]

AlphaZeroはコンピュータチェスコミュニティにインスピレーションを与え、 AlphaZeroと同じ技術を使用してLeela Chess Zeroを開発しました。LeelaはStockfishといくつかのチャンピオンシップを争い、Stockfishとほぼ同等の強さを示しましたが、その後Stockfishは引き離しました。^[26]

2019年にDeepMindは、ルールが事前にプログラムされていないにもかかわらず、優れたチェス、将棋、囲碁、Atari Learning Environmentのゲームをプレイできる統合システムであるMuZeroを発表しました。 ^{[27] [28]}

• AlphaZero のチェスプログラミング wiki
• Chess.com の AlphaZero vs. Stockfish の Youtube プレイリスト