アルファ碁ゼロ

AlphaGo Zeroは、DeepMindの囲碁ソフトウェア AlphaGoのバージョンです。AlphaGoのチームは、2017年10月にNature誌にAlphaGo Zeroを紹介する記事を発表しました。これは、人間の対局データを使用せずに作成されたバージョンであり、以前のどのバージョンよりも強力です。^[1] AlphaGo Zeroは、自分自身と対局することで、 3日間で100対0で勝利してAlphaGo Leeの強さを超え、21日間でAlphaGo Masterのレベルに到達し、40日間で以前のすべてのバージョンを超えました。^[2]

人間の専門家から得たデータセットなしで人工知能（AI）を訓練することは、超人的なスキルを持つAIの開発に大きな影響を与えます。なぜなら、専門家のデータは「多くの場合、高価で、信頼性が低く、または単に入手できない」からです。 ^{[3] DeepMindの共同創設者兼CEOである}デミス・ハサビスは、AlphaGo Zeroが非常に強力であるのは、「人間の知識の限界に制約されなくなった」からだと述べました。^{[4]さらに、AlphaGo Zeroは、}モンテカルロ木探索を統合しているため、標準的な深層強化学習モデル（ Deep Q-Network実装^[5]など）よりも優れたパフォーマンスを発揮しました。Natureに掲載されたAlphaGoに関するDeepMindの論文の最初の著者の1人であるデビッド・シルバーは、人間から学習する必要性をなくすことで、一般化されたAIアルゴリズムを持つことができると述べました。^[6]

Googleは後に、囲碁に加えてチェスと将棋もプレイできるAlphaGo Zeroの一般化バージョンであるAlphaZeroを開発した。 ^[7] 2017年12月、AlphaZeroは3日間のバージョンのAlphaGo Zeroに60対40で勝利し、8時間のトレーニングでEloスケールでAlphaGo Leeを上回った。AlphaZeroは、トップチェスプログラム（ Stockfish）とトップ将棋プログラム（Elmo ）も破った。^{[8] [9]}

AlphaGo Zeroのネットワークは2つのヘッドを持つResNetである。^{[1] : 付録: 方法}

• ネットワークの幹は、囲碁盤の 17x19x19 テンソル表現を入力として受け取ります。
  • 8 つのチャネルは、最後の 8 つのタイム ステップにおける現在のプレーヤーの石の位置です。(石がある場合は 1、ない場合は 0。タイム ステップがゲームの開始前の場合は、すべての位置が 0 になります。)
  • 8 つのチャネルは、最後の 8 つのタイム ステップからの他のプレーヤーの石の位置です。
  • 1 チャネルは、黒が動く場合はすべて 1、それ以外の場合は 0 です。
• 本体は、20 または 40 の残差ブロックと 256 のチャネルを持つResNetです。
• ヘッドには、ポリシー ヘッドとバリュー ヘッドの 2 つがあります。
  • ポリシー ヘッドは、ポイントの 1 つで移動を行うロジットと、ポイントを通過するロジットを表す、サイズ のロジット配列を出力します。${\displaystyle 19\times 19+1}$
  • 値 head は、現在のプレイヤーの予想スコアを表す範囲 の数値を出力します。-1 は現在のプレイヤーが負けていることを表し、+1 は現在のプレイヤーが勝っていることを表します。${\displaystyle (-1,+1)}$

AlphaGo Zeroのニューラルネットワークは、64のGPUワーカーと19のCPUパラメータサーバーを使用してTensorFlowを使用してトレーニングされました。推論には4つのTPUのみが使用されました。ニューラルネットワークは当初、ルール以外の囲碁について何も知りませんでした。AlphaGoの以前のバージョンとは異なり、Zeroは碁盤の石を認識するだけで、珍しい囲碁盤の位置を認識するのに役立つ人間がプログラムしたまれなエッジケースはありませんでした。AIは強化学習に従事し、自分の動きとそれらの動きがゲームの結果にどのように影響するかを予測できるようになるまで自分自身と対戦しました。^[10]最初の3日間で、AlphaGo Zeroは490万回のゲームを連続して自分自身と対戦しました。 [ ^11]以前のAlphaGoが同じレベルに到達するのに数か月のトレーニングを要したのに対し、わずか数日でトップクラスの人間を倒すために必要なスキルを身に付けたようです。^[12]

トレーニングコストは3e23 FLOPsで、AlphaZeroの10倍である。^[13]

比較のために、研究者らは人間のゲームであるAlphaGo Masterを使用してAlphaGo Zeroのバージョンを訓練し、より速く学習するものの、長期的にはパフォーマンスが低下することを発見した。^{[14] DeepMindは、2017年4月に}Natureに論文を提出し、2017年10月に出版された。^[1]

2017年のAlphaGo Zeroシステム1台のハードウェアコストは、4つのTPUを含めて約2,500万ドルと見積もられています。^[15]

ハサビスによれば、AlphaGoのアルゴリズムは、タンパク質の折り畳み（AlphaFoldを参照）や化学反応の正確なシミュレーションなど、膨大な可能性の空間をインテリジェントに探索する必要がある分野で最も有益である可能性が高い。^[16] AlphaGoの技術は、車の運転方法の学習など、シミュレーションが難しい分野ではあまり役に立たないと思われる。^[17] DeepMindは2017年10月に、AlphaGo Zeroテクノロジーをタンパク質の折り畳みに使用するための積極的な取り組みをすでに開始しており、まもなく新しい発見を発表すると述べた。^{[18] [19]}

AlphaGo Zeroは、画期的な前身であるAlphaGoと比較しても、大きな進歩であると広くみなされていました。アレン人工知能研究所のオレン・エツィオーニは、 AlphaGo Zeroを「非常に印象的な技術的成果」と呼び、「それを実行する能力、そして4つのTPUで40日間でシステムをトレーニングする能力の両方」を挙げました。 ^[10]ガーディアン紙は、シェフィールド大学のエレニ・ヴァシラキとカーネギーメロン大学のトム・ミッチェルを引用して、これを「人工知能の大きな進歩」と呼び、それぞれ印象的な偉業と「傑出したエンジニアリングの成果」と呼びました。^{[17]シドニー大学の}マーク・ペシェは、AlphaGo Zeroを「未知の領域」に私たちを連れて行く「大きな技術的進歩」と呼びました。^[20]

ニューヨーク大学の心理学者ゲイリー・マーカスは、我々が知る限りでは、AlphaGoには「囲碁のような問題を解く機械を構築する方法についてプログラマーが持っている暗黙の知識」が含まれている可能性があり、その基本アーキテクチャが囲碁をプレイする以上の多くのことに効果的であることを確信する前に、他の分野でテストする必要があるだろうと警告している。対照的に、DeepMindは「このアプローチは多くの分野に一般化できると確信している」^{[11] 。}

韓国の囲碁プロ、イ・セドル氏は報道に対し、「アルファ碁の前のバージョンは完璧ではなかった。だからアルファ碁ゼロが作られたのだと思う」と述べた。アルファ碁の発展の可能性について、イ氏は様子見するしかないとしながらも、若い囲碁プレイヤーに影響を与えるだろうと述べた。 韓国囲碁代表チームを率いるモク・ジンソク氏は、囲碁界はすでにアルファ碁の前のバージョンのプレイスタイルを模倣し、そこから新しいアイデアを生み出しており、アルファ碁ゼロからも新しいアイデアが出てくることを期待していると述べた。モク氏はまた、囲碁界の一般的な傾向がアルファ碁のプレイスタイルに影響を受けていると付け加えた。「最初は理解するのが難しく、まるでエイリアンと対戦しているような気がしました。しかし、多くの経験を積んだので慣れてきました」とモク氏は語った。「アルファ碁と人間の能力の差を議論する段階は過ぎました。今はコンピューター同士の差です。」モク氏はすでに国家代表チームの選手たちとともにアルファ碁ゼロのプレイスタイルの分析を開始していると伝えられている。「数試合しか観ていないが、アルファ碁ゼロは以前のものよりも人間に近いプレイをしているという印象を受けた」とモク氏は語った。^[21] 中国の囲碁プロ、柯潔氏は新プログラムの驚くべき成果について次のようにコメントした。「純粋な自己学習型アルファ碁は最強だ。その自己改善の前では人間は不要に思える。」^[22]

2017年12月5日、DeepMindチームはarXivでプレプリントを公開し、一般化されたAlphaGo Zeroのアプローチを使用したプログラムであるAlphaZeroを紹介しました。このプログラムは、チェス、将棋、囲碁で24時間以内に超人的なレベルのプレイを達成し、それぞれ世界チャンピオンプログラムであるStockfish、Elmo、3日間バージョンのAlphaGo Zeroを破りました。^[8]

AlphaZero（AZ）はAlphaGo Zero（AGZ）アルゴリズムのより一般化された変種であり、囲碁だけでなく将棋やチェスもプレイできる。AZとAGZの違いは以下の通りである。^[8]

• AZ には、検索ハイパーパラメータを設定するためのハードコードされたルールがあります。
• ニューラル ネットワークは継続的に更新されます。
• チェスは（囲碁とは異なり）引き分けで終わる可能性があります。そのため、AZ は引き分けの可能性を考慮に入れることができます。

AlphaGo の論文のアイデアに基づいたオープンソース プログラム Leela Zero が利用可能になりました。これは、AlphaGoの最新バージョンが依存している TPUの代わりにGPU を使用します。

• 「AlphaGo Zero: ゼロからのスタート」。2020年1月3日時点のオリジナルよりアーカイブ。
• Singh, S.; Okun, A.; Jackson, A. (2017). 「AOP」. Nature . 550 (7676): 336–337. Bibcode :2017Natur.550..336S. doi : 10.1038/550336a . PMID  29052631. S2CID  4447445.
• Silver, David; Schrittwieser, Julian; Simonyan, Karen; Antonoglou, Ioannis; Huang, Aja; Guez, Arthur; Hubert, Thomas; Baker, Lucas; Lai, Matthew; Bolton, Adrian; Chen, Yutian; Lillicrap, Timothy; Hui, Fan; Sifre, Laurent; Van Den Driessche, George; Graepel, Thore; Hassabis, Demis (2017). 「人間の知識なしで囲碁のゲームをマスターする」(PDF) . Nature . 550 (7676): 354–359. Bibcode :2017Natur.550..354S. doi :10.1038/nature24270. PMID  29052630. S2CID  205261034.
• AlphaGo ゼロゲーム