平均場ゲーム理論

平均場ゲーム理論は、非常に大きな集団における相互作用する小さなエージェントによる戦略的意思決定の研究です。これは、ゲーム理論と確率解析および制御理論の交点に位置します。「平均場」という用語の使用は、物理学における平均場理論に触発されたもので、個々の粒子がシステムに及ぼす影響が無視できるほど小さい多数の粒子のシステムの挙動を考察します。言い換えれば、各エージェントは、他のエージェントの決定を考慮しながら、自身の最小化または最大化問題に従って行動し、その集団が大きいため、エージェントの数は無限に広がり、代表エージェントが存在すると仮定できます。^{[ 1 ]}

従来のゲーム理論では、通常、2人のプレイヤーと離散的な時間空間を持つゲームを研究対象とし、帰納法によってより複雑な状況へと結果を拡張してきました。しかし、連続時間かつ連続的な状態を持つゲーム（微分ゲームや確率微分ゲーム）の場合、動的な相互作用が生み出す複雑さゆえに、この手法は適用できません。一方、MFG（平均代表エージェント）を用いることで、多数のプレイヤーを扱うことができ、同時に複雑な状態ダイナミクスを記述することが可能です。

この種の問題は、経済学の文献ではボヤン・ヨバノビッチとロバート・W・ローゼンタール^{[ 2 ]}、工学の文献ではミンイー・ファン、ローランド・マルハメ、ピーター・E・ケインズ^{[ 3 ] [ 4 ] [ 5 ]}、そしてほぼ同時期に数学者のジャン＝ミシェル・ラスリーとピエール＝ルイ・リオンズ^{[ 6 ] [ 7 ]}によって検討された。

連続時間における平均場ゲームは、通常、個人の最適制御問題を記述するハミルトン・ヤコビ・ベルマン方程式と、エージェントの集合分布のダイナミクスを記述するフォッカー・プランク方程式から構成される。かなり一般的な仮定の下で、平均場ゲームのクラスは、次の極限であることが証明できる。${\displaystyle N\to \infty }$Nプレイヤーのナッシュ均衡の。^{[ 8 ]}

平均場ゲームに関連する概念として「平均場型制御」がある。この場合、社会的計画者が状態の分布を制御し、制御戦略を選択する。平均場型制御問題の解は、通常、双対随伴ハミルトン・ヤコビ・ベルマン方程式とコルモゴロフ方程式を組み合わせたものとして表現できる。平均場型ゲーム理論は、単一エージェントの平均場型制御をマルチエージェントに一般化したものである。^{[ 9 ]}

以下の連立方程式^{[ 10 ]}は、典型的な平均場ゲームをモデル化するために使用できます。

${\displaystyle {\begin{cases}-\partial _{t}u-\nu \Delta u+H(x,m,Du)=0&(1)\\\partial _{t}m-\nu \Delta m-\operatorname {div} (D_{p}H(x,m,Du)m)=0&(2)\\m(0)=m_{0}&(3)\\u(x,T)=G(x,m(T))&(4)\end{cases}}}$

この方程式群の基本的なダイナミクスは、平均的なエ​​ージェントの最適制御問題によって説明できます。平均場ゲームでは、平均的なエ​​ージェントは自身の動きを制御できます。${\displaystyle \alpha }$人口全体の分布に影響を与えるために、以下の方法を用いる。

$dX_t=\alpha_tdt+√2dB_t$

どこ${\displaystyle \nu }$はパラメータであり、${\displaystyle B_{t}}$これは標準ブラウン運動です。エージェントは自身の動きを制御することで、全体の期待コストを最小化することを目指します。${\displaystyle C}$その期間を通して${\displaystyle [0,T]}$:

${\displaystyle C=\mathbb {E} \left[\int _{0}^{T}L(X_{s},\alpha _{s},m(s))ds+G(X_{T},m(T))\right]}$

どこ${\displaystyle L(X_{s},\alpha _{s},m(s))}$時点でのランニングコストは${\displaystyle s}$そして${\displaystyle G(X_{T},m(T))}$時点におけるターミナルコストは${\displaystyle T}$この定義によれば、${\displaystyle t}$および位置${\displaystyle x}$値関数${\displaystyle u(t,x)}$以下のように決定できます。

${\displaystyle u(t,x)=\inf _{\alpha }\mathbb {E} \left[\int _{t}^{T}L(X_{s},\alpha _{s},m(s))ds+G(X_{T},m(T))\right]}$

価値関数の定義が与えられた場合${\displaystyle u(t,x)}$これはハミルトン・ヤコビ方程式（1）によって追跡できる。平均的なプレイヤーの最適な行動$\displaystyle \alpha ^{*}(x,t)$次のように決定できます${\displaystyle \alpha ^{*}(x,t)=D_{p}H(x,m,Du)}$すべてのエージェントは比較的小規模であり、単独で集団の動態を変えることはできないため、それぞれが個別に最適な制御に適応し、集団はそのように動きます。これは、すべてのエージェントが他のエージェントの特定の戦略セットに応じて行動するナッシュ均衡に似ています。最適な制御解は、コルモゴロフ・フォッカー・プランク方程式（2）につながります。

平均場理論の代表的なカテゴリーの一つは、状態数が有限で、プレイヤー一人あたりの行動数も有限であるゲームです。これらのゲームにおいて、ハミルトン・ヤコビ・ベルマン方程式のアナログはベルマン方程式であり、フォッカー・プランク方程式の離散版はコルモゴロフ方程式です。具体的には、離散時間モデルの場合、プレイヤーの戦略はコルモゴロフ方程式の確率行列となります。連続時間モデルでは、プレイヤーは遷移率行列を制御することができます。

離散平均場ゲームはタプルによって定義できる${\displaystyle {\mathcal {G}}=({\mathcal {E}},{\mathcal {A}},\{Q_{a}\},{\bf {m}}_{0},\{c_{a}\},\beta )}$、 どこ${\displaystyle {\mathcal {E}}}$は状態空間であり、${\displaystyle {\mathcal {A}}}$アクションセット、${\displaystyle Q_{a}}$遷移率行列、${\displaystyle {\bf {m}}_{0}}$初期状態、${\displaystyle \{c_{a}\}}$コスト関数と${\displaystyle \beta }$${\displaystyle \in \mathbb {R} }$割引率。さらに、混合戦略は測定可能な関数である。${\displaystyle \pi$ :\mathbb {E} \times \mathbb {R} ^{+}{\xrightarrow[{}]{}}{\mathcal {P(A)}}} は 、各状態に関連付けられます。${\displaystyle i\in {\mathcal {E}}}$そして毎回$t ≥ 0$確率尺度$\displaystyle \pi _{i}(t)\in {\mathcal {P(A)}}}$可能な行動の集合について。したがって${\displaystyle \pi _{i,a}(t)}$時刻において${\displaystyle t}$州内の選手${\displaystyle i}$行動を起こす${\displaystyle a}$戦略の下で${\displaystyle \pi }$さらに、レート行列${\displaystyle \{Q_{a}({\bf {m}}^{\pi }(t))\}_{a\in {\mathcal {A}}}}$人口分布の時間的変化を定義する。${\displaystyle {\bf {m}}^{\pi }(t)\in {\mathcal {P({\mathcal {E}})}}}$時刻における人口分布は${\displaystyle t}$[ ^{11 ]​}

Caines（2009）によれば、大規模ゲームの比較的単純なモデルとして、線形二次ガウスモデルがある。個々のエージェントのダイナミクスは確率微分方程式としてモデル化される。

$${\displaystyle dX_{i}=(a_{i}X_{i}+b_{i}u_{i})\,dt+\sigma _{i}\,dW_{i},\quad i=1,\dots ,N,}$$

どこ${\displaystyle X_{i}}$状態は${\displaystyle i}$第 1 番目のエージェント、$u_i$制御は${\displaystyle i}$第 1 番目のエージェント、そして${\displaystyle W_{i}}$すべての独立したウィーナー過程${\displaystyle i=1,\dots ,N}$個々のエージェントのコストは

$${\displaystyle J_{i}(u_{i},\nu )=\mathbb {E} \left\{\int _{0}^{\infty }e^{-\rho t}\left[(X_{i}-\nu )^{2}+ru_{i}^{2}\right]\,dt\right\},\quad \nu =\Phi \left({\frac {1}{N}}\sum _{k\neq i}^{N}X_{k}+\eta \right).}$$

エージェント間の結合はコスト関数の中で生じる。

平均場ゲームのパラダイムは、分散型意思決定と確率モデリングを結びつける重要な要素となっています。確率制御の分野で始まったこのパラダイムは、以下のような幅広いアプリケーションで急速に普及しています。

a. 金融市場Rene Carmona は、 MFG パラダイムの枠組みの中で捉え、取り組むことができる金融工学と経済学の応用例をレビューしています。^{[ 12 ]} Carmona は、マクロ経済学、契約理論、金融などのモデルは、より伝統的な離散時間モデルから連続時間モデルへの移行によって大きな恩恵を受けると主張しています。彼はレビューの章で、システミックリスク、価格影響、最適執行、銀行取り付け騒ぎ、高頻度取引、暗号通貨のモデルなど、連続時間モデルのみを取り上げています。

b. 群衆の動き MFG は、個々の人間が特定のコストに関して戦略と経路を最適化しようとする賢いプレイヤーであると仮定します (合理的期待アプローチとの均衡)。 MFG モデルは、予測現象を記述するのに役立ちます。順方向部分は群衆の進化を記述し、逆方向部分は予測がどのように構築されるかのプロセスを示します。さらに、マルチエージェントのミクロモデルの計算と比較して、MFG はマクロシミュレーションに必要な計算コストが低いだけです。一部の研究者は、集団間の相互作用をモデル化し、インテリジェント エージェントの意思決定プロセスを研究するために MFG を利用しており、これには 2 つの歩行者グループ間の回避行動と混雑行動^{[ 13 ]} 、朝の通勤者の出発時間の選択^{[ 14 ]}、および自動運転車の意思決定プロセス^{[ 15 ]が含まれます。}

c. 伝染病の制御と緩和 伝染病は 社会と個人に大きな影響を与えているため、MFGと平均場制御（MFC）は、特にCovid-19パンデミックへの対応という文脈において、根底にある人口動態を研究し理解するための視点を提供します。MFGは、空間効果を伴うSIR型動態を拡張したり、個人が行動を選択して病気の蔓延への寄与を制御できるようにするために使用されてきました。MFCは、空間領域内でのウイルスの拡散を制御するための最適な戦略を設計し、^{[ 16 ]}個人の社会的交流を制限する決定を制御し、^{[ 17 ]}政府の非医薬品介入を支援するために適用されます。^{[ 18 ]}

• 平均場確率制御（スライド）、2009年IEEE制御システム学会ボーデ賞講演、ピーター・E・ケインズ
• Caines, Peter E. (2013). 「平均場ゲーム」.システムと制御の百科事典. pp. 1–6 . doi : 10.1007/978-1-4471-5102-9_30-1 . ISBN  978-1-4471-5102-9. S2CID 33954904 . 
• ミーン・フィールド・ゲームに関するメモ、コレージュ・ド・フランスでのピエール・ルイ・ライオンズの講義より
• （フランス語）ピエール＝ルイ・リオンによるビデオ講義
• オリヴィエ・ゲアン、ジャン＝ミシェル・ラスリー、ピエール＝ルイ・ライオンズによる平均場ゲームとその応用