デ・フィネッティの定理

確率論において、デ・フィネッティの定理は、交換可能な観測値は何らかの潜在変数に対して条件付きで独立していると述べています。 この変数には認識論的確率分布を割り当てることができます。この定理はブルーノ・デ・フィネッティにちなんで名付けられました。

交換可能なベルヌーイ乱数列の特殊なケースでは、そのような列は独立かつ同一に分布する(iid) ベルヌーイ乱数列 の「混合」であると述べられています。

ランダム変数のシーケンスは、シーケンスの結合分布がインデックスの任意の順列によって変化しない場合、交換可能と呼ばれます。一般に、交換可能なシーケンスの変数自体は独立しておらず、交換可能であるだけですが、基礎となる iid ランダム変数のファミリーが存在します。つまり、基礎となる、通常は観測できない iid の量があり、交換可能なシーケンスは iid シーケンスの混合です。

ベイズ統計学者は、与えられたデータに対してランダムな量の条件付き確率分布を求めることが多い。交換可能性の概念はデ・フィネッティによって導入された。デ・フィネッティの定理は、独立性と交換可能性の間の数学的関係を説明する。^[1]

無限シーケンス

${\displaystyle X_{1},X_{2},X_{3},\dots }$

ランダム変数の交換可能性とは、任意の自然数 nと任意の有限列 i ₁ , ..., i _nと列πの任意の順列に対して、{ i ₁ , ..., i _n } → { i ₁ , ..., i _n }が成り立つときである。

${\displaystyle (X_{i_{1}},\dots ,X_{i_{n}}){\text{ および }}(X_{\pi (i_{1})},\dots ,X_{\pi (i_{n})})}$

どちらも同じ結合確率分布を持ちます。

同一に分布するシーケンスが独立している場合、シーケンスは交換可能です。ただし、その逆は偽です。つまり、ポリアの壷モデルなど、統計的に独立ではない交換可能なランダム変数が存在します。

ランダム変数 Xがベルヌーイ分布に従うとすると、あるp∈ (0, 1)に対してPr( X  = 1) =  pかつPr( X  = 0) = 1 −  pが成り立つ 。

デ・フィネッティの定理は、ベルヌーイ確率変数の任意の無限交換可能シーケンスの確率分布は、ベルヌーイ確率変数の独立かつ同一に分布するシーケンスの確率分布の「混合」であると述べています。この意味での「混合」は加重平均を意味しますが、これは有限または可算無限 (つまり離散) の加重平均を意味する必要はありません。これは合計ではなく、測度上の積分である可能性があります 。

より正確には、X ₁、X ₂、X ₃ 、...がベルヌーイ分布に従うランダム変数の無限交換可能列であるとする。すると、区間[0, 1]上の確率測度mとランダム変数Yが存在し、

• Yの確率測度はmであり、
• Yの値が与えられた場合のシーケンスX ₁、X ₂、X ₃ 、...全体の条件付き確率分布は次のように記述されます。
  • X ₁、X ₂、X ₃、 ... はYが与えられた場合、条件付きで独立であり、
  • 任意のi ∈ {1, 2, 3, ...}について、 Yの値が与えられたときにX _i = 1となる条件付き確率はYです。

がベルヌーイ確率変数の無限の交換可能なシーケンスであるとします。交換可能なシグマ代数(つまり、インデックスに関して測定可能であり、インデックスの有限の順列の下で不変であるイベントで構成されるシグマ代数) が与えられると、 は条件付きで独立かつ同一に分布します。 ${\displaystyle X_{1},X_{2},X_{3},\ldots }$${\displaystyle X_{1},X_{2},X_{3},\ldots }$${\displaystyle X_{1},X_{2},\ldots }$

具体的な例を挙げます。シーケンスを構築します

${\displaystyle X_{1},X_{2},X_{3},\dots }$

ランダム変数の、2 つの iid シーケンスを次のように「混合」します。

p = 2/3 で確率 1/2、p = 9/10 で確率 1/2 と仮定します。イベントp = 2/3 の場合、シーケンスの条件付き分布は、X _iが独立かつ同一に分布し、 確率 2/3 でX _{1 = 1、確率 1 − 2/3 で}X ₁  = 0 となることです。イベント p  = 9/10 の場合、シーケンスの条件付き分布は、X _iが独立かつ同一に分布し、確率 9/10 でX _{1 = 1、確率 1 − 9/10 で}X ₁  = 0 となることです。

これは次のように解釈できます。2 つの偏ったコインを作り、1 つは 2/3 の確率で「表」になり、もう 1 つは 9/10 の確率で「表」になります。公正なコインを 1 回投げて、記録されるすべての投げにどの偏ったコインを使用するかを決定します。ここで、投げ i で「表」になるということは、X _i =1 であることを意味します。

ここで主張されている独立性は条件付き独立性です。つまり、シーケンス内のベルヌーイ ランダム変数は、p = 2/3 の場合に条件付き独立であり、 p = 9/10 の場合にも条件付き独立です。ただし、それらは無条件に独立しているわけではなく、正の相関関係に あります。

大数の強い法則を考慮すると、

${\displaystyle \lim _{n\rightarrow \infty }{\frac {X_{1}+\cdots +X_{n}}{n}}={\begin{cases}2/3&{\text{確率 }}1/2,\\9/10&{\text{確率 }}1/2.\end{cases}}}$

0 と 1 の間の 2 つのポイントのそれぞれに確率 1/2 を集中させるのではなく、「混合分布」は0 から 1 の間隔でサポートされる任意の確率分布にすることができます。どの分布になるかは、ベルヌーイ乱数変数の無限シーケンスの結合分布によって決まります。

交換可能性の定義と定理の記述は有限長のシーケンスにも当てはまる。

${\displaystyle X_{1},\dots ,X_{n},}$

しかし、その場合、定理は一般には成り立ちません。シーケンスを無限に長い交換可能なシーケンスに拡張できる場合は、定理は成り立ちます。このように拡張できないベルヌーイ確率変数の交換可能なシーケンスの最も単純な例は、X ₁ = 1 −  X ₂であり、X ₁が 0 または 1 で、それぞれ確率 1/2 であるシーケンスです。このシーケンスは交換可能ですが、長さ 3 の交換可能なシーケンスに拡張することはできません。ましてや、無限に長いシーケンスに拡張することはできません。

デ・フィネッティの定理は、マルコフ核のカテゴリにおけるカテゴリ極限として表現できる。^{[2] [3] [4]}

を標準ボレル空間とし、 上の数列の空間、つまり可算積（積シグマ代数を備える）を考える。 ${\displaystyle (X,{\mathcal {A}})}$${\displaystyle X}$${\displaystyle X^{\mathbb {N}}}$

有限の順列 が与えられた場合、に対する順列作用と、それによって誘導されるマルコフ核を再び表します。カテゴリ理論の観点では、単一のオブジェクト と、各順列につき 1 つずつ、可算な数の矢印を持つ図が得られます。 ${\displaystyle \sigma}$${\displaystyle \sigma}$${\displaystyle X^{\mathbb {N}}}$ ${\displaystyle X^{\mathbb {N} }\to X^{\mathbb {N} }}$${\displaystyle X^{\mathbb {N}}}$

ここで、確率測度は 1 点測定空間からのマルコフ核と同値であることを思い出してください。上の確率測度が交換可能であるのは、マルコフ核として、任意の順列 に対して である場合に限ります。より一般的には、任意の標準ボレル空間 が与えられた場合、任意の に対してである場合、つまり次の図が交換可能である場合、 マルコフ核は交換可能であると言えます。${\displaystyle p}$ ${\displaystyle p}$${\displaystyle X^{\mathbb {N}}}$${\displaystyle \sigma \circ p=p}$${\displaystyle \sigma}$${\displaystyle Y}$${\displaystyle k:Y\to X}$ ${\displaystyle \sigma \circ k=k}$${\displaystyle \sigma}$

コーンを与える。

デ・フィネッティの定理は、 （ジリーモナド）上の確率測度の空間が普遍的（または極限）錐を形成するという事実として述べることができる。^{[3]より詳しくは、}コルモゴロフ拡張定理を使用して、次のように構築された マルコフ核を考えてみましょう。 ${\displaystyle PX}$${\displaystyle X}$${\displaystyle \mathrm {iid} _{\mathbb {N} }:PX\to X^{\mathbb {N} }}$

${\displaystyle \mathrm {iid} _{\mathbb {N} }(A_{1}\times \dots \times A_{n}\times X\times \dots |p)=p(A_{1})\cdots p(A_{n})}$

のすべての測定可能な部分集合について成り立ちます。このカーネルは、確率測度を入力として受け取り、に従って分布するのiid シーケンスを返すものと解釈できることに注意してください。iid シーケンスは交換可能なので、は上で定義した意味で交換可能なカーネルです。カーネルは単に円錐を形成するのではなく、極限円錐を形成します。つまり、任意の交換可能なカーネル が与えられた場合、 となる一意のカーネルが存在し、つまり、次の図が可換になります。 ${\displaystyle A_{1},\dots ,A_{n}}$${\displaystyle X}$${\displaystyle p\in PX}$${\displaystyle X^{\mathbb {N} }}$${\displaystyle p}$${\displaystyle \mathrm {iid} _{\mathbb {N} }:PX\to X^{\mathbb {N} }}$${\displaystyle \mathrm {iid} _{\mathbb {N} }:PX\to X^{\mathbb {N} }}$${\displaystyle k:Y\to X}$${\displaystyle {\tilde {k}}:Y\to PX}$${\displaystyle k=\mathrm {iid} _{\mathbb {N} }\circ {\tilde {k}}}$

特に、上の任意の交換可能な確率測度に対して、となる唯一の確率測度（つまり、確率測度上の確率測度）が存在する。つまり、のすべての測定可能な部分集合に対して、 ${\displaystyle p}$${\displaystyle X^{\mathbb {N} }}$${\displaystyle {\tilde {p}}}$${\displaystyle PX}$${\displaystyle p=\mathrm {iid} _{\mathbb {N} }\circ {\tilde {p}}}$${\displaystyle A_{1},\dots ,A_{n}}$${\displaystyle X}$

${\displaystyle p(A_{1}\times \dots \times A_{n}\times X\times \dots )=\int _{PX}\mathrm {iid} _{\mathbb {N} }(A_{1}\times \dots \times A_{n}\times X\times \dots |q)\,{\tilde {p}}(dq)=\int _{PX}q(A_{1})\cdots q(A_{n})\,{\tilde {p}}(dq).}$

言い換えれば、は (上記の積分で によって形成されるもの)上のiid 測度の混合です。${\displaystyle p}$${\displaystyle X}$${\displaystyle q}$

有限交換可能列に対するデ・フィネッティの定理 ^{[5] [6]}とマルコフ交換可能列に対するデ・フィネッティの定理^[7]のバージョンは、ディアコニスとフリードマン、およびカーンズとシェケイによって証明されている。配列の部分的交換可能性の2つの概念、すなわち個別交換可能性と共同交換可能性は、オルダスとフーバーによる配列に対するデ・フィネッティの定理の拡張につながった。^[8]

計算可能デ・フィネッティの定理は、交換可能な実数ランダム変数のシーケンスがコンピュータプログラムによって与えられた場合、混合測度からサンプリングするプログラムが自動的に復元できることを示している。^[9]

自由確率の設定では、量子順列に対して不変な非可換列を特徴付けるデ・フィネッティの定理の非可換拡張が存在する。^[10]

量子状態へのデ・フィネッティの定理の拡張は、量子情報^{[11] [12] [13]、}量子鍵配送^[14]やエンタングルメント検出^[15]などの分野で有用であることが分かっている。デ・フィネッティの定理の多変量拡張は、古典的な（すなわち独立した）粒子の統計からボーズ・アインシュタインの統計を導くために使用できる。^[16]

• ショケ理論
• ヒューイット・サベージのゼロ・ワンの法則
• クライン＝ミルマン定理
• 不変シグマ代数

• Accardi, L. (2001) [1994]、「De Finetti の定理」、数学百科事典、EMS プレス
• デ・フィネッティの表現定理の何がすごいのでしょうか?
• nラボにおけるデ・フィネッティの定理