交換可能な確率変数

統計学において、交換可能な確率変数列（または交換可能とも呼ばれる）^{[ 1 ]}とは、有限または無限に長い列X ₁ , X ₂ , X ₃ , ... の同時確率分布が、列内の有限個の要素の位置を変更しても変化しないものを指します。言い換えれば、同時分布は有限置換に対して不変です。したがって、例えば、次の列は、   

${\displaystyle X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}\quad {\text{ および }}\quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}}$

両者とも同じ同時確率分布を持つ。

これは、統計モデルにおける独立同分布の確率変数の使用と密接に関連しています。交換可能な確率変数の列は、単純無作為抽出の場合に発生します。

形式的には、交換可能な確率変数の列とは、有限または無限の確率変数の列X ₁、X ₂、X ₃、 … であり、インデックス 1、2、3、 … の任意の有限置換σ に対して (置換は有限個のインデックスのみに作用し、残りは固定)、置換された列の同時確率分布が   

${\displaystyle X_{\sigma (1)},X_{\sigma (2)},X_{\sigma (3)},\dots }$

は、元のシーケンスの同時確率分布と同じです。^{[ 1 ] [ 2 ]}事象のシーケンスE ₁、E ₂、E ₃、 … は、その指示関数 のシーケンスが交換可能である場合に限り、交換可能であると言われます。

交換可能な確率変数の有限列の分布関数F _{X 1 ,  …, X n} ( x ₁ ,  …, x _{n ) は、引数}x ₁ ,  …, x _nに関して対称です。Olav Kallenberg は、連続時間確率過程の交換可能性の適切な定義を提供しました。^{[ 3 ] [ 4 ]}

この概念は、ウィリアム・アーネスト・ジョンソンが1924年に著した『論理学、第3部：科学の論理的基礎』で紹介された。^{[ 5 ]}交換可能性は、同じく1924年にウォルター・シューハートが紹介した統計的制御の概念と同等である。^{[ 6 ] [ 7 ]}

交換可能性の性質は、統計モデルにおける独立同分布（iid）確率変数の使用と密接に関連している。 ^{[ 8 ]} ある基礎となる分布形式を条件とするiidである確率変数の列は交換可能である。これは、iid形式によって生成される同時確率分布の構造から直接導かれる。

交換可能なシーケンスの混合（特に、iid 変数のシーケンス）は交換可能です。逆は、ブルーノ・デ・フィネッティによる重要な表現定理（後にハルモスやサベージなどの他の確率論者によって拡張された）によって、無限シーケンスに対して確立できます。^{[ 9 ]} この定理の拡張版は、交換可能なランダム変数の任意の無限シーケンスにおいて、基礎となる分布形式が与えられた場合、ランダム変数は条件付きで iid であることを示しています。この定理は以下に簡単に述べられています。（デ・フィネッティの元の定理は、ランダム指示変数に対してのみこれが真であることを示していましたが、これは後にすべてのランダム変数のシーケンスを含むように拡張されました。）別の言い方をすれば、デ・フィネッティの定理は、交換可能なシーケンスを iid シーケンスの混合として特徴付けています。交換可能なシーケンス自体は無条件に iid である必要はありませんが、基礎となる iid シーケンスの混合として表現できます。^{[ 1 ]}  

これは、交換可能な確率変数の無限列は、何らかの基礎となる分布形式に基づいて、条件付き独立同分布（iid）確率変数の列と等価とみなせることを意味します。（ただし、この等価性は有限交換可能性には完全には成り立ちません。しかし、有限の確率変数ベクトルについては、iidモデルに非常に近い近似が存在します。）無限交換可能列は厳密に定常であるため、Birkhoff–Khinchinの定理の形で大数の法則が適用されます。^{[ 4 ]} これは、基礎となる分布が、値の列の極限経験分布として操作的に解釈できることを意味します。交換可能な確率変数の列とiid形式との密接な関係は、後者が無限交換可能性に基づいて正当化できることを意味します。この概念は、Bruno de Finettiによる予測推論の発展とベイズ統計学の中心です。また、頻度主義統計学における有用な基礎的仮定であり、2つのパラダイムを結びつけるものとしても示せます。^{[ 10 ]} 

表現定理：この記述は、以下の参考文献にあるO'Neill（2009）の記述に基づいています。無限列のランダム変数が与えられた場合${\displaystyle \mathbf {X} =(X_{1},X_{2},X_{3},\ldots )}$極限経験分布関数を定義する${\displaystyle F_{\mathbf {X} }}$による

${\displaystyle F_{\mathbf {X} }(x)=\lim _{n\to \infty }{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x).}$

（これは指示関数のチェザロ極限です。チェザロ極限が存在しない場合、この関数は実際には指示関数のバナッハ極限として定義できます。これはこの極限の拡張です。後者の極限は指示関数の和に対して常に存在するため、経験分布は常に適切に定義されます。）これは、シーケンス内の任意の確率変数ベクトルに対して、次の同時分布関数が得られることを意味します。

$\displaystyle \Pr(X_{1}\leq x_{1},X_{2}\leq x_{2},\ldots ,X_{n}\leq x_{n})=\int \prod _{i=1}^{n}F_{\mathbf {X} }(x_{i})\,dP(F_{\mathbf {X} }).}$

分布関数${\displaystyle F_{\mathbf {X} }}$別のパラメータによってインデックス付けされます${\displaystyle \theta }$すると（密度が適切に定義されている場合）、次のようになる。

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\int \prod _{i=1}^{n}p_{X_{i}}(x_{i}\mid \theta )\,dP(\theta ).}$

これらの式は、基礎となる極限経験分布（またはこの分布を指標とするパラメータ）に基づく混合分布として特徴付けられる結合分布または密度を示しています。

有限の交換可能なシーケンスがすべて独立同分布の混合であるとは限らないことに注意してください。これを確認するには、有限集合から要素がなくなるまで無作為にサンプリングすることを考えてみましょう。結果として得られるシーケンスは交換可能ですが、独立同分布の混合ではありません。実際、シーケンス内の他のすべての要素を条件とすると、残りの要素は既知です。

交換可能な数列には、一般的に正の相関があることを意味する基本的な共分散と相関特性があります。無限の交換可能な確率変数の数列の場合、確率変数間の共分散は、基礎となる分布関数の平均の分散に等しくなります。 ^{[ 10 ]} 有限の交換可能な数列の場合、共分散は固定値であり、数列内の特定の確率変数に依存しません。無限の交換可能性の場合よりも下限が弱く、負の相関が存在する可能性があります。

交換可能なシーケンスの共分散（無限）：シーケンスが${\displaystyle X_{1},X_{2},X_{3},\ldots }$交換可能であれば、

${\displaystyle \operatorname {cov} (X_{i},X_{j})=\operatorname {var} (\operatorname {E} (X_{i}\mid F_{\mathbf {X} }))=\operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for }}i\neq j.}$

交換可能なシーケンスの共分散（有限）：${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$交換可能${\displaystyle \sigma ^{2}=\operatorname {var} (X_{i})}$、 それから

${\displaystyle \operatorname {cov} (X_{i},X_{j})\geq -{\frac {\sigma ^{2}}{n-1}}\quad {\text{for }}i\neq j.}$

有限数列の結果は次のように証明できます。値が交換可能であるという事実を用いると、次のようになります。

${\displaystyle {\begin{aligned}0&\leq \operatorname {var} (X_{1}+\cdots +X_{n})\\&=\operatorname {var} (X_{1})+\cdots +\operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{all ordered pairs}}\\&=n\sigma ^{2}+n(n-1)\operatorname {cov} (X_{1},X_{2}).\end{aligned}}}$

すると、共分散に関する不等式を解くことで、示された下限値が得られます。そして、この有限数列の結果から極限をとることで、無限数列の共分散が非負であるという結果が得られます。

有限シーケンスの下限の等価性は、単純な壺モデルで達成されます。壺には赤いビー玉が 1 個と緑のビー玉がn − 1 個入っており、壺が空になるまで、これらを非復元抽出します。i 番目の試行で赤いビー玉が取り出された場合は X i = 1、それ以外の場合は 0 とします。共分散_の下限を達成する有限シーケンスは、より長い交換可能なシーケンスに拡張することはできません。^{[ 11 ]}    

• 独立同分布の確率変数の任意の凸結合または混合分布は交換可能である。逆命題はデ・フィネッティの定理である。^{[ 12 ]}
• 壺の中に${\displaystyle n}$赤と${\displaystyle m}$青いビー玉。壺が空になるまでビー玉を非復元抽出するとします。${\displaystyle X_{i}}$は、${\displaystyle i}$描かれたビー玉は赤色です。${\displaystyle \left\{X_{i}\right\}_{i=1,\dots ,n+m}}$これは交換可能なシーケンスです。このシーケンスは、より長い交換可能なシーケンスに拡張することはできません。
• 壺の中に${\displaystyle n}$赤と${\displaystyle m}$青いビー玉。さらに、ビー玉を壺から取り出し、同じ色のビー玉をもう1つ補充するとします。${\displaystyle X_{i}}$は、${\displaystyle i}$描かれたビー玉は赤色です。${\displaystyle \left\{X_{i}\right\}_{i\in \mathbb {N} }}$これは交換可能なシーケンスです。このモデルはポリアの壺と呼ばれます。
• させて${\displaystyle (X,Y)}$パラメータを持つ二変量正規分布を持つ${\displaystyle \mu =0}$、${\displaystyle \sigma _{x}=\sigma _{y}=1}$そして任意の相関係数${\displaystyle \rho \in (-1,1)}$ランダム変数${\displaystyle X}$そして${\displaystyle Y}$交換可能だが、独立しているのは、${\displaystyle \rho =0}$密度関数は${\displaystyle p(x,y)=p(y,x)\propto \exp \left[-{\frac {1}{2(1-\rho ^{2})}}(x^{2}+y^{2}-2\rho xy)\right].}$

フォン・ノイマン抽出器は、交換可能性に依存するランダム性抽出器です。これは、0と1の交換可能なシーケンス（ベルヌーイ試行）を取得する方法を提供し、確率pは0と1です。${\displaystyle q=1-p}$1 の 1 を生成し、確率 1/2 で (より短い) 交換可能な 0 と 1 のシーケンスを生成します。

シーケンスを重複しないペアに分割します。ペアの 2 つの要素が等しい場合 (00 または 11)、それを破棄します。ペアの 2 つの要素が等しくない場合 (01 または 10)、最初の要素を保持します。これにより、次のベルヌーイ試行のシーケンスが得られます。${\displaystyle p=1/2,}$交換可能性により、特定のペアが01または10である確率は等しい。

交換可能な確率変数は、 U統計の研究、特にホフディング分解において現れる。^{[ 13 ]}

交換可能性は、共形予測の分布フリー推論法の重要な仮定である。^{[ 14 ]}

• デ・フィネッティの定理
• ヒューイット＝サベージのゼロイチ法則
• リサンプリング
• リサンプリング（統計学）§ 順列検定、グループ間の交換に基づく統計的検定

• Aldous、David J.、交換可能性と関連トピック、所蔵: École d'Été de Probabilités de Saint-Flour XIII — 1983、Lecture Notes in Math。 1117、1–198 ページ 、シュプリンガー、ベルリン、1985。ISBN 978-3-540-15203-3doi : 10.1007/BFb0099421
• Chow, Yuan Shih および Teicher, Henry、「確率論：独立性、交換可能性、マルチンゲール」、 Springer Texts in Statistics、第 3 版、Springer、ニューヨーク、1997 年、xxii + 488 ページ、ISBN  0-387-98228-0
• Dawid, A. Philip (2013). 「交換可能性とその影響」. Damien, Paul 他編 『ベイズ理論と応用』所収. Oxford University Press. pp. 19–30 . ISBN  978-0-19-969560-7。
• カレンバーグ、O.、『確率的対称性と不変性原理』、シュプリンガー・フェルラーク、ニューヨーク（2005年）。510ページ。ISBN  0-387-25115-4。
• Kingman, JFC、「交換可能性の利用」、Ann. Probability 6 (1978) 83 – 197 MR 0494344 JSTOR 2243211  
• O'Neill, B. (2009) 交換可能性、相関、ベイズ効果。International Statistical Review 77(2)、pp .  241–250。ISBN 978-3-540-15203-3土井：10.1111/j.1751-5823.2008.00059.x
• Taylor, Robert Lee; Daffer, Peter Z.; Patterson, Ronald F. (1985).交換可能な確率変数の和に関する極限定理 . Rowman and Allanheld. pp. 1–152 . ISBN  9780847674350。