交換可能なランダム変数

統計学において、交換可能なランダム変数列（時には交換可能）^[1]とは、有限個または無限長の列X ₁、  X ₂、  X _{3 、...であり、その}結合確率分布は、有限個のランダム変数が出現する列の位置が変更されても変化しない。言い換えれば、結合分布は有限順列に対して不変である。したがって、たとえば、列

${\displaystyle X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}\quad {\text{ および }}\quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}}$

どちらも同じ結合確率分布を持ちます。

これは、統計モデルにおける独立かつ同一に分布するランダム変数の使用と密接に関係しています。ランダム変数の交換可能なシーケンスは、単純ランダムサンプリングの場合には生じます。

形式的には、交換可能なランダム変数のシーケンスとは、ランダム変数の有限または無限シーケンスX ₁、  X ₂、  X ₃ 、...であり、インデックス1、2、3、...の任意の有限の順列σ（順列は有限個のインデックスにのみ作用し、残りは固定）に対して、順列シーケンスの 結合確率分布は

${\displaystyle X_{\sigma (1)},X_{\sigma (2)},X_{\sigma (3)},\dots }$

は元のシーケンスの結合確率分布と同じである。^{[1] [2]}

（イベントのシーケンスE ₁、E ₂、E _{3 、 ... は、その}指示関数のシーケンスが交換可能である場合にのみ、交換可能であると言われる。）交換可能なランダム変数の有限シーケンスの分布関数F _{X 1、 ...、X n}（x ₁、 ...、x _{n ）は、その引数}x ₁、 ...、x _n に関して対称です。オラフ・カレンベルグは、連続時間確率過程の交換可能性の適切な定義を提供しました。^{[3] [4]}

この概念は、ウィリアム・アーネスト・ジョンソンが1924年に著した『論理学、第3部：科学の論理的基礎』で導入されました。^[5]交換可能性は、同じく1924年にウォルター・シューハートが導入した統計的制御の概念と同等です。 ^{[6] [7]}

交換可能性の特性は、統計モデルにおける独立かつ同一に分布する（iid）ランダム変数の使用と密接に関係しています。 ^[8] 何らかの基礎となる分布形式を条件とするiidランダム変数のシーケンスは交換可能です。これは、iid形式によって生成される結合確率分布の構造から直接導かれます。

交換可能なシーケンス（特に、iid 変数のシーケンス）の混合は交換可能です。無限シーケンスについては、ブルーノ・デ・フィネッティの重要な表現定理（後にハルモスやサベージなどの他の確率論者によって拡張されました）を通じて逆のことが証明できます。^[9] この定理の拡張バージョンは、交換可能なランダム変数の任意の無限シーケンスにおいて、基礎となる分布形式が与えられれば、ランダム変数は条件付きで独立かつ同一に分布することを示しています。この定理は、以下に簡単に述べられています。（デ・フィネッティの元の定理は、ランダム指示変数に対してのみこれが真であることを示していましたが、これは後にランダム変数のすべてのシーケンスを包含するように拡張されました。）別の言い方をすると、デ・フィネッティの定理は、交換可能なシーケンスを iid シーケンスの混合として特徴付けます。交換可能なシーケンス自体は無条件に iid である必要はありませんが、基礎となる iid シーケンスの混合として表現できます。^[1]

これは、交換可能なランダム変数の無限シーケンスは、何らかの基礎的な分布形式に基づいて、条件付き iid ランダム変数のシーケンスと同等に見なすことができることを意味します。(この同等性は有限の交換可能性には当てはまらないことに注意してください。ただし、有限のランダム変数ベクトルには、iid モデルに近い近似があります。) 交換可能な無限シーケンスは厳密に定常であるため、バーコフ-ヒンチン定理の形で大数の法則が適用されます。^[4] これは、基礎となる分布に、値のシーケンスの極限経験分布として操作的解釈を与えることができることを意味します。交換可能なランダム変数のシーケンスと iid 形式との密接な関係は、後者が無限の交換可能性に基づいて正当化できることを意味します。この概念は、ブルーノ・デ・フィネッティの予測推論の開発とベイズ統計の中心です。また、頻度主義統計の有用な基本仮定であり、2 つのパラダイムを結び付けるためにも役立ちます。^[10]

表現定理:この記述は、以下の参考文献にあるO'Neill (2009)の発表に基づいています。ランダム変数の無限列が与えられた場合、極限経験分布関数を次のように 定義します。${\displaystyle \mathbf {X} =(X_{1},X_{2},X_{3},\ldots )}$ ${\displaystyle F_{\mathbf {X} }}$

${\displaystyle F_{\mathbf {X} }(x)=\lim _{n\to \infty }{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x).}$

（これは指示関数のチェザロ限界です。チェザロ限界が存在しない場合は、この関数は実際にはこの限界の拡張である指示関数のバナッハ限界として定義できます。この後者の限界は常に指示関数の合計に対して存在するため、経験分布は常に明確に定義されます。）これは、シーケンス内の任意のランダム変数のベクトルに対して、次に示す結合分布関数が存在することを意味します。

${\displaystyle \Pr(X_{1}\leq x_{1},X_{2}\leq x_{2},\ldots ,X_{n}\leq x_{n})=\int \prod _{i=1}^{n}F_{\mathbf {X} }(x_{i})\,dP(F_{\mathbf {X} }).}$

分布関数が別のパラメータでインデックス付けされている場合（密度が適切に定義されている場合） ${\displaystyle F_{\mathbf {X} }}$${\displaystyle \theta}$

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\int \prod _{i=1}^{n}p_{X_{i}}(x_{i}\mid \theta )\,dP(\theta ).}$

これらの方程式は、基礎となる限界経験分布 (またはこの分布を示すパラメータ) に基づく混合分布として特徴付けられる結合分布または密度を示します。

有限の交換可能なシーケンスのすべてが iid の混合であるとは限らないことに注意してください。これを確認するには、有限セットから要素がなくなるまで、置換なしでサンプリングすることを検討してください。結果のシーケンスは交換可能ですが、iid の混合ではありません。実際、シーケンス内の他のすべての要素を条件として、残りの要素はわかっています。

交換可能なシーケンスには、一般的に正の相関があることを意味する基本的な共分散と相関特性があります。交換可能なランダム変数の無限シーケンスの場合、ランダム変数間の共分散は、基礎となる分布関数の平均の分散に等しくなります。^[10] 有限の交換可能なシーケンスの場合、共分散もシーケンス内の特定のランダム変数に依存しない固定値です。無限の交換可能性よりも弱い下限があり、負の相関が存在する可能性があります。

交換可能なシーケンスの共分散（無限）：シーケンスが交換可能な場合、 ${\displaystyle X_{1},X_{2},X_{3},\ldots }$

${\displaystyle \operatorname {cov} (X_{i},X_{j})=\operatorname {var} (\operatorname {E} (X_{i}\mid F_{\mathbf {X} }))=\operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for }}i\neq j.}$

交換可能なシーケンスの共変性（有限）：がと交換可能な場合、 ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$${\displaystyle \sigma ^{2}=\operatorname {var} (X_{i})}$

${\displaystyle \operatorname {cov} (X_{i},X_{j})\geq -{\frac {\sigma ^{2}}{n-1}}\quad {\text{for }}i\neq j.}$

有限列の結果は次のように証明できる。値が交換可能であるという事実を用いて、

${\displaystyle {\begin{aligned}0&\leq \operatorname {var} (X_{1}+\cdots +X_{n})\\&=\operatorname {var} (X_{1})+\cdots +\operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{all ordered pairs}}\\&=n\sigma ^{2}+n(n-1)\operatorname {cov} (X_{1},X_{2}).\end{aligned}}}$

次に、共分散の不等式を解くと、規定の下限が得られます。無限シーケンスの共分散の非負性は、この有限シーケンスの結果からの制限結果として取得できます。

有限シーケンスの下限の等式は、単純な壷モデルで達成されます。壷には赤いビー玉 1 個と緑のビー玉n  − 1 個が入っており、壷が空になるまでこれらを無置換でサンプリングします。i回目の試行 で赤いビー玉が引かれた場合はX _i = 1 、そうでない場合は 0 とします。共分散下限を達成する有限シーケンスは、より長い交換可能なシーケンスに拡張することはできません。^[11]

• ランダム変数のiidシーケンスの任意の凸結合または混合分布は交換可能である。逆の命題はデ・フィネッティの定理である。^[12]
• 壷に赤と青のビー玉が入っているとします。壷が空になるまでビー玉が交換なしで引き出されるとします。 を、引き出されたビー玉が赤だった場合の指標ランダム変数とします。すると、 は交換可能なシーケンスになります。このシーケンスは、これ以上長い交換可能なシーケンスに拡張することはできません。${\displaystyle n}$${\displaystyle m}$${\displaystyle X_{i}}$${\displaystyle i}$${\displaystyle \left\{X_{i}\right\}_{i=1,\dots ,n+m}}$
• 壷に赤と青のビー玉が入っているとします。さらに、壷からビー玉が 1 つ取り出され、同じ色のビー玉が 1 つ追加されて入れ替えられたとします。 を、取り出された - 番目のビー玉が赤だった場合のインジケータランダム変数とします。この場合、 は交換可能なシーケンスです。このモデルは、ポリアの壷と呼ばれます。${\displaystyle n}$${\displaystyle m}$${\displaystyle X_{i}}$${\displaystyle i}$${\displaystyle \left\{X_{i}\right\}_{i\in \mathbb {N} }}$
• がパラメータ、および任意の相関係数を持つ二変量正規分布を持つとします。ランダム変数および は交換可能ですが、 の場合にのみ独立です。密度関数は${\displaystyle (X,Y)}$${\displaystyle \mu =0}$${\displaystyle \sigma _{x}=\sigma _{y}=1}$ ${\displaystyle \rho \in (-1,1)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \rho =0}$${\displaystyle p(x,y)=p(y,x)\propto \exp \left[-{\frac {1}{2(1-\rho ^{2})}}(x^{2}+y^{2}-2\rho xy)\right].}$

フォンノイマン抽出器は、交換可能性に依存するランダム性抽出器です。つまり、0 と 1 の交換可能なシーケンス (ベルヌーイ試行) を、ある確率pが 0 と1 である状態で取得し、確率 1/2 で (より短い) 交換可能な 0 と 1 のシーケンスを生成する方法を提供します。 ${\displaystyle q=1-p}$

シーケンスを重複しないペアに分割します。ペアの 2 つの要素が等しい (00 または 11) 場合は、それを破棄します。ペアの 2 つの要素が等しくない場合 (01 または 10)、最初の要素を保持します。これにより、交換可能性により、特定のペアが 01 または 10 である確率が等しい、一連のベルヌーイ試行が生成されます。 ${\displaystyle p=1/2,}$

交換可能なランダム変数はU統計の研究、特にHoeffding分解において出現する。^[13]

交換可能性は、共形予測の分布フリー推論法の重要な仮定である。^[14]

• デ・フィネッティの定理
• ヒューイット・サベージのゼロワン法則
• 再サンプリング
• 再標本抽出（統計）§ 順列検定、グループ間の交換に基づく統計検定

• Aldous、David J.、交換可能性と関連トピック、所蔵: École d'Été de Probabilités de Saint-Flour XIII — 1983、Lecture Notes in Math。 1117、pp. 1–198、Springer、ベルリン、1985。ISBN 978-3-540-15203-3 doi : 10.1007/BFb0099421 
• Chow, Yuan Shih および Teicher, Henry、「確率論。独立性、互換性、マルチンゲール」、 Springer Texts in Statistics、第 3 版、Springer、ニューヨーク、1997 年。xxii+488 ページ 。ISBN 0-387-98228-0 
• Dawid, A. Philip (2013)。「交換可能性とその影響」。Damien, Paul、他編。ベイジアン理論と応用。オックスフォード大学出版局。pp. 19–30。ISBN 978-0-19-969560-7。
• Kallenberg, O.、「確率的対称性と不変性原理」、Springer-Verlag、ニューヨーク (2005)、510 ページ、  ISBN 0-387-25115-4。 
• キングマン、JFC、交換可能性の利用、Ann. Probability 6 (1978) 83–197 MR 494344 JSTOR  2243211
• オニール、B. (2009) 交換可能性、相関関係、ベイズ効果。国際統計評論 77(2)、pp. 241–250。ISBN 978-3-540-15203-3 doi :10.1111/j.1751-5823.2008.00059.x 
• テイラー、ロバート・リー、ダッファー、ピーター・Z、パターソン、ロナルド・F (1985)。交換可能なランダム変数の和に関する極限定理。ロウマンとアランヘルド。pp. 1–152。ISBN 9780847674350。