独立性（確率論）

2つのランダムベクトル${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{\mathrm {T} }}$そして${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\mathrm {T} }}$独立であると呼ばれるのは、^{[ 5 ] : p. 187}

どこ${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$そして${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$累積分布関数を表す${\displaystyle \mathbf {X} }$そして${\displaystyle \mathbf {Y} }$そして${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$はそれらの同時累積分布関数を表します。${\displaystyle \mathbf {X} }$そして${\displaystyle \mathbf {Y} }$はしばしば次のように表される${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$構成要素ごとに記述すると、${\displaystyle \mathbf {X} }$そして${\displaystyle \mathbf {Y} }$独立していると呼ばれるのは、

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}.}$

上記の定義（式1および式2 ）は、 σ-代数の独立性の以下の定義によって一般化される。${\displaystyle (\Omega ,\Sigma ,\mathrm {P} )}$を確率空間とし、${\displaystyle {\mathcal {A}}}$そして${\displaystyle {\mathcal {B}}}$2 つの部分 σ 代数である${\displaystyle \Sigma }$。${\displaystyle {\mathcal {A}}}$そして${\displaystyle {\mathcal {B}}}$独立していると言われるのは、${\displaystyle A\in {\mathcal {A}}}$そして${\displaystyle B\in {\mathcal {B}}}$、

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B).}$

同様に、σ-代数の有限族${\displaystyle (\tau _{i})_{i\in I}}$、 どこ${\displaystyle I}$はインデックス集合であり、 は、 の場合に限り独立であると言われます。

${\displaystyle \forall \left(A_{i}\right)_{i\in I}\in \prod \nolimits _{i\in I}\tau _{i}\$ :\ \mathrm {P} \left(\bigcap \nolimits _{i\in I}A_{i}\right)=\prod \nolimits _{i\in I}\mathrm {P} \left(A_{i}\right)}

また、σ-代数の無限族は、そのすべての有限部分族が独立である場合に独立であると言われる。

新しい定義は、以前の定義と非常に直接的に関連している。

• 2つの事象が独立である（旧来の意味で）のは、それらが生成するσ代数が独立である（新来の意味で）場合に限る。事象によって生成されるσ代数は、${\displaystyle E\in \Sigma }$定義上、

${\displaystyle \sigma (\{E\})=\{\emptyset ,E,\Omega \setminus E,\Omega \}.}$

• 2つの確率変数${\displaystyle X}$そして${\displaystyle Y}$定義済み${\displaystyle \Omega }$確率変数が独立である（旧来の意味で）のは、それらが生成するσ代数が独立である（新来の意味で）場合に限る。${\displaystyle X}$何らかの測定可能な空間で値を取る${\displaystyle S}$定義により、すべてのサブセットから構成される。${\displaystyle \Omega }$形式${\displaystyle X^{-1}(U)}$、 どこ${\displaystyle U}$は、の任意の測定可能な部分集合である。${\displaystyle S}$。

この定義を用いると、もし${\displaystyle X}$そして${\displaystyle Y}$は確率変数であり、${\displaystyle Y}$定数である場合、${\displaystyle X}$そして${\displaystyle Y}$定数確率変数によって生成されるσ代数は自明なσ代数であるため、これらは独立である。${\displaystyle \{\varnothing ,\Omega \}}$確率ゼロの事象は独立性に影響を与えないため、独立性も成り立つ。${\displaystyle Y}$Prはほぼ確実に定数です。

イベントがそれ自身から独立しているのは、

${\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\iff \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1.}$

したがって、ある事象がそれ自身から独立であるのは、それがほぼ確実に発生するか、またはその補事象がほぼ確実に発生する場合に限る。この事実は、ゼロイチ法則を証明する際に有用である。^{[ 8 ]}

同様に、確率変数がそれ自身から独立であるのは、それがほぼ確実に定数である場合に限る。

もし${\displaystyle X}$そして${\displaystyle Y}$統計的に独立な確率変数である場合、次のようになります。

-積の期待値は期待値の積である^{[ 9 ]： p.10}：

${\displaystyle \operatorname {E} [X^{n}Y^{m}]=\operatorname {E} [X^{n}]\operatorname {E} [Y^{m}]}$

- 共分散${\displaystyle \operatorname {Cov} [X,Y]}$ゼロです:

${\displaystyle \operatorname {Cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]=0}$

-合計の分散は、分散の合計です。

${\displaystyle \operatorname {V} [X+Y]=\operatorname {V} [X]+\operatorname {V} [Y]+2\operatorname {Cov} [X,Y]=\operatorname {V} [X]+\operatorname {V} [Y]}$

相関関係はゼロです。

${\displaystyle \rho _{X,Y}={\dfrac {\operatorname {Cov} [X,Y]}{\sigma _{X}\sigma _{Y}}}=0}$

その逆は成り立ちません。これらの性質のそれぞれが独立性を意味するわけではありません。例えば、2つの確率変数の共分散が0であっても、それらが独立ではない場合もあります。

同様に、2つの確率過程について${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$そして${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$: それらが独立であれば、それらは無相関である。^{[ 10 ] : p. 151}

2つの確率変数${\displaystyle X}$そして${\displaystyle Y}$ランダムベクトルの特性関数が独立である場合に限り、${\displaystyle (X,Y)}$満たす

${\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s).}$

特に、それらの和の特性関数は、それらの周辺特性関数の積である。

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}$

ただし、その逆は成り立ちません。後者の条件を満たす確率変数は、部分独立と呼ばれます。

サイコロを1回目に振って6が出るという事象と、2回目に振って6が出るという事象は独立である。一方、サイコロを1回目に振って6が出るという事象と、1回目と2回目の試行で出た目の合計が8になるという事象は独立ではない。

トランプの山からカードを2枚、元に戻しながら引く場合、1回目の試行で赤いカードを引く事象と2回目の試行で赤いカードを引く事象は独立である。一方、トランプの山からカードを2枚、元に戻さずに引く場合、1回目の試行で赤いカードを引く事象と2回目の試行で赤いカードを引く事象は独立ではない。なぜなら、赤いカードが1枚取り除かれた山には、赤いカードの枚数が比例して少なくなるからである。

図に示す2つの確率空間を考えてみましょう。どちらの場合も、${\displaystyle \mathrm {P} (A)=\mathrm {P} (B)=1/2}$そして${\displaystyle \mathrm {P} (C)=1/4}$最初の空間のイベントはペアごとに独立しています。${\displaystyle \mathrm {P} (A|B)=\mathrm {P} (A|C)=1/2=\mathrm {P} (A)}$、${\displaystyle \mathrm {P} (B|A)=\mathrm {P} (B|C)=1/2=\mathrm {P} (B)}$、 そして${\displaystyle \mathrm {P} (C|A)=\mathrm {P} (C|B)=1/4=\mathrm {P} (C)}$しかし、これら３つの事象は互いに独立ではありません。２番目の空間の事象は、ペアワイズ独立かつ相互独立です。この違いを説明するために、２つの事象を条件付けて考えてみましょう。ペアワイズ独立の場合、どの事象も他の２つの事象それぞれから独立していますが、他の２つの事象の共通部分からは独立していません。

${\displaystyle \mathrm {P} (A|BC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (A)}$

${\displaystyle \mathrm {P} (B|AC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (B)}$

${\displaystyle \mathrm {P} (C|AB)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {6}{40}}}}={\tfrac {2}{5}}\neq \mathrm {P} (C)}$

しかし、相互独立の場合、

${\displaystyle \mathrm {P} (A|BC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (A)}$

${\displaystyle \mathrm {P} (B|AC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (B)}$

${\displaystyle \mathrm {P} (C|AB)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {3}{16}}}}={\tfrac {1}{4}}=\mathrm {P} (C)}$

次のような3つのイベントの例を作成することが可能です。

${\displaystyle \mathrm {P} (A\cap B\cap C)=\mathrm {P} (A)\mathrm {P} (B)\mathrm {P} (C),}$

しかし、3 つのイベントのうち 2 つはペアワイズ独立ではない (したがって、イベントの集合は相互に独立ではない)。^{[ 11 ]}この例は、相互独立性には、この例のように単一のイベントだけでなく、すべての組み合わせの確率の積に対する要件が含まれることを示しています。

イベント${\displaystyle A}$そして${\displaystyle B}$ある事象が与えられた場合、条件付き独立である${\displaystyle C}$いつ

${\displaystyle \mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)}$。

直感的に、2つのランダム変数${\displaystyle X}$そして${\displaystyle Y}$条件付き独立である${\displaystyle Z}$もし、一度${\displaystyle Z}$が既知であれば、${\displaystyle Y}$追加情報は何も追加されません${\displaystyle X}$例えば、2つの測定値${\displaystyle X}$そして${\displaystyle Y}$同じ基礎となる量${\displaystyle Z}$は独立ではないが、条件付き独立である。${\displaystyle Z}$（ただし、2つの測定値の誤差が何らかの形で関連している場合は除く。）

条件付き独立性の正式な定義は、条件付き分布の考え方に基づいています。${\displaystyle X}$、${\displaystyle Y}$、 そして${\displaystyle Z}$は離散確率変数である、と定義する。${\displaystyle X}$そして${\displaystyle Y}$条件付き独立である${\displaystyle Z}$もし

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}$

すべての人々のために${\displaystyle x}$、${\displaystyle y}$そして${\displaystyle z}$そのため${\displaystyle \mathrm {P} (Z=z)>0}$一方、確率変数が連続であり、同時確率密度関数を持つ場合${\displaystyle f_{XYZ}(x,y,z)}$、 それから${\displaystyle X}$そして${\displaystyle Y}$条件付き独立である${\displaystyle Z}$もし

${\displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)}$

すべての実数に対して${\displaystyle x}$、${\displaystyle y}$そして${\displaystyle z}$そのため${\displaystyle f_{Z}(z)>0}$。

離散的である場合${\displaystyle X}$そして${\displaystyle Y}$条件付き独立である${\displaystyle Z}$、 それから

${\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}$

いかなる場合でも${\displaystyle x}$、${\displaystyle y}$そして${\displaystyle z}$と${\displaystyle \mathrm {P} (Z=z)>0}$つまり、条件付き分布は${\displaystyle X}$与えられた${\displaystyle Y}$そして${\displaystyle Z}$与えられたものと同じです${\displaystyle Z}$単独で。同様の式は、連続の場合の条件付き確率密度関数にも当てはまります。

独立性は、条件付き独立性の特殊な形態と見なすことができる。なぜなら、確率は、いかなる事象も発生しないという条件の下での条件付き確率の一種と見なすことができるからである。