ある出来事の発生が別の出来事の発生確率に影響を与えない場合
独立性は、 統計学 や 確率過程の 理論と同様に、 確率論 における基本的な概念です 。2つの イベント が 独立している 、 統計的に独立している 、または 確率的に独立している [1] とは、非公式に言えば、一方の発生が他方の発生確率に影響を与えない、または同等に、 オッズ に影響を与えない場合です。同様に、2つの ランダム変数は 、一方の実現が他方の
確率分布 に影響を与えない場合に独立しています。
2 つ以上のイベントの集合を扱う場合、独立性の 2 つの概念を区別する必要があります。 集合内の任意の 2 つのイベントが互いに独立している場合、イベントは ペアワイズ独立と呼ばれます。一方、イベントの 相互独立性 (または 集合的独立性 ) は、非公式に言えば、各イベントが集合内の他のイベントの任意の組み合わせから独立していることを意味します。ランダム変数の集合にも同様の概念が存在します。相互独立性はペアワイズ独立性を意味しますが、その逆は当てはまりません。確率論、統計、確率過程の標準的な文献では、追加の修飾語のない 独立性は 通常、相互独立性を指します。
意味
イベント用
2つのイベント
2つの事象 と が 独立( またはと表記されることが多い 。後者の記号は 条件付き独立 を表す 場合にも使用される)であるためには、それらの 結合確率が それらの確率の積に等しい必要がある: [2] : p. 29 [3] : p. 10
あ
{\displaystyle A}
B
{\displaystyle B}
あ
⊥
B
{\displaystyle A\perp B}
あ
⊥
⊥
B
{\displaystyle A\perp \!\!\!\perp B}
A
∩
B
≠
∅
{\displaystyle A\cap B\neq \emptyset }
は、 2 つの独立したイベント とが サンプル空間 に共通の要素を持ち、 相互に排他的 ではない ( の場合に限り相互に排他的 ) ことを示します。これが独立性を定義する理由は、 イベント が発生したか発生したと想定される
場合に イベントが発生する確率として 条件付き確率を書き直すことで明らかになります。
A
{\displaystyle A}
B
{\displaystyle B}
A
∩
B
=
∅
{\displaystyle A\cap B=\emptyset }
P
(
A
∣
B
)
=
P
(
A
∩
B
)
P
(
B
)
{\displaystyle P(A\mid B)={\frac {P(A\cap B)}{P(B)}}}
A
{\displaystyle A}
B
{\displaystyle B}
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
⟺
P
(
A
∣
B
)
=
P
(
A
∩
B
)
P
(
B
)
=
P
(
A
)
.
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (A\mid B)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (B)}}=\mathrm {P} (A).}
同様に
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
⟺
P
(
B
∣
A
)
=
P
(
A
∩
B
)
P
(
A
)
=
P
(
B
)
.
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (B\mid A)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (A)}}=\mathrm {P} (B).}
したがって、 の発生は の確率に影響せず 、その逆も同様です。言い換えると、 と は 互いに独立しています。導出された式はより直感的に思えるかもしれませんが、または が 0 の場合、条件付き確率が未定義になる可能性があるため、推奨される定義ではありません。さらに、推奨される定義では、 が から独立している場合 、 も から独立していることが対称性によって明らかになっています 。
B
{\displaystyle B}
A
{\displaystyle A}
A
{\displaystyle A}
B
{\displaystyle B}
P
(
A
)
{\displaystyle \mathrm {P} (A)}
P
(
B
)
{\displaystyle \mathrm {P} (B)}
A
{\displaystyle A}
B
{\displaystyle B}
B
{\displaystyle B}
A
{\displaystyle A}
オッズ
オッズ の観点から言えば 、2つのイベントが独立しているのは、 と の オッズ比 が1 (1) である場合のみです。確率と同様に、これは条件付きオッズが無条件オッズに等しいことに相当します。
A
{\displaystyle A}
B
{\displaystyle B}
O
(
A
∣
B
)
=
O
(
A
)
and
O
(
B
∣
A
)
=
O
(
B
)
,
{\displaystyle O(A\mid B)=O(A){\text{ and }}O(B\mid A)=O(B),}
または、あるイベントが発生した場合の別のイベントのオッズは、別のイベントが発生しなかった場合のイベントのオッズと同じになります。
O
(
A
∣
B
)
=
O
(
A
∣
¬
B
)
and
O
(
B
∣
A
)
=
O
(
B
∣
¬
A
)
.
{\displaystyle O(A\mid B)=O(A\mid \neg B){\text{ and }}O(B\mid A)=O(B\mid \neg A).}
オッズ比は次のように定義される。
O
(
A
∣
B
)
:
O
(
A
∣
¬
B
)
,
{\displaystyle O(A\mid B):O(A\mid \neg B),}
または、オッズが与えられた場合、対称的に、 イベント が
B
{\displaystyle B}
独立
A
{\displaystyle A}
し て いる場合にのみ 1 になります。
2つ以上のイベント
有限集合のイベントが ペアワイズ独立で ある とは、すべてのイベントのペアが独立している場合である [4] 。
つまり、すべての異なるインデックスのペアに対して、
{
A
i
}
i
=
1
n
{\displaystyle \{A_{i}\}_{i=1}^{n}}
m
,
k
{\displaystyle m,k}
有限集合の事象が 相互に独立で あるとは、すべての事象が他の事象のいかなる交差からも独立している場合を言う [4] [3] : p. 11 —つまり、 すべてのk個のインデックスに対して 、
k
≤
n
{\displaystyle k\leq n}
1
≤
i
1
<
⋯
<
i
k
≤
n
{\displaystyle 1\leq i_{1}<\dots <i_{k}\leq n}
これは、独立したイベントの乗法規則 と呼ばれます 。これは、すべての単一イベントのすべての確率の積のみを含む単一の条件ではなく、イベントのすべてのサブセットに当てはまる必要があります。
2つ以上のイベントの場合、相互に独立したイベントの集合は(定義により)ペアごとに独立しているが、その逆は必ずしも真ではない。 [2] : p. 30
対数確率と情報量
対数確率 で述べると 、2 つのイベントが独立しているのは、結合イベントの対数確率が個々のイベントの対数確率の合計である場合のみです。
log
P
(
A
∩
B
)
=
log
P
(
A
)
+
log
P
(
B
)
{\displaystyle \log \mathrm {P} (A\cap B)=\log \mathrm {P} (A)+\log \mathrm {P} (B)}
情報理論 では、負の対数確率は 情報内容 として解釈されるため 、結合されたイベントの情報内容が個々のイベントの情報内容の合計に等しい場合にのみ、2 つのイベントは独立しています。
I
(
A
∩
B
)
=
I
(
A
)
+
I
(
B
)
{\displaystyle \mathrm {I} (A\cap B)=\mathrm {I} (A)+\mathrm {I} (B)}
詳細については、情報コンテンツ § 独立したイベントの加法性を 参照してください 。
実数値のランダム変数の場合
2つのランダム変数
2つのランダム変数 とが 独立である ためには、それらによって生成される π システム の要素 が独立している必要がある。つまり、すべてのおよびに対して 、 イベント とイベントは独立したイベントである( 式1 で定義したとおり )。つまり、 累積 分布関数 とを持つ 、および が独立である ためには、 結合されたランダム変数が 結合 累積分布関数を 持つ必要がある [3] : p. 15
X
{\displaystyle X}
Y
{\displaystyle Y}
x
{\displaystyle x}
y
{\displaystyle y}
{
X
≤
x
}
{\displaystyle \{X\leq x\}}
{
Y
≤
y
}
{\displaystyle \{Y\leq y\}}
X
{\displaystyle X}
Y
{\displaystyle Y}
F
X
(
x
)
{\displaystyle F_{X}(x)}
F
Y
(
y
)
{\displaystyle F_{Y}(y)}
(
X
,
Y
)
{\displaystyle (X,Y)}
あるいは、 確率密度 と 結合確率密度が 存在する場合、
f
X
(
x
)
{\displaystyle f_{X}(x)}
f
Y
(
y
)
{\displaystyle f_{Y}(y)}
f
X
,
Y
(
x
,
y
)
{\displaystyle f_{X,Y}(x,y)}
f
X
,
Y
(
x
,
y
)
=
f
X
(
x
)
f
Y
(
y
)
for all
x
,
y
.
{\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)\quad {\text{for all }}x,y.}
2つ以上のランダム変数
ランダム変数 の有限集合は 、ランダム変数のすべての ペア が独立している場合に限り、ペアごとに独立しています。ランダム変数の集合がペアごとに独立している場合でも、次に定義されるように、必ずしも 相互に独立している わけではありません。
n
{\displaystyle n}
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
有限集合の ランダム変数 が 互いに独立で あるためには、任意の数列に対して 、イベントが互いに独立したイベントである必要がある( 式3 で定義 )。これは、結合累積分布関数の次の条件に等しい 。 有限集合の ランダム変数 が互いに独立であるためには、 [3]の条件に等しい :p. 16
n
{\displaystyle n}
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
{
x
1
,
…
,
x
n
}
{\displaystyle \{x_{1},\ldots ,x_{n}\}}
{
X
1
≤
x
1
}
,
…
,
{
X
n
≤
x
n
}
{\displaystyle \{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}}
F
X
1
,
…
,
X
n
(
x
1
,
…
,
x
n
)
{\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}
n
{\displaystyle n}
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
ここでは、イベントの場合のように、確率分布がすべての可能な - 要素 サブセットについて因数分解されることを要求する必要はありません 。これは、たとえば を意味するため、必須ではありません 。
k
{\displaystyle k}
n
{\displaystyle n}
F
X
1
,
X
2
,
X
3
(
x
1
,
x
2
,
x
3
)
=
F
X
1
(
x
1
)
⋅
F
X
2
(
x
2
)
⋅
F
X
3
(
x
3
)
{\displaystyle F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot F_{X_{3}}(x_{3})}
F
X
1
,
X
3
(
x
1
,
x
3
)
=
F
X
1
(
x
1
)
⋅
F
X
3
(
x
3
)
{\displaystyle F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{3}}(x_{3})}
測度論に傾倒している人は、 上記の定義におけるイベントを、 任意 の ボレル集合 に置き換えることを好むかもしれません。その定義は、ランダム変数の値が 実数である場合の上記の定義とまったく同じです。この定義には、複素数値のランダム変数や、任意の 測定可能な空間(適切な σ 代数によって付与された 位相空間を 含む) で値を取るランダム変数にも機能するという利点があります 。
{
X
∈
A
}
{\displaystyle \{X\in A\}}
{
X
≤
x
}
{\displaystyle \{X\leq x\}}
A
{\displaystyle A}
実数値のランダムベクトルの場合
2つのランダムベクトル とが 独立であるとは、 [5] : p. 187の ときである。
X
=
(
X
1
,
…
,
X
m
)
T
{\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{\mathrm {T} }}
Y
=
(
Y
1
,
…
,
Y
n
)
T
{\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\mathrm {T} }}
ここで 、 および は の累積分布関数を表し 、 および は それらの結合累積分布関数を表します。 および の独立性は 、 と 表記されることが多いです 。 成分ごとに書かれ、 および が独立していると呼ばれるのは、次の場合です。
F
X
(
x
)
{\displaystyle F_{\mathbf {X} }(\mathbf {x} )}
F
Y
(
y
)
{\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}
X
{\displaystyle \mathbf {X} }
Y
{\displaystyle \mathbf {Y} }
F
X
,
Y
(
x
,
y
)
{\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}
X
{\displaystyle \mathbf {X} }
Y
{\displaystyle \mathbf {Y} }
X
⊥
⊥
Y
{\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }
X
{\displaystyle \mathbf {X} }
Y
{\displaystyle \mathbf {Y} }
F
X
1
,
…
,
X
m
,
Y
1
,
…
,
Y
n
(
x
1
,
…
,
x
m
,
y
1
,
…
,
y
n
)
=
F
X
1
,
…
,
X
m
(
x
1
,
…
,
x
m
)
⋅
F
Y
1
,
…
,
Y
n
(
y
1
,
…
,
y
n
)
for all
x
1
,
…
,
x
m
,
y
1
,
…
,
y
n
.
{\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}.}
確率過程の場合
一つの確率過程について
独立性の定義は、ランダムベクトルから 確率過程 に拡張することができる。したがって、独立確率過程には、任意の時点 で過程をサンプリングすることによって得られるランダム変数が、 任意の に対して独立ランダム変数であることが要求される 。 [6] : p. 163
n
{\displaystyle n}
t
1
,
…
,
t
n
{\displaystyle t_{1},\ldots ,t_{n}}
n
{\displaystyle n}
正式には、確率過程は 、すべての場合 とすべての場合において独立であると呼ばれます。
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
n
∈
N
{\displaystyle n\in \mathbb {N} }
t
1
,
…
,
t
n
∈
T
{\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}
ここで 、 確率過程の独立性は、確率過程
内の 特性であり、2 つの確率過程間の特性ではありません。
F
X
t
1
,
…
,
X
t
n
(
x
1
,
…
,
x
n
)
=
P
(
X
(
t
1
)
≤
x
1
,
…
,
X
(
t
n
)
≤
x
n
)
{\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X(t_{1})\leq x_{1},\ldots ,X(t_{n})\leq x_{n})}
2つの確率過程について
2つの確率過程の独立性は、同じ確率空間上で定義される2つの確率過程 との 間の性質である 。正式には、2つの確率過程 とが独立であるとは、すべての に対して 、およびすべての に対して 、ランダムベクトル と が 独立している 場合を言う。 [7] : p. 515 すなわち、
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
{
Y
t
}
t
∈
T
{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
{
Y
t
}
t
∈
T
{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}
n
∈
N
{\displaystyle n\in \mathbb {N} }
t
1
,
…
,
t
n
∈
T
{\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}
(
X
(
t
1
)
,
…
,
X
(
t
n
)
)
{\displaystyle (X(t_{1}),\ldots ,X(t_{n}))}
(
Y
(
t
1
)
,
…
,
Y
(
t
n
)
)
{\displaystyle (Y(t_{1}),\ldots ,Y(t_{n}))}
独立σ-代数
上記の定義 ( 式 1 と 式 2 ) は、どちらも σ-代数 の独立性の次の定義によって一般化されます 。 を確率空間とし、 と を の 2 つの部分 σ-代数とします 。 と が独立であるとは 、 と が 次の条件を満たすときを言います 。
(
Ω
,
Σ
,
P
)
{\displaystyle (\Omega ,\Sigma ,\mathrm {P} )}
A
{\displaystyle {\mathcal {A}}}
B
{\displaystyle {\mathcal {B}}}
Σ
{\displaystyle \Sigma }
A
{\displaystyle {\mathcal {A}}}
B
{\displaystyle {\mathcal {B}}}
A
∈
A
{\displaystyle A\in {\mathcal {A}}}
B
∈
B
{\displaystyle B\in {\mathcal {B}}}
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
.
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B).}
同様に、σ-代数の有限族 (ただし、 は 添え 字集合 )は、次の場合に限り独立であると言われる。
(
τ
i
)
i
∈
I
{\displaystyle (\tau _{i})_{i\in I}}
I
{\displaystyle I}
∀
(
A
i
)
i
∈
I
∈
∏
i
∈
I
τ
i
:
P
(
⋂
i
∈
I
A
i
)
=
∏
i
∈
I
P
(
A
i
)
{\displaystyle \forall \left(A_{i}\right)_{i\in I}\in \prod \nolimits _{i\in I}\tau _{i}\ :\ \mathrm {P} \left(\bigcap \nolimits _{i\in I}A_{i}\right)=\prod \nolimits _{i\in I}\mathrm {P} \left(A_{i}\right)}
σ-代数の無限族は、その有限部分族がすべて独立である場合に独立であると言われる。
新しい定義は以前の定義と非常に直接的に関連しています。
2つのイベントが独立である(古い意味で)のは、 それらが生成するσ-代数が独立である(新しい意味で) 場合に限られます 。イベントによって生成されるσ-代数は、定義により、
E
∈
Σ
{\displaystyle E\in \Sigma }
σ
(
{
E
}
)
=
{
∅
,
E
,
Ω
∖
E
,
Ω
}
.
{\displaystyle \sigma (\{E\})=\{\emptyset ,E,\Omega \setminus E,\Omega \}.}
上で定義された 2 つのランダム変数 とが 独立である (古い意味で) のは、それらが生成する σ-代数が独立である (新しい意味で) 場合のみです。ある 測定可能な空間 で値を取るランダム変数によって生成される σ-代数は、定義により、 の任意の測定可能な部分集合である の形式を とる すべて の部分集合から構成されます 。
X
{\displaystyle X}
Y
{\displaystyle Y}
Ω
{\displaystyle \Omega }
X
{\displaystyle X}
S
{\displaystyle S}
Ω
{\displaystyle \Omega }
X
−
1
(
U
)
{\displaystyle X^{-1}(U)}
U
{\displaystyle U}
S
{\displaystyle S}
この定義を使用すると、 と が ランダム変数で が 定数である場合、 と は 独立であることが簡単に示されます。これは、定数ランダム変数によって生成される σ 代数が自明な σ 代数 であるためです 。確率ゼロのイベントは独立性に影響を及ぼさないため、 が Pr のみである場合も独立性が保たれ 、ほぼ確実に 定数になります。
X
{\displaystyle X}
Y
{\displaystyle Y}
Y
{\displaystyle Y}
X
{\displaystyle X}
Y
{\displaystyle Y}
{
∅
,
Ω
}
{\displaystyle \{\varnothing ,\Omega \}}
Y
{\displaystyle Y}
プロパティ
自立
イベントがそれ自身から独立している場合、そしてその場合のみ、
P
(
A
)
=
P
(
A
∩
A
)
=
P
(
A
)
⋅
P
(
A
)
⟺
P
(
A
)
=
0
or
P
(
A
)
=
1.
{\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\iff \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1.}
したがって、ある出来事がほぼ確実に 起こるか、またはその 補事象が ほぼ確実に起こる場合にのみ、ある出来事はそれ自身から独立している。この事実は ゼロ-1法則 を証明するときに役立つ 。 [8]
期待値と共分散
とが統計的に独立した確率変数である 場合 、 期待値演算子は 次の性質を持つ。
X
{\displaystyle X}
Y
{\displaystyle Y}
E
{\displaystyle \operatorname {E} }
E
[
X
n
Y
m
]
=
E
[
X
n
]
E
[
Y
m
]
,
{\displaystyle \operatorname {E} [X^{n}Y^{m}]=\operatorname {E} [X^{n}]\operatorname {E} [Y^{m}],}
[9] : p.10
そして 共分散は ゼロであり、
cov
[
X
,
Y
]
{\displaystyle \operatorname {cov} [X,Y]}
cov
[
X
,
Y
]
=
E
[
X
Y
]
−
E
[
X
]
E
[
Y
]
.
{\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y].}
逆は成り立ちません。2 つのランダム変数の共分散が 0 の場合、それらは依然として独立していない可能性があります。
同様に、2つの確率過程とについて も、 それらが独立であれば、それらは 相関していない 。 [10] :p. 151
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
{
Y
t
}
t
∈
T
{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}
特性関数
2つのランダム変数 とが独立であるのは、 ランダムベクトルの 特性関数が 次を満たす
場合のみである。
X
{\displaystyle X}
Y
{\displaystyle Y}
(
X
,
Y
)
{\displaystyle (X,Y)}
φ
(
X
,
Y
)
(
t
,
s
)
=
φ
X
(
t
)
⋅
φ
Y
(
s
)
.
{\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s).}
特に、それらの合計の特性関数は、それらの限界特性関数の積です。
φ
X
+
Y
(
t
)
=
φ
X
(
t
)
⋅
φ
Y
(
t
)
,
{\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}
ただし、逆の含意は真ではありません。後者の条件を満たすランダム変数は、 準独立と 呼ばれます。
例
サイコロを振る
最初にサイコロを振って 6 が出るという事象と、2 回目に 6 が出るという事象は 独立して います。対照的に、最初にサイコロを振って 6 が出るという事象と、1 回目と 2 回目の試行で出た数字の合計が 8 になるという事象は独立し ていません 。
カードを引く
トランプのデッキから 2 枚のカードを交換して 引く場合 、最初の試行で赤いカードを引くイベントと 2 回目の試行で赤いカードを引くイベントは 独立しています。対照的に、トランプのデッキから 2 枚のカードを交換せ ずに 引く場合 、最初の試行で赤いカードを引くイベントと 2 回目の試行で赤いカードを引くイベントは独立して いません 。これは、赤いカードが除去されたデッキでは赤いカードの数が比例して少なくなるためです。
ペアワイズと相互独立
互いに独立ではないが、一対一で独立しているイベント
相互に独立したイベント
示されている 2 つの確率空間について考えます。どちらの場合も、 およびです 。最初の空間のイベントは 、、、 および のため 、ペアごとに独立していますが、3 つのイベントは相互に独立していません。2 番目の空間のイベントは、ペアごとに独立しており、相互に独立しています。違いを説明するために、2 つのイベントの条件付けを考えます。ペアごとに独立している場合、いずれのイベントも他の 2 つのイベントとは個別に独立していますが、他の 2 つのイベントの交差とは独立していません。
P
(
A
)
=
P
(
B
)
=
1
/
2
{\displaystyle \mathrm {P} (A)=\mathrm {P} (B)=1/2}
P
(
C
)
=
1
/
4
{\displaystyle \mathrm {P} (C)=1/4}
P
(
A
|
B
)
=
P
(
A
|
C
)
=
1
/
2
=
P
(
A
)
{\displaystyle \mathrm {P} (A|B)=\mathrm {P} (A|C)=1/2=\mathrm {P} (A)}
P
(
B
|
A
)
=
P
(
B
|
C
)
=
1
/
2
=
P
(
B
)
{\displaystyle \mathrm {P} (B|A)=\mathrm {P} (B|C)=1/2=\mathrm {P} (B)}
P
(
C
|
A
)
=
P
(
C
|
B
)
=
1
/
4
=
P
(
C
)
{\displaystyle \mathrm {P} (C|A)=\mathrm {P} (C|B)=1/4=\mathrm {P} (C)}
P
(
A
|
B
C
)
=
4
40
4
40
+
1
40
=
4
5
≠
P
(
A
)
{\displaystyle \mathrm {P} (A|BC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (A)}
P
(
B
|
A
C
)
=
4
40
4
40
+
1
40
=
4
5
≠
P
(
B
)
{\displaystyle \mathrm {P} (B|AC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (B)}
P
(
C
|
A
B
)
=
4
40
4
40
+
6
40
=
2
5
≠
P
(
C
)
{\displaystyle \mathrm {P} (C|AB)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {6}{40}}}}={\tfrac {2}{5}}\neq \mathrm {P} (C)}
しかし、相互に独立した場合には、
P
(
A
|
B
C
)
=
1
16
1
16
+
1
16
=
1
2
=
P
(
A
)
{\displaystyle \mathrm {P} (A|BC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (A)}
P
(
B
|
A
C
)
=
1
16
1
16
+
1
16
=
1
2
=
P
(
B
)
{\displaystyle \mathrm {P} (B|AC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (B)}
P
(
C
|
A
B
)
=
1
16
1
16
+
3
16
=
1
4
=
P
(
C
)
{\displaystyle \mathrm {P} (C|AB)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {3}{16}}}}={\tfrac {1}{4}}=\mathrm {P} (C)}
三重独立性はあるが、対独立性はない
3つのイベントの例を作成することができます。
P
(
A
∩
B
∩
C
)
=
P
(
A
)
P
(
B
)
P
(
C
)
,
{\displaystyle \mathrm {P} (A\cap B\cap C)=\mathrm {P} (A)\mathrm {P} (B)\mathrm {P} (C),}
しかし、3つのイベントのうち2つは互いに独立ではありません(したがって、イベントの集合は相互に独立ではありません)。 [11] この例は、相互独立性には、この例のような単一のイベントだけでなく、イベントのすべての組み合わせの確率の積に対する要件が含まれることを示しています。
条件付き独立
イベント用
事象 と事象は、 ある事象が与えられた ときに
条件付きで独立である。
A
{\displaystyle A}
B
{\displaystyle B}
C
{\displaystyle C}
P
(
A
∩
B
∣
C
)
=
P
(
A
∣
C
)
⋅
P
(
B
∣
C
)
{\displaystyle \mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)}
。
ランダム変数の場合
直感的には、が既知 であれば 、 の値が についての追加情報を追加しない限り、2 つのランダム変数 および は 条件付きで独立しています。 たとえば、 同じ基礎量の2 つの測定値 と は 独立していませんが、条件付きで独立しています (2 つの測定値の誤差が何らかの形で関連していない限り)。
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
Z
{\displaystyle Z}
Y
{\displaystyle Y}
X
{\displaystyle X}
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
Z
{\displaystyle Z}
条件付き独立性の正式な定義は、条件付き分布 の考え方に基づいています 。 、、 が 離散確率変数 である場合、次の式が与えられたとき、およびが 条件付き独立である と 定義します 。
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
P
(
X
≤
x
,
Y
≤
y
|
Z
=
z
)
=
P
(
X
≤
x
|
Z
=
z
)
⋅
P
(
Y
≤
y
|
Z
=
z
)
{\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}
であり、 と なる すべての場合においてである 。一方、確率変数が 連続 で、結合 確率密度関数 を持つ場合、およびは 、次の 条件が満たされれば条件付きで独立である 。
x
{\displaystyle x}
y
{\displaystyle y}
z
{\displaystyle z}
P
(
Z
=
z
)
>
0
{\displaystyle \mathrm {P} (Z=z)>0}
f
X
Y
Z
(
x
,
y
,
z
)
{\displaystyle f_{XYZ}(x,y,z)}
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
f
X
Y
|
Z
(
x
,
y
|
z
)
=
f
X
|
Z
(
x
|
z
)
⋅
f
Y
|
Z
(
y
|
z
)
{\displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)}
すべての実数 に対して 、となり 、 となります 。
x
{\displaystyle x}
y
{\displaystyle y}
z
{\displaystyle z}
f
Z
(
z
)
>
0
{\displaystyle f_{Z}(z)>0}
離散的 と が条件付きで独立である場合 、
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
P
(
X
=
x
|
Y
=
y
,
Z
=
z
)
=
P
(
X
=
x
|
Z
=
z
)
{\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}
任意の に対して 、 であり、 である 。つまり、 および が与えられた場合の条件付き分布は 、のみ が与えられた場合と同じである 。連続の場合の条件付き確率密度関数についても同様の式が成り立つ。
x
{\displaystyle x}
y
{\displaystyle y}
z
{\displaystyle z}
P
(
Z
=
z
)
>
0
{\displaystyle \mathrm {P} (Z=z)>0}
X
{\displaystyle X}
Y
{\displaystyle Y}
Z
{\displaystyle Z}
Z
{\displaystyle Z}
確率は、いかなるイベントも発生しない条件付き確率の一種と見ることができるため、独立性は、条件付き独立性の特別な種類と見ることができます。
歴史
1933 年以前は、確率論における独立性は言葉で定義されていました。たとえば、 ド・モアブルは 次のように定義しました。「2 つのイベントが独立しているとは、それらのイベントが互いに関連しておらず、一方のイベントの発生がもう一方のイベントの発生を促進したり妨げたりしないことを意味します。」 [12] n 個の独立したイベントがある場合、それらすべてが発生する確率は、これらの n 個のイベントの確率の積として計算されました。どうやら、この式は上記の定義の結果であるという確信があったようです。(これは乗法定理と呼ばれることもあります)。もちろん、彼の主張の証明は、さらにより正式な暗黙の仮定なしには機能しません。
この論文で示された独立性の定義は、1933年にコルモゴロフの確率の公理化の一部として登場して以来、標準的な定義(現在ではすべての書籍で使用されている)となった。 [13] コルモゴロフはこれを SNバーンスタイン に帰し 、1927年にロシア語で出版された出版物を引用した。 [14]
残念ながら、ベルンシュタインとコルモゴロフはどちらもゲオルク・ボルマン の研究を知らなかった 。ボルマンは1901年に2つのイベントに対して同じ定義を与えていた [15]。 また1908年にはn個のイベントに対しても同じ定義を与えていた [16]。 後者の論文では、彼は自分の概念を詳細に研究した。例えば、彼はペアワイズ独立性が相互独立性を意味しないことを示す最初の例を示した。今日でも、ボルマンの名が引用されることはめったにない。彼の研究についての詳細は、 ウルリッヒ・クレンゲルの「 ゲオルク・ボルマンの確率論への貢献について」 [17]で見ることができる。
参照
参考文献
^ ラッセル、スチュアート、ノーヴィグ、ピーター (2002)。 人工知能:現代的アプローチ 。 プレンティスホール 。p. 478。ISBN 0-13-790395-2 。
^ ab フロレスク、イオナット (2014). 確率と確率過程 。ワイリー。 ISBN 978-0-470-62455-5 。
^ abcd Gallager, Robert G. (2013). 確率過程理論の応用 . ケンブリッジ大学出版局. ISBN 978-1-107-03975-9 。
^ ab Feller, W (1971). 「確率的独立性」. 確率理論とその応用入門 . Wiley .
^ パプーリス、アタナシオス(1991)。 確率、ランダム変数、確率過程 。MCGraw Hill。ISBN 0-07-048477-5 。
^ Hwei, Piao (1997). 確率、ランダム変数、ランダムプロセスの理論と問題 . McGraw-Hill. ISBN 0-07-030644-3 。
^ アモス・ラピドス(2017年2月8日)。デジタルコミュニケーションの基礎。ケンブリッジ大学出版局 。ISBN 978-1-107-17732-1 。
^ Durrett, Richard (1996). 確率:理論と例 (第2版)。 62ページ
^ E Jakeman. 散乱波の変動のモデル化 . ISBN 978-0-7503-1005-5 。
^ Park, Kun Il (2018). 確率過程の基礎と通信への応用 . Springer. ISBN 978-3-319-68074-3 。
^ ジョージ、グリン、「3 つのイベントの独立性のテスト」、 Mathematical Gazette 88、2004 年 11 月、568 ページ。PDF
^ 引用元: Grinstead と Snell の「確率入門」。CHANCE プロジェクト。2006 年 7 月 4 日版。
^ コルモゴロフ、アンドレイ (1933)。 Grundbegriffe der Wahrscheinlichkeitsrechnung (ドイツ語)。ベルリン: Julius Springer翻訳: Kolmogorov、Andrey (1956)。翻訳:確率論の基礎 (第 2 版)。ニューヨーク:チェルシー。 ISBN 978-0-8284-0023-7。
^ SN バーンスタイン 、確率論(ロシア語)、モスクワ、1927年(4版、最新版1946年)
^ Georg Bohlmann : Lebensversicherungsmathematik、Encyklop¨adie der mathematischen Wissenschaften、Bd I、Teil 2、Artikel ID 4b (1901)、852–917
^ Georg Bohlmann : Die Grundbegriffe der Wahrscheinlichkeitsrechnung in ihrer Anwendung auf die Lebensversichrung, Atti del IV.会議内部。デイ・マテム。ロム、Bd. III (1908)、244–278。
^ de:Ulrich Krengel: 確率論に対する Georg Bohlmann の貢献について (PDF; 6.4 MB)、確率と統計の歴史に関する電子ジャーナル、2011 年。
外部リンク
ウィキメディア・コモンズの独立性(確率論)に関連するメディア