確率分布の種類
同じ 確率空間 上で定義された2つの ランダム変数 [1] を考えると、 結合 確率分布は 、すべての可能な出力ペアにおける対応する 確率分布 です。結合分布は、ランダム変数の任意の数に対して同様に考えることができます。結合分布は、 周辺分布 、つまり個々のランダム変数のそれぞれの分布と、 1つのランダム変数の出力が他のランダム変数の出力に関する情報が与えられたときにどのように分布するかを扱う条件付き
確率分布をエンコードします。
測度論 の正式な数学的設定では 、結合分布は、標本空間の 確率測度の プッシュフォワード測度 、つまり、与えられたランダム変数をペアにして得られるマップによって与えられます 。
実数値ランダム変数の場合、特定の 多変量 分布としての結合分布は、多変量 累積分布関数 、または多変量 確率密度関数 と多変量 確率質量関数の組み合わせによって表すことができます。 連続ランダム変数 の特殊なケースでは、確率密度関数を考慮するだけで十分であり、 離散ランダム変数 の場合は 、確率質量関数を考慮するだけで十分です。
例
壷から汲み出す 2 つの壷にはそれぞれ、赤いボールが青いボールの 2 倍入っており、他のボールは入っていない。各壷から 1 つのボールがランダムに選ばれ、2 回の抽選は互いに独立している。 と を 、 それぞれ最初の壷と 2 番目の壷からの抽選結果に関連付けられた離散確率変数とする。いずれかの壷から赤いボールが抽選される確率は 2/3、青いボールが抽選される確率は 1/3 である。結合確率分布は次の表に示されています。
A
{\displaystyle A}
B
{\displaystyle B}
内側の 4 つのセルはそれぞれ、2 つの抽選から得られる特定の組み合わせの結果の確率を示しています。これらの確率は結合分布です。どのセルでも、特定の組み合わせが発生する確率は (抽選は独立しているため) A の特定の結果の確率と B の特定の結果の確率の積です。すべての確率分布と同様に、これら 4 つのセルの確率の合計は 1 になります。
さらに、最後の行と最後の列は、それぞれ A の 周辺確率分布 と B の周辺確率分布を示します。たとえば、A の場合、これらのセルの最初のセルは、セルの上の列の B のどの可能性が発生するかに関係なく、A が赤になる確率の合計を 2/3 として示します。したがって、の周辺確率分布は、 表の余白に、
を 条件 としない の 確率を示します。
A
{\displaystyle A}
A
{\displaystyle A}
B
{\displaystyle B}
コイントス 2枚の公平なコイン を投げることを考えてみましょう 。と を それぞれ1回目と2回目のコイン投げの結果に関連付けられた離散的な確率変数とします。各コイン投げはベルヌーイ試行であり 、 ベルヌーイ 分布に従います 。 コインが「表」になった場合、関連付けられた確率変数は値1を取り、そうでない場合は値0を取ります。これらの結果の確率はそれぞれ1/2であるため、限界（無条件）密度関数は次のようになります。
A
{\displaystyle A}
B
{\displaystyle B}
P
(
A
)
=
1
/
2
for
A
∈
{
0
,
1
}
;
{\displaystyle P(A)=1/2\quad {\text{for}}\quad A\in \{0,1\};}
P
(
B
)
=
1
/
2
for
B
∈
{
0
,
1
}
.
{\displaystyle P(B)=1/2\quad {\text{for}}\quad B\in \{0,1\}.}
と の結合確率質量関数は 、 各結果のペアの確率を定義します。すべての可能な結果は
A
{\displaystyle A}
B
{\displaystyle B}
(
A
=
0
,
B
=
0
)
,
(
A
=
0
,
B
=
1
)
,
(
A
=
1
,
B
=
0
)
,
(
A
=
1
,
B
=
1
)
.
{\displaystyle (A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1).}
それぞれの結果が等しく起こり得るので、結合確率質量関数は
P
(
A
,
B
)
=
1
/
4
for
A
,
B
∈
{
0
,
1
}
.
{\displaystyle P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.}
コイン投げは独立しているので、結合確率質量関数は周辺値の積になります。
P
(
A
,
B
)
=
P
(
A
)
P
(
B
)
for
A
,
B
∈
{
0
,
1
}
.
{\displaystyle P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.}
サイコロを振る 公平なサイコロを振って 、 その 数が偶数 (つまり 2、4、または 6) の場合は 、そうでない場合は とします。さらに、 その数が素数 (つまり 2、3、または 5) の場合は 、そうでない場合は とします 。
A
=
1
{\displaystyle A=1}
A
=
0
{\displaystyle A=0}
B
=
1
{\displaystyle B=1}
B
=
0
{\displaystyle B=0}
すると、と の結合分布は 確率質量関数として表され、
A
{\displaystyle A}
B
{\displaystyle B}
P
(
A
=
0
,
B
=
0
)
=
P
{
1
}
=
1
6
,
P
(
A
=
1
,
B
=
0
)
=
P
{
4
,
6
}
=
2
6
,
{\displaystyle \mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\quad \quad \mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},}
P
(
A
=
0
,
B
=
1
)
=
P
{
3
,
5
}
=
2
6
,
P
(
A
=
1
,
B
=
1
)
=
P
{
2
}
=
1
6
.
{\displaystyle \mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\quad \quad \mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.}
と の組み合わせが 発生 する確率 は 1 なので、これらの確率の合計は必然的に 1 になります。
A
{\displaystyle A}
B
{\displaystyle B}
周辺確率分布 ランダムな実験で複数のランダム変数が定義されている場合、X と Y の結合確率分布と各変数の個別の確率分布を区別することが重要です。ランダム変数の個々の確率分布は、その周辺確率分布と呼ばれます。一般に、X の周辺確率分布は、X と他のランダム変数の結合確率分布から決定できます。
ランダム変数 X と Y の結合確率密度関数が である場合 、 周辺分布 を定義する X と Y の周辺確率密度関数は 次のように表されます。
f
X
,
Y
(
x
,
y
)
{\displaystyle f_{X,Y}(x,y)}
f
X
(
x
)
=
∫
f
X
,
Y
(
x
,
y
)
d
y
{\displaystyle f_{X}(x)=\int f_{X,Y}(x,y)\;dy}
f
Y
(
y
)
=
∫
f
X
,
Y
(
x
,
y
)
d
x
{\displaystyle f_{Y}(y)=\int f_{X,Y}(x,y)\;dx}
ここで、最初の積分はX=xとなる(X,Y)の範囲のすべての点についてであり、2番目の積分はY=yとなる(X,Y)の範囲のすべての点についてである。 [2]
結合累積分布関数 2つの確率変数の 結合累積分布関数（CDF）は [3] で与えられる ：p. 89
X
,
Y
{\displaystyle X,Y}
F
X
,
Y
{\displaystyle F_{X,Y}}
ここで、右側の項は、 ランダム変数が 以下の値を取る 確率 と、 が以下の値を取る 確率を表します 。
X
{\displaystyle X}
x
{\displaystyle x}
Y
{\displaystyle Y}
y
{\displaystyle y}
ランダム変数 の場合 、結合CDFは 次のように与えられる。
N
{\displaystyle N}
X
1
,
…
,
X
N
{\displaystyle X_{1},\ldots ,X_{N}}
F
X
1
,
…
,
X
N
{\displaystyle F_{X_{1},\ldots ,X_{N}}}
ランダム変数をランダムベクトル として 解釈すると 、より短い表記が得られます。
N
{\displaystyle N}
X
=
(
X
1
,
…
,
X
N
)
T
{\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{N})^{T}}
F
X
(
x
)
=
P
(
X
1
≤
x
1
,
…
,
X
N
≤
x
N
)
{\displaystyle F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}
結合密度関数または質量関数
離散ケース 2 つの離散ランダム変数 の 結合 確率質量関数は 次のようになります。
X
,
Y
{\displaystyle X,Y}
または条件付き分布で記述される
p
X
,
Y
(
x
,
y
)
=
P
(
Y
=
y
∣
X
=
x
)
⋅
P
(
X
=
x
)
=
P
(
X
=
x
∣
Y
=
y
)
⋅
P
(
Y
=
y
)
{\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}
ここで、 の 確率 はであると仮定した場合 です 。
P
(
Y
=
y
∣
X
=
x
)
{\displaystyle \mathrm {P} (Y=y\mid X=x)}
Y
=
y
{\displaystyle Y=y}
X
=
x
{\displaystyle X=x}
前述の 2 変数の場合を一般化すると、離散ランダム変数 の結合確率分布は 次のようになります。
n
{\displaystyle n\,}
X
1
,
X
2
,
…
,
X
n
{\displaystyle X_{1},X_{2},\dots ,X_{n}}
または同等
p
X
1
,
…
,
X
n
(
x
1
,
…
,
x
n
)
=
P
(
X
1
=
x
1
)
⋅
P
(
X
2
=
x
2
∣
X
1
=
x
1
)
⋅
P
(
X
3
=
x
3
∣
X
1
=
x
1
,
X
2
=
x
2
)
…
⋅
P
(
X
n
=
x
n
∣
X
1
=
x
1
,
X
2
=
x
2
,
…
,
X
n
−
1
=
x
n
−
1
)
.
{\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})&=\mathrm {P} (X_{1}=x_{1})\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\dots \\&\cdot P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}
。 この恒等式は 確率の連鎖律 として知られています。
これらは確率なので、2変数の場合
∑
i
∑
j
P
(
X
=
x
i
a
n
d
Y
=
y
j
)
=
1
,
{\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}
これは 離散確率変数に対して一般化される 。
n
{\displaystyle n\,}
X
1
,
X
2
,
…
,
X
n
{\displaystyle X_{1},X_{2},\dots ,X_{n}}
∑
i
∑
j
…
∑
k
P
(
X
1
=
x
1
i
,
X
2
=
x
2
j
,
…
,
X
n
=
x
n
k
)
=
1.
{\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}
連続ケース 2つの連続ランダム変数 の 結合 確率密度関数は 、 結合累積分布関数の導関数として定義されます（ 式1 を参照）。
f
X
,
Y
(
x
,
y
)
{\displaystyle f_{X,Y}(x,y)}
これは次と等しい:
f
X
,
Y
(
x
,
y
)
=
f
Y
∣
X
(
y
∣
x
)
f
X
(
x
)
=
f
X
∣
Y
(
x
∣
y
)
f
Y
(
y
)
{\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}
ここで 、およびはそれぞれ 与えられた および の 条件 付き分布 であり 、 およびはそれぞれ および の 周辺分布 です 。
f
Y
∣
X
(
y
∣
x
)
{\displaystyle f_{Y\mid X}(y\mid x)}
f
X
∣
Y
(
x
∣
y
)
{\displaystyle f_{X\mid Y}(x\mid y)}
Y
{\displaystyle Y}
X
=
x
{\displaystyle X=x}
X
{\displaystyle X}
Y
=
y
{\displaystyle Y=y}
f
X
(
x
)
{\displaystyle f_{X}(x)}
f
Y
(
y
)
{\displaystyle f_{Y}(y)}
X
{\displaystyle X}
Y
{\displaystyle Y}
この定義は、2 つ以上のランダム変数に自然に拡張されます。
繰り返しますが、これらは確率分布なので、
∫
x
∫
y
f
X
,
Y
(
x
,
y
)
d
y
d
x
=
1
{\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}
それぞれ
∫
x
1
…
∫
x
n
f
X
1
,
…
,
X
n
(
x
1
,
…
,
x
n
)
d
x
n
…
d
x
1
=
1
{\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}
大文字と小文字が混在 「混合結合密度」は、1つ以上のランダム変数が連続で、他のランダム変数が離散である場合に定義されます。各タイプの1つの変数で
f
X
,
Y
(
x
,
y
)
=
f
X
∣
Y
(
x
∣
y
)
P
(
Y
=
y
)
=
P
(
Y
=
y
∣
X
=
x
)
f
X
(
x
)
.
{\displaystyle {\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).\end{aligned}}}
連続するランダム変数と離散的なランダム変数の累積分布を求める状況の一例として、連続分布する 結果の値に条件付けられたバイナリ結果 Y の確率を ロジスティック回帰を 使用して予測する場合が挙げられます。このバイナリ結果の累積分布を求める場合、「混合」結合密度を使用する 必要があります 。これは、入力変数が 最初に定義された方法では、確率密度関数または確率質量関数のいずれかをまとめて割り当てることができなかったためです。正式には、は、 および の それぞれの サポート上の 積測度 に関する の確率密度関数です 。これらの 2 つの分解のいずれかを使用して、結合累積分布関数を復元できます。
X
{\displaystyle X}
(
X
,
Y
)
{\displaystyle (X,Y)}
f
X
,
Y
(
x
,
y
)
{\displaystyle f_{X,Y}(x,y)}
(
X
,
Y
)
{\displaystyle (X,Y)}
X
{\displaystyle X}
Y
{\displaystyle Y}
F
X
,
Y
(
x
,
y
)
=
∑
t
≤
y
∫
s
=
−
∞
x
f
X
,
Y
(
s
,
t
)
d
s
.
{\displaystyle {\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds.\end{aligned}}}
この定義は、任意の数の離散ランダム変数と連続ランダム変数の混合に一般化されます。
追加のプロパティ
独立変数の結合分布 一般に、2つの確率変数 とが 独立で ある のは、累積分布関数が次式を満たす場合のみで
ある。
X
{\displaystyle X}
Y
{\displaystyle Y}
F
X
,
Y
(
x
,
y
)
=
F
X
(
x
)
⋅
F
Y
(
y
)
{\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}
2つの離散確率変数 とが 独立であるのは、結合確率質量関数が次を満たす場合のみである。
X
{\displaystyle X}
Y
{\displaystyle Y}
P
(
X
=
x
and
Y
=
y
)
=
P
(
X
=
x
)
⋅
P
(
Y
=
y
)
{\displaystyle P(X=x\ {\mbox{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}
すべて およびについて 。
x
{\displaystyle x}
y
{\displaystyle y}
独立したランダム イベントの数が増加すると、負の指数法則に従って、関連する結合確率の値は急速にゼロまで減少します。
同様に、2つの絶対連続確率変数が独立であるのは、
f
X
,
Y
(
x
,
y
)
=
f
X
(
x
)
⋅
f
Y
(
y
)
{\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}
すべての およびに対してです 。これは、1 つ以上のランダム変数の値に関する情報を取得すると、他の変数の条件付き分布がその無条件 (周辺) 分布と同一になることを意味します。したがって、どの変数も他の変数に関する情報を提供しません。
x
{\displaystyle x}
y
{\displaystyle y}
条件付き従属変数の結合分布 変数の サブセットが、これらの変数の 別のサブセットを与えられた場合に 条件付き従属で ある場合 、結合分布の確率質量関数は です 。 は に等しくなります 。したがって、これは低次元の確率分布 およびによって効率的に表すことができます。 このような条件付き独立関係は、 ベイジアン ネットワーク または コピュラ関数 で表すことができます 。
A
{\displaystyle A}
X
1
,
⋯
,
X
n
{\displaystyle X_{1},\cdots ,X_{n}}
B
{\displaystyle B}
P
(
X
1
,
…
,
X
n
)
{\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}
P
(
X
1
,
…
,
X
n
)
{\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}
P
(
B
)
⋅
P
(
A
∣
B
)
{\displaystyle P(B)\cdot P(A\mid B)}
P
(
B
)
{\displaystyle P(B)}
P
(
A
∣
B
)
{\displaystyle P(A\mid B)}
共分散 2 つ以上のランダム変数が確率空間で定義されている場合、それらがどのように一緒に変化するかを説明すると便利です。つまり、変数間の関係を測定すると便利です。2 つのランダム変数の関係の一般的な尺度は共分散です。共分散は、ランダム変数間の線形関係の尺度です。ランダム変数間の関係が非線形の場合、共分散は関係に敏感ではない可能性があります。つまり、2 つの変数間の相関関係を関連付けません。
ランダム変数 と間の共分散 は [4]
X
{\displaystyle X}
Y
{\displaystyle Y}
cov
(
X
,
Y
)
=
σ
X
Y
=
E
[
(
X
−
μ
x
)
(
Y
−
μ
y
)
]
=
E
(
X
Y
)
−
μ
x
μ
y
.
{\displaystyle \operatorname {cov} (X,Y)=\sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)-\mu _{x}\mu _{y}.}
相関 2 つのランダム変数間の関係を測る別の尺度があり、これは共分散よりも解釈しやすいことがよくあります。
相関は、各変数の標準偏差の積で共分散をスケールするだけです。したがって、相関は、異なる単位の変数のペア間の線形関係を比較するために使用できる無次元量です。X と Y の結合確率分布で正の確率を受け取るポイントが正の (または負の) 傾斜の線に沿って降る傾向がある場合、ρ XY は +1 (または -1) に近くなります。ρ XY が +1 または -1 に等しい場合、結合確率分布で正の確率を受け取るポイントが正確に直線に沿って降ることがわかります。相関がゼロでない 2 つのランダム変数は相関していると言われます。共分散と同様に、相関はランダム変数間の線形関係の尺度です。
ランダム変数と 相関係数 は
X
{\displaystyle X}
Y
{\displaystyle Y}
ρ
X
Y
=
cov
(
X
,
Y
)
V
(
X
)
V
(
Y
)
=
σ
X
Y
σ
X
σ
Y
.
{\displaystyle \rho _{XY}={\frac {\operatorname {cov} (X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}.}
重要な名前付き分布 統計学で頻繁に登場する名前付きの結合分布には 、 多変量正規分布、 多変量安定分布 、 多項分布 、 負の多項分布 、 多変量超幾何分布 、 楕円分布 などがあります。
参照
参考文献
^フェラー 、 ウィリアム（1957）。 確率論とその応用入門、第1巻、第3版 。pp.217-218。ISBN 978-0471257080 。 ^ モンゴメリー、ダグラス C. (2013 年 11 月 19 日)。 エンジニアのための応用統計と確率 。ランガー、ジョージ C. (第 6 版)。ホーボーケン、ニュージャージー 。ISBN 978-1-118-53971-2 . OCLC 861273897. {{cite book}}: CS1 maint: location missing publisher (link)^ Park,Kun Il (2018). 確率過程の基礎と通信への応用 . Springer. ISBN 978-3-319-68074-3 。 ^ モンゴメリー、ダグラス C. (2013 年 11 月 19 日)。 エンジニアのための応用統計と確率 。ランガー、ジョージ C. (第 6 版)。ホーボーケン、ニュージャージー 。ISBN 978-1-118-53971-2 . OCLC 861273897. {{cite book}}: CS1 maint: location missing publisher (link)
外部リンク
![{\displaystyle \operatorname {cov} (X,Y)=\sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)- \mu _{x}\mu _{y}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2d22a93d6af9e83a01921baf2a43a908c133f0c6)
