同時確率分布

2つの壺それぞれに、青いボールの2倍の数の赤いボールが入っており、他の色のボールは入っていない。各壺から1つのボールがランダムに選ばれ、2回の抽選は互いに独立している。${\displaystyle A}$そして${\displaystyle B}$は、それぞれ最初の壺と2番目の壺からの抽選結果に関連する離散確率変数です。どちらかの壺から赤いボールを引く確率は 2/3 、青いボールを引く確率は 1/3 です。同時確率分布は次の表に示されています。

内側の4つのセルはそれぞれ、2回の抽選で得られる特定の結果の組み合わせの確率を示しています。これらの確率は同時分布です。どのセルにおいても、特定の組み合わせが発生する確率は（抽選は独立しているため）、Aで指定された結果が発生する確率とBで指定された結果が発生する確率の積になります。すべての確率分布と同様に、これら4つのセルの確率の合計は1になります。

さらに、最終行と最終列は、それぞれAの周辺確率分布とBの周辺確率分布を示します。たとえば、Aの場合、これらのセルの最初のセルは、セルの上の列のBのどの可能性が発生するかに関係なく、Aが赤になる確率の合計を 2/3 と示します。したがって、 Aの周辺確率分布は、${\displaystyle A}$与える${\displaystyle A}$の確率は無条件で${\displaystyle B}$表の余白に。

2枚の公平なコインを投げることを考えてみましょう。${\displaystyle A}$そして${\displaystyle B}$は、それぞれ最初のコイン投げと2回目のコイン投げの結果に関連付けられた離散確率変数です。各コイン投げはベルヌーイ試行であり、ベルヌーイ分布に従います。コインが「表」を示した場合、関連する確率変数は値1を取り、それ以外の場合は値0を取ります。これらの結果のそれぞれの確率は 1/2 なので、周辺（無条件）密度関数は次のようになります。

$${\displaystyle {\begin{aligned}P(A)&=1/2\quad {\text{for}}\quad A\in \{0,1\};\\P(B)&=1/2\quad {\text{for}}\quad B\in \{0,1\}.\end{aligned}}}$$

結合確率質量関数${\displaystyle A}$そして${\displaystyle B}$各結果のペアの確率を定義します。すべての可能な結果は $${\displaystyle (A,B)\in \{(0,0),(0,1),(1,0),(1,1)\}.}$$ 各結果が等確率であるため、同時確率質量関数は次のようになります。 $${\displaystyle P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.}$$

コイン投げは独立であるため、同時確率質量関数は周辺確率の積となる。 $${\displaystyle P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.}$$

公平なサイコロを振って、${\displaystyle A=1}$数が偶数（つまり2、4、または6）で、${\displaystyle A=0}$そうでなければ。さらに、${\displaystyle B=1}$数が素数（つまり2、3、または5）で、${\displaystyle B=0}$さもないと。

次に、${\displaystyle A}$そして${\displaystyle B}$確率質量関数として表すと、 $${\displaystyle {\begin{aligned}\mathrm {P} (A=0,B=0)&=P\{1\}={\frac {1}{6}},&\mathrm {P} (A=1,B=0)&=P\{4,6\}={\frac {2}{6}},\\\mathrm {P} (A=0,B=1)&=P\{3,5\}={\frac {2}{6}},&\mathrm {P} (A=1,B=1)&=P\{2\}={\frac {1}{6}}.\end{aligned}}}$$

これらの確率は、ある組み合わせの確率が必然的に 1 になるため、合計すると 1 になります。${\displaystyle A}$そして${\displaystyle B}$発生している数は1です。

2つの離散確率変数の同時確率質量関数${\displaystyle X,Y}$は：

または条件付き分布の観点から記述する $${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$$ どこ${\displaystyle \mathrm {P} (Y=y\mid X=x)}$確率は​${\displaystyle Y=y}$とすれば${\displaystyle X=x}$。

前述の2変数ケースの一般化は、次の同時確率分布である。${\displaystyle n}$離散確率変数${\displaystyle X_{1},X_{2},\dots ,X_{n}}$それは次のとおりです。

または同等に

$${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})={}&\mathrm {P} (X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\cdots \\&\cdot \mathrm {P} (X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$$

この等式は確率の連鎖律として知られています。

これらは確率なので、2変数の場合

$${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}$$ これは、${\displaystyle n\,}$離散確率変数${\displaystyle X_{1},X_{2},\dots ,X_{n}}$に

$${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$$

同時確率密度関数${\displaystyle f_{X,Y}(x,y)}$2 つの連続確率変数については、同時累積分布関数の導関数として定義されます (式 1 を参照)。

これは以下と同等です。 $${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$$

どこ${\displaystyle f_{Y\mid X}(y\mid x)}$そして${\displaystyle f_{X\mid Y}(x\mid y)}$は条件付き分布である${\displaystyle Y}$与えられた${\displaystyle X=x}$そして${\displaystyle X}$与えられた${\displaystyle Y=y}$それぞれ、${\displaystyle f_{X}(x)}$そして${\displaystyle f_{Y}(y)}$周辺分布は${\displaystyle X}$そして${\displaystyle Y}$それぞれ。

この定義は、2つ以上の確率変数にも自然に拡張できる。

繰り返しますが、これらは確率分布なので、 $${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$$ それぞれ $${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$$

「混合同時密度」は、1つ以上の確率変数が連続であり、他の確率変数が離散である場合に定義できます。各タイプの変数が1つずつある場合 $${\displaystyle f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).}$$ 連続的な確率変数と離散的な確率変数の累積分布を求める必要がある状況の一例として、連続分布する結果の値に基づいて二値結果Yの確率を予測するためにロジスティック回帰を使用したい場合が挙げられる。${\displaystyle X}$この二値結果の累積分布を求める際には、「混合」同時密度を使用する必要がある。なぜなら、入力変数が${\displaystyle (X,Y)}$当初は、確率密度関数または確率質量関数をまとめて割り当てることができないような形で定義されていた。正式には、${\displaystyle f_{X,Y}(x,y)}$は確率密度関数である${\displaystyle (X,Y)}$それぞれのサポートにおける製品測定に関して${\displaystyle X}$そして${\displaystyle Y}$これらの2つの分解方法のいずれかを使用して、同時累積分布関数を復元することができます。 $${\displaystyle F_{X,Y}(x,y)=\sum _{t\leq y}\int _{-\infty }^{x}f_{X,Y}(s,t)\;ds.}$$ この定義は、任意の数の離散型および連続型確率変数の混合にも一般化できる。

一般に2つの確率変数${\displaystyle X}$そして${\displaystyle Y}$は、結合累積分布関数が以下の条件を満たす場合に限り 独立である。$${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$$

2つの離散確率変数${\displaystyle X}$そして${\displaystyle Y}$は、結合確率質量関数が以下の条件を満たす場合に限り独立である。 $${\displaystyle P(X=x\ {\text{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$$ すべての人々のために${\displaystyle x}$そして${\displaystyle y}$。

独立したランダムな事象の数が増加するにつれて、関連する同時確率の値は負の指数法則に従って急速にゼロに減少する。

同様に、2 つの絶対連続確率変数が独立であるのは、 $${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$$ すべての人々のために${\displaystyle x}$そして${\displaystyle y}$これは、1つまたは複数の確率変数の値に関する情報を取得すると、他の変数の条件付き分布がその無条件（周辺）分布と同一になることを意味します。したがって、どの変数も他の変数に関する情報を提供しません。

部分集合の場合${\displaystyle A}$変数の${\displaystyle X_{1},\cdots ,X_{n}}$別の部分集合が与えられた場合に条件付きで依存する${\displaystyle B}$これらの変数の同時分布の確率質量関数は次のようになります。${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$。${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$に等しい${\displaystyle P(B)\cdot P(A\mid B)}$したがって、より低次元の確率分布によって効率的に表現することができる。${\displaystyle P(B)}$そして${\displaystyle P(A\mid B)}$このような条件付き独立関係は、ベイジアンネットワークまたはコピュラ関数で表現できます。

確率空間上で2つ以上の確率変数が定義されている場合、それらがどのように連動して変化するかを記述することが有用です。つまり、変数間の関係を測定することが有用です。2つの確率変数間の関係を測る一般的な尺度は共分散です。共分散は、確率変数間の線形関係の尺度です。確率変数間の関係が非線形である場合、共分散はその関係に敏感ではない可能性があり、つまり、2つの変数間の相関関係を表さない可能性があります。

確率変数間の共分散${\displaystyle X}$そして${\displaystyle Y}$[ ^{2 ]​}$${\displaystyle \operatorname {cov} (X,Y)=\sigma _{XY}=\operatorname {E} \left[(X-\mu _{x})(Y-\mu _{y})\right]=\operatorname {E} (XY)-\mu _{x}\mu _{y}.}$$

2つの確率変数間の関係を示す別の指標があり、それは共分散よりも解釈しやすい場合が多い。

相関は、共分散を各変数の標準偏差の積でスケーリングするだけです。したがって、相関は無次元量であり、異なる単位の変数のペア間の線形関係を比較するために使用できます。X と Y の同時確率分布で正の確率を受け取る点が正 (または負) の傾きの直線に沿って分布する傾向がある場合、ρ _{XY は}+1 (または −1) に近い値になります。ρ _XYが +1 または −1 に等しい場合、同時確率分布で正の確率を受け取る点が正確に直線に沿って分布することが示されます。相関がゼロでない 2 つの確率変数は相関していると言われます。共分散と同様に、相関は確率変数間の線形関係の尺度です。

ランダム変数間の相関係数${\displaystyle X}$そして${\displaystyle Y}$は $${\displaystyle \rho _{XY}={\frac {\operatorname {cov} (X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}.}$$