正規分布に関する誤解

統計学や確率論 を学ぶ学生は、正規分布について誤解することがあります。それはもっともらしく思えるかもしれませんが、数学的には正しくありません。たとえば、2つの線形相関のない正規分布のランダム変数は統計的に独立しているに違いないと誤解されることがあります。しかし、これは反例で証明できるように誤りです。同様に、正規分布のランダム変数の線形結合はそれ自体が正規分布すると誤解されることがあります。しかし、これも反例で誤りであることが証明されます。^{[1] [2]}

ランダム変数のペアが二変量正規分布に従うということは、定数（つまりランダムではない）係数および（両方ともゼロではない）に対するおよびのすべての線形結合が一変量正規分布に従うことを意味します。その場合、と が無相関であれば、それらは独立しています。^[3]ただし、2 つのランダム変数とが、それぞれ単独では限界正規分布になるように一緒に分布し、無相関であっても独立ではない 可能性があります。以下に例を示します。${\displaystyle (X,Y)}$ ${\displaystyle aX+bY}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle a}$${\displaystyle b}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$

が期待値0 で分散 1 の正規分布に従うと仮定します。 がラーデマッハ分布に従うと仮定し、または がそれぞれ確率 1/2 で発生すると仮定し、 がから独立していると仮定します。とは無相関であり、そのことは共分散を計算することで確認できます。さらに、どちらも同じ正規分布に従います。しかし、と は独立ではありません。^{[4] [1] [5]}${\displaystyle X}$${\displaystyle W}$${\displaystyle W=1}$${\displaystyle W=-1}$${\displaystyle W}$${\displaystyle X}$${\displaystyle Y=WX}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$

と が独立していないことを確認するには、または を観察します。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle |Y|=|X|}$${\displaystyle \operatorname {Pr} (Y>1|-1/2<X<1/2)=\operatorname {Pr} (X>1|-1/2<X<1/2)=0}$

最後に、単純な線形結合の分布は、正の確率を0に集中させます。したがって、ランダム変数は正規分布しておらず、したがって、とも（上記の定義により）一緒に正規分布しません。^[4]${\displaystyle X+Y}$${\displaystyle \operatorname {Pr} (X+Y=0)=1/2}$${\displaystyle X+Y}$${\displaystyle X}$${\displaystyle Y}$

が期待値0 で分散 1 の正規分布に従うと仮定します。 が以下で指定する正の数で あるとします。が非常に小さい場合、相関はに近くなり、 が非常に大きい場合、 は1 に近くなります。 相関はの連続関数であるため、中間値定理はの特定の値が存在し、相関が 0 になることを意味します。その値はおよそ 1.54 です。^{[2] [注 1]} その場合、と は相関がありませんが、 が完全に を決定するため、明らかに独立ではありません。 ${\displaystyle X}$$${\displaystyle Y=\left\{{\begin{matrix}X&{\text{if }}\left|X\right|\leq c\\-X&{\text{if }}\left|X\right|>c\end{matrix}}\right.}$$${\displaystyle c}$${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$${\displaystyle -1}$${\displaystyle c}$${\displaystyle \operatorname {corr} (X,Y)}$${\displaystyle c}$${\displaystyle c}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$

が正規分布していることを確認するには、その分布がの分布と同じであることを確認するために、累積分布関数を計算することができる。^[6]${\displaystyle Y}$${\displaystyle X}$ $${\displaystyle {\begin{aligned}\Pr(Y\leq x)&=\Pr(\{|X|\leq c{\text{ かつ }}X\leq x\}{\text{ または }}\{|X|>c{\text{ かつ }}-X\leq x\})\\&=\Pr(|X|\leq c{\text{ かつ }}X\leq x)+\Pr(|X|>c{\text{ かつ }}-X\leq x)\\&=\Pr(|X|\leq c{\text{ かつ }}X\leq x)+\Pr(|X|>c{\text{ かつ }}X\leq x)\\&=\Pr(X\leq x),\end{aligned}}}$$

ここで、最後から2番目の等式は、 の分布の対称性と という条件の対称性から導かれます。 ${\displaystyle X}$${\displaystyle |X|\leq c}$

この例では、差が 0 になる確率がかなり高い (約 0.88) ため、差は正規分布にほど遠いと言えます。対照的に、正規分布は連続分布であるため、離散的な部分はありません。つまり、どの点にも 0 を超える確率が集中することはありません。したがって、とは別々に正規分布しているにもかかわらず、一緒に正規分布しているわけではありません。 ^[2]${\displaystyle XY}$${\displaystyle X}$${\displaystyle Y}$

平面上のランダムな点の座標が確率密度関数に従って選択されると仮定すると、ランダム変数とには相関がなく、それぞれが正規分布（平均0、分散1）しますが、独立ではありません。^{[7] ：93}${\displaystyle (X,Y)}$$${\displaystyle p(x,y)={\frac {1}{2\pi {\sqrt {3}}}}\left[\exp \left(-{\frac {2}{3}}(x^{2}+xy+y^{2})\right)+\exp \left(-{\frac {2}{3}}(x^{2}-xy+y^{2})\right)\right].}$$${\displaystyle X}$${\displaystyle Y}$

2 つの独立した標準正規乱数の比が偏差し、コーシー分布に従うことはよく知られています。^{[8] [9] [7] : 122}コーシー乱数から始めて、および独立した標準正規の場合にという要件を満たすの条件付き分布を導出することもできます。これにより、 がRademacher 乱数変数であり、 が自由度 2 の カイ 2 乗乱数変​​数であることが分かります 。${\displaystyle C}$${\displaystyle X_{i}}$${\displaystyle Y_{i}}$${\displaystyle C}$${\displaystyle Y_{i}}$${\displaystyle X_{i}=CY_{i}}$${\displaystyle X_{i}}$${\displaystyle Y_{i}}$$${\displaystyle Y_{i}=W_{i}{\sqrt {\frac {\chi _{i}^{2}\left(k=2\right)}{1+C^{2}}}}}$$${\displaystyle W_{i}}$${\displaystyle \chi _{i}^{2}\left(k=2\right)}$

、の2つの集合を考えてみましょう。はによってインデックス付けされていないことに注意してください。つまり、との両方の定義で同じコーシー確率変数が使用されています。 を共有しているため、インデックス間で依存関係が生じます。 も もから独立ではありません。ただし、と はすべて無相関です。これは、2変量分布がすべて軸に対して鏡映対称性を持つためです。^[要出典]${\displaystyle \left(X_{i},Y_{i}\right)}$${\displaystyle i\in \left\{1,2\right\}}$${\displaystyle C}$${\displaystyle i}$${\displaystyle C}$${\displaystyle \left(X_{1},Y_{1}\right)}$${\displaystyle \left(X_{2},Y_{2}\right)}$${\displaystyle C}$${\displaystyle X_{1}}$${\displaystyle Y_{1}}$${\displaystyle Y_{2}}$${\displaystyle X_{i}}$${\displaystyle Y_{i}}$

この図は、上記の分布から抽出されたサンプルの散布図を示しています。これは、相関がなく、正規周辺分布を持ちますが、独立ではない 2 変量分布の例を 2 つ示しています。左側のパネルは、およびの結合分布を示しています。分布は、原点以外のすべての場所でサポートされています。右側のパネルは、およびの結合分布を示しています。分布は、軸以外のすべての場所でサポートされており、原点で不連続性があります。つまり、軸に沿う以外の直線に沿って原点に近づくと、密度が発散します。 ${\displaystyle X_{1}}$${\displaystyle Y_{2}}$${\displaystyle Y_{1}}$${\displaystyle Y_{2}}$

• 相関と依存性

注記