標準偏差

対象となる集団全体が、ある特定のクラスの8人の生徒であると仮定します。彼らの成績は以下の8つの値です。 $${\表示スタイル 2、\ 4、\ 4、\ 4、\ 5、\ 5、\ 7、\ 9.}$$

有限個の数値の集合の場合、母集団標準偏差は、各値の平均値から各値の偏差の二乗を引いた値の二乗の平均の平方根を求めることによって求められます。すなわち、次のようになります。 $${\displaystyle \sigma ={\sqrt {\mathrm {平均} \left((v-\mu )^{2}{\text{ for }}v\in \mathrm {値} \right)}}{\text{ ここで }}\mu =\mathrm {平均} (\mathrm {値} )。$$

これら8つのデータポイントの平均値は5です。$${\displaystyle \mu ={\frac {2+4+4+4+5+5+7+9}{8}}={\frac {40}{8}}=5.}$$

次に、各データポイントの平均値からの偏差を計算します。そして、それぞれの結果を二乗します。$${\displaystyle {\begin{array}{lll}(2-5)^{2}=(-3)^{2}=9&&(5-5)^{2}=0^{2}=0\\(4-5)^{2}=(-1)^{2}=1&&(5-5)^{2}=0^{2}=0\\(4-5)^{2}=(-1)^{2}=1&&(7-5)^{2}=2^{2}=4\\(4-5)^{2}=(-1)^{2}=1&&(9-5)^{2}=4^{2}=16.\\\end{array}}}$$

次に、分散はこれらの値の平均です。 $${\displaystyle \sigma ^{2}={\frac {9+1+1+1+0+0+4+16}{8}}={\frac {32}{8}}=4}$$

最後に、母集団標準偏差は分散の平方根です。$${\displaystyle \sigma ={\sqrt {4}}=2.}$$

最初に用いた8つの値が対象となる母集団全体を表していない場合、これは母集団全体の標準偏差の推定値として考えられる多くの値のうちの1つにすぎません。この推定値は偏りがあり、繰り返しサンプリングを行った際の期待値は真の値からずれますが、それでも一貫性は保たれています。一方、その平均二乗誤差は、不偏推定量のそれよりも小さくなる可能性があります。

対象となる母集団がほぼ正規分布している場合、標準偏差は、特定の値より上または下の観測値の割合に関する情報を提供します。たとえば、米国の成人男性の平均身長は約69インチで、標準偏差は約3インチです。 ^{[ 2 ]}これは、ほとんどの男性 (正規分布を仮定すると約 68%) が平均 ( 66 ～ 72インチ)から 3 インチ以内( 1 標準偏差)の身長を持ち、ほぼすべての男性 (約 95%) が平均 ( 63 ～ 75インチ)から6インチ以内( 2 標準偏差) の身長を持つことを意味します。標準偏差がゼロの場合、すべての男性の身長は同じ 69 インチになります。分布が正規分布またはベル型であると仮定すると、3 標準偏差は調査対象の標本母集団の 99.73% を占めます(詳細については、 68-95-99.7 ルールまたは経験則を参照してください)。          

X が有限データセットx ₁ , x ₂ , ..., x _Nからランダムな値を取り、各値が同じ確率を持つ場合、標準偏差は

$${\displaystyle \sigma ={\sqrt {{\frac {1}{N}}\ \left[\left(x_{1}-\mu \right)^{2}+\left(x_{2}-\mu \right)^{2}+\cdots +\left(x_{N}-\mu \right)^{2}\right]\;}}\ ,~~{\text{ where }}~~\mu \equiv {\frac {1}{N}}\left(x_{1}+\cdots +x_{N}\right)\ ,}$$ 注：上記の式にはバイアスが組み込まれています。ベッセル補正については、後述の説明を参照してください。

または、総和記号を用いると、

$${\displaystyle \sigma ={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-\mu \right)^{2}\;}}\ ,~~{\text{ where }}~~\mu \equiv {\frac {1}{N}}\sum _{i=1}^{N}x_{i}~.}$$

値が等しい確率を持つのではなく、異なる確率を持つ場合、x _{1 の}確率をp ₁、x ₂の確率をp ₂、...、x _{N の}確率をp _Nとします。この場合、標準偏差は次のようになります。 $${\displaystyle \sigma ={\sqrt {\sum _{i=1}^{N}p_{i}\left(x_{i}-\mu \right)^{2}\;}}\ ,~~{\text{ where }}~~\mu \equiv \sum _{i=1}^{N}p_{i}x_{i}\,.}$$

確率密度関数p ( x )を持つ連続実数値確率変数Xの標準偏差は $${\displaystyle \sigma ={\sqrt {\int _{\mathbf {X} }\left(x-\mu \right)^{2}\,p(x)\,{\mathrm {d} }x}}\,,~~{\text{ where }}~~\mu \equiv \int _{\mathbf {X} }x\,p(x)\,{\mathrm {d} }x\,,}$$

ここで、積分は、確率変数Xの可能な値の集合を表すXの範囲にわたるxに対して取られる定積分である。 

パラメトリック分布族の場合、標準偏差は多くの場合、基礎となる分布のパラメータを用いて表すことができます。例えば、基礎となる正規分布のパラメータがμとσ²^である対数正規分布の場合、対数正規変数の標準偏差は次の式で与えられます。 $${\displaystyle {\sqrt {\left(e^{\sigma ^{2}}-1\right)\ e^{2\mu +\sigma ^{2}}}}\,.}$$

（有限母集団の）母集団標準偏差の公式は、標本のサイズを母集団のサイズとして使用して標本に適用できます（ただし、標本が抽出された実際の母集団のサイズははるかに大きい場合があります）。この推定値はs _Nで表され、補正されていない標本標準偏差、または標本の標準偏差（母集団全体とみなされる）として知られており、次のように定義されます。^{[ 3 ]}$${\displaystyle s_{N}={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}}$$ ここで、{ x ₁ , x ₂ , … , x _N }はサンプル項目の観測値であり、x ̄はこれらの観測値の平均値です。分母Nはサンプルのサイズを表します。これはサンプル分散の平方根であり、サンプル平均からの偏差の二乗の平均です。

これは一貫性のある推定量であり（サンプル数が無限大に近づくにつれて確率的に母集団の値に収束する）、母集団が正規分布している場合の最尤推定値です。 ^{[ 4 ]}ただし、これはバイアスのある推定量であり、推定値は一般的に低すぎます。バイアスはサンプルサイズが大きくなるにつれて減少し、1 / Nに比例して減少するため、サンプルサイズが小さいか中程度の場合に最も顕著になります。N > 75 の場合、バイアスは 1% 未満です。したがって、非常に大きなサンプルサイズの場合、補正されていないサンプル標準偏差は一般的に許容範囲内です。この推定量は、補正されたサンプル標準偏差よりも平均二乗誤差が均一に小さくなります。

偏りのある標本分散（標本の2次中心モーメント、つまり母集団分散の下方偏り推定値）を使用して母集団の標準偏差の推定値を計算すると、結果は次のようになります。 $${\displaystyle s_{N}={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}.}$$

ここで平方根を取ると、平方根が凹関数であることから、イェンセンの不等式により、さらに下方へのバイアスが生じます。分散のバイアスは容易に修正できますが、平方根によるバイアスは修正がより難しく、対象となる分布によって異なります。

分散の不偏推定量は、ベッセルの補正を適用し、Nの代わりにN − 1を使用することで得られ、不偏標本分散s ²と表記される。 $${\displaystyle s^{2}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}.}$$

この推定量は、分散が存在し、標本値が復元抽出で独立に抽出される場合に不偏である。N − 1 は、平均からの偏差のベクトルの自由度数に対応する。${\displaystyle \textstyle (x_{1}-{\bar {x}},\;\dots ,\;x_{n}-{\bar {x}}).}$

平方根を取るとバイアスが再び導入されます（平方根は期待値と可換でない非線形関数であるため、多くの場合${\textstyle E[{\sqrt {X}}]\neq {\sqrt {E[X]}}}$）、補正された標本標準偏差sが得られる。 $${\displaystyle s={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}.}$$

前述のように、s ²は母分散の不偏推定量ですが、sは母標準偏差の偏り推定量であり、補正されていない標本標準偏差よりは著しく偏りが少ないものの、依然として偏りがあります。この推定量は一般的に使用され、単に「標本標準偏差」として知られています。標本サイズが小さい場合 ( N が10 未満) は、偏りが大きくなる可能性があります。標本サイズが大きくなるにつれて、偏りの量は減少します。より多くの情報が得られ、${\displaystyle {\frac {1}{N}}}$そして${\displaystyle {\frac {1}{N-1}}}$小さくなる。

標準偏差の不偏推定には、平均や分散とは異なり、すべての分布に適用できる公式はありません。代わりに、s を基準として補正係数でスケーリングすることで、不偏推定値が得られます。正規分布の場合、不偏推定値は⁠ s / c ₄ ⁠で与えられます。ここで、補正係数 ( Nに依存します) はガンマ関数で表され、次のようになります。 $${\displaystyle c_{4}(N)\,=\,{\sqrt {\frac {2}{N-1}}}\,\,\,{\frac {\Gamma {\left({\frac {N}{2}}\right)}}{\Gamma {\left({\frac {N-1}{2}}\right)}}}.}$$

これは、標本標準偏差の標本分布が（スケーリングされた）カイ分布に従い、補正係数がカイ分布の平均であることに起因します。

N − 1 をN − 1.5に置き換えることで近似値が得られ、次のようになる。 $${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{N-1.5}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}},}$$

この近似における誤差は二乗に比例して減少し（¹ / N² ）、最小のサンプルまたは最高の精度を除けば、すべてに適しています。N = 3の場合、バイアスは 13% であり、N = 9の場合、バイアスは 3% です。

より正確な近似は、上記のN − 1.5 をN − 1.5 + 1 / 8 ( N − 1 )に置き換えることである。^{[ 5 ]}

その他の分布については、正しい式は分布によって異なりますが、経験則としては、近似式をさらに改良したものを使用することです。 $${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{N-1.5-{\frac {1}{4}}\gamma _{2}}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}},}$$

ここで、γ _{2 は}母集団の過剰尖度を表す。過剰尖度は、特定の分布については事前にわかっている場合もあれば、データから推定される場合もある。^{[ 6 ]}

分布をサンプリングして得られる標準偏差は、数学的な理由（ここでは信頼区間によって説明される）と測定上の実際的な理由（測定誤差）の両方から、絶対的に正確ではありません。この数学的な影響は、信頼区間（CI）によって説明できます。

サンプルサイズが大きくなると信頼区間が狭くなることを示すために、次の例を考えてみましょう。N = 2の小さな母集団では、標準偏差を推定するための自由度は 1 つしかありません。その結果、SD の 95% 信頼区間は0.45 × SDから31.9 × SDまでになります。ここでの要因は次のとおりです。

$${\displaystyle \Pr \left(q_{\frac {\alpha }{2}}<k{\frac {s^{2}}{\sigma ^{2}}}<q_{1-{\frac {\alpha }{2}}}\right)=1-\alpha ,}$$

どこ${\displaystyle q_{p}}$は自由度kのカイ二乗分布のp分位点であり、1 − αは信頼水準です。これは以下と同等です。

$${\displaystyle \Pr \left(k{\frac {s^{2}}{q_{1-{\frac {\alpha }{2}}}}}<\sigma ^{2}<k{\frac {s^{2}}{q_{\frac {\alpha }{2}}}}\right)=1-\alpha .}$$

k = 1 の場合、q _0.025 = 0.000982およびq _0.975 = 5.024となります。これらの 2 つの数の平方根の逆数から、上記の係数 0.45 と 31.9 が得られます。

N = 10のより大きな母集団では、標準偏差を推定するための自由度が 9 つあります。上記と同じ計算を行うと、この場合の 95% 信頼区間は0.69 × SDから1.83 × SDまでとなります。したがって、標本母集団が 10 であっても、実際の SD は標本標準偏差のほぼ 2 倍になることがあります。標本母集団がN = 100の場合、これは0.88 × SDから1.16 × SDまで下がります。標本標準偏差が実際の標準偏差に近いことをより確実にするには、多数の点を標本にする必要があります。

これらの同じ式は、標準正規理論に基づく最小二乗法による残差の分散の信頼区間を求めるためにも使用できます。ここで、 kは誤差の自由度です。

値の範囲RにわたるN > 4のデータのセットの場合、標準偏差sの上限はs = 0.6 Rで与えられます。^{[ 7 ]}ほぼ正規分布であると仮定されるN > 100 のデータ に対する標準偏差の推定値は、正規曲線の下の面積の 95% が平均の両側におよそ 2 標準偏差あるという経験則から導き出され、したがって、95% の確率で値の全範囲Rは 4 標準偏差を表し、s ≈ R /4となります。このいわゆる範囲ルールは、標準偏差よりも可能な値の範囲を推定する方が容易であるため、サンプルサイズの推定に役立ちます。s ≈ R / K ( N ) となる範囲の他の除数K ( N )は、他のNの値や非正規分布に対して利用可能です。 ^{[ 8 ]}

一連の値の標準偏差を理解することの実際的な価値は、平均値（平均）からのばらつきの大きさを把握することにある。

幾何学的な洞察と明確化を得るために、3つの値x ₁、x ₂、x _{3の集合から始めます。これは、} R ³内の点P = ( x ₁、x ₂、x ₃ )を定義します。直線L = {( r、r、r ) : r ∈ R }を考えます。これは原点を通る「主対角線」です。与えられた3つの値がすべて等しい場合、標準偏差はゼロになり、P はL上にあります。したがって、標準偏差がPからLまでの距離に関係していると考えるのは不合理ではありません。実際、その通りです。L から点Pへ直交するには、次の点から始めます。 

$${\displaystyle M=\left({\bar {x}},{\bar {x}},{\bar {x}}\right)}$$

その座標は、最初に設定した値の平均値です。

簡単な代数計算で、 PとMの間の距離（これはPと直線Lの間の直交距離と同じである）がわかる。${\textstyle {\sqrt {\sum _{i}\left(x_{i}-{\bar {x}}\right)^{2}}}}$これは、ベクトル( x ₁ , x ₂ , x ₃ )の標準偏差に、ベクトルの次元数 (この場合は 3) の平方根を掛けたものに等しい。

観測値は、平均値から数標準偏差以上離れることはめったにありません。チェビシェフの不等式は、標準偏差が定義されているすべての分布において、平均値から数標準偏差以内の範囲にあるデータの量が、少なくとも以下の表に示されている量以上であることを保証します。

中心極限定理は、多数の独立同分布確率変数の平均分布が、確率密度関数が の有名なベル型の正規分布に近づくことを述べている。

$${\displaystyle f\left(x,\mu ,\sigma ^{2}\right)={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}},}$$

ここで、μは確率変数の期待値、 σ は分布の標準偏差をn ^{1 ⁄ 2}で割った値、nは確率変数の数です。したがって、標準偏差は単に曲線の幅を調整するスケーリング変数ですが、正規化定数にも現れます。

データ分布がほぼ正規分布である場合、平均値からz標準偏差以内にあるデータ値の割合は次のように定義されます。

$${\displaystyle {\text{Proportion}}=\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)}$$

どこ${\displaystyle \textstyle \operatorname {erf} }$は誤差関数です。数値x以下の割合は、累積分布関数によって与えられます。^{[ 13 ]}

$${\displaystyle {\text{Proportion}}\leq x={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)\right].}$$

データ分布がほぼ正規分布である場合、データ値の約68%は平均値から1標準偏差以内（数学的にはμ ± σ、ここでμは算術平均）に収まり、約95%は2標準偏差以内（μ ± 2σ ）、約99.7%は3標準偏差以内（μ ± 3σ ）に収まります。これは68-95-99.7ルール、または経験則として知られています。

zのさまざまな値に対して、対称区間CI = (− z' σ , z' σ )内および外に位置すると予想される値の割合は次のとおりです。

• 固有ベクトルと固有値${\displaystyle \mathbf {S} }$多変量正規分布の1標準偏差誤差楕円体の軸に対応します。多変量正規分布：幾何学的解釈を参照してください。

  

• 多変量分布（すなわち周辺分布）を単位ベクトルの方向の直線上に投影したときの標準偏差${\displaystyle {\hat {\boldsymbol {\eta }}}}$等しい${\displaystyle {\sqrt {{\hat {\boldsymbol {\eta }}}'\mathbf {\Sigma } {\hat {\boldsymbol {\eta }}}}}=\lVert \mathbf {S} {\hat {\boldsymbol {\eta }}}\rVert }$。
• 多変量分布（すなわち条件付き分布）の単位ベクトル方向の線に沿った断面の標準偏差${\displaystyle {\hat {\boldsymbol {\eta }}}}$等しい${\displaystyle {\frac {1}{\lVert \mathbf {S} ^{-1}{\hat {\boldsymbol {\eta }}}\rVert }}}$。
• 2つの共分散が等しい分布間の識別可能性指標は、それらのマハラノビス距離であり、これはsd行列を用いて表現することもできます。${\displaystyle d'={\sqrt {({\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b})}}=\lVert \mathbf {S} ^{-1}{\boldsymbol {d}}\rVert }$、 どこ${\displaystyle {\boldsymbol {d}}={\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b}}$は平均差ベクトルです。
• 以来${\displaystyle \mathbf {S} }$正規化された変数をスケーリングすると、変換を反転させて、無相関かつ単位分散にすることができます。${\displaystyle {\boldsymbol {z}}=\mathbf {S} ^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})}$平均値がゼロで、共分散が恒等関数である。これはマハラノビス白色化変換と呼ばれる。

多くの場合、得られた平均値の精度に関する情報が必要になります。これは、標本平均の標準偏差を求めることで得られます。標本内の値が統計的に独立していると仮定すると、平均の標準偏差（SDOM）は分布の標準偏差と次の関係にあります。

$${\displaystyle \sigma _{\text{mean}}={\frac {1}{\sqrt {N}}}\sigma ,}$$

ここで、Nは平均を推定するために使用される標本中の観測値の数です。これは、(分散の基本特性を参照)で簡単に証明できます。 $${\displaystyle {\begin{aligned}\operatorname {var} (X)&=\sigma _{X}^{2}\\\operatorname {var} (X_{1}+X_{2})&=\operatorname {var} (X_{1})+\operatorname {var} (X_{2})\\\end{aligned}}}$$ （統計的独立性を仮定する。） $${\displaystyle \operatorname {var} (cX_{1})\equiv c^{2}\,\operatorname {var} (X_{1})}$$

したがって $${\displaystyle {\begin{aligned}\operatorname {var} ({\text{mean}})&=\operatorname {var} \left({\frac {1}{N}}\sum _{i=1}^{N}X_{i}\right)={\frac {1}{N^{2}}}\operatorname {var} \left(\sum _{i=1}^{N}X_{i}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{N}\operatorname {var} (X_{i})={\frac {N}{N^{2}}}\operatorname {var} (X)={\frac {1}{N}}\operatorname {var} (X).\end{aligned}}}$$

その結果： $${\displaystyle \sigma _{\text{mean}}={\frac {\sigma }{\sqrt {N}}}.}$$

_平均値の標準偏差σを推定するには、母集団全体の標準偏差σを事前に知っておく必要があります。しかし、ほとんどの応用例では、このパラメータは未知です。例えば、実験室で未知の量を10回測定した場合、結果として得られる標本平均と標本標準偏差を計算することはできますが、平均値の標準偏差を計算することはできません。しかし、標本から母集団全体の標準偏差を推定することは可能であり、それによって平均値の標準誤差の推定値を得ることができます。

値が${\displaystyle x_{k}}$不均等な重み付けがされている${\displaystyle w_{k}}$電力和s ₀、s ₁、s ₂はそれぞれ次のように計算されます。

$${\displaystyle s_{j}=\sum _{k=1}^{N}w_{k}x_{k}^{j}.\,}$$

そして、標準偏差の式は変わりません。s ₀はサンプル数Nではなく、重みの合計になります。

丸め誤差を低減した増分法も適用可能ですが、若干の複雑さが増します。

1からnまでの各kについて、重みの累積合計を計算する必要があります。 $${\displaystyle {\begin{aligned}W_{0}&=0\\W_{k}&=W_{k-1}+w_{k}\end{aligned}}}$$

また、上記で1/ kが使用されている箇所は、${\displaystyle w_{k}/W_{k}}$: $${\displaystyle {\begin{aligned}A_{0}&=0\\A_{k}&=A_{k-1}+{\frac {w_{k}}{W_{k}}}\left(x_{k}-A_{k-1}\right)\\Q_{0}&=0\\Q_{k}&=Q_{k-1}+{\frac {w_{k}W_{k-1}}{W_{k}}}\left(x_{k}-A_{k-1}\right)^{2}\\&=Q_{k-1}+w_{k}\left(x_{k}-A_{k-1}\right)\left(x_{k}-A_{k}\right)\end{aligned}}}$$

最終部門では、 $${\displaystyle \sigma _{n}^{2}={\frac {Q_{n}}{W_{n}}}\,}$$

そして $${\displaystyle s_{n}^{2}={\frac {Q_{n}}{W_{n}-1}},}$$

または $${\displaystyle s_{n}^{2}={\frac {n'}{n'-1}}\sigma _{n}^{2},}$$

ここで、 nは要素の総数、n ′は重みがゼロでない要素の数である。

重みを1とすると、上記の式は、先に述べたより単純な式と等しくなります。