標本平均と共分散

標本平均(標本平均) または経験平均(経験平均)、および標本共分散または経験共分散は、 1 つ以上のランダム変数に関するデータの標本から計算される統計です。

標本平均は、より大きな数の母集団から抽出された標本の平均値（または平均値）です。ここで「母集団」は人数ではなく、収集されたかどうかに関係なく、関連するデータ全体を示します。便宜上、母集団、つまり 500 社すべての売上を見る代わりに、フォーチュン 500から 40 社の売上の標本を使用できます。標本平均は、母集団全体の平均値である母平均の推定値として使用されます。標本が大きく代表的である場合、推定値は母平均に近くなる可能性が高くなります。標本平均の信頼性は標準誤差を使用して推定され、標準誤差は標本の分散を使用して計算されます。標本がランダムである場合、標準誤差は標本のサイズとともに低下し、標本サイズが大きくなるにつれて標本平均の分布は正規分布に近づきます。

「標本平均」という用語は、統計学者が標本内の複数の変数の値、たとえば Fortune 500 企業の標本の売上、利益、従業員数などを調べているときに、平均値のベクトルを指すためにも使用されます。この場合、各変数の標本分散だけでなく、各変数のペア間の関係も示す標本分散共分散行列(または単に共分散行列) があります。3 つの変数が考慮される場合、これは 3×3 行列になります。標本共分散は、推定値としての標本平均の信頼性を判断するのに役立ち、母集団共分散行列の推定値としても役立ちます。

サンプル平均とサンプル共分散は、計算が容易であることやその他の望ましい特性があるため、統計ではサンプル内の値の分布の位置と分散を表し、母集団の値を推定するために広く使用されています。

標本平均は標本内の変数の値の平均であり、それらの値の合計を値の数で割ったものです。数学的表記法を使用すると、変数XのN 個の観測値の標本が母集団から取得された場合、標本平均は次のようになります。

${\displaystyle {\bar {X}}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}.}$

この定義によれば、標本 (1, 4, 1) が母集団 (1,1,3,4,0,2,1,0) から抽出された場合、標本平均は となり、母集団平均は となります。標本がランダムであっても、それが完全に代表的であることは稀であり、他の標本は、たとえ標本がすべて同じ母集団から抽出されたとしても、異なる標本平均を持つことになります。たとえば、標本 (2, 1, 0) の標本平均は 1 になります。 ${\displaystyle {\bar {x}}=(1+4+1)/3=2}$${\displaystyle \mu =(1+1+3+4+0+2+1+0)/8=12/8=1.5}$

統計学者が 1 つの変数ではなくK 個の変数に興味があり、各観測値がK 個の変数それぞれに値を持っている場合、全体の標本平均は個々の変数のK個の標本平均で構成されます。 を、 j^番目のランダム変数 ( j =1,..., K ) に対するi^番目の独立して抽出された観測値 ( i =1,..., N )とします。これらの観測値は 、それぞれK個のエントリを持つN列ベクトルに配置でき、 K ×1 列ベクトルは、 ( i =1,..., N )で示されるすべての変数のi番目の観測値を提供します。 ${\displaystyle x_{ij}}$${\displaystyle \mathbf {x} _{i}}$

標本平均ベクトルは、 j番目の要素がj^{番目の変数の}N個の観測値の平均値である列ベクトルです。 ${\displaystyle \mathbf {\bar {x}} }$${\displaystyle {\bar {x}}_{j}}$

${\displaystyle {\bar {x}}_{j}={\frac {1}{N}}\sum _{i=1}^{N}x_{ij},\quad j=1,\ldots ,K.}$

したがって、標本平均ベクトルは各変数の観測値の平均を含み、次のように記述されます。

${\displaystyle \mathbf {\bar {x}} ={\frac {1}{N}}\sum _{i=1}^{N}\mathbf {x} _{i}={\begin{bmatrix}{\bar {x}}_{1}\\\vdots \\{\bar {x}}_{j}\\\vdots \\{\bar {x}}_{K}\end{bmatrix}}}$

標本共分散行列は、 K行K列の 行列 で あり、${\displaystyle \textstyle \mathbf {Q} =\left[q_{jk}\right]}$

${\displaystyle q_{jk}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right),}$

ここで、はデータの母集団のj^番目の 変数とk^番目の変数の間の共分散の推定値です。観測ベクトルに関して、標本共分散は ${\displaystyle q_{jk}}$

${\displaystyle \mathbf {Q} ={1 \over {N-1}}\sum _{i=1}^{N}(\mathbf {x} _{i}.-\mathbf {\bar {x}} )(\mathbf {x} _{i}.-\mathbf {\bar {x}} )^{\mathrm {T} },}$

あるいは、観測ベクトルを行列の列として配置すると、

${\displaystyle \mathbf {F} ={\begin{bmatrix}\mathbf {x} _{1}&\mathbf {x} _{2}&\dots &\mathbf {x} _{N}\end{bmatrix}}}$、

これはK行N列の行列である。ここで、標本共分散行列は次のように計算できる。

${\displaystyle \mathbf {Q} ={\frac {1}{N-1}}(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })^{\mathrm {T} }}$、

ここで はN行1列のベクトルです 。観測値が列ではなく行として並べられている場合、 は1× K行ベクトルとなり、 はN × K行列となり、その列jは変数jのN観測値のベクトルとなります。適切な場所に転置を適用すると、次の式が得られます。 ${\displaystyle \mathbf {1} _{N}}$${\displaystyle \mathbf {\bar {x}} }$${\displaystyle \mathbf {M} =\mathbf {F} ^{\mathrm {T} }}$

${\displaystyle \mathbf {Q} ={\frac {1}{N-1}}(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} )^{\mathrm {T} }(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} ).}$

ランダムベクトルの共分散行列と同様に、標本共分散行列は半正定値です。これを証明するために、任意の行列に対して行列が半正定値であることに注目してください。さらに、共分散行列は、ベクトルの階数が K の 場合にのみ正定値です。${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {A} ^{T}\mathbf {A} }$${\displaystyle \mathbf {x} _{i}.-\mathbf {\bar {x}} }$

標本平均と標本共分散行列は、ランダムベクトルの平均と共分散行列の不偏推定値である。ランダムベクトルは、 j^番目の要素（j = 1, ..., K）がランダム変数の1つである行ベクトルである。^[1]標本共分散行列の分母には、ベッセル補正の変形ではなく、次の式が成り立つ。つまり、標本共分散は各観測値と標本平均の差に依存しているが、標本平均はすべての観測値で定義されているため、各観測値とわずかに相関している。母平均がわかっている場合、同様の不偏推定値が得られる 。 ${\displaystyle \textstyle \mathbf {X} }$${\displaystyle \textstyle N-1}$${\displaystyle \textstyle N}$${\displaystyle \operatorname {E} (\mathbf {X} )}$

${\displaystyle q_{jk}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{ij}-\operatorname {E} (X_{j})\right)\left(x_{ik}-\operatorname {E} (X_{k})\right),}$

母平均を使用すると、分母に が含まれます。これは、確率と統計において、ランダム変数(大文字) とランダム変数の実現値(小文字) を区別することが重要である理由の例です。 ${\displaystyle \textstyle N}$

共分散の最大尤度推定値

${\displaystyle q_{jk}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right)}$

ガウス分布の場合、分母にもNが含まれます。1/ Nと 1/( N  − 1) の比はN が大きい場合に 1 に近づくため、サンプルが大きい場合、最大尤度推定値は不偏推定値とほぼ等しくなります。

各ランダム変数について、標本平均は母平均の優れた推定値です。ここで、「優れた」推定値とは、効率的で偏りのないものと定義されます。もちろん、同じ分布から抽出された異なる標本は異なる標本平均を生成し、したがって真の平均の異なる推定値を生成するため、推定値は母平均の真の値ではない可能性があります。したがって、標本平均はランダム変数であり、定数ではないため、独自の分布を持ちます。j 番目のランダム変数に関する N 個の観測値のランダム標本の場合、^標本平均の分布自体の平均は母平均に等しく、分散は に等しく 、ここで は母分散です。 ${\displaystyle E(X_{j})}$${\displaystyle \sigma _{j}^{2}/N}$${\displaystyle \sigma _{j}^{2}}$

母集団の算術平均、または母平均は、しばしばμと表記される。^[2]標本平均（母集団から抽出された値の標本の算術平均）は、その期待値が母平均に等しい（つまり、不偏推定値である）ため、母平均の良い推定値となる。標本平均は、母集団のどのメンバーがサンプリングされるかによって計算値がランダムに異なるため、定数ではなくランダム変数であり、その結果、独自の分布を持つ。n 個の独立した観測値のランダム標本の場合、標本平均の期待値は ${\displaystyle {\bar {x}}}$

${\displaystyle \operatorname {E} ({\bar {x}})=\mu }$

そして標本平均の 分散は

${\displaystyle \operatorname {var} ({\bar {x}})={\frac {\sigma ^{2}}{n}}.}$

サンプルが独立しておらず相関している場合は、疑似複製の問題を回避するために特別な注意を払う必要があります。

母集団が正規分布している場合、標本平均は次のように正規分布します。

${\displaystyle {\bar {x}}\thicksim N\left\{\mu ,{\frac {\sigma ^{2}}{n}}\right\}.}$

母集団が正規分布していない場合でも、nが大きく、  σ ² / n < +∞であれば、標本平均は近似的に正規分布します。これは中心極限定理 の結果です。

重み付きサンプルでは、​​各ベクトル（ K 個のランダム変数のそれぞれに対する単一の観測値の各セット）に重みが割り当てられます。一般性を失うことなく、重みが正規化されていると仮定します。 ${\displaystyle \textstyle {\textbf {x}}_{i}}$${\displaystyle \textstyle w_{i}\geq 0}$

${\displaystyle \sum _{i=1}^{N}w_{i}=1.}$

（そうでない場合は、重みをその合計で割ります）。すると、加重平均ベクトルは次のように表されます。 ${\displaystyle \textstyle \mathbf {\bar {x}} }$

${\displaystyle \mathbf {\bar {x}} =\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}.}$

加重共分散行列の要素は ^[3]${\displaystyle q_{jk}}$${\displaystyle \textstyle \mathbf {Q} }$

${\displaystyle q_{jk}={\frac {1}{1-\sum _{i=1}^{N}w_{i}^{2}}}\sum _{i=1}^{N}w_{i}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right).}$

すべての重みが同じ場合、加重平均と共分散は、上記の（偏りのある）標本平均と共分散に減少します。 ${\displaystyle \textstyle w_{i}=1/N}$

標本平均値と標本共分散はロバスト統計ではないため、外れ値の影響を受けやすい。ロバスト性は、特に現実世界のアプリケーションでは望ましい特性であることが多いため、ロバストな代替手段、特に位置の標本中央値^[4]や分散の四分位範囲(IQR)などの分位ベースの統計が望ましいことがわかる場合がある。その他の代替手段には、トリム平均やウィンザライズ平均などのトリミングやウィンザライズがある。

• 共分散行列の推定
• 散布図マトリックス
• 標準偏差の偏りのない推定