統計学 において、推定量のバイアス （またはバイアス関数）とは、この 推定量 の期待値 と推定対象のパラメータの真の値 との差のことです。バイアスがゼロの推定量または決定ルールは、不偏推定量 客観的な性質です。バイアスは 一貫性 とは異なる概念です。一貫性推定量は確率的にパラメータの真の値に収束しますが、バイアスがある場合も不偏の場合もあります（詳しくは「バイアスと一貫性」を参照）。
他の条件がすべて同じであれば、偏りのない推定量は偏りのある推定量よりも好ましいが、実際には、偏りのある推定量（一般的に偏りは小さい）が頻繁に使用される。偏りのある推定量を使用する場合は、偏りの範囲が計算される。偏りのある推定量が使用される理由はいくつかある。母集団に関するさらなる仮定なしには偏りのない推定量が存在しないため。推定量の計算が難しいため（標準偏差の偏りのない推定など）。偏りのある推定量が、 中心傾向 のさまざまな尺度に関して偏りのない場合があるため。偏りのある推定量が、偏りのない推定量と比較して、損失関数 （特に平均二乗誤差 ）の値が低くなるため（特に収縮推定量 の場合）。または、場合によっては、偏りがないことが強すぎる条件であり、唯一の偏りのない推定量が役に立たない場合。
バイアスは、平均値（期待値）ではなく中央値 に関して測定することもできます。この場合、中央 値不偏性と通常の平均値 不偏性という性質を区別します。平均値不偏性は非線形変換 の下では保持されませんが、中央値不偏性は保持されます（§ 変換の影響を 参照）。たとえば、標本分散は 母集団分散のバイアスのある推定値です。これらはすべて以下に図示されています。
パラメータの不偏推定量は必ずしも存在するとは限らない。例えば、二項確率変数のパラメータの逆数には不偏推定量は存在しない。[ 1 ]
例
標本分散 標本分散は、バイアスとリスクに関する2つの異なる問題を浮き彫りにします。まず、n で割る「単純な」推定量は、標本平均が同じデータから推定されるため、下方バイアスがかかります。n /(n−1) (ベッセルの補正) を掛けると、不偏推定量が得られます。次に、不偏性は最小 平均二乗誤差 を意味するものではありません。
X 1 、 ...、X n は期待値 μ と分散 σ 2を持つ 独立同分布 (iid) の確率変数であるとします。標本平均 と補正されていない標本分散が 次のように定義される場合
X ¯ = 1 n ∑ 私 = 1 n X 私 S 2 = 1 n ∑ 私 = 1 n （ X 私 − X ¯ ） 2 {\displaystyle {\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}\qquad }
すると、S 2は σ 2 の偏りのある推定量となる。これは全分散の法則 から直ちに導かれる。
バラ （ X ） ⏟ σ 2 = E [ バラ （ X ∣ X ¯ ） ] ⏟ E [ S 2 ] + バラ （ E [ X ∣ X ¯ ] ） ⏟ σ 2 / n 、 ⟹ E [ S 2 ] = n − 1 n σ 2 。 \displaystyle \underbrace {\operatorname {Var} (X)} _{\sigma ^{2}}=\underbrace {\operatorname {E} \left[\operatorname {Var} \left(X\mid {\bar {X}}\right)\right]} _{E[S^{2}]}+\underbrace {\operatorname {Var} \left(\operatorname {E} \left[X\mid {\bar {X}}\right]\right)} _{\sigma ^{2}/n},\quad \implies E[S^{2}]={\frac {n-1}{n}}\sigma ^{2}.}
言い換えれば、正規化係数を乗じない限り、補正されていない標本分散の期待値は母分散σ 2 と等しくありません。分散の偏りのある（補正されていない）推定値と偏りのない推定値の比は、ベッセルの補正 として知られています。一方、標本平均は、母平均μの偏りのない [ 5 ] [ 3 ] ビエネメの恒等式 で理解できます。
バラ （ E [ X ∣ X ¯ ] ） = バラ （ X ¯ ） = バラ （ 1 n ∑ 私 = 1 n X 私 ） = 1 n 2 ∑ 私 = 1 n バラ （ X 私 ） = 1 n 2 n σ 2 = σ 2 n 。 {\displaystyle {\begin{aligned}\operatorname {Var} \left(\operatorname {E} [X\mid {\bar {X}}]\right)&=\operatorname {Var} \left({\overline {X}}\right)=\operatorname {Var} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)\\[1ex]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}\right)={\frac {1}{n^{2}}}n\sigma ^{2}={\frac {\sigma ^{2}}{n}}.\end{aligned}}}
補正されていない標本分散S 2 に偏りがある理由は、標本平均がμの 最小二乗 法 (OLS) 推定量であるという事実から生じます。X ¯ {\displaystyle {\overline {X}}} ∑ 私 = 1 n （ X 私 − X ¯ ） 2 \sum_{i=1}^n(X_i-X)^2 μ ≠ X ¯ {\displaystyle \mu \neq {\overline {X}}}
1 n ∑ 私 = 1 n （ X 私 − X ¯ ） 2 < 1 n ∑ 私 = 1 n （ X 私 − μ ） 2 、 {\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},} E [ S 2 ] = E [ 1 n ∑ 私 = 1 n （ X 私 − X ¯ ） 2 ] < E [ 1 n ∑ 私 = 1 n （ X 私 − μ ） 2 ] = σ 2 。 {\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}}
上記の議論は幾何学的な観点から理解できる。ベクトルC → = （ X 1 − μ 、 … 、 X n − μ ） {\displaystyle {\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )} u → = （ 1 、 … 、 1 ） {\displaystyle {\vec {u}}=(1,\ldots ,1)} A → = （ X ¯ − μ 、 … 、 X ¯ − μ ） {\displaystyle {\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )} u → {\displaystyle {\vec {u}}} B → = （ X 1 − X ¯ 、 … 、 X n − X ¯ ） {\displaystyle {\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})} | C → | 2 = | A → | 2 + | B → | 2 {\displaystyle |{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}} n σ 2 = n E [ （ X ¯ − μ ） 2 ] + n E [ S 2 ] {\displaystyle n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]} n {\displaystyle n} C → {\displaystyle {\vec {C}}} X 私 {\displaystyle X_{i}} u → {\displaystyle {\vec {u}}} | C → | 2 {\displaystyle |{\vec {C}}|^{2}} n − 1 {\displaystyle n-1} u → {\displaystyle {\vec {u}}} E [ （ X ¯ − μ ） 2 ] = σ 2 n {\displaystyle \operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}} E [ S 2 ] = n − 1 n σ 2 {\displaystyle \operatorname {E} [S^{2}]={\frac {n-1}{n}}\sigma ^{2}}
ポアソン確率の推定 偏りのある推定量が、偏りのない推定量よりも優れているという、はるかに極端な例は、ポアソン分布 から生じる。[ 6 ] [ 7 ] X が期待値 λ のポアソン分布に従うと仮定する。推定したいと仮定する。 P （ X = 0 ） 2 = e − 2 λ {\displaystyle \operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad }
サンプルサイズが1の場合。（例えば、電話交換機への着信がポアソン過程としてモデル化され、λ が1分あたりの平均着信数である場合、e −2 λ （推定対象）は次の2分間に着信がない確率となります。）
不偏推定量δ ( X ) の期待値は 推定対象 に等しいので、 E （ δ （ X ） ） = ∑ x = 0 ∞ δ （ x ） λ x e − λ x ! = e − 2 λ 、 {\displaystyle \operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },}
不偏推定量を構成するデータの唯一の機能は δ （ x ） = （ − 1 ） x 。 {\displaystyle \delta (x)=(-1)^{x}.\,}
これを確認するには、期待値の上記の式から e − λ を分解すると、残った和もe − λ のテイラー級数展開となり、e − λ − λ −2 λ となることに注目してください (指数関数の特性を 参照)。
観測されたX の値が100の場合、推定値は1になりますが、推定対象の真の値は0に近い可能性が非常に高く、これは正反対の極端な値です。また、X が101と観測された場合、推定値はさらに不合理です。推定対象の値は正でなければならないにもかかわらず、推定値は-1になります。
（偏りのある）最尤推定量 e − 2 X {\displaystyle e^{-2{X}}\quad }
は、この不偏推定量よりもはるかに優れています。その値は常に正であるだけでなく、平均二乗誤差 の意味でより正確です。e − 4 λ − 2 e λ （ 1 / e 2 − 3 ） + e λ （ 1 / e 4 − 1 ） {\displaystyle e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,}
の方が小さい。不偏推定量のMSEを比較する。 1 − e − 4 λ 。 {\displaystyle 1-e^{-4\lambda }.\,}
MSEは真の値λ の関数である。最尤推定量のバイアスは次のとおりである。 e λ （ 1 / e 2 − 1 ） − e − 2 λ 。 {\displaystyle e^{\lambda (1/e^{2}-1)}-e^{-2\lambda }.\,}
最尤推定量のバイアスは大きくなる可能性があります。1からnまでの番号が振られた n枚の チケットが箱に入れられ、そのうちの1枚がランダムに選ばれて値X が得られる場合を考えてみましょう。nが未知の場合、 n の最尤推定量はX となりますが、 n が与えられた場合のX の期待値は( n + 1)/2に過ぎません。nが 少なくともX であり、おそらくそれ以上であることしか確実ではありません。この場合、自然な不偏推定量は2X - 1です。
中央値 不偏推定量の理論は、1947年にジョージ・W・ブラウンによって復活した。[ 8 ]
1次元パラメータθの推定値は、θが固定されている場合、推定値の分布の中央値がθの値にある場合、中央値不偏であると言われます。つまり、推定値が過小評価する頻度と過大評価する頻度が同じである場合です。この要件は、ほとんどの場合、平均値不偏の要件と同等の効果を発揮し、さらに1対1変換に対して不変であるという性質も持ち合わせています。
中央値不偏推定量のさらなる特性は、Lehmann、Birnbaum、van der Vaart、およびPfanzaglによって指摘されている。[ 9 ] 特に、中央値不偏推定量は、平均不偏推定量および最尤推定 量が存在しない場合にも存在する。これらは1対1変換の 下で不変である。
単調尤度関数 を持つ確率分布（例えば、1パラメータ指数族）に対して、中央値不偏推定量を構築し、それらが最適であることを保証する方法がある（平均不偏推定量で考慮される最小分散特性に類似した意味で）。 [ 10 ] [ 11 ] [ 11 ]
パラメータ β 0の 2 つの代替推定量の標本分布。β 1 ^ は不偏推定量ですが、明らかに偏りのある β 2 ^ より劣っています。リッジ回帰は、 わずかな偏りを許容することで分散が大幅に減少し、全体的に信頼性の高い推定値が得られる手法の一例です。 バイアスは推定値と基礎となるパラメータとの間に予想される平均 差を定量化するが、有限サンプルに基づく推定値は、サンプルのランダム性によりパラメータと異なることも予想される。バイアスを最小化する推定値が必ずしも平均二乗誤差を最小化するとは限らない。両方のタイプの差を反映するために用いられる尺度の1つが平均二乗誤差 である[ 2 ] 。 MSE （ θ ^ ） = E [ （ θ ^ − θ ） 2 ] 。 {\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.} [ 2 ] MSE （ θ ^ ） = （ E [ θ ^ ] − θ ） 2 + E [ （ θ ^ − E [ θ ^ ] ） 2 ] = （ バイアス （ θ ^ 、 θ ） ） 2 + バラ （ θ ^ ） {\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}}
パラメータがベクトルである場合、同様の分解が適用されます。[ 15 ] MSE （ θ ^ ） = トレース （ カバー （ θ ^ ） ） + ‖ バイアス （ θ ^ 、 θ ） ‖ 2 {\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}} トレース （ カバー （ θ ^ ） ） {\displaystyle \operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))} 共分散行列 のトレース（対角和）であり、‖ バイアス （ θ ^ 、 θ ） ‖ 2 {\displaystyle \left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}} ベクトルノルム です。
例：母集団分散の推定 例えば、[ 16 ]
T 2 = c ∑ 私 = 1 n （ X 私 − X ¯ ） 2 = c n S 2 {\displaystyle T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}}
上記と同様に母集団分散を求めますが、今回はMSEを最小化します。
MSE = E [ （ T 2 − σ 2 ） 2 ] = （ E [ T 2 − σ 2 ] ） 2 + バラ （ T 2 ） {\displaystyle {\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}}
変数X 1 ... X n が nS 2 /σ 2 は自由度n − 1のカイ二乗分布 に従い、次のようになります。
E [ n S 2 ] = （ n − 1 ） σ 2 そして バラ （ n S 2 ） = 2 （ n − 1 ） σ 4 。 {\displaystyle \operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.}
など
MSE = （ c （ n − 1 ） − 1 ） 2 σ 4 + 2 c 2 （ n − 1 ） σ 4 {\displaystyle \operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}}
少し代数計算をすれば、この複合損失関数を最小化するのはc = 1/( n + 1) であり、バイアスの二乗だけを最小化するのはc = 1/( n − 1) ではないことが確認できます。
より一般的に言えば、パラメータ値に依存せずにMSEを最小化する推定器が存在するのは、限られた種類の問題に限られる。
しかしながら、バイアスとバリアンスのトレードオフ
ベイズ的視点 ほとんどのベイズ主義者は、推定値の不偏性（少なくとも上記の形式的な標本理論の意味では）についてあまり気にしていません。たとえば、Gelman らは (1995) 次のように書いています。「ベイズの観点からすると、不偏性の原理は大きな標本の極限では妥当ですが、それ以外の場合は誤解を招く可能性があります。」[ 17 ]
根本的に、ベイズ的アプローチ と上記の標本理論的アプローチの違いは、標本理論的アプローチではパラメータが固定されているとみなされ、データの予測標本分布に基づいて統計量の確率分布が考慮されるのに対し、ベイズ的アプローチでは、データが既知かつ固定されており、未知のパラメータに対して ベイズの定理 を用いて確率分布を構築しようとする点にある。
p （ θ ∣ D 、 私 ） ∝ p （ θ ∣ 私 ） p （ D ∣ θ 、 私 ） {\displaystyle p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)}
ここで、第2項、すなわち未知のパラメータ値θが与えられた場合のデータの尤度は、取得されたデータとデータ生成プロセスのモデリングのみに依存します。しかし、ベイズ計算では、第1項、すなわちθの 事前確率も含まれます。これは、データが得られる 前に 分析者がθについて知っている、あるいは疑っているすべての情報を考慮に入れたものです。この情報は、標本理論のアプローチでは考慮されません。実際、これを含めようとする試みは、データによって純粋に示されたものから「偏り」が生じるとみなされます。したがって、ベイズ計算が事前情報を含む限り、その結果が標本理論の観点から「偏りがない」とは限らないことは、本質的に避けられません。
しかし、ベイズ的手法による結果は、たとえベイズ主義者が「無情報」の事前分布を採用しようとしたとしても、標本理論的手法による結果とは異なる可能性がある。
例えば、未知の平均を持つ正規分布の未知の母分散σ²の推定を再び考えてみましょう。この 場合、期待損失関数におけるcを 最適化することが望まれます。
期待損失 = E [ （ c n S 2 − σ 2 ） 2 ] = E [ σ 4 （ c n S 2 σ 2 − 1 ） 2 ] {\displaystyle \operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}
この問題に対する標準的な無情報事前分布の選択はジェフリーズ事前分布 である。p （ σ 2 ） ∝ 1 / σ 2 {\displaystyle \scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}} これは、 ln(σ 2 ) に対して再スケーリング不変な一様事前分布を採用することと同等である。
この事前分布を採用した結果、S 2 /σ 2 は依然として重要な量であり、つまり S 2 /σ 2 の確率分布はS 2 または σ 2 の値に関係なく、 S 2 /σ 2 のみに依存することになります。
p （ S 2 σ 2 ∣ S 2 ） = p （ S 2 σ 2 ∣ σ 2 ） = g （ S 2 σ 2 ） {\displaystyle p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)}
しかし、
E p （ S 2 ∣ σ 2 ） [ σ 4 （ c n S 2 σ 2 − 1 ） 2 ] = σ 4 E p （ S 2 ∣ σ 2 ） [ （ c n S 2 σ 2 − 1 ） 2 ] {\displaystyle \operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}
対照的に
E p （ σ 2 ∣ S 2 ） [ σ 4 （ c n S 2 σ 2 − 1 ） 2 ] ≠ σ 4 E p （ σ 2 ∣ S 2 ） [ （ c n S 2 σ 2 − 1 ） 2 ] {\displaystyle \operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}
ベイズの場合のように、 σ 2 が与えられたときのS 2 の確率分布について期待値を取る場合ではなく、 σ 2が与えられたときの S 2 の確率分布について期待値を取る場合、σ 4 を 定数として因数分解することはできなくなります。この結果、サンプリング理論の計算と比較して、ベイズ計算では σ 2の値が大きいほど重みが大きくなり、この二乗損失関数では σ 2の値が大きいことを過小評価することによる損失が、σ 2 の値が小さいことを過大評価することによる損失よりも二乗損失の観点からよりコストがかかることを適切に考慮します (サンプリング理論の計算では考慮できません) 。
計算されたベイズ法では、 σ 2 の事後確率分布に対して、自由度n − 1のスケーリングされた逆カイ二乗分布 が得られます。期待損失はcnS 2 = <σ 2 > のときに最小になります。これはc = 1/( n − 3 ) のときに発生します。
したがって、情報量の少ない事前分布を用いた場合でも、ベイズ計算は、対応する標本理論計算と同じ期待損失最小化結果を与えるとは限らない。
注記 ↑ 「二項分布の場合、$1/p$ の不偏推定量が存在しないのはなぜですか？」。Mathematics Stack Exchange 。 2023年12月27日 取得 。 1 2 3 Kozdron, Michael (2016 年 3 月). 「推定量の良し悪しの評価: バイアス、平均二乗誤差、相対効率 (第 3 章)」 (PDF) . stat.math.uregina.ca . 2020 年 9 月 11 日 に取得。 1 2 Taylor, Courtney (2019年1月13日). "不偏推定量と偏り推定量" . ThoughtCo . 2020年9月12日 取得 。 ↑ デッキング、ミシェル編 (2005). 確率と統計の現代的入門：なぜ、どのように理解するか . シュプリンガー統計学テキスト. ロンドン [ハイデルベルク]: シュプリンガー. ISBN 978-1-85233-896-1 。↑ リチャード・アーノルド・ジョンソン、ディーン・W・ウィチャーン（2007）。 応用多変量統計解析 。ピアソン・プレンティス・ホール 。ISBN 978-0-13-187715-3 2012年8月10日 に取得 。↑ Romano, JP; Siegel, AF (1986). 確率と統計における反例 . カリフォルニア州モントレー、アメリカ合衆国: Wadsworth & Brooks / Cole. p. 168. ↑ Hardy, M. (2003年3月1日). 「啓発的な反例」. American Mathematical Monthly . 110 (3): 234–238 . arXiv : math/0206006 . doi : 10.2307/3647938 . ISSN 0002-9890 . JSTOR 3647938 . ↑ ブラウン（1947）、583ページ ↑ リーマン 1951 ;バーンバウム 1961 ;ファン・デル・ファールト 1961 ;ファンザグル 1994 ↑ Pfanzagl, Johann (1979). "On optimal median biasedestators in the presence of nuisance parameters" . The Annals of Statistics . 7 (1): 187– 193. doi : 10.1214/aos/1176344563 . 1 2 Brown, LD; Cohen, Arthur; Strawderman, WE (1976). "A Complete Class Theorem for Strict Monotone Likelihood Ratio With Applications" . Ann. Statist . 4 (4): 712– 722. doi : 10.1214/aos/1176343543 . 1 2 3 Dodge, Yadolah 編 (1987). L 1 ノルムおよび関連手法 に基づく統計データ分析. 1987 年 8 月 31 日～9 月 4 日、ヌーシャテルで開催された第 1 回国際会議の論文集. アムステルダム: North-Holland. ISBN 0-444-70273-3 。↑ Jaynes, ET (2007). 確率論 ：科学の論理 . Cambridge: Cambridge Univ. Press. p. 172. ISBN 978-0-521-59271-0 。↑ Klebanov, Lev B.; Rachev, Svetlozar T.; Fabozzi, Frank J. (2009). "損失関数と不偏推定の理論". 統計学におけるロバストモデルと非ロバストモデル . ニューヨーク: Nova Scientific. ISBN 978-1-60741-768-2 。↑ タボガ、マルコ (2010)。 「確率論と数理統計学に関する講義」 。 ↑ デグルート、モリス H. (1986). 確率と統計 (第 2 版). アディソン・ウェスリー. pp. 414 –5. ISBN 0-201-11366-X 。（ 2001）。 統計的推論 （第2 版 ）。ダックスベリー。p.332。ISBN 0-534-24312-6 。↑ Gelman, A.; et al. (1995). ベイズデータ分析 . Chapman and Hall. p. 108. ISBN 0-412-03991-5 。
参考文献 Brown, George W.「小標本推定について」『数理統計学年報 』第18巻、第4号（1947年12月）、 582-585頁。JSTOR 2236236。 Lehmann, EL (1951年12月). 「不偏性の一般概念」. The Annals of Mathematical Statistics . 22 (4): 587–592 . doi : 10.1214/aoms/1177729549 . JSTOR 2236928 . バーンバウム、アラン（1961 年 3月）。「推定の統一理論、I」。数理 統計学年報 。32 （1）：112–135。doi ： 10.1214/aoms / 1177705145。Van der Vaart, HR (1961年6月). 「バイアスの概念のいくつかの拡張」 . The Annals of Mathematical Statistics . 32 (2): 436–447 . doi : 10.1214/aoms/1177705051 . ファンザグル、ヨハン (1994)。パラメトリック統計理論 。ウォルター・デ・グルイテル。 スチュアート、アラン；オード、キース；アーノルド、スティーブン[F.]（2010）。古典的推論と線形モデル 。ケンドールの統計学上級理論。第 2A巻。ワイリー。ISBN 978-0-4706-8924-0 。 ヴォイノフ、ヴァシリー[G.]；ニクリン、ミハイル[S.]（1993）。不偏推定量とその応用 。第 1巻：単変量の場合。ドルトレクト：クルーワー・アカデミック・パブリッシャーズ。ISBN 0-7923-2382-3 。 ヴォイノフ、ヴァシリー[G.]；ニクリン、ミハイル[S.]（1996）。不偏推定量とその応用 。第 2巻：多変量の場合。ドルトレクト：クルーワー・アカデミック・パブリッシャーズ。ISBN 0-7923-3939-8 。 Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.] (2009).統計学におけるロバストモデルと非ロバストモデル . ニューヨーク: Nova Scientific Publishers. ISBN 978-1-60741-768-2 。
外部リンク 「不偏推定量」、数学百科事典
![\displaystyle \operatorname {Bias} ({\hat {\theta }},\theta )=\operatorname {Bias} _{\theta }\left[\,{\hat {\theta }}\,\right]=\operatorname {E} _{x\mid \theta }\left[\,{\hat {\theta }}\,\right]-\theta =\operatorname {E} _{x\mid \theta }\left[{\hat {\theta }}-\theta \right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7f2202ff27d7c9ba335557afda57b9ebd3447e9e)
![\displaystyle \underbrace {\operatorname {Var} (X)} _{\sigma ^{2}}=\underbrace {\operatorname {E} \left[\operatorname {Var} \left(X\mid {\bar {X}}\right)\right]} _{E[S^{2}]}+\underbrace {\operatorname {Var} \left(\operatorname {E} \left[X\mid {\bar {X}}\right]\right)} _{\sigma ^{2}/n},\quad \implies E[S^{2}]={\frac {n-1}{n}}\sigma ^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2767ef1eff5a913d8e1707f1a623348039198e7e)
![{\displaystyle {\begin{aligned}\operatorname {Var} \left(\operatorname {E} [X\mid {\bar {X}}]\right)&=\operatorname {Var} \left({\overline {X}}\right)=\operatorname {Var} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)\\[1ex]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}\right)={\frac {1}{n^{2}}}n\sigma ^{2}={\frac {\sigma ^{2}}{n}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d942238d61c6662d06f66455bdb836d34211fb8f)
![{\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e493cb505bfe33759adff20c05469dfd02718e79)
![{\displaystyle n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9909a909c3cc268489eb7372c05ef3c7ccc9a07a)
![{\displaystyle \operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/89c9b13c46f7a9c6b5ed2f0d61993a82721c4333)
![{\displaystyle \operatorname {E} [S^{2}]={\frac {n-1}{n}}\sigma ^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a1e4143b8aee46411debc9fd7419ac7d66f0c53a)
![${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.}$](https://wikimedia.org/api/rest_v1/media/math/render/svg/d49caa6db3ae779d2a0986756d13c3dc7979a39c)
![{\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b541af7bcf5ddc8207f44598b2041e41cfee5544)
![{\displaystyle {\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/768d4c44328a35d581ce47e6227b7f1403e180ee)
![\displaystyle \operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ および }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/95726bf68b25a238b51a7301918165ee854ef732)
![{\displaystyle \operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f8ef172000da21a996abc01468612bdce011ae3c)
![{\displaystyle \operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fcb4ffe91fbc418542932416d2935027d677aa01)
![\displaystyle \operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c3916789974195073e695ae4ec06d82b58dd71bd)