見積担当者

特定のサンプルについて${\displaystyle x}$推定量の「誤差」${\displaystyle {\ワイドハット {\シータ }}}$は次のように定義される。 $${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$$ どこ${\displaystyle \theta }$は推定対象のパラメータです。誤差eは、推定量（推定式または手順）だけでなく、サンプルにも依存します。

平均二乗誤差${\displaystyle {\ワイドハット {\シータ }}}$は、二乗誤差の期待値（すべてのサンプルにわたる確率加重平均）として定義されます。つまり、 $${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].}$$これは、推定対象の 単一のパラメータから、推定値の集合が平均的にどれだけ離れているかを示すために使用されます。次の例えを考えてみましょう。パラメータを的の中心、推定器を的に向かって矢を射るプロセス、個々の矢を推定値（サンプル）とします。すると、MSEが高いということは、矢が中心から平均的にどれだけ離れているかが大きいことを意味し、MSEが低いということは、中心から平均的にどれだけ離れているかが小さいことを意味します。矢は集中している場合もあれば、そうでない場合もあります。たとえば、すべての矢が同じ点に当たったとしても、的を大きく外れた場合でも、MSEは比較的大きくなります。しかし、MSEが比較的低い場合は、矢は的の周りに（分散しているよりも）集中している可能性が高いと言えます。

特定のサンプルについて${\displaystyle x}$推定量の標本偏差${\displaystyle {\widehat {\theta }}}$は次のように定義される。 $${\displaystyle d(x)={\widehat {\theta }}(x)-\operatorname {E} [{\widehat {\theta }}(X)]={\widehat {\theta }}(x)-\operatorname {E} [{\widehat {\theta }}],}$$ どこ${\displaystyle \operatorname {E} [{\widehat {\theta }}(X)]}$は推定量の期待値です。標本偏差は、${\displaystyle d}$推定値だけでなく、サンプルにも依存する。

分散​​${\displaystyle {\widehat {\theta }}}$は二乗標本偏差の期待値です。つまり、${\displaystyle \operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]}$これは、推定値の集合が平均して、推定値の期待値からどれだけ離れているかを示すために使用されます。（MSEと分散の違いに注意してください。）パラメータが的の中心で、矢印が推定値である場合、分散が比較的高いということは矢印が散らばっていることを意味し、分散が比較的低いということは矢印が集中していることを意味します。分散が低くても、矢印の集まりが的から大きく外れている可能性があり、分散が高くても、散在した矢印の集合が偏りがない可能性があります。最後に、すべての矢印が的を大きく外れていても、すべてが同じ点に当たっている場合は、分散はゼロになります。

バイアス​​${\displaystyle {\widehat {\theta }}}$は次のように定義される。${\displaystyle B({\widehat {\theta }})=\operatorname {E} [{\widehat {\theta }}]-\theta }$これは、推定値の集合の平均と、推定される単一のパラメータとの間の距離です。${\displaystyle {\widehat {\theta }}}$は、真の値の関数である。${\displaystyle \theta }$つまり、${\displaystyle {\widehat {\theta }}}$は${\displaystyle b}$は、すべての${\displaystyle \theta }$バイアス${\displaystyle {\widehat {\theta }}}$は${\displaystyle b}$。

推定量には、偏りのある推定量と偏りのない推定量の2種類があります。推定量が偏っているかどうかは、次の関係によって識別できます。${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta }$および 0:

• もし${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta \neq 0}$、${\displaystyle {\widehat {\theta }}}$偏っている。
• もし${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =0}$、${\displaystyle {\widehat {\theta }}}$公平である。

バイアスは誤差の期待値でもある。${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =\operatorname {E} [{\widehat {\theta }}-\theta ]}$パラメータがターゲットの中心で、矢印が推定値である場合、バイアスの絶対値が比較的高いということは、矢印の平均位置がターゲットから外れていることを意味し、バイアスの絶対値が比較的低いということは、矢印の平均位置がターゲット上にあることを意味します。それらは分散している場合もあれば、集中している場合もあります。バイアスと分散の関係は、精度と正確さの関係に類似しています。

推定器${\displaystyle {\widehat {\theta }}}$は不偏推定量である${\displaystyle \theta }$かつその場合に限り${\displaystyle B({\widehat {\theta }})=0}$バイアスは推定値の特性ではなく、推定量自体の特性です。人々はしばしば「バイアスのある推定値」や「バイアスのない推定値」という言葉を使いますが、実際には「バイアスのある推定量による推定値」または「バイアスのない推定量による推定値」について話しているのです。また、人々はしばしば、単一の推定値の「誤差」と推定量の「バイアス」を混同します。ある推定値の誤差が大きいからといって、その推定量がバイアスがあるとは限りません。実際、すべての推定値の誤差の絶対値が天文学的な値であっても、誤差の期待値がゼロであれば、その推定量はバイアスがありません。また、推定量がバイアスを持っているからといって、特定のケースで推定値の誤差がゼロになる可能性がないわけではありません。理想的な状況は、分散の小さいバイアスのない推定量を持ち、誤差が極端に大きいサンプルの数を制限すること（つまり、外れ値を少なくすること）です。しかし、バイアスがないことは必須ではありません。多くの場合、わずかなバイアスを許容すれば、平均二乗誤差が小さく、かつ/または外れ値のサンプル推定値が少ない推定量を見つけることができる。

上記の「不偏推定量」の代替案として、「中央値不偏推定量」があります。これは、推定値の分布の中央値が真の値と一致する場合です。したがって、長期的には推定値の半分が低すぎ、半分が高すぎることになります。これは、スカラー値の推定量にのみ直接適用されますが、分布の中心傾向のあらゆる尺度に拡張できます。詳しくは、「中央値不偏推定量」を参照してください。

実際の問題では、${\displaystyle {\widehat {\theta }}}$常に機能的な関係を持つことができる${\displaystyle \theta }$例えば、ある遺伝理論では、ある種類の葉（デンプン質の緑色）が一定の確率で出現するとされている。${\displaystyle p_{1}=1/4\cdot (\theta +2)}$、 と${\displaystyle 0<\theta <1}$それでは、${\displaystyle n}$葉、ランダム変数${\displaystyle N_{1}}$、またはデンプン質の緑の葉の数は、${\displaystyle \mathrm {Bin} (n,p_{1})}$分布。この数値は、次の推定量を表すために使用できます。${\displaystyle \theta }$:${\displaystyle {\widehat {\theta }}=4/n\cdot N_{1}-2}$示すことができるのは${\displaystyle {\widehat {\theta }}}$は、の不偏推定量である。${\displaystyle \theta }$: $${\displaystyle {\begin{aligned}\operatorname {E} [{\widehat {\theta }}]&=\operatorname {E} [4/n\cdot N_{1}-2]=4/n\cdot \operatorname {E} [N_{1}]-2\\[1ex]&=4/n\cdot np_{1}-2=4\cdot p_{1}-2\\[1ex]&=4\cdot 1/4\cdot (\theta +2)-2=\theta +2-2\\[1ex]&=\theta .\end{aligned}}}$$

推定量に求められる特性の一つは、不偏性です。これは、推定量が真のパラメータよりも大きい値または小さい値を生成する系統的な傾向を持たないことを意味します。さらに、分散が小さい不偏推定量は、分散が大きいものよりもパラメータの「真の」値に近くなるため、好ましいとされています。分散が最小の不偏推定量は、最小分散不偏推定量（MVUE）と呼ばれます。

推定器が${\displaystyle {\widehat {\theta }}}$偏りがなく、方程式を簡単に理解できる${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =0}$推定量Tと関心のあるパラメータを用いて${\displaystyle \theta }$前の式を解くと、次のようになります。${\displaystyle \operatorname {E} [T]=\theta }$推定量は不偏である。右の図を見ると、${\displaystyle {\hat {\theta }}_{2}}$唯一の不偏推定量である場合、分布が重なり、両方とも中心が${\displaystyle \theta }$その後、分配${\displaystyle {\hat {\theta }}_{1}}$実際には、それが好ましい不偏推定量となるだろう。

期待値 モデル分布の期待値の観点から量を調べる場合、以下の 2 つの式を満たす不偏推定量が存在します。

分散 同様に、モデル分布として分散に関心のある量を調べる場合、以下の 2 つの式を満たす不偏推定量も存在します。

n  −  1で割っているのは、 nで割ると負のバイアスを持つ推定値が得られ、その結果、小さすぎる推定値が生成されてしまうためです。${\displaystyle \sigma ^{2}}$また、たとえ${\displaystyle S_{n}^{2}}$偏りがない${\displaystyle \sigma ^{2}}$その逆は真ではない。^{[ 4 ]}

• 平均二乗誤差、分散、およびバイアスは、以下の関係にある。${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},}$すなわち、平均二乗誤差＝分散＋バイアスの二乗。特に、不偏推定量の場合、分散は平均二乗誤差に等しくなります。
• 推定量の標準偏差${\displaystyle {\widehat {\theta }}}$の${\displaystyle \theta }$（分散の平方根）、または推定量の標準偏差の推定値${\displaystyle {\widehat {\theta }}}$の${\displaystyle \theta }$は、の標準誤差と呼ばれます。${\displaystyle {\widehat {\theta }}}$。
• バイアス・バリアンスのトレードオフは、モデルの複雑さ、過学習、および過小学習において用いられます。主に教師あり学習や予測モデリングの分野で、アルゴリズムの性能を診断するために使用されます。

正規確率分布に従う確率変数を考える${\displaystyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$平均値の偏りのある推定値${\displaystyle \mu =\theta }$その分布の $${\displaystyle {\hat {\theta }}(X)={\bar {X}}_{n}+B={\frac {1}{n}}\sum _{i=1}^{n}X_{i}+B,}$$ どこ${\displaystyle B}$退化分布に従う、すなわち${\displaystyle P(B=b)=1}$、したがって $${\displaystyle \mathrm {E} [{\hat {\theta }}(X)]=\mathrm {E} [{\bar {X}}_{n}]+\mathrm {E} [B]=\mu +b,}$$$${\displaystyle \mathrm {B} ({\hat {\theta }}(X))=b,}$$$${\displaystyle {\begin{aligned}\mathrm {Var} ({\hat {\theta }}(X))&=\mathrm {E} [({\bar {X}}_{n}+B-\mu -b)^{2}]\\[2ex]&={\color [rgb]{0.12156862745098039,0.4666666666666667,0.7058823529411765}\mathrm {E} [({\bar {X}}_{n}-\mu )^{2}]}+{\color [rgb]{1,0.4980392156862745,0.054901960784313725}\mathrm {E} [(B-b)^{2}]}+{\color [rgb]{0.17254901960784313,0.6274509803921569,0.17254901960784313}2\mathrm {E} [({\bar {X}}_{n}-\mu )(B-b)]}\\[2ex]&={\color [rgb]{0.12156862745098039,0.4666666666666667,0.7058823529411765}\mathrm {Var} ({\bar {X}}_{n}-\mu )+\mathrm {E} [({\bar {X}}_{n}-\mu )^{2}]}+{\color [rgb]{1,0.4980392156862745,0.054901960784313725}\mathrm {Var} (B-b)+\mathrm {E} [(B-b)^{2}]}\\[0.5ex]&\qquad {}+{\color [rgb]{0.17254901960784313,0.6274509803921569,0.17254901960784313}2\underbrace {\mathrm {Cov} ({\bar {X}}_{n}-\mu ,B-b)} _{|\cdots |^{2}\leqslant \mathrm {Var} ({\bar {X}}_{n}-\mu )\mathrm {Var} (B-b)=0}+2\mathrm {E} [{\bar {X}}_{n}-\mu ]\mathrm {E} [B-b]}\\&={\frac {\sigma ^{2}}{n}},\end{aligned}}}$$ すべての項がゼロであるが、${\displaystyle \mathrm {Var} ({\bar {X}}_{n}-\mu )=\mathrm {Var} ({\bar {X}}_{n})={\frac {\sigma ^{2}}{n}}}$ビエネメの公式を使用し、 $${\displaystyle \mathrm {MSE} ({\hat {\theta }}(X))=\mathrm {E} [({\bar {X}}_{n}+B-\mu )^{2}]=\mathrm {E} [({\bar {X}}_{n}-\mu )^{2}]+\mathrm {E} [B^{2}]={\frac {\sigma ^{2}}{n}}+b^{2}.}$$ 平均二乗誤差、分散、バイアスの関係を検証します。以下に、確率分布の平均推定の定量化された特性を示します。${\displaystyle \mu =0}$、${\displaystyle \sigma =1}$そして${\displaystyle b=1/2}$。

確率密度関数${\displaystyle \phi }$標準正規分布（青）のサンプル${\displaystyle \{x_{i}\}_{n}}$の${\displaystyle n=10}$値（${\displaystyle {\color [rgb]{1,0.4980392156862745,0.054901960784313725}\bullet }}$）および関連する推定値${\displaystyle {\hat {\theta }}(\{x_{i}\}_{n})}$（${\displaystyle {\color [rgb]{0.17254901960784313,0.6274509803921569,0.17254901960784313}\blacksquare }}$平均${\displaystyle \theta =0}$元の分布と平均${\displaystyle \mathrm {E} ({\hat {\theta }})=1/2}$推定量の平均値（右図参照）も誤差とともに表示されています。${\displaystyle e}$およびサンプリング偏差${\displaystyle d}$。

推定量の標本分布${\displaystyle {\hat {\theta }}(X)}$平均、分散（標準誤差の二乗）、および平均二乗誤差を持つ分布を示します。赤色で示されているのは、元の分布が正規分布であり、推定量が（偏りのある）標本平均である場合に知られている正確な分布です。緑色で示されているのは、20,000 個の推定値のヒストグラムです。ヒストグラムは、標本数が無限大の極限で正確な分布に収束します。なお、推定値の数が与えられた場合、中心極限定理により、（偏りのある）標本平均推定量の推定分布も、標本サイズが無限大の極限で正確な分布に収束することが保証されます。

一貫性のある推定量とは、推定値の系列が、指標（通常は標本サイズ）が無限に大きくなるにつれて、推定対象量に確率的に収束する推定量のことです。言い換えれば、標本サイズを大きくすると、推定量が母集団パラメータに近づく確率が高まります。

数学的に、推定量はパラメータの一致推定量である。${\displaystyle \theta }$推定値のシーケンスについて、かつその場合に限る。${\displaystyle \{t_{n}:n\in \mathbb {N} \}}$、そしてすべての${\displaystyle \varepsilon >0}$どんなに小さくても、 $${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|\leq \varepsilon \right\}=1.}$$上記で定義した一貫性は、弱い一貫性と呼ばれる。数列が真の値にほぼ確実に収束する場合、その数列は強い一貫性を持つ。

パラメータの倍数に収束する推定量は、スケールファクター（すなわち、真の値を推定量の漸近値で割った値）を乗じることで、一致推定量にすることができる。これは、統計的分散の尺度によるスケールパラメータの推定において頻繁に行われる。

推定量が真の分布関数と同じ経験分布関数の関数である限り、その推定量はフィッシャー一致性を持つとみなすことができる。以下の式に従う。 $${\displaystyle {\widehat {\theta }}=h(T_{n}),\theta =h(T_{\theta })}$$ どこ${\displaystyle T_{n}}$そして${\displaystyle T_{\theta }}$はそれぞれ経験分布関数と理論分布関数です。推定量がフィッシャー一致性を持つかどうかを確認する簡単な例として、平均と分散の一致性をチェックします。たとえば、平均の一致性をチェックするには、${\displaystyle {\widehat {\mu }}={\bar {X}}}$差異を確認するには、${\displaystyle {\widehat {\sigma }}^{2}=SSD/n}$[ ^{5 ]​}

漸近的に正規分布する推定量は、真のパラメータの周りの分布が一致性のある推定量である。${\displaystyle \theta }$標準偏差が比例​​して縮小する正規分布に近づく。${\displaystyle 1/{\sqrt {n}}}$サンプルサイズとして${\displaystyle n}$成長する。${\displaystyle {\xrightarrow {D}}}$分布の収束を示す推定量${\displaystyle t_{n}}$漸近的に正規分布である場合 $${\displaystyle {\sqrt {n}}(t_{n}-\theta )\ \xrightarrow {D} \ N(0,V),}$$ 一部の人にとって${\displaystyle V}$。

この処方では${\displaystyle V/n}$これは推定量の漸近分散と呼ぶことができる。しかし、一部の著者はこれを別の呼び方で呼ぶ。${\displaystyle V}$漸近分散。^{[ 6 ]} 有限の場合には必ずしも収束が起こるとは限らないことに注意してください。${\displaystyle n}$したがって、この値は推定量の真の分散の近似値にすぎませんが、極限では漸近分散は${\displaystyle V/n}$単純にゼロです。特に、推定量の分布は${\displaystyle t_{n}}$は、中心が のディラックのデルタ関数に弱く収束する。${\displaystyle \theta }$。

データの分布に関する緩やかな条件下では、中心極限定理は標本平均の漸近正規性を意味する。${\displaystyle {\bar {X}}}$真の平均の推定値として。より一般的には、最尤推定量は、かなり弱い正則条件の下で漸近的に正規分布に従います（最尤法の記事の漸近解析のセクションを参照）。ただし、すべての推定量が漸近的に正規分布に従うわけではありません。最も単純な例は、パラメータの真の値が許容パラメータ領域の境界にある場合です。

推定量の効率は、関心のある量を「最小誤差」で推定するために用いられます。実際には、明確な最良の推定量は存在せず、より良い推定量しか存在しません。推定量の効率が優れているかどうかは、特定の損失関数の選択に基づいており、推定量の2つの望ましい特性、すなわち不偏性によって反映されます。${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =0}$そして、平均二乗誤差（MSE）が最小である。${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]}$一般的に、これら両方を同時に満たすことはできません。偏りのある推定量は、偏りのない推定量よりも平均二乗誤差が小さくなる場合があります（推定量の偏りを参照）。

この方程式は、平均二乗誤差と推定バイアスの関係を示しています。^{[ 4 ]}$${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=\left(\operatorname {E} [{\widehat {\theta }}]-\theta \right)^{2}+\operatorname {Var} ({\widehat {\theta }})}$$最初の項は平均二乗誤差を表し、2 番目の項は推定バイアスの二乗を表し、3 番目の項は推定量の分散を表します。推定量の質は、分散、推定バイアスの二乗、または MSE の比較から判断できます。良い推定量 (効率が良い) の分散は、悪い推定量 (効率が悪い) の分散よりも小さくなります。良い推定量の推定バイアスの二乗は、悪い推定量の推定バイアスの二乗よりも小さくなります。良い推定量の MSE は、悪い推定量の MSE よりも小さくなります。2 つの推定量があると仮定します。${\displaystyle {\widehat {\theta }}_{1}}$は優れた推定器であり、${\displaystyle {\widehat {\theta }}_{2}}$は不適切な推定値である。上記の関係は、以下の式で表すことができる。$${\displaystyle {\begin{aligned}&\operatorname {Var} ({\widehat {\theta }}_{1})<\operatorname {Var} ({\widehat {\theta }}_{2}),\\[0.2cm]&\left|\operatorname {E} ({\widehat {\theta }}_{1})-\theta \right|<\left|\operatorname {E} ({\widehat {\theta }}_{2})-\theta \right|,\\[0.2cm]&\operatorname {MSE} ({\widehat {\theta }}_{1})<\operatorname {MSE} ({\widehat {\theta }}_{2}).\end{aligned}}}$$推定量の効率性を判断するには、数式を用いるだけでなく、グラフからも判断できます。推定量が効率的であれば、頻度と値のグラフにおいて、中央に高頻度、両側に低頻度の曲線が現れます。例えば、次のようになります。

推定器が効率的でない場合、頻度対値のグラフでは、比較的緩やかな曲線になります。

簡単に言うと、優れた推定器は曲線が狭く、劣悪な推定器は曲線が広くなります。これら2つの曲線をy軸を共有する1つのグラフにプロットすると、その違いがより明確になります。

不偏推定量の中には、分散が最も小さいものが存在することが多く、これを最小分散不偏推定量（MVUE）と呼びます。場合によっては、不偏効率的推定量が存在し、これは不偏推定量の中で分散が最も小さいだけでなく、変数の統計量の分散の絶対的な下限であるクラメール・ラオ限界を満たします。

このような「最良不偏推定量」については、クラメール・ラオ限界、ガウス・マルコフの定理、レーマン・シェッフェの定理、ラオ・ブラックウェルの定理も参照のこと。