推定値のバイアス

統計学では、推定量のバイアス(またはバイアス関数) は、この推定量の期待値と推定されるパラメータの真の値との差です。バイアスがゼロの推定量または決定ルールは、偏りのない と呼ばれます。統計学では、「バイアス」は推定量の客観的な特性です。バイアスは一貫性とは異なる概念です。一貫性のある推定量は、確率的にパラメータの真の値に収束しますが、偏りがある場合も偏りがない場合もあります (詳細については、バイアスと一貫性を参照してください)。

他の条件がすべて同じであれば、不偏推定量の方が偏りのある推定量よりも望ましいですが、実際には、偏りのある推定量 (一般にバイアスが小さい) が頻繁に使用されます。偏りのある推定量を使用する場合、バイアスの境界が計算されます。偏りのある推定量は、さまざまな理由で使用されることがあります。不偏推定量は、母集団についてのさらなる仮定なしには存在しないため、推定量の計算が困難であるため (標準偏差の不偏推定など)、偏りのある推定量は、中心傾向のさまざまな尺度に関して不偏である可能性があるため、偏りのある推定量は、不偏推定量と比較して、いくつかの損失関数(特に平均二乗誤差) の値が低くなるため (特に収縮推定量の場合)、または、場合によっては不偏であることが条件として強すぎるため、不偏推定量だけでは役に立たないためです。

バイアスは、平均（期待値）ではなく、中央値を基準にして測定することもできます。その場合、中央値不偏性と通常の平均不偏性特性を区別します。平均不偏性は非線形変換では保持されませんが、中央値不偏性は保持されます（§ 変換の影響を参照）。たとえば、標本分散は母分散のバイアスのある推定値です。これらはすべて以下に示されています。

パラメータの不偏推定量は必ずしも存在する必要はない。例えば、二項確率変数のパラメータの逆数には不偏推定量は存在しない。^[1]

実数θでパラメータ化された統計モデルがあり、観測データの確率分布と、任意の観測データに基づくθの推定値として機能する統計量 があるとします。つまり、データが何らかの未知の分布（θはこの分布の一部である固定された未知の定数）に従うと仮定し、観測データをθに近いと思われる値にマッピングする推定値を構築します。に対するのバイアスは次のように定義されます^[2]${\displaystyle P_{\theta }(x)=P(x\mid \theta )}$${\displaystyle {\hat {\theta }}}$${\displaystyle x}$${\displaystyle P(x\mid \theta )}$${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$${\displaystyle \theta}$

${\displaystyle \operatorname {バイアス} ({\hat {\theta }},\theta )=\operatorname {バイアス} _{\theta }[\,{\hat {\theta }}\,]=\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}\,]-\theta =\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}-\theta \,],}$

ここで、 は分布 上の期待値（つまり、すべての可能な観測値 の平均）を表します。 θ は条件付き分布 に関して測定可能であるため、2番目の式が続きます。 ${\displaystyle \operatorname {E} _{x\mid \theta}}$${\displaystyle P(x\mid \theta )}$${\displaystyle x}$${\displaystyle P(x\mid \theta )}$

推定量は、パラメータθのすべての値に対してバイアスがゼロに等しい場合、または同等に、推定量の期待値がパラメータの期待値と一致する場合、不偏であると言われます。 ^[3]不偏性は継承される保証はありません。たとえば、がパラメータθに対して不偏推定量である場合、g( ) が g( θ )に対して不偏推定量であることは保証されません。 ^[4]${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$

推定量の特性に関するシミュレーション実験では、平均符号付き差を使用して推定量のバイアスを評価することができます。

ランダム変数の標本分散は、推定値のバイアスの 2 つの側面を示しています。まず、単純な推定値にはバイアスがありますが、これはスケール係数で修正できます。次に、不偏推定値は平均二乗誤差(MSE) の点で最適ではありませんが、異なるスケール係数を使用することで最小化でき、結果として不偏推定値よりも MSE が低いバイアス推定値になります。具体的には、単純な推定値は二乗偏差を合計し、バイアスのあるnで割ります。代わりにn − 1 で割ると、不偏推定値になります。逆に、MSE は別の数 (分布によって異なります) で割ることで最小化できますが、その結果バイアスのある推定値になります。この数は常にn  − 1 より大きいため、これは不偏推定値をゼロに向かって「縮小」するため、収縮推定値と呼ばれます。正規分布の場合、最適値はn  + 1 です。

X ₁ , ..., X _{n が}、期待値μと分散σ ^{2 を持つ}独立かつ同一分布(iid) の確率変数であるとする。標本平均と補正されていない標本分散が次のように定義される 場合、

${\displaystyle {\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}\,{\big )}^{2}\qquad }$

すると、S ^{2 は}σ ²の偏った推定値となる。なぜなら、

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )-({\overline {X}}-\mu ){\bigg )}^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg )}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\sum _{i=1}^{n}1{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\cdot n{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]\end{aligned}}}$

続けて、の両辺から を引くと、 ${\displaystyle \mu}$${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

${\displaystyle {\begin{aligned}{\overline {X}}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-{\frac {1}{n}}\sum _{i=1}^{n}\mu \ ={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ).\\[8pt]\end{aligned}}}$

つまり、（クロス乗算によって）。すると、前の式は次のようになります。 ${\displaystyle n\cdot ({\overline {X}}-\mu )=\sum _{i=1}^{n}(X_{i}-\mu )}$

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\cdot n\cdot ({\overline {X}}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )^{2}+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\sigma ^{2}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}=\left(1-{\frac {1}{n}}\right)\sigma ^{2}<\sigma ^{2}.\end{aligned}}}$

これは、上記の未補正標本分散の期待値に関する不等式の項について、ビエネイメの公式から導かれる次の公式に注目することでわかります。 ${\displaystyle \operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}}$

言い換えれば、補正されていない標本分散の期待値は、正規化係数を乗じない限り、母集団分散σ ²と等しくならない。一方、標本平均は、母集団平均 μの不偏推定値である^[5]。^[3]

標本分散の通常の定義は であり、これは母分散の不偏推定値であることに注意してください。 ${\displaystyle S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}}$

代数的に言えば、次の理由により偏りがありません。 ${\displaystyle \operatorname {E} [S^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n-1}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]={\frac {n}{n-1}}\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]\\[8pt]&={\frac {n}{n-1}}\left(1-{\frac {1}{n}}\right)\sigma ^{2}=\sigma ^{2},\\[8pt]\end{aligned}}}$

ここで、2 行目への移行では、上で導出されたバイアス推定値の結果が使用されます。したがって、 、および は、母分散σ ^{2 の}バイアスのない推定値です。 分散のバイアスのある (補正されていない) 推定値とバイアスのない推定値の比率は、ベッセル補正として知られています。 ${\displaystyle \operatorname {E} [S^{2}]=\sigma ^{2}}$${\displaystyle S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}}$

補正されていない標本分散S ²が偏っている理由は、標本平均がμの通常の最小二乗法(OLS) 推定値であるという事実に由来します。μは、合計を可能な限り小さくする数値です。つまり、この合計に他の数値を代入すると、合計は増加するだけです。特に、選択により、 ${\displaystyle {\overline {X}}}$${\displaystyle \sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$${\displaystyle \mu \neq {\overline {X}}}$

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},}$

その後

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}}$

上記の議論は、幾何学的な用語で理解することができます。ベクトルは、の方向とその方向の直交補超平面に投影することによって、「平均部分」と「分散部分」に分解できます。に沿った部分は、補部分については となります。これは直交分解であるため、ピタゴラスの定理によれば となり、期待値を取ると、上記のように が得られます (ただし を掛けます)。がガウス分布からサンプリングされる場合のように 、の分布が回転対称である場合、平均して、 に沿った次元はに垂直な方向と等しくに寄与するため、 およびとなります。これは、上で説明したように、一般には実際に当てはまります。 ${\displaystyle {\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )}$${\displaystyle {\vec {u}}=(1,\ldots ,1)}$${\displaystyle {\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )}$${\displaystyle {\vec {u}}}$${\displaystyle {\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})}$${\displaystyle |{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}}$${\displaystyle n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]}$${\displaystyle n}$${\displaystyle {\vec {C}}}$${\displaystyle X_{i}}$${\displaystyle {\vec {u}}}$${\displaystyle |{\vec {C}}|^{2}}$${\displaystyle n-1}$${\displaystyle {\vec {u}}}$${\displaystyle \operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}}$${\displaystyle \operatorname {E} [S^{2}]={\frac {(n-1)\sigma ^{2}}{n}}}$

偏りのある推定値が偏りのない推定値よりも優れているという、より極端な例はポアソン分布から生じる。^{[6] [7]} Xが期待値λのポアソン分布 に従うと 仮定する。

${\displaystyle \operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad }$

サンプルサイズは 1 です。(たとえば、電話交換機への着信がポアソン過程としてモデル化され、λ が1 分あたりの平均着信数である場合、e ^{−2 λ は}次の 2 分間に着信がない確率です。)

不偏推定量の期待値δ ( X )は推定量に等しいので、すなわち

${\displaystyle \operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },}$

不偏推定量を構成するデータの唯一の機能は

${\displaystyle \delta (x)=(-1)^{x}.\,}$

これを理解するには、上記の期待値の式から e ^{− λ を}分解すると、残った合計もe ^{− λ}のテイラー級数展開となり、 e ^{− λ} e ^{− λ}  = e ^{−2 λ}となることに注意してください( 「指数関数の特性」を参照)。

Xの観測値が 100 の場合、推定値は 1 になりますが、推定される量の真の値は 0 に近い可能性が非常に高く、これは反対の極端です。また、X が101 と観測された場合、推定値はさらに不合理になります。推定される量は正であるはずなのに、推定値は -1 になります。

（バイアス付き）最大尤度推定量

${\displaystyle e^{-2{X}}\quad }$

は、この不偏推定量よりもはるかに優れています。その値は常に正であるだけでなく、平均二乗誤差が

${\displaystyle e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,}$

より小さい。不偏推定量のMSEと比較すると、

${\displaystyle 1-e^{-4\lambda }.\,}$

MSE は真の値 λの関数です。最大尤度推定値のバイアスは次のようになります。

${\displaystyle e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}.\,}$

最尤推定量の偏りは、かなり大きくなる可能性があります。1からnまでの番号が付けられたn 枚のチケットが箱に入れられ、そのうち 1 枚がランダムに選択されて値Xが与えられる場合を考えてみましょう。nが不明な場合、 n が与えられたときの Xの期待値は ( n + 1)/2に過ぎないにもかかわらず、 nの最尤推定量はXになります。nが少なくともXであり、おそらくそれ以上である ことだけが確かです。この場合、自然な不偏推定量は 2 X − 1です 。

中央値不偏推定量の理論は1947年にジョージ・W・ブラウンによって復活した。 ^[8]

1 次元パラメータ θ の推定値は、固定された θ に対して推定値の分布の中央値が値 θ にある場合、中央値不偏であると言われます。つまり、推定値は過大評価する頻度と過小評価する頻度が同じです。この要件は、ほとんどの目的において、平均不偏の要件と同程度に達成されるようであり、1 対 1 の変換に対して不変であるという追加の特性があります。

中央値不偏推定量のさらなる特性は、レーマン、バーンバウム、ファンデルファート、ファンツァグルによって指摘されている。^{[9]特に、中央値不偏推定量は、平均不偏推定量や}最大尤度推定量が存在しない場合に存在します。これらは1対1変換に対して不変です。

単調な尤度関数を持つ確率分布（例えば1パラメータ指数族）に対して、中央値不偏推定量を構築して、それらが最適であることを保証する方法がある（ある意味では、平均不偏推定量で考慮される最小分散特性に類似している）。^{[10] [11]}そのような手順の1つは、平均不偏推定量に対するラオ-ブラックウェル手順の類似物である。この手順は、平均不偏推定に対するラオ-ブラックウェル手順よりも小さい確率分布のクラスに有効であるが、より大きな損失関数のクラスに有効である。^[11]

任意の最小分散平均不偏推定量は、ガウス^[12]によって観察されたように、二乗誤差損失関数（平均不偏推定量の間で）に関してリスク（期待損失）を最小化します。 [12]最小平均絶対偏差中央値不偏推定量は、ラプラス[12]によって観察されたように、絶対損失関数（中央値不偏推定量の間で）に関してリスクを最小化します。^{[ 13]その他の損失関数は、統計、特に}ロバスト統計で使用されます。^{[12] [14]}

単変量パラメータの場合、中央値不偏推定量は、順序を維持する（または順序を逆にする）変換の下では中央値不偏のままです。変換を平均不偏推定量に適用した場合、結果は対応する母集団統計量の平均不偏推定量である必要はないことに注意してください。Jensenの不等式により、変換としての凸関数は正のバイアスを、凹関数は負のバイアスを、混合凸関数は特定の関数と分布に応じていずれかの方向にバイアスを生じさせる可能性があります。つまり、非線形関数fとパラメータpの平均不偏推定量Uの場合、複合推定量f ( U ) はf ( p )の平均不偏推定量である必要はありません。たとえば、母分散の不偏推定量の平方根は、母標準偏差の平均不偏推定量ではありません。不偏標本分散の平方根、つまり修正標本標準偏差は偏っています。偏りは推定量の標本分布と変換の両方に依存し、計算がかなり複雑になることがあります。このケースについては、 標準偏差の不偏推定を参照してください。

バイアスは推定値と基礎パラメータ間の平均差を定量化するが、有限サンプルに基づく推定値はサンプルのランダム性によりパラメータと異なることが予想される。バイアスを最小化する推定値は必ずしも平均二乗誤差を最小化するわけではない。両方のタイプの差を反映するために使用される1つの尺度は平均二乗誤差である。 [ ^2]

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.}$

これはバイアスの2乗と分散を加えたものに等しいことが示される：^[2]

${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}}$

パラメータがベクトルの場合、同様の分解が適用される：^[15]

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}$

ここで、は推定量の共分散行列のトレース（対角和）であり、 は二乗ベクトルノルムです。 ${\displaystyle \operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))}$${\displaystyle \left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}$

例えば^[16]の推定量が

${\displaystyle T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}}$

上と同様に母分散を求めますが、今回はMSEを最小化します。

${\displaystyle {\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}}$

変数X ₁ ... X _nが正規分布に従う場合、nS ² /σ ^{2は自由度}n − 1のカイ2乗分布を持ち 、次のようになります。

${\displaystyle \operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.}$

など

${\displaystyle \operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}}$

少し代数的に計算すると、バイアスの二乗のみを最小化するc = 1/ ( n − 1) ではなく、この複合損失関数を最小化する c = 1/ ( n  + 1) であることが確認 できます。

より一般的には、パラメータ値とは無関係に MSE を最小化する推定値が存在できるのは、制限されたクラスの問題の場合のみです。

しかし、バイアスと分散のトレードオフがあると認識されることは非常に一般的であり、バイアスの小さな増加と分散の大きな減少がトレードオフされ、全体としてより望ましい推定値が得られます。

ベイズ主義者のほとんどは、推定値の偏り（少なくとも上記の正式な標本理論の意味で）についてはあまり関心がありません。たとえば、ゲルマンと共著者（1995）は次のように書いています。「ベイズの観点から見ると、偏りの原則は大規模なサンプルの限界では合理的ですが、それ以外の場合は誤解を招く可能性があります。」^[17]

基本的に、ベイズ的アプローチと上記の標本理論アプローチの違いは、標本理論アプローチではパラメータが固定されているとみなされ、データの予測標本分布に基づいて統計の確率分布が考慮される点です。一方、ベイズ的アプローチでは、既知で固定されているのはデータであり、ベイズの定理を使用して確率分布を構築しようとするのは未知のパラメータです。

${\displaystyle p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)}$

ここで、2 番目の項、つまり未知のパラメータ値 θ が与えられた場合のデータの尤度は、取得されたデータとデータ生成プロセスのモデリングにのみ依存します。ただし、ベイズ計算には、最初の項、つまり θ の事前確率も含まれます。これは、データが取り込まれる前に分析者が θ について知っている、または推測しているすべてのことを考慮に入れます。この情報は、サンプリング理論アプローチではまったく役に立ちません。実際、この情報を含めようとすると、純粋にデータによって示されたものから「偏り」が生じるとみなされます。ベイズ計算に事前情報が含まれる限り、その結果がサンプリング理論の用語で「偏りのない」ものでなくなることは、本質的に避けられません。

しかし、ベイズ主義者が「無情報」な事前分布を採用しようとしたとしても、ベイズ的アプローチの結果はサンプリング理論アプローチとは異なる場合があります。

例えば、未知の平均を持つ正規分布の未知の母分散σ ²の推定を再度考えてみましょう。ここでは、期待損失関数の cを最適化することが望まれます。

${\displaystyle \operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$

この問題に対する非情報事前分布の標準的な選択はジェフリーズ事前分布であり、これはln(σ ² )に対して再スケーリング不変の平坦事前分布を採用することと同等です。 ${\displaystyle \scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}}$

この事前分布を採用することによる1つの結果は、 S ² / σ ^2が重要な量のままであることです。つまり、 S ² /σ ²の確率分布は、 S ^{2またはσ 2}の値とは無関係に、S ² / σ ²のみに依存します。

${\displaystyle p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)}$

しかし、

${\displaystyle \operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$

対照的に

${\displaystyle \operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$

—ベイズの場合のように、期待値がS ²が与えられたσ ^{2ではなく}S ²が与えられた σ ^{2の確率分布にわたって取られると、 σ 4 を}定数として因数分解することができなくなります。この結果、サンプリング理論の計算と比較すると、ベイズ計算では σ ^{2 のより大きな値に重みが置かれ、この二乗損失関数の下では、 σ 2}の大きな値を過小評価する結果が、 σ ²の小さな値を過大評価する結果よりも二乗損失の点でコストがかかるということが適切に考慮されます(サンプリング理論の計算では考慮されません⁾。

計算されたベイズ計算により、 事後確率分布 σ ^{2に対して自由度}n − 1のスケール逆カイ二乗分布が得られます。期待損失はcnS ²  = <σ ^{2 > のときに最小化されます。これは}c  = 1/( n  − 3) のときに発生します。

したがって、情報価値のない事前分布であっても、ベイズ計算では、対応するサンプリング理論の計算と同じ期待損失最小化結果が得られない可能性があります。

• Brown, George W. 「小サンプル推定について」『数理統計年報』第18巻第4号（1947年12月）、582～585頁。JSTOR 2236236  。
• Lehmann, EL (1951 年 12 月)。 「不偏性の一般概念」。数理統計年報。22 (4): 587– 592。JSTOR  2236928。
• バーンバウム、アラン（1961年3月）。「推定の統一理論、I」。数理統計年報。32 （1）：112-135。{{cite journal}}: CS1 maint: date and year (link)
• Van der Vaart, HR (1961 年 6 月)。「バイアスの概念のいくつかの拡張」。数理統計年報。32 (2): 436– 447。{{cite journal}}: CS1 maint: date and year (link)
• ファンザグル、ヨハン (1994)。パラメトリック統計理論。ウォルター・デ・グルイテル。
• スチュアート、アラン、オルド、スティーブン [F.] (2010)。古典的推論と線形モデル。ケンドールの統計の高度な理論。第 2A 巻。ワイリー。ISBN 978-0-4706-8924-0。。
• Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1993)。不偏推定量とその応用。第 1 巻: 単変量の場合。住所: Kluwer Academic Publishers。ISBN 0-7923-2382-3。
• Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1996)。不偏推定量とその応用。第 2 巻: 多変量の場合。住所: Kluwer Academic Publishers。ISBN 0-7923-3939-8。
• Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.] (2009)。統計におけるロバストモデルと非ロバストモデル。ニューヨーク: Nova Scientific Publishers。ISBN 978-1-60741-768-2。

• 「不偏推定量」、数学百科事典、EMS Press、2001 [1994]