効率性（統計）

{ P _θ | θ ∈ Θ } をパラメトリックモデルとし、X = ( X ₁ , …, X _n )をこのモデルからサンプリングされたデータとします。T = T ( X )をパラメータθの推定量とします。この推定量が不偏である場合(つまり、E[ T ] = θの場合)、クラメール・ラオの不等式によれば、この推定量の分散は下から制限されます。

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

どこ${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$は、点θにおけるモデルのフィッシャー情報行列です。一般に、分散は、確率変数が平均値の周りにどれだけばらついているかの度合いを表します。したがって、分散が小さい推定量はより集中しており、パラメータをより正確に推定します。推定量が有限標本効率推定量(不偏推定量のクラス) であるとは、すべてのθ ∈ Θに対して、上記の Cramér–Rao の不等式の下限に達する場合を指します。効率的な推定量は常に最小分散不偏推定量です。しかし、その逆は成り立ちません。最小分散平均不偏推定量が非効率となる点推定問題が存在します。^{[ 6 ]}

歴史的に、有限サンプル効率は初期の最適性基準の一つであった。しかし、この基準にはいくつかの限界がある。

• 有限標本効率推定量は極めてまれである。実際、効率的な推定は指数型分布族においてのみ可能であり、かつその分布族の自然パラメータに対してのみ可能であることが証明されている。^{[ 7 ]}
• この効率性の概念は、不偏推定量のクラスに限定されることがあります。（多くの場合そうではありません。^{[ 8 ]}）推定量が不偏であることを要求する良い理論的根拠がないため、この制限は不便です。実際、平均二乗誤差を選択基準として使用すると、多くの偏りのある推定量が「最良」の不偏推定量をわずかに上回ります。たとえば、 3 次元以上の多変量統計では、平均不偏推定量である標本平均は許容されません。結果に関係なく、そのパフォーマンスはたとえばJames–Stein 推定量よりも劣ります。
• 有限標本効率は、推定量の評価基準として分散に基づいています。より一般的なアプローチとしては、二次関数以外の損失関数を用いる方法がありますが、その場合、有限標本効率を定式化することはできません。

例えば、実際に遭遇するモデルの中には、正規分布の平均μ（ただし分散σ²は除く）、ポアソン分布のパラメータλ 、^二項分布または多項分布の確率pに対する効率的な推定量が存在します。

平均は未知だが分散は既知の正規分布モデルを考えます。 { P _θ = N ( θ , σ ² ) | θ ∈ R }。データは、このモデルからのn 個の独立かつ同一の分布に従う観測値X = ( x ₁ , …, x _n )から構成されます。すべての観測値の標本平均を使用してパラメータθを推定します。

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

この推定量は平均θ、分散σ² ^/ nを持ち、これは標本からのフィッシャー情報量の逆数に等しい。したがって、標本平均は正規分布の平均に対する有限標本効率推定量である。

サイズ のサンプルを考えてみましょう${\displaystyle N}$平均の正規分布から抽出${\displaystyle \mu }$単位分散、すなわち、${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

標本平均、${\displaystyle {\overline {X}}}$サンプルの${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$定義される

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

平均の分散、1/ N （標準誤差の二乗）は、標本からのフィッシャー情報の逆数に等しく、したがって、クラメール・ラオの不等式により、標本平均は効率が1（100%）であるという意味で効率的である。

次に、標本中央値について考えてみましょう。${\displaystyle {\widetilde {X}}}$これは、不偏かつ一貫性のある推定量です。${\displaystyle \mu }$大規模な場合${\displaystyle N}$標本中央値は平均が正規分布に近い分布を示す${\displaystyle \mu }$および分散${\displaystyle {\pi }/{2N},}$^{[ 10 ]}

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

大規模な中央値の効率${\displaystyle N}$したがって

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

言い換えれば、中央値の相対分散は${\displaystyle \pi /2\approx 1.57}$、つまり平均の分散より 57% 大きい場合、中央値の標準誤差は平均の標準誤差より 25% 大きくなります。^{[ 11 ]}

これは漸近効率、つまりサンプルサイズが極限に達したときの効率であることに注意してください。${\displaystyle N}$無限大に近づく。有限値の場合${\displaystyle N,}$効率はこれよりも高い（例えば、サンプルサイズが3の場合、効率は約74%となる）。

この例では、標本平均の方が標本中央値よりも効率的です。しかし、中央値の方が優れた性能を発揮する指標もあるかもしれません。例えば、中央値は外れ値に対してはるかに頑健であるため、ガウスモデルが疑わしい場合や近似的な場合は、中央値を使用する方が有利な場合があります（頑健な統計を参照）。

相関のない同一分布変数の平均を推定する場合、合計の分散が分散の合計であるという事実を利用できます。この場合、効率は変動係数の二乗として定義できます。つまり、^{[ 13 ]}

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

したがって、このような2つの推定量の相対効率は、一方の推定量の確実性を達成するために必要な他方の推定量の相対的なサンプルサイズとして解釈できる。証明：

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

今、なぜなら${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$我々は持っています${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$したがって、相対効率は、2番目の推定量の分散に一致させるために必要な最初の推定量の相対的なサンプルサイズを表します。

推定量の効率性は望ましい特性ではありますが、他の要素とのバランスを考慮する必要があります。特定の分布に対して効率的な推定量が、他の分布に対して非効率的である可能性も十分にあります。特に重要なのは、正規分布（対称性、単峰性、裾の薄さが特徴）のような単純な分布からのクリーンなデータに対して効率的な推定量は、外れ値による汚染に対して頑健ではなく、より複雑な分布に対して非効率的である可能性があるということです。ロバスト統計学では、単一の分布における効率性よりも、頑健性と幅広い分布への適用可能性に重点が置かれます。M推定量は、こうした懸念に基づいて開発された推定量の一般的なクラスです。M推定量は、頑健性と高い相対効率性の両方を実現するように設計できますが、場合によっては従来の推定量よりも効率性が低くなる可能性もあります。ただし、計算が非常に複雑になる場合もあります。

より伝統的な代替手段として、 L推定量があります。これは非常に単純な統計量で、計算や解釈が容易であり、多くの場合頑健で、初期推定には十分な効率性があります。詳細については、L推定量の応用を参照してください。この意味での非効率的な統計量については、コンピュータの登場以前に書かれたRDエバンスの『原子核』で詳しく議論されています。当時は、ソートされた一連の測定値の算術平均を効率的に推定することさえ骨の折れる作業でした。^{[ 14 ]}