効率（統計）

統計学において、効率とは推定量、実験計画^[1]、または仮説検定手順^[2]の品質の尺度である。本質的に、より効率的な推定量では、クラメール・ラオ境界を 達成するために、より効率の低い推定量よりも入力データまたは観測値が少なくて済む。効率的な推定量は、可能な限り最小の分散を持つことで特徴付けられ、推定値とL2ノルムの意味で「真の」値との間の偏差が小さいことを示している。^[1]

2 つの手順の相対効率は、それらの効率の比率ですが、この概念は多くの場合、特定の手順と概念上の「最善の」手順を比較する場合に使用されます。2 つの手順の効率と相対効率は、理論的には特定の手順で使用できるサンプル サイズに依存しますが、漸近相対効率(サンプル サイズが大きくなるにつれて相対効率が制限される値として定義される) を主な比較基準として使用できることがよくあります。

パラメータθの不偏 推定量Tの効率は次のように定義される^[3]

${\displaystyle e(T)={\frac {1/{\mathcal {I}}(\theta )}{\operatorname {var} (T)}}}$

ここで、はサンプルのフィッシャー情報です。したがって、 e ( T ) は、不偏推定量の最小分散を実際の分散で割ったものです。Cramér -Rao 境界を使用して、 e ( T ) ≤ 1 であることを証明できます 。 ${\displaystyle {\mathcal {I}}(\theta )}$

効率的な推定量とは、関心のある量を「可能な限り最善の」方法で推定する推定量である。「可能な限り最善」という概念は、特定の損失関数（異なる大きさの推定誤差の相対的な望ましくない度合いを定量化する関数）の選択に依存している。損失関数の最も一般的な選択は2次関数であり、その結果、平均二乗誤差基準が最適となる。^[4]

一般に、パラメータ θ の周りの推定量の広がりは、推定量の効率とパフォーマンスの尺度です。このパフォーマンスは、平均二乗誤差を見つけることで計算できます。より正式には、パラメータθの推定量をTとします。Tの平均二乗誤差は値 であり、分散とバイアスの合計として分解できます。 ${\displaystyle \operatorname {MSE} (T)=E[(T-\theta )^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {MSE} (T)&=\operatorname {E} [(T-\theta )^{2}]=\operatorname {E} [(T-\operatorname {E} [T]+\operatorname {E} [T]-\theta )^{2}]\\[5pt]&=\operatorname {E} [(T-\operatorname {E} [T])^{2}]+2E[TE[T]](\operatorname {E} [T]-\theta )+(\operatorname {E} [T]-\theta )^{2}\\[5pt]&=\operatorname {var} (T)+(\operatorname {E} [T]-\theta )^{2}\end{aligned}}}$

推定量T _{1 は}推定量T ₂よりも優れたパフォーマンスを発揮するのは の場合です。^[5]より具体的なケースとして、T ₁とT _{2が同じパラメータ θ に対する 2 つの不偏推定量である場合、分散を比較してパフォーマンスを判定できます。この場合、 T 2}の分散が T 1 の分散よりも小さい場合、_つまりθのすべての値に対して、 T _2はT ₁よりも効率的です。この関係は、上記のより一般的なケースを平均二乗誤差について簡略化することで判定できます。不偏推定量の期待値はパラメータ値 に等しいためです。したがって、不偏推定量 の場合、項が 0 に等しいために消えるためです^。[5]${\displaystyle \operatorname {MSE} (T_{1})<\operatorname {MSE} (T_{2})}$ ${\displaystyle \operatorname {var} (T_{1})>\operatorname {var} (T_{2})}$${\displaystyle \operatorname {E} [T]=\theta }$${\displaystyle \operatorname {MSE} (T)=\operatorname {var} (T)}$${\displaystyle (\operatorname {E} [T]-\theta )^{2}}$

パラメータθの不偏 推定量がパラメータのすべての値に対して達成される場合、その推定量は効率的であると言われる。^[3]${\displaystyle e(T)=1}$

同様に、推定量はすべてのθに対してCramér-Rao 不等式で等式を達成します。Cramér -Rao 下限は、不偏推定量の分散の下限であり、不偏推定量が「最良」であることを示します。

効率的な推定量は、最小分散不偏推定量(MVUE)でもあります。これは、効率的な推定量がすべてのパラメータ値に対して Cramér-Rao 不等式で等式を維持するためです。つまり、すべてのパラメータに対して最小分散 (MVUE の定義) を達成します。MVUE 推定量は、たとえ存在したとしても、必ずしも効率的であるとは限りません。なぜなら、「最小」は Cramér-Rao 不等式で等式が保持されることを意味しないからです。

したがって、効率的な推定器が存在する必要はありませんが、存在する場合は、それが MVUE になります。

{ P _θ | θ ∈ Θ } がパラメトリックモデルで、X = ( X ₁ , …, X _n )がこのモデルからサンプリングされたデータであるとします。T = T ( X )をパラメータθの推定量とします。この推定量が不偏である場合(つまり、E[  T  ] = θ )、Cramér–Rao 不等式は、この推定量の分散が以下で制限されること を示します。

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

ここで、 は点θにおけるモデルのフィッシャー情報行列です。一般に、分散はランダム変数の平均周りの分散の度合いを測定します。したがって、分散が小さい推定量はより集中しており、パラメータをより正確に推定します。推定量が上記のクラメール-ラオ不等式の下限に達する場合、すべてのθ ∈ Θに対して、推定量は有限サンプルの効率的な推定量（不偏推定量のクラス）であると言います。効率的な推定量は常に最小分散不偏推定量です。ただし、逆は偽です。最小分散平均不偏推定量が非効率的な点推定問題が存在します。^[6]${\displaystyle \scriptstyle {\mathcal {I}}_{\theta}}$

歴史的に、有限サンプル効率は初期の最適性基準でした。ただし、この基準にはいくつかの制限があります。

• 有限サンプルの効率的な推定量は非常に稀である。実際、効率的な推定は指数族内でのみ可能であり、その族の自然パラメータに対してのみ可能であることが証明されている。^[7]
• この効率性の概念は、不偏推定量のクラスに限定されることがあります。（多くの場合、そうではありません。^[8]）推定量が不偏であることを要求する十分な理論的根拠がないため、この制限は不便です。実際、平均二乗誤差を選択基準として使用すると、多くの偏りのある推定量は「最良の」不偏推定量よりもわずかに優れたパフォーマンスを発揮します。たとえば、 3次元以上の多変量統計では、平均不偏推定量である標本平均は許容されません。結果に関係なく、そのパフォーマンスは、たとえばJames–Stein推定量よりも劣ります。^[要出典]
• 有限サンプル効率は、推定値を判断する基準として分散に基づいています。より一般的なアプローチは、 2次関数以外の損失関数を使用することですが、その場合、有限サンプル効率はもはや定式化できません。^{[引用が必要] [疑わしい–議論する]}

一例として、実際に遭遇するモデルの中には、正規分布の平均μ（分散σ ^{2ではない）、}ポアソン分布のパラメータλ 、二項分布または多項分布の確率pに対する効率的な推定量が存在します。

平均は不明だが分散はわかっている正規分布のモデルを考えてみましょう: { P _θ = N ( θ , σ ² ) | θ ∈ R }。データは、このモデルからのn 個の 独立した同一分布の観測値で構成されます: X = ( x ₁ , …, x _n ) 。すべての観測値の標本平均を使用して、パラメータθを推定します:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

この推定量の平均はθ、分散はσ ²  /  nで、これはサンプルからの フィッシャー情報の逆数に等しくなります。したがって、サンプル平均は正規分布の平均に対する有限サンプルの効率的な推定量です。

漸近効率には、一貫性（統計）、推定量の漸近正規分布、および他の推定量よりも劣らない漸近分散共分散行列が必要です。^[9]

平均と単位分散の正規分布から抽出されたサイズのサンプルを考えてみましょう。つまり、${\displaystyle N}$${\displaystyle \mu}$${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

標本の標本平均は、次のように定義される。 ${\displaystyle {\overline {X}}}$${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

平均の分散 1/ N (標準誤差の二乗) は、標本からのフィッシャー情報量の逆数に等しいため、クラメール・ラオの不等式により、標本平均は効率が 1 (100%) であるという意味で効率的です。

ここで、標本中央値、について考えてみましょう。これは、の偏りのない一貫した推定値です。大きい場合、標本中央値は平均と分散でほぼ正規分布します^[10]${\displaystyle {\widetilde {X}}}$${\displaystyle \mu}$${\displaystyle N}$${\displaystyle \mu}$${\displaystyle {\pi }/{2N},}$

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

大規模の中央値の効率は、 ${\displaystyle N}$

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

言い換えれば、中央値の相対分散は平均値の分散よりも57%大きくなり、中央値の標準誤差は平均値よりも25%大きくなります。^[11]${\displaystyle \pi /2\approx 1.57}$

これは漸近効率、つまりサンプル サイズが無限大に近づくにつれて極限に達する効率であることに注意してください。有限値の場合、効率はこれよりも高くなります (たとえば、サンプル サイズが 3 の場合、効率は約 74% になります)。^{[引用が必要]}${\displaystyle N}$${\displaystyle N,}$

この例では、サンプル平均値はサンプル中央値よりも効率的です。ただし、中央値の方がパフォーマンスが優れている基準がある場合があります。たとえば、中央値は外れ値に対してはるかに堅牢であるため、ガウスモデルが疑わしい場合や近似値である場合は、中央値を使用する方が有利な場合があります ( 「堅牢な統計」を参照)。

およびがパラメータ の推定値である場合、が支配的であると言えるのは次の場合です。 ${\displaystyle T_{1}}$${\displaystyle T_{2}}$${\displaystyle \theta}$${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. 平均二乗誤差（MSE）は、少なくともいくつかの値では小さくなります。${\displaystyle \theta}$
2. MSEはθのどの値に対しても を超えることはありません。${\displaystyle T_{2}}$

形式的には 、${\displaystyle T_{1}}$${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

すべての に対して成立し、どこかで厳密な不等式が成立します。 ${\displaystyle \theta}$

2つの不偏推定量の相対的な効率は次のように定義される^[12]

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}$

は一般に の関数ですが、多くの場合、依存性はなくなります。その場合、 が1 より大きいことは、の真の値に関係なく、 が望ましいことを示します。 ${\displaystyle e}$${\displaystyle \theta}$${\displaystyle e}$${\displaystyle T_{1}}$${\displaystyle \theta}$

推定値を比較するための相対的な効率性の代替として、ピットマン近似基準があります。これは、平均二乗誤差の比較を、ある推定値が他の推定値よりも真の値に近い推定値を生成する頻度の比較に置き換えます。

相関のない同一分布の変数の平均を推定する際には、和の分散が分散の合計であるという事実を利用できる。この場合、効率は変動係数の2乗として定義できる。つまり、^[13]

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

このような 2 つの推定値の相対的な効率は、一方の推定値の確実性を達成するために必要なもう一方の推定値の相対的なサンプル サイズとして解釈できます。証明:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

ここで、となるため、相対効率は、2 番目の推定値の分散と一致するために必要な最初の推定値の相対的なサンプル サイズを表します。 ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

分布が変化すると、推定量の効率は大幅に変化し、低下することがよくあります。これがロバスト統計の動機の 1 つです。たとえば、標本平均などの推定量は、正規分布の母平均の効率的な推定量ですが、平均が同じで分散が異なる 2 つの正規分布の混合分布の非効率的な推定量になる場合があります。たとえば、分布が 98% N ( μ, σ ) と 2% N ( μ, 10 σ ) の組み合わせである場合、後者の分布からの極端な値 (多くの場合、「汚染外れ値」) の存在により、 μの推定量としての標本平均の効率が大幅に低下します。対照的に、トリム平均は正規分布に対しては効率が低くなりますが、分布の変化に対してよりロバスト (つまり、影響を受けにくい) であるため、混合分布に対してはより効率的である可能性があります。同様に、歪度や重い裾などの分布の形状は、対称分布や薄い裾を想定する推定量の効率を大幅に低下させる可能性があります。

効率は推定量の望ましい特性ですが、他の考慮事項と比較検討する必要があり、特定の分布に対して効率的な推定量が他の分布に対して非効率的である可能性もあります。最も重要なことは、正規分布 (対称で単峰性があり、裾が薄い) などの単純な分布からのクリーンなデータに対して効率的な推定量は、外れ値による汚染に対して堅牢でない場合があり、より複雑な分布に対して非効率的である可能性があることです。ロバスト統計では、単一の分布に対する効率よりも、堅牢性とさまざまな分布への適用性が重視されます。M推定量は、これらの懸念から生まれた推定量の一般的なクラスです。M 推定量は、堅牢性と高い相対的効率の両方を実現するように設計できますが、場合によっては従来の推定量よりも効率が低くなる可能性があります。ただし、計算が非常に複雑になる可能性があります。

より伝統的な代替手段はL 推定量です。これは非常に単純な統計量で、計算と解釈が容易で、多くの場合堅牢であり、初期推定には十分に効率的です。詳細については、 L 推定量のアプリケーションを参照してください。

統計における効率は、さまざまな推定値のパフォーマンスを比較できるため重要です。通常、偏りのない推定値は偏りのある推定値よりも好まれますが、効率の高い偏りのある推定値は、効率の低い偏りのない推定値よりも価値がある場合があります。たとえば、偏りのある推定値の値が真の値に近い数値に集まる場合に、これが発生する可能性があります。したがって、推定値のパフォーマンスは、平均二乗誤差または分散を比較することで簡単に予測できます。

有意性検定を比較する場合、与えられたタスクパワーを達成するために検定に必要なサンプルサイズに基づいて、意味のある効率性の尺度を定義することができる。^[14]

ピットマン効率^[15]とバハドゥール効率（またはホッジス・レーマン効率）^{[16] [17] [18]は、}統計的仮説検定手順のパフォーマンスの比較に関連している。

実験デザインの場合、効率とは、時間やお金などの資源を最小限に消費して研究の目的を達成するデザインの能力に関係します。単純なケースでは、デザインの相対的な効率は、特定の目的を達成するために必要なサンプルサイズの比率として表すことができます。^[19]

• ベイズ推定量
• 一貫性のある推定値
• ホッジスの推定量
• 最適な機器

• Lehmann, EL ; Casella, G. (1998).点推定の理論(第2版). Springer. ISBN 0-387-98502-6。
• Pfangl, ヨハン; R. Hamböker の協力を得て (1994)。パラメトリック統計理論。ベルリン：ヴァルター・デ・グロイテル。ISBN 3-11-013863-8. MR  1291393。