十分な統計

統計学において、十分性は、データセットのパラメトリック モデルに関連してサンプル データセットで計算される統計の特性です。十分な統計には、データセットが提供するモデル パラメータに関するすべての情報が含まれます。これは、モデル パラメータに関する情報を含まない補助統計、およびパラメータに関する情報のみを含み補助情報を含まない完全統計の概念と密接に関連しています。

関連する概念として線形十分性がある。これは十分性よりも弱いが、十分な統計量がない場合にも適用できるが、線形推定量に限定される。^[1]コルモゴロフ構造関数は個々の有限データを扱い、関連する概念はアルゴリズム的十分統計量である。

この概念は1920年にロナルド・フィッシャー卿によって提唱されました。 ^[2] スティーブン・スティグラーは1973年に、十分性の概念は分布形式の仮定に強く依存しているため記述統計では好まれなくなったが（下記のピットマン・クープマン・ダルモワの定理を参照）、理論的研究では非常に重要であると指摘しました。^[3]

大まかに言えば、未知のパラメータ を条件とする、独立かつ同一に分布するデータの集合が与えられた場合、十分な統計量 とは、その値にパラメータの推定値（最尤推定値など）を計算するために必要なすべての情報が含まれる関数です。因数分解定理（下記参照）により、十分な統計量 に対して、確率密度は と表すことができます。この因数分解から、 の最大尤度推定値はを通じてのみと相互作用することが容易にわかります。通常、十分な統計量はデータの単純な関数（すべてのデータ ポイントの合計など）です。 ${\displaystyle \mathbf {X} }$${\displaystyle \theta}$${\displaystyle T(\mathbf {X} )}$${\displaystyle T(\mathbf {X} )}$${\displaystyle f_{\mathbf {X} }(x;\theta )=h(x)\,g(\theta ,T(x))}$${\displaystyle \theta}$${\displaystyle \mathbf {X} }$${\displaystyle T(\mathbf {X} )}$

より一般的には、「未知のパラメータ」は未知の量のベクトルを表す場合もあれば、モデルに関する未知または完全に指定されていないすべてのものを表す場合もあります。このような場合、十分な統計量は、共同十分統計量と呼ばれる関数のセットである場合があります。通常、関数の数はパラメータの数と同じです。たとえば、平均と分散が不明なガウス分布の場合、両方のパラメータの最大尤度推定値を推定できる共同十分統計量は、すべてのデータ ポイントの合計とすべての二乗データ ポイントの合計 (または、サンプル平均とサンプル分散) という 2 つの関数で構成されます。

言い換えれば、データの結合確率分布は、パラメータの十分な統計量の値が与えられた場合、パラメータから条件付きで独立しています。統計量と基礎となるパラメータはどちらもベクトルにすることができます。

統計量t  =  T ( X )が基礎パラメータθに対して十分であるとは、統計量t  =  T ( X )が与えられたデータXの条件付き確率分布がパラメータθに依存しない場合に限る。^[4]

あるいは、 θ上のすべての事前分布に対して、θとT(X)間の相互情報量がθとX間の相互情報量に等しい場合、統計量T ( X )はθに対して十分であると言うこと もできる。^[5]言い換えれば、データ処理不等式は等式になる。

${\displaystyle I{\bigl (}\theta ;T(X){\bigr )}=I(\theta ;X)}$

たとえば、分散がわかっている正規分布の平均 ( μ )には、標本平均で十分です。標本平均がわかれば、標本自体からμに関するそれ以上の情報を得ることはできません。一方、任意の分布の場合、中央値は平均には十分ではありません。標本の中央値がわかっていても、標本自体がわかれば、母平均に関する詳しい情報が得られます。たとえば、中央値より小さい観測値はわずかに小さいだけであるが、中央値を超える観測値は大幅に上回っている場合、これは母平均に関する推論に影響を及ぼします。

フィッシャーの因数分解定理または因数分解基準は、十分な統計量の便利な特徴付けを提供する。確率密度関数が ƒ _θ ( x ) である場合、 T がθ に対して十分であるためには、非負関数gとh が次のように見つかる必要がある。

${\displaystyle f(x;\theta )=h(x)\,g(\theta ,T(x)),}$

すなわち、密度 ƒ は、一方の因子hがθに依存せず、もう一方の因子がθに依存し、T ( x )を通じてのみxに依存するような積に因数分解できる。この一般的な証明は Halmos と Savage ^[6]によって与えられており、この定理は Halmos–Savage 因数分解定理と呼ばれることもある。^[7]以下の証明は特殊なケースを扱っているが、同様の方法で別の一般的な証明を行うこともできる。^[8]多くの単純なケースでは、確率密度関数は、および、およびによって完全に指定される（例を参照）。 ${\displaystyle \theta}$${\displaystyle T(x)}$${\displaystyle h(x)=1}$

F ( t ) が 1 対 1 関数であり、Tが十分な統計量である場合、F ( T ) が十分な統計量であることは簡単にわかります。特に、十分な統計量にゼロ以外の定数を掛けると、別の十分な統計量が得られます。

この定理の意味は、尤度ベースの推論を使用する場合、十分な統計量T ( X ) に対して同じ値を生成する 2 つのデータ セットは、常にθについて同じ推論を生成するということです。因数分解基準により、尤度のθへの依存性はT ( X )との組み合わせのみになります。これはどちらの場合も同じであるため、θへの依存性も同じになり、同一の推論が導かれます。

HoggとCraigによる。^{[9] は、} ι  <  θ  <  δに対して確率密度関数f ( x ,  θ )を持つ分布からのランダムサンプルを表すものとする。Y ₁  =  u ₁ ( X ₁ ,  X ₂ , ...,  X _n )を、確率密度関数g ₁ ( y ₁ ;  θ )である統計量とする。証明したいのは、Y ₁  =  u ₁ ( X ₁ , X ₂ , ...,  X _n )がθに対する十分な統計量であるためには、ある関数Hに対して、 ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

まず、

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

i  = 1, ...,  nに対してy _i  =  u _i ( x ₁ ,  x ₂ , ...,  x _n )という変換を行い、その逆関数x _i  =  w _i ( y ₁ ,  y ₂ , ...,   y  n ₎とヤコビアン関数を求める。したがって、 ${\displaystyle J=\left[w_{i}/y_{j}\right]}$

${\displaystyle \prod _{i=1}^{n}f\left[w_{i}(y_{1},y_{2},\dots ,y_{n});\theta \right]=|J|g_{1}(y_{1};\theta )H\left[w_{1}(y_{1},y_{2},\dots ,y_{n}),\dots ,w_{n}(y_{1},y_{2},\dots ,y_{n})\right].}$

左側の要素は、Y 1 = u 1 ( X 1 , ..., X n )、...、Y n = u n ( X 1 , ..., X n ) の結合 pdf g ( _y 1 , _y 2 , _... , y _n ; θ ₎です。_右側の要素_では、はのpdf_なので、は_との商です_。つまり、が与えられたの条件付き pdf です。 ${\displaystyle g_{1}(y_{1};\theta )}$${\displaystyle Y_{1}}$${\displaystyle H[w_{1},\dots ,w_{n}]|J|}$${\displaystyle g(y_{1},\dots ,y_{n};\theta )}$${\displaystyle g_{1}(y_{1};\theta )}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$${\displaystyle Y_{2},\dots ,Y_{n}}$${\displaystyle Y_{1}=y_{1}}$

しかし、そしてしたがって、は に依存しないように与えられました。 は変換で導入されておらず、したがってヤコビアンでも導入されていないため、 はに依存しないことがわかり、 はの十分な統計量です。 ${\displaystyle H(x_{1},x_{2},\dots ,x_{n})}$${\displaystyle H\left[w_{1}(y_{1},\dots ,y_{n}),\dots ,w_{n}(y_{1},\dots ,y_{n}))\right]}$${\displaystyle \theta}$${\displaystyle \theta}$${\displaystyle J}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$${\displaystyle \theta}$${\displaystyle Y_{1}}$${\displaystyle \theta}$

逆は次のように証明されます。

${\displaystyle g(y_{1},\dots ,y_{n};\theta )=g_{1}(y_{1};\theta )h(y_{2},\dots ,y_{n}\年半ば_{1}),}$

ここで はに依存しません。なぜなら はのみに依存し、 はによって条件付けられる場合から独立しているためです。仮説により十分な統計量が得られます。ここで、両方の要素を非ゼロのヤコビアン の絶対値で割り、の関数で置き換えます。これにより、 ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$${\displaystyle \theta}$${\displaystyle Y_{2}...Y_{n}}$${\displaystyle X_{1}...X_{n}}$${\displaystyle \Theta }$${\displaystyle Y_{1}}$${\displaystyle J}$${\displaystyle y_{1},\dots ,y_{n}}$${\displaystyle u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n})}$${\displaystyle x_{1},\dots ,x_{n}}$

${\displaystyle {\frac {g\left[u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n});\theta \right]}{|J^{*}|}}=g_{1}\left[u_{1}(x_{1},\dots ,x_{n});\theta \right]{\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

ここで はのヤコビアンで、の項の値が に置き換えられています。 左側の要素は必然的にの結合確率密度関数です。、そしてはに依存しないので、 ${\displaystyle J^{*}}$${\displaystyle y_{1},\dots ,y_{n}}$${\displaystyle x_{1},\dots ,x_{n}}$${\displaystyle f(x_{1};\theta )\cdots f(x_{n};\theta )}$${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$${\displaystyle h(u_{2},\dots ,u_{n}\mid u_{1})}$${\displaystyle \theta }$

${\displaystyle H(x_{1},\dots ,x_{n})={\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

は に依存しない関数です。 ${\displaystyle \theta }$

より単純でわかりやすい証明は次のとおりです。ただし、これは離散的な場合にのみ適用されます。

の結合確率密度を で表すために、省略記法を使用します。はの関数であるため、 である限りが成立し、 でない場合は 0 となります。したがって、 ${\displaystyle (X,T(X))}$${\displaystyle f_{\theta }(x,t)}$${\displaystyle T}$${\displaystyle X}$${\displaystyle f_{\theta }(x,t)=f_{\theta }(x)}$${\displaystyle t=T(x)}$

${\displaystyle {\begin{aligned}f_{\theta }(x)&=f_{\theta }(x,t)\\[5pt]&=f_{\theta }(x\mid t)f_{\theta }(t)\\[5pt]&=f(x\mid t)f_{\theta }(t)\end{aligned}}}$

最後の等式は、十分な統計の定義により真となります。したがって、およびとなります。 ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$${\displaystyle a(x)=f_{X\mid t}(x)}$${\displaystyle b_{\theta }(t)=f_{\theta }(t)}$

逆に、の場合には、 ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$

${\displaystyle {\begin{aligned}f_{\theta }(t)&=\sum _{x:T(x)=t}f_{\theta }(x,t)\\[5pt]&=\sum _{x:T(x)=t}f_{\theta }(x)\\[5pt]&=\sum _{x:T(x)=t}a(x)b_{\theta }(t)\\[5pt]&=\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t).\end{aligned}}}$

最初の等式は多重変数の pdf の定義により、2 番目は上記のコメントにより、3 番目は仮説により、4 番目は合計が を超えていないためです。 ${\displaystyle t}$

与えられたの条件付き確率密度を とします。すると、これを明示的に表す式を導くことができます。 ${\displaystyle f_{X\mid t}(x)}$${\displaystyle X}$${\displaystyle T(X)}$

${\displaystyle {\begin{aligned}f_{X\mid t}(x)&={\frac {f_{\theta }(x,t)}{f_{\theta }(t)}}\\[5pt]&={\frac {f_{\theta }(x)}{f_{\theta }(t)}}\\[5pt]&={\frac {a(x)b_{\theta }(t)}{\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t)}}\\[5pt]&={\frac {a(x)}{\sum _{x:T(x)=t}a(x)}}.\end{aligned}}}$

最初の等式は条件付き確率密度の定義によるもの、2番目は上記のコメントによるもの、3番目は上で証明された等式によるもの、4番目は簡略化によるものである。この式はに依存しないため、十分な統計量である。^[10]${\displaystyle \theta }$${\displaystyle T}$

十分統計量は、他の十分統計量の関数として表すことができる場合、最小十分統計量である。言い換えれば、S ( X ) が最小十分統計量であるのは、^[11]

1. S ( X ) で十分であり、
2. T ( X )が十分であれば、 S ( X )= f ( T ( X ))となる関数fが存在する。

直感的には、最小限の十分統計量は、パラメータθに関するすべての可能な情報を最も効率的に捕捉します。

最小十分性の有用な特徴付けは、密度f _{θ が}存在するとき、S ( X ) が最小十分性を持つのは、^{[引用が必要]}

${\displaystyle {\frac {f_{\theta }(x)}{f_{\theta }(y)}}}$θに依存しない ：S ( x ) = S ( y )${\displaystyle \Longleftrightarrow }$

これは、上で述べたフィッシャーの因数分解定理の結果として生じます。

最小十分統計量が存在しないケースは、1954年にバハドゥールによって示されました。^[12]しかし、穏やかな条件下では、最小十分統計量は常に存在します。特に、ユークリッド空間では、ランダム変数（に関連付けられている）がすべて離散的であるか、すべて連続的である場合、これらの条件は常に成立します。 ${\displaystyle P_{\theta }}$

最小十分統計量が存在する場合（通常はそうである）、すべての完全十分統計量は必然的に最小十分である^[13]（この記述は、完全十分が存在する一方で最小十分統計量が存在しないという病的なケースを排除するものではないことに注意）。最小十分統計量が存在しないケースを見つけるのは難しいが、完全統計量が存在しないケースを見つけるのはそれほど難しくない。

パラメータ空間が離散的である場合、 の尤度比の集合は最小限の十分統計量です。 ${\displaystyle \left\{{\frac {L(X\mid \theta _{i})}{L(X\mid \theta _{0})}}\right\}}$${\displaystyle i=1,...,k}$${\displaystyle \left\{\theta _{0},...,\theta _{k}\right\}}$

X ₁、...、  X _{n が}期待値pを持つ独立したベルヌーイ分布のランダム変数である場合、合計T ( X ) =  X ₁  + ... +  X _{n は}pの十分な統計量です(ここで、「成功」はX _i  = 1 に対応し、「失敗」は X _i  = 0 に対応します。したがって、T は成功の総数です)

これは結合確率分布を考慮するとわかります。

${\displaystyle \Pr\{X=x\}=\Pr\{X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}\}.}$

観測は独立しているので、これは次のように書ける。

${\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

そして、pと1 −  pの累乗を集めると、

${\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

これは因数分解の基準を満たし、h ( x ) = 1 は単なる定数です。

重要な特徴に注意してください。未知のパラメータpは、統計T ( x )=Σxiを 介し_てのみデータxと相互作用します。

具体的な応用として、これは公平なコインと偏ったコインを区別する手順を示します。

X ₁、...、X _nが独立しており、区間 [0、θ ] 上で均一に分布している場合、T ( X ) = max( X ₁、...、X _n ) は θ に対して十分です。つまり、標本の最大値は母集団の最大値に対する十分な統計量です。

これを理解するには、X   ( X ₁ ,..., X _n )の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。

${\displaystyle {\begin{aligned}f_{\theta }(x_{1},\ldots ,x_{n})&={\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{1}\leq \theta \}}\cdots {\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{n}\leq \theta \}}\\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf {1} _{\{\max\{x_{i}\}\leq \theta \}}\end{aligned}}}$

ここで、1 _{{ ... }は}指示関数です。したがって、密度はフィッシャー・ネイマン因数分解定理で要求される形を取ります。ここで、h ( x ) =  1 _{{min{ x i }≥0}}であり、式の残りの部分はθとT ( x ) = max{ x _i }のみの関数です。

実際、θの最小分散不偏推定量（MVUE）は

${\displaystyle {\frac {n+1}{n}}T(X).}$

これは、バイアスを補正するためにスケーリングされたサンプル最大値であり、レーマン・シェッフェの定理によりMVUEとなります。スケーリングされていないサンプル最大値T ( X )は、 θの最大尤度推定値です。

が独立しており、区間上で一様に分布している場合（ここで、 とは未知のパラメータ）、 はに対する 2 次元の十分な統計量です。 ${\displaystyle X_{1},...,X_{n}}$${\displaystyle [\alpha ,\beta ]}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta )}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\ldots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \beta -\alpha }\right)\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta \}}=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta ,\,\forall \,i=1,\ldots ,n\}}\\&=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\quad g_{(\alpha ,\beta )}(x_{1}^{n})=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

はパラメータに依存せず、関数を通じてのみ依存するため${\displaystyle h(x_{1}^{n})}$${\displaystyle (\alpha ,\beta )}$${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right),}$

フィッシャー・ネイマン因数分解定理によれば、は に対する十分な統計量である。 ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta )}$

X ₁、...、  X _nが独立しており、パラメータλを持つポアソン分布に従う場合、合計T ( X ) =  X ₁  + ... +  X _{n は}λに対する十分な統計量です 。

これを理解するには、結合確率分布を考えてみましょう。

${\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}$

観測は独立しているので、これは次のように書ける。

${\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}}$

これは次のように書くことができる。

${\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

これは因数分解基準が満たされていることを示しています。ここで、h ( x )は階乗の積の逆数です。パラメータλは、その合計T ( X )を通じてのみデータと相互作用することに注意してください。

が独立しており、期待値（パラメータ）と既知の有限分散を持つ正規分布である場合、 ${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle \theta }$${\displaystyle \sigma ^{2},}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

十分な統計量である${\displaystyle \theta .}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {\left(\left(x_{i}-{\overline {x}}\right)-\left(\theta -{\overline {x}}\right)\right)^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+\sum _{i=1}^{n}(\theta -{\overline {x}})^{2}-2\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})\right)\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+n(\theta -{\overline {x}})^{2}\right)\right)&&\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})=0\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\\[6pt]g_{\theta }(x_{1}^{n})&=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

はパラメータに依存せず、関数を通じて のみ依存するため${\displaystyle h(x_{1}^{n})}$${\displaystyle \theta }$${\displaystyle g_{\theta }(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},}$

フィッシャー・ネイマン因数分解定理によれば、は に対する十分な統計量である。 ${\displaystyle T(X_{1}^{n})}$${\displaystyle \theta }$

が未知であり、 であるため、上記の尤度は次のように書き直すことができる。 ${\displaystyle \sigma ^{2}}$${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2\pi \sigma ^{2})^{-n/2}\exp \left(-{\frac {n-1}{2\sigma ^{2}}}s^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right).\end{aligned}}}$

フィッシャー・ネイマン因数分解定理は依然として成り立ち、が の十分な結合統計量であることを意味します。 ${\displaystyle ({\overline {x}},s^{2})}$${\displaystyle (\theta ,\sigma ^{2})}$

が独立しており、期待値θ (未知の実数値の正のパラメータ)を持つ指数分布である場合、 はθ に対する十分な統計量です。 ${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{1 \over \theta }\,e^{{-1 \over \theta }x_{i}}={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{\theta }(x_{1}^{n})={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

はパラメータに依存せず、関数を通じてのみ依存するため${\displaystyle h(x_{1}^{n})}$${\displaystyle \theta }$${\displaystyle g_{\theta }(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

フィッシャー・ネイマン因数分解定理によれば、は に対する十分な統計量である。 ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$${\displaystyle \theta }$

が独立で として分布している場合（およびはガンマ分布の未知のパラメータ）、 は の2 次元の十分な統計量です。 ${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle \Gamma (\alpha \,,\,\beta )}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}{X_{i}},\sum _{i=1}^{n}X_{i}\right)}$${\displaystyle (\alpha ,\beta )}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)x_{i}^{\alpha -1}e^{(-1/\beta )x_{i}}\\[5pt]&=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{(\alpha \,,\,\beta )}(x_{1}^{n})=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

はパラメータに依存せず、関数を通じてのみ依存するため${\displaystyle h(x_{1}^{n})}$${\displaystyle (\alpha \,,\,\beta )}$${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(x_{1}^{n})=\left(\prod _{i=1}^{n}x_{i},\sum _{i=1}^{n}x_{i}\right),}$

フィッシャー・ネイマン因数分解定理によれば、${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta ).}$

十分性は、ラオ・ブラックウェル定理に有効に応用されています。この定理は、g ( X ) がθの何らかの推定量である場合、通常、十分な統計量T ( X ) が与えられたときのg ( X )の条件付き期待値は、 θのより良い推定量 (分散が低いという意味で)であり、決してそれより劣ることはないと述べています。非常に大まかな推定量g ( X )を簡単に構築し、その条件付き期待値を評価して、さまざまな意味で最適な推定量を取得できる場合があります。

ピットマン・クープマン・ダルモワの定理によれば、推定されるパラメータによってドメインが変化しない確率分布族の中で、指数族にのみ、サンプル サイズが増加しても次元が制限されたままの十分な統計量が存在します。直感的には、これは、実数直線上の非指数族の分布では、データ内の情報を完全に捕捉するためにノンパラメトリック統計が必要であることを示しています。

もっと簡単に言えば、が独立した同一分布の実数ランダム変数であり、その分布が によってパラメータ化されたある確率分布族に属することがわかっており、特定の技術的な正則性条件を満たすとすると、その族が指数族であるためには、サンプルサイズnが増加してもスカラー成分の数が増加しない十分な統計量が存在する必要がある。^[14]${\displaystyle X_{n},n=1,2,3,\dots }$ ${\displaystyle \theta }$${\displaystyle \mathbb {R} ^{m}}$${\displaystyle T(X_{1},\dots ,X_{n})}$${\displaystyle m}$

この定理は、有限次元の実数ベクトル値の十分な統計量の存在が、実数直線上の分布族の可能な形式を厳しく制限することを示しています。

パラメータやランダム変数が実数値ではなくなると、状況はより複雑になります。^[15]

統計量が十分であるという条件の別の定式化は、ベイジアン文脈で、完全なデータセットを使用して得られた事後分布と統計量のみを使用して得られた事後分布を含む。したがって、ほぼすべてのxに対して、

${\displaystyle \Pr(\theta \mid X=x)=\Pr(\theta \mid T(X)=t(x)).}$

より一般的には、パラメトリックモデルを仮定せずに、統計Tが予測に十分であると言えるのは、

${\displaystyle \Pr(X'=x'\mid X=x)=\Pr(X'=x'\mid T(X)=t(x)).}$

この「ベイズの十分性」は上記の定式化の結果であることが判明しているが、^[16]無限次元の場合には直接同等ではない。^[17]ベイズの文脈における十分性に関する理論的結果は幅広く利用可能である。^[18]

「線形十分性」と呼ばれる概念は、ベイズ理論の文脈で定式化することができ、^[19]より一般的には^{[20]、まず、} Xに基づくベクトルYの最良の線形予測子を次のように定義する。次に、線形統計量T ( x )が線形十分性を持つと^[21]定義するのは、 ${\displaystyle {\hat {E}}[Y\mid X]}$

${\displaystyle {\hat {E}}[\theta \mid X]={\hat {E}}[\theta \mid T(X)].}$

• 統計の完全性
• 完全な十分統計量と補助統計量の独立性に関するバスーの定理
• レーマン・シェッフェの定理：完全十分推定量はその期待値の最良の推定量である
• ラオ・ブラックウェル定理
• チェンツォフの定理
• 十分な次元削減
• 補助統計

• Kholevo, AS (2001) [1994]、「十分な統計量」、数学百科事典、EMS Press
• Lehmann, EL; Casella, G. (1998).点推定理論（第2版）. Springer. 第4章. ISBN 0-387-98502-6。
• ドッジ、Y . (2003)オックスフォード統計用語辞典、OUP。ISBN 0-19-920613-9