統計学において、十分性とは、標本データセットに基づいて計算された統計量が、そのデータセットのパラメトリックモデルに関連して持つ性質のことである。モデルパラメータに対する十分統計量には、そのパラメータに関してデータセットが提供するすべての情報が含まれる。これは、モデルパラメータに関する情報を一切含まない補助統計量、およびパラメータに関する情報のみを含み補助情報を一切含まない完全統計量の概念と密接に関連している。
関連する概念として、線形十分性というものがある。これは十分性よりも弱い概念だが、十分統計量が存在しない場合にも適用できる。ただし、線形推定量に限定される。[ 1 ]コルモゴロフ構造関数は個々の有限データを扱い、関連する概念はアルゴリズム的十分統計量である。
この概念は、 1920 年にサー・ロナルド・フィッシャーによって提唱されたものである。[ 2 ]スティーブン・スティグラーは 1973 年に、十分性の概念は分布形式の仮定に強く依存するため(下記のピットマン・クープマン・ダルモワの定理を参照)、記述統計学では好まれなくなったが、理論的な研究では依然として非常に重要であると指摘した。[ 3 ]
おおまかに言うと、ある集合が与えられた場合未知のパラメータを条件とする独立同分布データの十分統計量は関数であるその値には、パラメータの推定値(例えば、最尤推定値)を計算するために必要なすべての情報が含まれています。因数分解定理(下記参照)により、十分統計量に対して確率密度は次のように表すことができます。この因数分解から、以下の最尤推定値が容易にわかる。と交流しますのみ通常、十分統計量はデータの単純な関数であり、例えばすべてのデータポイントの合計などである。
より一般的には、「未知のパラメータ」は未知の量のベクトルを表す場合もあれば、モデルについて未知または完全に指定されていないすべてのことを表す場合もあります。このような場合、十分統計量は、結合十分統計量と呼ばれる関数の集合である可能性があります。通常、関数の数はパラメータの数と同じです。たとえば、平均と分散が未知のガウス分布の場合、両方のパラメータの最尤推定値を推定できる結合十分統計量は、すべてのデータ点の合計とすべての二乗データ点の合計(または同等に、標本平均と標本分散)の 2 つの関数で構成されます。
言い換えれば、パラメータの十分統計量の任意の値が与えられた場合、データの同時確率分布はパラメータに依存しない。統計量と基礎となるパラメータはどちらもベクトルになり得る。
統計量t = T ( X )が基礎となるパラメータθに対して十分であるのは、統計量t = T ( X ) が与えられた場合のデータXの条件付き確率分布がパラメータθに依存しない場合に限る。[ 4 ]
あるいは、 θに関するすべての事前分布について、θとT(X )間の相互情報量がθとX間の相互情報量に等しい場合、統計量T ( X )はθに対して十分であると言える。[ 5 ]言い換えれば、データ処理の不等式は等式になる。
例えば、分散が既知の正規分布の場合、標本平均は(未知の)平均μを求めるのに十分です。標本平均が分かれば、標本自体からμに関するそれ以上の情報を得ることはできません。一方、任意の分布の場合、中央値は平均を求めるのに十分ではありません。標本の中央値が分かっていても、標本自体を知ることで母平均に関するさらなる情報が得られます。例えば、中央値より小さい観測値がわずかに小さいだけで、中央値より大きい観測値が大きく大きい場合、これは母平均に関する推論に影響を与えます。
フィッシャーの因数分解定理または因数分解基準は、十分統計量の便利な特徴付けを提供する。確率密度関数が ƒ( x;θ ) であり、 θがパラメータである場合、 T がθ に対して十分であるのは、非負関数gおよびh が存在し
すなわち、密度 ƒ は、一方の因子hがθに依存せず、もう一方の因子はθに依存し、T ( x )を介してのみxに依存するような積に因数分解できる。この一般的な証明は Halmos と Savage [ 6 ]によって与えられ、この定理は Halmos–Savage 因数分解定理と呼ばれることもある。[ 7 ]以下の証明は特殊な場合を扱っているが、同様の方法で別の一般的な証明を与えることもできる。[ 8 ]多くの単純なケースでは、確率密度関数は次のように完全に指定される。そして、 そして(例を参照)。
F ( t )が1対1関数であり、 Tが十分統計量である場合、F ( T )も十分統計量となることは容易にわかる。特に、十分統計量にゼロでない定数を掛けることで、別の十分統計量を得ることができる。
この定理が示唆するのは、尤度に基づく推論を用いる場合、十分統計量T ( X )に対して同じ値を示す 2 つのデータセットは、常にθに関する同じ推論をもたらすということです。因数分解基準によれば、尤度のθへの依存性はT ( X )との組み合わせにおいてのみ生じます。これはどちらの場合も同じであるため、 θへの依存性も同じになり、同一の推論が得られます。
ホッグとクレイグによる。[ 9 ]は、 ι < θ < δに対してpdf f ( x , θ )を持つ分布からのランダムサンプルを表します。Y 1 = u 1 ( X 1 , X 2 , ..., X n ) を、pdf がg 1 ( y 1 ; θ )である統計量とします。証明したいのは、Y 1 = u 1 ( X 1 , X 2 , ..., X n ) がθの十分統計量であるのは、ある関数Hに対して、
まず、
変換y i = u i ( x 1 , x 2 , ..., x n ) ( i = 1, ..., n ) を行い、逆関数x i = w i ( y 1 , y 2 , ..., y n ) ( i = 1, ..., n )とヤコビアンを持つものとします。 。 したがって、
左側の要素は、Y 1 = u 1 ( X 1 , ..., X n )、 ..., Y n = u n ( X 1 , ..., X n ) の結合pdf g ( y 1 , y 2 , ..., y n ; θ )です。右側の要素では、これはPDFです、 となることによっては商ですそしてつまり、それは条件付き確率密度関数ですの与えられた。
しかしそれで依存しないように与えられた。 以来変換には導入されず、したがってヤコビアンにも導入されないしたがって、依存しないそしてそれは十分な統計は。
逆は次のように証明される。
どこ依存しないなぜならのみに依存するこれは、条件付き仮説による十分統計量。次に、両方の要素をゼロでないヤコビアンの絶対値で割ります。、そして置き換える関数によってでこれにより、
どこヤコビアンは次の価値によって置き換えられる左側の部材は必ずジョイントPDFですの。 以来それで依存しない、 それから
これは、。
より簡潔で分かりやすい証明は以下のとおりですが、これは離散的な場合にのみ適用されます。
我々は、以下の同時確率密度を表すために略記法を使用する。による。 以来は決定論的な関数である、 我々は持っています、 に限ってそれ以外の場合はゼロ。したがって:
最後の等式は十分統計量の定義により真である。したがってとそして。
逆に、、 我々は持っています
最初の等式は多変数のpdfの定義によるもので、2番目は上記の注釈によるもので、3番目は仮定によるもので、4番目は総和が超えていないためである。。
させて条件付き確率密度を表す与えられたすると、これに対する明示的な式を導き出すことができます。
最初の等式は条件付き確率密度の定義によるもので、2番目は上記の注釈によるもので、3番目は上記で証明された等式によるもので、4番目は簡略化によるものです。この式はそしてこうしては十分な統計量である。[ 10 ]
十分統計量は、他の任意の十分統計量の関数として表現できる場合に最小十分である。言い換えれば、S ( X ) は、 [ 11 ]の場合に限り最小十分である。
直感的に言えば、最小限の十分統計量は、パラメータθに関するすべての可能な情報を最も効率的に捉えます。
最小十分性の有用な特徴付けは、密度f θが存在する場合、S ( X ) が最小十分であるのは、
これは、上述のフィッシャーの因数分解定理から導かれる結果である。
最小十分統計量が存在しないケースは、1954 年に Bahadur によって示されました。[ 12 ]しかし、緩やかな条件下では、最小十分統計量は常に存在します。特に、ユークリッド空間では、確率変数 (に関連付けられている) が次の条件を満たす場合、これらの条件は常に成り立ちます。)はすべて離散的であるか、すべて連続的である。
最小十分統計量が存在する場合(通常は存在する)、すべての完全十分統計量は必然的に最小十分である[ 13 ](ただし、この記述は、完全十分統計量が存在するが最小十分統計量が存在しないという病的なケースを排除するものではないことに注意)。最小十分統計量が存在しないケースを見つけるのは難しいが、完全十分統計量が存在しないケースを見つけるのはそれほど難しくない。
尤度比の集合のためには、パラメータ空間が離散的である場合に、最小限の十分統計量である。。
X 1、 ...、X nが期待値pを持つ独立なベルヌーイ分布に従う確率変数である場合、合計T ( X ) = X 1 + ... + X nはpの十分統計量である(ここで「成功」はX i = 1 に対応し、「失敗」は X i = 0 に対応する。したがって、Tは成功の総数である)。
これは、同時確率分布を考慮することで明らかになります。
観測値は独立しているため、これは次のように記述できます。
そして、pと1 - pのべき乗をまとめると、
これは因数分解の基準を満たしており、h ( x ) = 1 は単なる定数です。
重要な特徴に注目してください。未知のパラメータp は、統計量T ( x ) = Σ x iを介してのみデータxと相互作用します。
具体的な応用例として、これは公平なコインと偏りのあるコインを区別する手順を示すものである。
X 1、 ...、X nが独立で区間 [0, θ ]上で一様分布している場合、 T ( X ) = max( X 1、 ...、X n ) は θ に対して十分である。つまり、標本最大値は母集団最大値に対する十分統計量である。
これを確認するには、 X ( X 1 ,..., X n )の同時確率密度関数を考えます。観測値は独立であるため、pdf は個々の密度の積として記述できます。
ここで1 { ... }は指示関数です。したがって、密度はフィッシャー・ネイマン因数分解定理で要求される形式をとります。ここでh ( x ) = 1 {min{ x i }≥0}であり、式の残りの部分はθとT ( x ) = max{ x i } のみの関数です。
実際、θの最小分散不偏推定量(MVUE)は
これは、バイアスを補正するためにスケーリングされた標本最大値であり、レーマン・シェッフェの定理によりMVUEです。スケーリングされていない標本最大値T ( X )は、θの最尤推定量です。
もしは独立で、区間上で一様分布している。(どこそして未知のパラメータである場合、は、2 次元の十分統計量である。。
これを確認するには、次の同時確率密度関数を考えてみましょう。観測値は独立しているため、確率密度関数は個々の密度の積として表すことができる。
サンプルの同時密度は、フィッシャー・ネイマン因数分解定理で要求される形式をとる。
以来パラメータに依存しないそしてのみに依存する機能を通じて
フィッシャー・ネイマン因数分解定理は、は十分な統計量である。
X 1、 ...、X nが独立で、パラメータλのポアソン分布に従う場合、和T ( X ) = X 1 + ... + X nはλの十分統計量です。
これを理解するには、同時確率分布を考えてみましょう。
観測値は独立しているため、これは次のように記述できます。
これは次のように書くことができます
これは因数分解基準が満たされていることを示しており、h ( x )は階乗の積の逆数です。パラメータλは、その和T ( X )を介してのみデータと相互作用することに注意してください。
もしは独立しており、期待値は正規分布に従う。(パラメータ)と既知の有限分散それから
は十分な統計量である
これを確認するには、次の同時確率密度関数を考えてみましょう。観測値は独立しているため、確率密度関数は個々の密度の積として表すことができる。
サンプルの同時密度は、フィッシャー・ネイマン因数分解定理で要求される形式をとる。
以来パラメータに依存しないそしてのみに依存する機能を通じて
フィッシャー・ネイマン因数分解定理は、は十分な統計量である。
もし不明であり、上記の尤度は次のように書き換えることができます。
フィッシャー・ネイマン因数分解定理は依然として成り立ち、次のことを意味する。は、。
もしが独立で指数分布に従い、期待値がθ(未知の実数値の正のパラメータ)である場合、はθの十分統計量である。
これを確認するには、次の同時確率密度関数を考えてみましょう。観測値は独立しているため、確率密度関数は個々の密度の積として表すことができる。
サンプルの同時密度は、フィッシャー・ネイマン因数分解定理で要求される形式をとる。
以来パラメータに依存しないそしてのみに依存する機能を通じて
フィッシャー・ネイマン因数分解定理は、は十分な統計量である。
もし独立しており、分散している、 どこそしてガンマ分布の未知のパラメータである場合、は、2 次元の十分統計量である。。
これを確認するには、次の同時確率密度関数を考えてみましょう。観測値は独立しているため、確率密度関数は個々の密度の積として表すことができる。
サンプルの同時密度は、フィッシャー・ネイマン因数分解定理で要求される形式をとる。
以来パラメータに依存しないそしてのみに依存する機能を通じて
フィッシャー・ネイマン因数分解定理は、は十分な統計量である
十分性は、ラオ・ブラックウェル定理において有用な応用例が見られます。この定理は、g ( X )がθの推定量である場合、通常、十分統計量T ( X )が与えられたときのg ( X )の条件付き期待値は、 θのより良い(分散が低いという意味で)推定量であり、決してそれより悪くなることはない、と述べています。場合によっては、非常に粗雑な推定量g ( X )を簡単に構築し、その条件付き期待値を評価することで、さまざまな意味で最適な推定量を得ることができます。
ピットマン・クープマン・ダルモワの定理によれば、推定対象のパラメータによって定義域が変化しない確率分布族の中で、標本サイズが増加しても次元が制限されない十分統計量が存在するのは指数分布族のみである。直感的に言えば、これは実数直線上の非指数分布族では、データに含まれる情報を完全に捉えるためにノンパラメトリック統計量が必要であることを示している。
もっと簡潔に言うと、は、独立同分布の実数確率変数であり、その分布は、によってパラメータ化されたある確率分布族に属することがわかっている。ある特定の技術的規則性条件を満たす場合、その族は指数族であるのは、-値十分統計量スカラー成分の数サンプルサイズnが増加しても増加しない。[ 14 ]
この定理は、有限次元の実ベクトル値の十分統計量の存在が、実数直線上の分布族の可能な形式を厳しく制限することを示している。
パラメータや確率変数が実数値でなくなると、状況はより複雑になる。[ 15 ]
統計量が十分であるという条件の別の定式化をベイズ的文脈で設定すると、データセット全体を使用した場合と統計量のみを使用した場合に得られる事後分布が含まれます。したがって、要件は、ほとんどすべてのxに対して、
より一般的には、パラメトリックモデルを仮定せずに、統計量Tが予測に十分であると言えるのは、
この「ベイズ的十分性」は上記の定式化の結果であることが判明したが、[ 16 ]無限次元の場合には直接的に等価ではない。[ 17 ]ベイズ的文脈における十分性に関する理論的結果の範囲が利用可能である。[ 18 ]
「線形十分性」と呼ばれる概念は、ベイズ的文脈[ 19 ] 、そしてより一般的に[ 20 ]定式化することができる。まず、ベクトルYのXに基づく最適な線形予測子を次のように定義する。すると、線形統計量T ( x ) は、次の条件を満たす場合に線形十分である[ 21 ] 。