過剰分散

統計学において、過剰分散とは、与えられた統計モデルに基づいて予想されるよりも大きな変動性（統計的分散）がデータ セット内に存在することを指します。

応用統計学における一般的なタスクは、与えられた一連の経験的観測に適合するパラメトリック モデルを選択することです。これには、選択したモデルの適合性の評価が必要です。通常、モデルの理論的な母平均がサンプル平均にほぼ等しくなるようにモデル パラメーターを選択できます。ただし、特にパラメーターの少ない単純なモデルの場合、より高いモーメントでは理論予測が経験的観測と一致しない可能性があります。観測された分散が理論モデルの分散よりも高い場合、過剰分散が発生しています。逆に、過小分散は、予測されたよりもデータの変動が少なかったことを意味します。過剰分散は、応用データ分析では非常に一般的な特徴です。これは、広く使用されている単純なパラメトリック モデルに暗黙的に含まれている仮定に反して、実際には母集団が不均一(非均一) であることが多いためです。

過剰分散は、ポアソン分布に基づくモデルなど、非常に単純なパラメトリック モデルを当てはめるときによく発生します。ポアソン分布には 1 つの自由パラメーターがあり、分散を平均と独立して調整することはできません。ポアソン族からの分布の選択は、多くの場合、経験的データの性質によって決まります。たとえば、ポアソン回帰分析は、カウント データをモデル化するためによく使用されます。過剰分散が特徴である場合は、追加の自由パラメーターを持つ別のモデルの方が適合性が高くなる可能性があります。カウント データの場合は、代わりに負の二項分布のようなポアソン混合モデルを提案できます。このモデルでは、ポアソン分布の平均自体が、この場合はガンマ分布から抽出されたランダム変数であると考えられるため、追加の自由パラメーターが導入されます (結果として得られる負の二項分布は、完全に 2 つのパラメーターによって特徴付けられることに注意してください)。

より具体的な例として、家族に生まれる男の子の数は、予想されるように二項分布に忠実に従わないことが観察されています。 ^[1]代わりに、家族の性比は男の子か女の子のどちらかに偏っているようです（考えられる説明の1つについては、たとえばトリヴァース・ウィラード仮説を参照）。つまり、二項分布から予想されるよりも、男の子だけの家族や女の子だけの家族が多く、人口の平均51:49の男の子と女の子の比率に近い家族が十分ではなく、結果として生じる経験的分散は、二項モデルで指定されたものよりも大きくなります。

この場合、ベータ二項分布モデルは、観測データにより適合するため、二項分布に代わる人気があり、解析的に扱いやすいモデルです。^[2]家族の異質性を捉えるために、二項モデルの確率パラメータ（たとえば、男の子である確率）自体が、混合分布としてのベータ分布から各家族に対して抽出されたランダム変数（つまり、ランダム効果モデル）であると考えることができます。結果として得られる複合分布（ベータ二項分布）には、追加の自由パラメータがあります。

過剰分散のもう 1 つの一般的なモデル (一部の観測値がベルヌーイ分布ではない場合)は、正規ランダム変数をロジスティック モデルに導入することによって生じます。このタイプのマルチレベル モデルを適合するためのソフトウェアは広く利用可能です。この場合、正規変数の分散が 0 であれば、モデルは標準 (非分散)ロジスティック回帰になります。このモデルには、正規変数の分散という追加の自由パラメーターがあります。

二項ランダム変数に関しては、過剰分散の概念は n>1 の場合にのみ意味を持ちます (つまり、ベルヌーイランダム変数の場合、過剰分散は無意味です)。

正規分布(ガウス) は分散をパラメータとして持つため、有限分散を持つデータ (有限データを含む) は、正確な分散を持つ正規分布でモデル化できます。正規分布は、平均と分散を持つ 2 つのパラメータ モデルです。したがって、基礎となるモデルがない場合、データが正規モデルに比べて過剰分散しているという概念はありませんが、他の点 (歪度、尖度などの高いモーメントなど) では適合性が劣る可能性があります。ただし、データが予想される変動を持つ正規分布でモデル化されている場合は、その予測に比べて過剰分散または不足分散になる可能性があります。

たとえば、統計調査では、誤差の範囲（サンプルサイズによって決まる）によって標本誤差が予測され、したがって、反復調査の結果の分散が予測されます。固定母集団（たとえば、標本サイズが一定で、誤差の範囲が同じ）の反復調査のメタ分析を実行する場合、結果は誤差の範囲に等しい標準偏差の正規分布に収まることが予想されます。ただし、研究ごとに標本バイアスが異なる研究異質性がある場合、分布は複合分布になり、予測分布に対して過剰に分布します。たとえば、反復世論調査の誤差がすべて 3% で、異なる世論調査機関によって実施された場合、異なる方法論による世論調査員のバイアスのため、結果の標準偏差は 3% を超えることが予想されます。

過剰分散と過小分散は、生物学の分野で採用されている用語です。寄生虫学では、「過剰分散」という用語は、ここで定義されているように、予想よりも高い分散を持つ分布を意味するのが一般的です。

しかし、生態学の一部の分野では意味が入れ替わっており、過剰分散は実際には予想よりも均一（分散が低い）という意味に解釈されています。この混乱により、一部の生態学者は、生態学では「過剰分散」の代わりに「凝集した」または「伝染性の」という用語を使用する方が適切であると主張しています。^{[3]このような好みは}寄生虫学にも浸透しつつあります。^[4]一般的にこの提案は考慮されておらず、文献では混乱が続いています。

さらに、人口統計学では、死亡数データの分析で過剰分散が明らかになることが多いが、人口統計学者は「観察されない異質性」という用語を好んで使用している。

• 分散指数
• 複合確率分布
• 準尤度