統計モデル

統計モデルとは、標本データ（およびより大きな母集団からの同様のデータ）の生成に関する一連の統計的仮定を具体化した数学モデルです。統計モデルは、多くの場合、かなり理想化された形で、データ生成プロセスを表します。^{[ 1 ]}確率に特に言及する場合、対応する用語は確率モデルです。すべての統計的仮説検定とすべての統計的推定量は、統計モデルを介して導出されます。より一般的には、統計モデルは統計的推論の基礎の一部です。統計モデルは通常、1つ以上の確率変数と他の非確率変数との間の数学的関係として指定されます。そのため、統計モデルは「理論の形式的表現」（ヘルマン・アデールがケネス・ボーレンを引用）です。^{[ 2 ]}

非公式に言えば、統計モデルとは、ある特定の性質を持つ統計的仮定（または統計的仮定の集合）と考えることができます。その性質とは、その仮定によってあらゆる事象の確率を計算できるということです。例として、通常の6面サイコロ2個を考えてみましょう。ここでは、サイコロに関する2つの異なる統計的仮定について考察します。

最初の統計的仮定は次のとおりです。各サイコロについて、各面（1、2、3、4、5、6）が出る確率は 1/6 です。この仮定から、両方のサイコロで 5 が出る確率を計算できます。1/ 6 × 1/6 = 1/36 です。より一般的には、任意の事象の確率を計算できます。たとえば、 （ 1と 2 ）または（ 3 と 3）または（ 5と6 ）などです。別の統計的仮定は次のとおりです。各サイコロについて、面 5 が出る確率は 1/8 です（サイコロに重みがあるため）。この仮定から、両方のサイコロで5が出る確率を計算できます。1 / 8 × 1/8 = 1/64です。しかし、他の面の確率は不明であるため、他の非自明な事象の確率を計算することはできません。

最初の統計的仮定は統計モデルを構成します。なぜなら、その仮定だけで、あらゆる事象の確率を計算できるからです。一方、もう一方の統計的仮定は統計モデルを構成しません。なぜなら、その仮定だけでは、あらゆる事象の確率を計算できないからです。上記の例では、最初の仮定を用いることで、事象の確率を簡単に計算できます。しかし、他の例では、計算が困難であったり、非現実的であったりする場合があります（例えば、数百万年もの計算時間が必要になるかもしれません）。仮定が統計モデルを構成するためには、このような困難さは許容範囲内です。計算が現実的である必要はなく、理論的に可能であればよいのです。

数学的に言えば、統計モデルはペア（${\displaystyle S,{\mathcal {P}}}$）、 どこ${\displaystyle S}$は可能な観測値の集合、すなわち標本空間であり、${\displaystyle {\mathcal {P}}}$は確率分布の集合である${\displaystyle S}$[ ^{3 ]}セット^​${\displaystyle {\mathcal {P}}}$これは、考えられるすべてのモデルを表します。このセットは通常、次のようにパラメータ化されます。${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$セット${\displaystyle \Theta }$モデルのパラメータを定義します。パラメータ化によって異なるパラメータ値が異なる分布を生み出す場合、つまり${\displaystyle F_{\theta _{1}}=F_{\theta _{2}}\Rightarrow \theta _{1}=\theta _{2}}$（言い換えれば、写像が単射である場合）、それは識別可能であると言われます。^{[ 3 ]}

場合によっては、モデルはより複雑になることがあります。

• ベイズ統計学では、モデルはパラメータ空間上の確率分布を追加することによって拡張される。${\displaystyle \Theta }$。
• 統計モデルは、2つの確率分布のセットを区別できる場合がある。最初のセット${\displaystyle {\mathcal {Q}}=\{F_{\theta }:\theta \in \Theta \}}$は推論に考慮されるモデルのセットです。2番目のセット${\displaystyle {\mathcal {P}}=\{F_{\lambda }:\lambda \in \Lambda \}}$これは、データを生成できた可能性のあるモデルのセットであり、${\displaystyle {\mathcal {Q}}}$このような統計モデルは、特定の手順が頑健であることを確認する上で重要です。つまり、データに関する仮定が誤っている場合でも、壊滅的なエラーが発生しないことを確認する上で重要です。

年齢が均等に分布している子供の集団があると仮定します。子供の身長は年齢と確率的に関連しています。たとえば、子供が7歳であることがわかっている場合、その子供の身長が1.5メートルになる確率に影響します。この関係を線形回帰モデルで定式化できます。高さ_i  = b ₀  + b ₁年齢_i  + ε _i、ここで、b ₀は切片、b ₁は年齢に掛けて身長を予測するパラメータ、ε _iは誤差項、i は子供を識別するものです。これは、身長が年齢によって予測されるが、多少の誤差があることを意味します。

許容可能なモデルは、すべてのデータポイントと整合していなければなりません。したがって、直線 (高さ_i  = b ₀  + b ₁年齢_i ) は、すべてのデータポイントに正確に適合しない限り、つまりすべてのデータポイントが直線上に完全に位置する場合を除き、データのモデルとして許容できません。モデルがすべてのデータポイントと整合するように、誤差項 ε i を方程式に含める必要があります。統計的推論を行うには_、まずε _iの確率分布を仮定する必要があります。たとえば、ε _{i の}分布が平均ゼロのiidガウス分布であると仮定できます。この場合、モデルには 3 つのパラメータ ( b ₀、b ₁、およびガウス分布の分散) があります。モデルは、形式的には (${\displaystyle S,{\mathcal {P}}}$）次のとおりです。標本空間、${\displaystyle S}$、私たちのモデルの は、すべての可能なペア (年齢、身長) のセットで構成されます。${\displaystyle \theta }$ = ( b ₀ , b ₁ , σ ² ) は、分布を決定します。${\displaystyle S}$; 分布をで表す${\displaystyle F_{\theta }}$。 もし${\displaystyle \Theta }$は、 のすべての可能な値の集合です。${\displaystyle \theta }$、 それから${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$（パラメータ化は識別可能であり、これは簡単に確認できる。）

この例では、モデルは（1）指定することによって決定されます。${\displaystyle S}$（２）関連するいくつかの仮定を立てる${\displaystyle {\mathcal {P}}}$身長は年齢の線形関数で近似できること、近似誤差は独立同分布のガウス分布に従うこと、という2つの仮定がある。これらの仮定は、以下のことを指定するのに十分である。${\displaystyle {\mathcal {P}}}$―彼らにはそうすることが義務付けられている。

統計モデルは、数学モデルの一種です。統計モデルが他の数学モデルと異なる点は、統計モデルが非決定論的であることです。つまり、数式で指定される統計モデルでは、変数の一部は特定の値ではなく、確率分布を持ちます。つまり、変数の一部は確率的です。上記の子供の身長の例では、εは確率変数です。この確率変数がなければ、モデルは決定論的になります。統計モデルは、モデル化されるデータ生成プロセスが決定論的である場合でもよく使用されます。例えば、コイン投げは原理的には決定論的プロセスですが、一般的には確率的（ベルヌーイ過程）としてモデル化されます。与えられたデータ生成プロセスを表す適切な統計モデルを選択することは、時に非常に難しく、プロセスと関連する統計分析の両方の知識が必要になる場合があります。関連して、統計学者のサー・デイビッド・コックスは、「主題の問題から統計モデルへの変換がどのように行われるかは、分析において最も重要な部分であることが多い」と述べている。^{[ 4 ]}

 小西と北川によれば、統計モデルには3つの目的がある。^{[ 5 ]}

1. 予測
2. 情報の抽出
3. 確率構造の説明

これらの３つの目的は、Friendly & Meyerが示した３つの目的、すなわち予測、推定、記述と本質的に同じである 。^{[ 6 ]}

統計モデルがあると仮定します（${\displaystyle S,{\mathcal {P}}}$） と${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$表記法では、次のように書きます。$\displaystyle \Theta \subseteq \mathbb {R} ^{k}}$ここでkは正の整数 (${\displaystyle \mathbb {R} }$は実数を表します（原理的には他の集合も使用できます）。ここで、kはモデルの次元と呼ばれます。モデルがパラメトリックであるとは、${\displaystyle \Theta }$は有限次元を持つ。例として、データが単変量ガウス分布から生じると仮定すると、

${\displaystyle {\mathcal {P}}=\left\{F_{\mu ,\sigma }(x)\equiv {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right):\mu \in \mathbb {R} ,\sigma >0\right\}}$。

この例では、次元kは 2 です。別の例として、データが ( x , y ) という点から構成され、これらの点が独立同分布のガウス残差 (平均ゼロ) を持つ直線に沿って分布していると仮定します。これは、子供の身長の例で使用したのと同じ統計モデルにつながります。統計モデルの次元は 3 です。直線の切片、直線の傾き、および残差の分布の分散です。（幾何学的には直線の次元は 1 ですが、考えられるすべての直線の集合の次元は 2 であることに注意してください。）

正式には${\displaystyle \theta \in \Theta }$は次元kを持つ単一のパラメータですが、k個の別々のパラメータから構成されているとみなされることもあります。たとえば、単変量ガウス分布の場合、${\displaystyle \theta }$は形式的には次元2の単一のパラメータですが、平均と標準偏差という2つの別々のパラメータから構成されているとみなされることがよくあります。統計モデルは、パラメータセットが${\displaystyle \Theta }$は無限次元です。統計モデルは、有限次元と無限次元の両方のパラメータを持つ場合、セミパラメトリックです。形式的には、 kが次元である場合、${\displaystyle \Theta }$nはサンプル数であり、セミパラメトリックモデルとノンパラメトリックモデルの両方が${\displaystyle k\rightarrow \infty }$として${\displaystyle n\rightarrow \infty }$。 もし${\displaystyle k/n\rightarrow 0}$として${\displaystyle n\rightarrow \infty }$条件が満たされる場合、そのモデルはセミパラメトリックモデルであり、そうでない場合はノンパラメトリックモデルである。

パラメトリックモデルは、統計モデルの中で最も一般的に使用されているモデルです。セミパラメトリックモデルとノンパラメトリックモデルに関して、サー・デイビッド・コックスは、「これらは通常、構造と分布形式に関する仮定は少ないが、独立性に関する強い仮定を含むことが多い」と述べています。^{[ 7 ]}

2つの統計モデルは、最初のモデルのパラメータに制約を課すことで、最初のモデルを2番目のモデルに変換できる場合に、ネストされていると言えます。例として、すべてのガウス分布の集合には、その中に平均ゼロのガウス分布の集合がネストされています。すべてのガウス分布の集合の平均に制約を課すことで、平均ゼロの分布が得られます。2番目の例として、二次モデル

y  = b ₀  + b ₁ x  + b ₂ x ²  + ε,  ε  ~ 𝒩(0, σ ² )

その中に線形モデルが入れ子になっている

y  = b ₀  + b ₁ x  + ε,  ε  ~ 𝒩(0, σ ² )

—パラメータb2_を0に制約します。

どちらの例でも、最初のモデルは2番目のモデルよりも次元が高い（最初の例では、平均がゼロのモデルの次元は 1である）。これはよくあることだが、常にそうとは限らない。次元が同じである例として、平均が正のガウス分布の集合は、すべてのガウス分布の集合の中に含まれており、どちらも次元は2である。

統計モデルの比較は、統計的推論の多くにおいて基本となる。小西・北川（2008 、p.75 ）は、「統計的推論における問題の大部分は、統計モデリングに関連する問題とみなすことができる。それらは通常、複数の統計モデルの比較として定式化される」と述べている。モデルを比較するための一般的な基準には、R²、ベイズ^因子、赤池情報量規準、尤度比検定とその一般化である相対尤度などがある。 

2 つの統計モデルを比較するもう 1 つの方法は、ルシアン・ル・カムによって導入された欠陥の概念によるものです。^{[ 8 ]}

• デイヴィソン、AC（2008）、『統計モデル』、ケンブリッジ大学出版局
• Drton, M.; Sullivant, S. (2007)、「代数的統計モデル」（PDF）、Statistica Sinica、17：1273–1297
• フリードマン、DA（2009）、『統計モデル』、ケンブリッジ大学出版局
• Helland, IS (2010)、「科学的モデルと方法の統一的基盤に向けたステップ」、World Scientific
• Kroese, DP ; Chan, JCC (2014),統計モデリングと計算, Springer
• Shmueli, G. (2010)、「説明するか予測するか？」、Statistical Science、25 (3): 289–310、arXiv : 1101.0891、doi : 10.1214/10-STS330、S2CID 15900983