一般化線形モデル

過分散指数族（または分散を持つ指数族）は、指数族および分布の指数分散モデルの一般化であり、によってパラメータ化された確率分布の族を含みます。${\displaystyle {\boldsymbol {\theta }}}$そして${\displaystyle \tau }$密度関数f (または離散分布の場合は確率質量関数) は、次の形式で表すことができます。

${\displaystyle f_{Y}(\mathbf {y} \mid {\boldsymbol {\theta }},\tau )=h(\mathbf {y} ,\tau )\exp \left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (\mathbf {y} )-A({\boldsymbol {\theta }})}{d(\tau )}}\right).\,\!}$

分散パラメータ、${\displaystyle \tau }$は、通常既知であり、通常は分布の分散に関連しています。${\displaystyle h(\mathbf {y} ,\tau )}$、${\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}$、${\displaystyle \mathbf {T} (\mathbf {y} )}$、${\displaystyle A({\boldsymbol {\theta }})}$、 そして${\displaystyle d(\tau )}$は既知である。この族には、正規分布、指数分布、ガンマ分布、ポアソン分布、ベルヌーイ分布、そして（試行回数が固定されている場合）二項分布、多項分布、負の二項分布など、多くの一般的な分布が含まれる。

スカラーの場合${\displaystyle \mathbf {y} }$そして${\displaystyle {\boldsymbol {\theta }}}$（表記）${\displaystyle y}$そして${\displaystyle \theta }$この場合、これは以下になります。

${\displaystyle f_{Y}(y\mid \theta ,\tau )=h(y,\tau )\exp \left({\frac {b(\theta )T(y)-A(\theta )}{d(\tau )}}\right).\,\!}$

${\displaystyle {\boldsymbol {\theta }}}$は分布の平均に関連しています。ジョン・ネルダーとロバート・ウェダーバーンによる元の定式化は、${\displaystyle T(y)=y}$^{[ 2 ] [ 3 ]}は、不偏推定方程式を得るための重要な要件です。 ${\displaystyle \theta }$これにより、分布の誤指定の下での最尤推定値の一貫性など、多くの魅力的な特性が得られます^{[ 4 ]}。${\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}$が恒等関数である場合、分布は正準形式（または自然形式）であると言われます。任意の分布は、 を書き換えることで正準形式に変換できることに注意してください。${\displaystyle {\boldsymbol {\theta }}}$として${\displaystyle {\boldsymbol {\theta }}'}$そして変換を適用する${\displaystyle {\boldsymbol {\theta }}=\mathbf {b} ({\boldsymbol {\theta }}')}$変換は常に可能です${\displaystyle A({\boldsymbol {\theta }})}$新しいパラメータ化の観点から言えば、${\displaystyle \mathbf {b} ({\boldsymbol {\theta }}')}$は一対一関数ではありません。指数族に関するページのコメントを参照してください。

さらに、${\displaystyle \mathbf {T} (\mathbf {y} )}$そして${\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}$アイデンティティである場合、${\displaystyle {\boldsymbol {\theta }}}$は正準パラメータ（または自然パラメータ）と呼ばれ、平均と関連しています。

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} (\mathbf {y} )=\nabla _{\boldsymbol {\theta }}A({\boldsymbol {\theta }}).\,\!}$

スカラーの場合${\displaystyle \mathbf {y} }$そして${\displaystyle {\boldsymbol {\theta }}}$これは、

${\displaystyle \mu =\operatorname {E} (y)=A'(\theta ).}$

このシナリオでは、分布の分散は^{[ 3 ]であることが示される。}

${\displaystyle \operatorname {Var} (\mathbf {y} )=\nabla _{\boldsymbol {\theta }}^{2}A({\boldsymbol {\theta }})d(\tau ).\,\!}$

スカラーの場合${\displaystyle \mathbf {y} }$そして${\displaystyle {\boldsymbol {\theta }}}$これは、

${\displaystyle \operatorname {Var} (y)=A''(\theta )d(\tau ).\,\!}$

線形予測子は、独立変数に関する情報をモデルに組み込む量です。記号η（ギリシャ語の「イータ」）は線形予測子を表します。これは、リンク関数を介してデータの期待値と関連付けられます。

ηは未知のパラメータβの線形結合（したがって「線形」）として表されます。線形結合の係数は独立変数行列Xとして表されます。 したがってηは次のように表すことができます。

${\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}$

リンク関数は、線形予測子と分布関数の平均値との間の関係を示します。一般的に使用されるリンク関数は数多くあり、その選択はいくつかの考慮事項に基づいています。応答の密度関数の指数関数から導出される、明確に定義された標準的なリンク関数が常に存在します。しかし、場合によっては、リンク関数の定義域を分布関数の平均値の範囲に合わせようとしたり、例えばベイズプロビット回帰のように、アルゴリズム上の目的で非標準的なリンク関数を使用したりすることが理にかなっていることがあります。

正規パラメータを持つ分布関数を使用する場合${\displaystyle \theta ,}$正準リンク関数は、${\displaystyle \theta }$に関しては${\displaystyle \mu ,}$つまり${\displaystyle \theta =g(\mu ).}$ 最も一般的な分布では、平均${\displaystyle \mu }$は分布の密度関数の標準形式のパラメータの1つであり、${\displaystyle g(\mu )}$は、上記で定義した、密度関数をその標準形にマッピングする関数です。標準リンク関数を使用する場合、${\displaystyle g(\mu )=\theta =\mathbf {X} {\boldsymbol {\beta }},}$これにより${\displaystyle \mathbf {X} ^{\rm {T}}\mathbf {Y} }$十分な統計量となる${\displaystyle {\boldsymbol {\beta }}}$。

以下に、一般的に使用されているいくつかの指数型分布とその典型的な使用データ、および標準リンク関数とその逆関数（ここでは平均関数と呼ぶこともあります）を表に示します。

指数分布とガンマ分布の場合、正準リンク関数の定義域は、平均の許容範囲とは異なります。特に、線形予測子が正の値をとる場合、平均が負の値をとるというあり得ない事態が生じます。尤度を最大化する際には、このような事態を避けるための対策を講じる必要があります。代替案として、非正準リンク関数を用いる方法があります。

ベルヌーイ分布、二項分布、カテゴリ分布、多項分布の場合、分布のサポートは予測対象のパラメータと同じタイプのデータではありません。これらのすべての場合において、予測パラメータは1つ以上の確率、つまり範囲内の実数です。${\displaystyle [0,1]}$その結果得られるモデルはロジスティック回帰（二値ではなくK個の値を予測する場合は多項ロジスティック回帰）として知られています。

ベルヌーイ分布と二項分布の場合、パラメータは単一の確率であり、単一の事象が発生する可能性を示します。ベルヌーイ分布は、単一の結果が常に0または1であるにもかかわらず、期待値が実数値の確率、つまり「はい」（または1）の結果が発生する確率となるという点で、一般化線形モデルの基本条件を満たしています。同様に、二項分布では、期待値はNpであり、つまり「はい」の結果の期待割合が予測される確率となります。

カテゴリ分布および多項分布の場合、予測対象となるパラメータは確率のKベクトルであり、すべての確率の合計が1になるという制約があります。各確率は、 K個の可能な値のうちの1つが発生する可能性を示します。多項分布、およびカテゴリ分布のベクトル形式の場合、ベクトルの要素の期待値は、二項分布やベルヌーイ分布と同様に、予測確率と関連付けることができます。

最尤推定値は、反復重み付き最小二乗法アルゴリズム、または次の形式の更新を伴うニュートン法を使用して求めることができます。

${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {J}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}$

どこ${\displaystyle {\mathcal {J}}({\boldsymbol {\beta }}^{(t)})}$は観測情報行列（ヘッセ行列の負の値）であり、${\displaystyle u({\boldsymbol {\beta }}^{(t)})}$はスコア関数、またはフィッシャーのスコアリング方法である。

${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {I}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}$

どこ${\displaystyle {\mathcal {I}}({\boldsymbol {\beta }}^{(t)})}$はフィッシャー情報行列です。正準リンク関数を使用する場合は、これらは同じになることに注意してください。^{[ 5 ]}

一般的に、事後分布は閉じた形で求めることができないため、近似する必要があり、通常はラプラス近似またはギブスサンプリングなどのマルコフ連鎖モンテカルロ法を使用します。

混乱を招く可能性のある点として、一般化線形モデルと一般線形モデルという2つの広範な統計モデルの区別が挙げられます。共同発案者のジョン・ネルダーはこの用語について遺憾の意を表明しています。^{[ 6 ]}

一般線形モデルは、恒等リンク関数と正規分布に従う応答変数を持つ一般化線形モデルの特殊なケースとみなすことができます。関心のある最も正確な結果は一般線形モデルでのみ得られるため、一般線形モデルはやや長い歴史的発展を遂げてきました。非恒等リンク関数を持つ一般化線形モデルの結果は漸近的であり（サンプルサイズが大きい場合にうまく機能する傾向があります）。

一般化線形モデル（一般線形モデルの一例でもある）の単純かつ非常に重要な例として、線形回帰が挙げられます。線形回帰では、最小二乗推定量の使用はガウス・マルコフの定理によって正当化されますが、この定理は分布が正規分布であることを前提としていません。

しかし、一般化線形モデルの観点からは、分布関数が一定の分散を持つ正規分布であり、リンク関数が恒等関数（分散が既知の場合は正準リンク関数）であると仮定することが有用である。これらの仮定の下では、最小二乗推定量は最尤パラメータ推定値として得られる。

正規分布の場合、一般化線形モデルでは最尤推定値に対する閉形式の式が得られるため、便利です。他のほとんどの一般化線形モデルでは、閉形式の推定値が得られません。

応答データYがバイナリ (0 と 1 の値のみをとる) の場合、分布関数は一般的にベルヌーイ分布が選択され、 μ _iの解釈はY _iが値 1 をとる確率pとなります。

二項関数には、いくつかの一般的なリンク関数が存在する。

二項分布の場合、応答変数として多項分布（または、合計が制約されたカウントの一般化線形モデル）を許容するように容易に拡張できます。これには通常、次の2つの方法があります。

一般化線形モデルの別の例として、ポアソン分布を用いて計数データをモデル化するポアソン回帰が挙げられます。リンク関数は通常、対数、すなわち正準リンク関数です。

分散関数は平均に比例する

${\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}$

ここで、分散パラメータτは通常、ちょうど1に固定されます。そうでない場合、結果として得られる準尤度モデルは、過分散を伴うポアソン分布または準ポアソン分布として記述されることがよくあります。

応答があった場合${\displaystyle Y}$は二重境界連続確率変数であり、それを単位区間[0,1]に標準化した後、一般化線形モデルの例として、連続二項分布に基づく連続二項（コビン）回帰^{[ 9 ]}があり、これは連続ベルヌーイ分布の2パラメータ一般化である。${\displaystyle \lambda }$は分散に反比例し、

${\displaystyle \operatorname {var} (Y_{i})=\lambda ^{-1}A''(A^{-1}(\mu _{i})),\,}$

どこ${\displaystyle A(\theta )=\log\{(e^{\theta }-1)/\theta \}}$分散関数を異なる方法で選択すれば、準最尤法に基づく分数回帰モデルと関連します。^{[ 9 ]}

標準的な一般化線形モデル（GLM）は、観測値間に相関がないことを前提としています。しかし、例えば縦断研究やクラスターデザインのように、観測値間に相関がある場合に対応できるよう、拡張版が開発されています。

• 一般化推定方程式(GEE) は、相関の起源に関する明示的な確率モデルを使用せずに観測値間の相関を可能にするため、明示的な尤度はありません。GEE は、ランダム効果とその分散が本質的に関心の対象ではない場合に適しています。なぜなら、相関の原因を説明することなく相関を可能にするからです。焦点は、特定の個人に対するXの 1 つ以上のコンポーネントの変更の影響を予測できる回帰パラメータではなく、母集団の平均応答 (「母集団平均」効果) を推定することにあります。GEE は通常、 Huber–White 標準誤差と組み合わせて使用​​されます。 ^{[ 10 ] [ 11 ]}
• 一般化線形混合モデル（GLMM）は、線形予測子にランダム効果を含めることで、相関関係の起源を説明する明示的な確率モデルを提供する、線形モデル（GLM）の拡張です。結果として得られる「被験者固有の」パラメータ推定値は、 Xの1つ以上の構成要素の変化が特定の個人に与える影響を推定することに焦点を当てている場合に適しています。GLMMは、マルチレベルモデルや混合モデルとも呼ばれます。一般的に、GLMMの適合は、一般化推定方程式（GEE）の適合よりも計算が複雑で負荷が高くなります。

一般化加法モデル（GAM）は、GLMのもう一つの拡張であり、線形予測子ηは共変量Xに関して線形である必要はなく、 x _i sに適用される平滑化関数の合計である。

${\displaystyle \eta =\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots \,\!}$

平滑化関数f _iはデータから推定されます。一般に、これには多数のデータポイントが必要であり、計算負荷が高くなります。^{[ 12 ] [ 13 ]}