分散関数

一般化線形モデル（GLM）は、指数型分布族の任意の分布に拡張された、通常の回帰分析の一般化です。応答変数がカテゴリ変数、二値変数、または制約条件（例えば、正の応答のみが意味を持つ場合）を満たす場合に特に有用です。このページでは、GLMの構成要素の概要を簡単に説明していますが、詳細については、一般化線形モデルに関するページをご覧ください。

GLMは主に3つの成分から構成されています。

1. ランダム成分:指数族からのyの分布、${\displaystyle E[y\mid X]=\mu }$

2. 線形予測子： ${\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}$

3. リンク機能：${\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta )}$

まず、指数型分布族のいくつかの重要な性質を導き出すことが重要です。

任意のランダム変数${\displaystyle {\textit {y}}}$指数族では、確率密度関数は次の形式になります。

${\displaystyle f(y,\theta ,\phi )=\exp \left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)}$

対数尤度で、

${\displaystyle \ell (\theta ,y,\phi )=\log(f(y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

ここ、${\displaystyle \theta }$は正準パラメータであり、関心のあるパラメータであり、${\displaystyle \phi }$は分散に影響を与える邪魔なパラメータです。バートレットの恒等式を用いて、分散関数の一般式を導出します。バートレットの第一および第二の結果は、適切な条件下（ライプニッツの積分規則を参照）で、 に依存する密度関数に対して が成り立つことを保証します。${\displaystyle \theta ,f_{\theta }()}$、

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}$

これらの恒等式を用いると、任意の確率変数の期待値と分散を簡単に計算できる。${\displaystyle {\textit {y}}}$指数族において${\displaystyle E_{\theta }[y],Var_{\theta }[y]}$。

Yの期待値: に関して一次導関数をとる${\displaystyle \theta }$上述の指数族形式の密度の対数については、次のようになります。

${\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}}$

そして期待値をゼロに等しいと置くと、

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0}$

${\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta )}$

Yの分散： 分散を計算するには、第2バートレット恒等式を使用します。

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi }$

私たちは今、関係を持っています${\displaystyle \mu }$そして${\displaystyle \theta }$すなわち

${\displaystyle \mu =b'(\theta )}$そして${\displaystyle \theta =b'^{-1}(\mu )}$これにより、${\displaystyle \mu }$そして分散は、

${\displaystyle V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta }$

${\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}$

なぜなら${\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0}$、 それから${\displaystyle b':\theta \rightarrow \mu }$は可逆である。いくつかの一般的な分布について分散関数を導出する。

正規分布は、分散関数が定数である特殊なケースです。${\displaystyle y\sim N(\mu ,\sigma ^{2})}$次に、 yの確率密度関数を上述の指数型分布族の形で表します。

${\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}$

どこ

${\displaystyle \theta =\mu ,}$

${\displaystyle b(\theta )={\frac {\mu ^{2}}{2}},}$

${\displaystyle \phi =\sigma ^{2},}$

${\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}$

分散関数を計算する${\displaystyle V(\mu )}$まず最初に表現します${\displaystyle \theta }$関数として${\displaystyle \mu }$そして私たちは変容する${\displaystyle V(\theta )}$関数に${\displaystyle \mu }$

${\displaystyle \theta =\mu }$

${\displaystyle b'(\theta )=\theta =\operatorname {E} [y]=\mu }$

${\displaystyle V(\theta )=b''(\theta )=1}$

したがって、分散関数は一定である。

させて${\displaystyle y\sim {\text{Bernoulli}}(p)}$すると、ベルヌーイ分布の密度を指数族の形で表すと、

${\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)}$

${\displaystyle \theta =\ln {\frac {p}{1-p}}=}$logit (p) により、${\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}$エクスピット${\displaystyle (\theta )}$

${\displaystyle b(\theta )=\ln(1+e^{\theta })}$ そして

${\displaystyle b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=}$エクスピット${\displaystyle (\theta )=p=\mu }$

${\displaystyle b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}$

これは私たちに

${\displaystyle V(\mu )=\mu (1-\mu )}$

させて${\displaystyle y\sim {\text{Poisson}}(\lambda )}$すると、ポアソン分布の密度を指数族の形で表すと、

${\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}$

${\displaystyle \theta =\ln \lambda =}$これにより、${\displaystyle \lambda =e^{\theta }}$

${\displaystyle b(\theta )=e^{\theta }}$ そして

${\displaystyle b'(\theta )=e^{\theta }=\lambda =\mu }$

${\displaystyle b''(\theta )=e^{\theta }=\mu }$

これは私たちに

${\displaystyle V(\mu )=\mu }$

ここで、ポアソン分布データの中心的な特性、すなわち分散が平均に等しいことがわかります。

ガンマ分布と密度関数は、さまざまなパラメータ化で表現できます。ここでは、パラメータ付きのガンマ分布の形式を使用します。${\displaystyle (\mu ,\nu )}$

${\displaystyle f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{-{\frac {\nu y}{\mu }}}}$

指数族の形式では、次のようになります。

${\displaystyle f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)}$

${\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}$

${\displaystyle \phi ={\frac {1}{\nu }}}$

${\displaystyle b(\theta )=-\ln(-\theta )}$

${\displaystyle b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }$

${\displaystyle b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}}$

そして私たちは${\displaystyle V(\mu )=\mu ^{2}}$

分散関数の非常に重要な応用は、応答変数が必要な指数型分布族の形式である場合だけでなく、そうでない場合（準尤度で説明します）にも、パラメータ推定と推論で使用することです。重み付き最小二乗法（WLS）は、一般化最小二乗法の特殊なケースです。WLS基準の各項には、各観測が最終的なパラメータ推定値に与える影響を決定する重みが含まれています。通常の最小二乗法と同様に、目標は、観測された応答とモデルの関数部分との間の二乗偏差の合計を最小にするパラメータ推定値を見つけることによって、回帰関数の未知のパラメータを推定することです。

WLSは観測値の独立性を仮定する一方で、等分散性を仮定しないため、異分散性が存在する場合のパラメータ推定の解法となります。ガウス・マルコフの定理とエイトケンは、最小分散を持つ不偏推定量である最良線形不偏推定量（BLUE）の各重みが、測定値の分散の逆数に等しいことを示しています。

GLMフレームワークでは、パラメータを推定することが目標です。${\displaystyle \beta }$、 どこ${\displaystyle Z=g(E[y\mid X])=X\beta }$したがって、私たちは最小限に抑えたいと考えています${\displaystyle (Z-XB)^{T}W(Z-XB)}$そして、重み行列Wを次のように定義する。

${\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}$

どこ${\displaystyle \phi ,V(\mu ),g(\mu )}$前述のセクションで定義されているように、反復重み付き最小二乗法（IRLS）によるパラメータ推定が可能になります。詳細な導出と情報については、反復重み付き最小二乗法のセクションを参照してください。

また、重要な点として、重み行列がここで説明した形式の場合、式を最小化します。${\displaystyle (Z-XB)^{T}W(Z-XB)}$また、ピアソン相関係数も最小化します。詳しくは「距離相関」をご覧ください。

行列Wは、推定の推定方程式から直接導き出されます。${\displaystyle \beta }$各パラメータの最尤推定${\displaystyle \beta _{r},1\leq r\leq p}$、 必要

${\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}$、 どこ${\displaystyle \operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$は対数尤度です。

我々が得た一つの観察結果を見ると、

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}$

${\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}$

${\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}}$

${\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}$

これにより、

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}$、そして、

${\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}$私たちはそれを持っています

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}}$

ヘッセ行列も同様の方法で決定され、次のように表される。

${\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}$

フィッシャー情報量（FI）に気付いたところ、

${\displaystyle {\text{FI}}=-E[H]=X^{T}WX}$漸近近似を可能にする${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}$したがって、推論を実行できる。

GLMのほとんどの機能は分布全体ではなく、分布の最初の2つのモーメントのみに依存するため、準尤度はリンク関数と分散関数を指定するだけで開発できます。つまり、指定する必要があるのは

• リンク機能、${\displaystyle E[y]=\mu =g^{-1}(\eta )}$
• 分散関数、${\displaystyle V(\mu )}$、${\displaystyle \operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )}$

指定された分散関数とリンク関数により、対数尤度関数、スコア関数、フィッシャー情報に代わるものとして、準尤度、準スコア、準情報を開発できます。これにより、完全な推論が可能になります。${\displaystyle \beta }$。

準尤度（QL）

準尤度と呼ばれていますが、実際には準対数尤度です。1つの観測値に対するQLは

${\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}$

したがって、 n 個の観測値すべてに対する QL は次のようになります。

${\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

QLから準スコアが得られます

準スコア（QS）

対数尤度を持つデータに対するスコア関数Uを思い出してください。${\displaystyle \operatorname {l} (\mu \mid y)}$は

${\displaystyle U={\frac {\partial l}{d\mu }}.}$

準スコアも同様の方法で取得します。

${\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

ある観測ではスコアは

${\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

最初の２つのバートレット方程式は準スコアに対して満たされる。すなわち、

${\displaystyle E[U]=0}$

そして

${\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}$

さらに、準スコアはyに関して線形である。

最終的な目標は、関心のあるパラメータに関する情報を見つけることです。${\displaystyle \beta }$QSとQLはどちらも実際には${\displaystyle \beta }$。 想起、${\displaystyle \mu =g^{-1}(\eta )}$、 そして${\displaystyle \eta =X\beta }$、 したがって、

${\displaystyle \mu =g^{-1}(X\beta ).}$

準情報（QI）

準情報はフィッシャー情報に似ており、

${\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}$

QL、QS、QI は、${\displaystyle \beta }$

QL、QS、QIはすべて、関心のあるパラメータに関する推論の構成要素を提供するので、QL、QS、QIをすべて関数として表現することが重要です。${\displaystyle \beta }$。

改めて思い出すと${\displaystyle \mu =g^{-1}(X\beta )}$、QL、QS、QIの式を以下のようにパラメータ化して導出します。${\displaystyle \beta }$。

準尤度${\displaystyle \beta }$、

${\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

QSは${\displaystyle \beta }$したがって

${\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}$

${\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}$

どこ、

${\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}$

準情報行列${\displaystyle \beta }$は、

${\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}$

スコア関数と情報を取得する${\displaystyle \beta }$アプリケーション - 重み付き最小二乗法で説明されているのと同様の方法で、パラメータの推定と推論を行うことができます。