ベクトル一般化線形モデル

各線形予測子は、独立変数に関する情報をモデルに組み込む量です。${\displaystyle \eta _{j}}$（ギリシャ文字の「イータ」）は線形予測子を表し、添え字jはj番目のものを表すために使用されます。これはj番目のパラメータを説明変数に関連付け、 ${\displaystyle \eta _{j}}$未知のパラメータの線形結合（したがって「線形」）として表現される${\displaystyle {\boldsymbol {\beta }}_{j},}$ すなわち、回帰係数の${\displaystyle \beta _{(j)k}}$。

j番目のパラメータ、${\displaystyle \theta _{j}}$分布の は独立変数に依存します。${\displaystyle {\boldsymbol {x}},}$を通して

${\displaystyle g_{j}(\theta _{j})=\eta _{j}={\boldsymbol {\beta }}_{j}^{T}{\boldsymbol {x}}.}$

させて${\displaystyle {\boldsymbol {\eta }}=(\eta _{1},\ldots ,\eta _{M})^{T}}$をすべての線形予測子のベクトルとする。（便宜上、常に とする。） ${\displaystyle {\boldsymbol {\eta }}}$ 次元はMである）。したがって、すべての共変量は${\displaystyle {\boldsymbol {x}}}$線形予測子を介してすべてのパラメータに影響を与える可能性がある${\displaystyle \eta _{j}}$後ほど、線形予測子を加法予測子に一般化します。加法予測子は、各関数の滑らかな関数の合計です。${\displaystyle x_{k}}$そして、それぞれの関数はデータから推定される。

各リンク関数は、線形予測子と分布のパラメータとの間の関係を示します。一般的に使用されるリンク関数は多数あり、その選択はある程度任意です。リンク関数の定義域を分布のパラメータ値の範囲に合わせるようにすると良いでしょう。上記では、${\displaystyle g_{j}}$各パラメータに対して異なるリンク関数を許容します。一般化線形モデルと同様の特性を持ち、例えば、一般的なリンク関数には、パラメータのロジットリンクが含まれます。${\displaystyle (0,1)}$、そして正のパラメータに対する対数リンク。このVGAMパッケージには、identitylink()正と負の両方の値をとる可能性のあるパラメータに対応する関数があります。

より一般的には、VGLMフレームワークは回帰係数間の任意の線形制約を可能にする。${\displaystyle \beta _{(j)k}}$各線形予測子について。たとえば、いくつかを0に設定したり、いくつかを等しい値に制約したりしたい場合があります。

${\displaystyle {\boldsymbol {\eta }}=\sum _{k=1}^{p}\,{\boldsymbol {\beta }}_{(k)}^{}\,x_{k}=\sum _{k=1}^{p}\,{\boldsymbol {H}}_{k}\;{\boldsymbol {\beta }}_{(k)}^{*}\,x_{k}}$

どこで${\displaystyle {\boldsymbol {H}}_{k}}$は制約行列です。各制約行列は既知で事前に指定されており、M行、1 ～M列です。制約行列の要素は有限値であり、多くの場合 0 または 1 です。たとえば、値 0 はその要素を実質的に省略し、値 1 はその要素を含みます。一部のモデルでは並列性の仮定があるのが一般的で、これは、 ${\displaystyle {\boldsymbol {H}}_{k}={\boldsymbol {1}}_{M}}$のために${\displaystyle k=2,\ldots ,p}$、一部のモデルでは、${\displaystyle k=1}$これも。${\displaystyle {\boldsymbol {H}}_{k}={\boldsymbol {I}}_{M}}$すべての人々のために${\displaystyle k=1,\ldots ,p}$これは自明な制約として知られています。すべての回帰係数は推定値であり、互いに無関係です。${\displaystyle \theta _{j}}$すべてのj行目の切片のみのパラメータとして知られています。${\displaystyle {\boldsymbol {H}}_{k}=}$等しい${\displaystyle {\boldsymbol {0}}^{T}}$のために${\displaystyle k=2,\ldots ,p}$つまり、${\displaystyle \eta _{j}=\beta _{(j)1}^{*}}$切片のみを表す。したがって、切片のみのパラメータは、可能な限り単純にスカラーとしてモデル化される。

未知のパラメータ、${\displaystyle {\boldsymbol {\beta }}^{*}=({\boldsymbol {\beta }}_{(1)}^{*T},\ldots ,{\boldsymbol {\beta }}_{(p)}^{*T})^{T}}$は、通常、最尤法によって推定されます。すべての回帰係数は、次のように行列にまとめることができます。

${\displaystyle {\boldsymbol {\eta }}_{i}={\boldsymbol {B}}^{T}{\boldsymbol {x}}_{i}={\begin{pmatrix}{\boldsymbol {\beta }}_{1}^{T}\,{\boldsymbol {x}}_{i}\\\vdots \\{\boldsymbol {\beta }}_{M}^{T}\,{\boldsymbol {x}}_{i}\\\end{pmatrix}}=\left({\boldsymbol {\beta }}_{(1)}^{},\ldots ,{\boldsymbol {\beta }}_{(p)}^{}\right)\;{\boldsymbol {x}}_{i}.}$

さらに一般的には、変数の値を許容することができる${\displaystyle x_{k}}$ それぞれに異なる値を持たせる${\displaystyle \eta _{j}}$例えば、各線形予測子が異なる時点のものである場合、時間変動共変量が存在する可能性があります。例えば、離散選択モデルでは、 条件付きロジットモデル、 ネストされたロジットモデル、 一般化ロジットモデルなどがあり、特定のバリアントを区別し、例えば交通手段の選択に多項ロジットモデルを適合させることができます。コストなどの変数は選択によって異なり、例えばタクシーはバスよりも高く、バスは徒歩よりも高くなります。xijの機能により、VGAM一般化することができます${\displaystyle \eta _{j}({\boldsymbol {x}}_{i})}$ に${\displaystyle \eta _{j}({\boldsymbol {x}}_{ij})}$。

最も一般的な公式は

${\displaystyle {\boldsymbol {\eta }}_{i}={\boldsymbol {o}}_{i}+\sum _{k=1}^{p}\,diag(x_{ik1},\ldots ,x_{ikM})\,\mathbf {H} _{k}\,{\boldsymbol {\beta }}_{(k)}^{*}.}$

ここで${\displaystyle {\boldsymbol {o}}_{i}}$はオプションのオフセットです。${\displaystyle n\times M}$行列の実際的な例。このVGAMパッケージには、xij対角行列の連続する要素を入力できる引数があります。

対数尤度を最大化しています

${\displaystyle \ell =\sum _{i=1}^{n}\,w_{i}\,\ell _{i},}$

どこで${\displaystyle w_{i}}$は正の値であり、既知の事前重みです。最尤推定値は、フィッシャーのスコアリング法を用いた反復重み付け最小二乗アルゴリズム を使用して求めることができ、更新形式は次のようになります。

${\displaystyle {\boldsymbol {\beta }}^{(a+1)}={\boldsymbol {\beta }}^{(a)}+{\boldsymbol {\mathcal {I}}}^{-1}({\boldsymbol {\beta }}^{(a)})\,\,\mathbf {u} ({\boldsymbol {\beta }}^{(a)}),}$

どこ${\displaystyle {\boldsymbol {\mathcal {I}}}({\boldsymbol {\beta }}^{(a)})}$は反復aにおけるフィッシャー情報行列です。これは期待情報行列、またはEIMとも呼ばれます。

計算では、式の右辺から構築された（小さな）モデル行列vglm() と制約行列を組み合わせて、大きなモデル行列を作成します。IRLS はこの大きなXに適用されます。この行列は、ベクトル線形モデルが解決される基礎となる最小二乗問題であるため、VLM 行列として知られています。VLMは重み付き多変量回帰であり、応答行列の各行の分散共分散行列は必ずしも同じではなく、既知です。（古典的な多変量回帰では、すべての誤差は同じ分散共分散行列を持ち、それは未知です）。特に、VLM は重み付き二乗和を最小化します。

${\displaystyle \mathrm {ResSS} =\sum _{i=1}^{n}\;w_{i}\left\{\mathbf {z} _{i}^{(a-1)}-{\boldsymbol {\eta }}_{i}^{(a-1)}\right\}^{T}\mathbf {W} _{i}^{(a-1)}\left\{\mathbf {z} _{i}^{(a-1)}-{\boldsymbol {\eta }}_{i}^{(a-1)}\right\}}$

この量は、IRLSの各反復で最小化されます。作業応答（擬似応答および調整済み従属ベクトルとも呼ばれる）は次のとおりです。

${\displaystyle \mathbf {z} _{i}={\boldsymbol {\eta }}_{i}+\mathbf {W} _{i}^{-1}\mathbf {u} _{i},}$

どこで${\displaystyle \mathbf {W} _{i}}$これらは作業重みまたは作業重み行列として知られています。これらは対称かつ正定値です。EIMを使用することで、パラメータ空間の大部分において、これらの行列がすべて正定値（単に合計値になるだけでなく）であることを保証できます。これに対し、ニュートン・ラフソン法を用いる場合は、観測情報行列が使用されることになり、これらの行列はパラメータ空間のごく一部においてのみ正定値となる傾向があります。

計算上は、コレスキー分解を用いて作業重み行列を逆行列化し、全体的な一般化最小二乗問題を通常の最小二乗問題に変換する。

もちろん、すべての一般化線形モデルはVGLMの特殊なケースです。しかし、 尺度パラメータに対してモーメント法を用いるのではなく、すべてのパラメータを最尤推定法によって推定することがよくあります。

応答変数がM + 1個のレベルを持つ順序尺度である場合、次のような形式のモデル関数を当てはめることができます。  

${\displaystyle g(\theta _{j})=\eta _{j}}$ どこ${\displaystyle \theta _{j}=\mathrm {Pr} (Y\leq j),}$

のために${\displaystyle j=1,\ldots ,M.}$ 異なるリンク関数gは、比例オッズモデルまたは順序プロビットモデルにつながります。たとえば、VGAMファミリー関数はcumulative(link = probit)累積確率にプロビットリンクを割り当てるため、このモデルは累積プロビットモデルとも呼ばれます。一般に、これらは累積リンクモデルと呼ばれます。

カテゴリ分布および多項分布の場合、適合値は（M  + 1）個の確率からなるベクトルであり、すべての確率の合計が1になるという性質を持ちます。各確率は、 M + 1個の可能な値 のうちの1つが発生する可能性を示します。  

応答変数が名義尺度である場合、またはデータが順序モデルの仮定を満たさない場合は、次の形式のモデルを当てはめることができます。

${\displaystyle \log \left[{\frac {Pr(Y=j)}{\mathrm {Pr} (Y=M+1)}}\right]=\eta _{j},}$

のために${\displaystyle j=1,\ldots ,M.}$上記のリンクはマルチロジットリンクと呼ばれることもあり、このモデルは多項ロジットモデルと呼ばれます。応答変数の最初または最後のレベルを 参照グループまたはベースライングループとして選択するのが一般的ですが、上記では最後のレベルを使用しています。VGAMファミリー関数は上記のモデルに適合し、参照グループとして使用するレベルを割り当てることができるmultinomial()引数があります。refLevel

古典的な一般化線形モデル（GLM）理論は、カウントデータに対してポアソン回帰を実行します。リンク関数は通常対数であり、これは正準リンク関数として知られています。分散関数は平均に比例します。

${\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i},\,}$

ここで分散パラメータは${\displaystyle \tau }$は通常、ちょうど 1 に固定されます。そうでない場合、結果として得られる準尤度モデルは、過分散を伴うポアソン分布、または準ポアソン分布として記述されることがよくあります。${\displaystyle \tau }$はモーメント法によって推定されることが多く、そのため、の信頼区間は${\displaystyle \tau }$入手が困難である。

対照的に、VGLMはポアソン分布に比べて過分散を扱うためのより豊富なモデル群を提供します。例えば、負の二項分布とそのいくつかの変種などです。別のカウント回帰モデルとしては、一般化ポアソン分布があります。その他のモデルとしては、ゼータ分布やジップ分布などがあります。

RR-VGLMは、 B行列の部分集合がより低いランクであるVGLMです。一般性を失うことなく、${\displaystyle {\boldsymbol {x}}=({\boldsymbol {x}}_{1}^{T},{\boldsymbol {x}}_{2}^{T})^{T}}$は共変量ベクトルの分割です。次に、B行列のうち、 に対応する部分${\displaystyle {\boldsymbol {x}}_{2}}$形式は${\displaystyle {\boldsymbol {A}}{\boldsymbol {C}}^{T}}$どこ${\displaystyle {\boldsymbol {A}}}$そして ${\displaystyle {\boldsymbol {C}}}$は薄い行列（つまり、R列を持つ行列）であり、例えば、ランクR  =  1 の場合はベクトルです。RR-VGLM は、特定のモデルやデータセットに適用すると、いくつかの利点をもたらす可能性があります。まず、Mとpが大きい場合、VGLM によって推定される回帰係数の数は大きくなります（${\displaystyle M\times p}$) RR-VGLM は、 Rが低い場合 (例えばR  =  1 またはR  = 2)には推定回帰係数の数を大幅に削減できます。 これが特に役立つモデルの例として、ステレオタイプ モデルとしても知られるRR多項ロジット モデルがあります。次に、${\displaystyle {\boldsymbol {\nu }}={\boldsymbol {C}}^{T}{\boldsymbol {x}}_{2}=(\nu _{1},\ldots ,\nu _{R})^{T}}$は潜在変数のR次元ベクトル であり、多くの場合、これらは有用な解釈が可能です。R = 1 の場合、次のように書くことができます。  ${\displaystyle \nu ={\boldsymbol {c}}^{T}{\boldsymbol {x}}_{2}}$ 潜在変数は説明変数の負荷量を含む。RR-VGLMは、${\displaystyle {\boldsymbol {x}}_{2}}$ そして、説明変数に対してVGLMが適合される。${\displaystyle ({\boldsymbol {x}}_{1},{\boldsymbol {\nu }})}$第三に、R = 2 の場合、バイプロットを作成することができ、これによりモデルを視覚化できます。  

RR-VGLMは、変数の制約行列が であるVGLMであることが示せる。${\displaystyle {\boldsymbol {x}}_{2}}$不明であり、推定する必要がある。その後、${\displaystyle {\boldsymbol {H}}_{k}={\boldsymbol {A}}}$このような変数に対して、RR-VGLMは、固定する交代アルゴリズムによって推定できます。${\displaystyle {\boldsymbol {A}}}$ 推定値${\displaystyle {\boldsymbol {C}},}$そして修正する${\displaystyle {\boldsymbol {C}}}$推定値${\displaystyle {\boldsymbol {A}}}$など

実際には、いくつかの一意性制約が必要となる。${\displaystyle {\boldsymbol {A}}}$ および/または${\displaystyle {\boldsymbol {C}}}$ではVGAM、このrrvglm()関数はデフォルトでコーナー制約を使用します。つまり、 の上位R行は${\displaystyle {\boldsymbol {A}}}$設定されています${\displaystyle {\boldsymbol {I}}_{R}}$RR-VGLMは2003年に提案された。^{[ 3 ]}

ベクトル一般化加法モデル（VGAM）は、線形予測子がVGLMを大きく拡張したものです。${\displaystyle \eta _{j}}$共変量に関して線形である必要はない${\displaystyle x_{k}}$しかし、平滑化関数の合計は${\displaystyle x_{k}}$:

${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {x}})={\boldsymbol {H}}_{1}\,{\boldsymbol {\beta }}_{(1)}^{*}+{\boldsymbol {H}}_{2}\,{\boldsymbol {f}}_{(2)}^{*}(x_{2})+{\boldsymbol {H}}_{3}\,{\boldsymbol {f}}_{(3)}^{*}(x_{3})+\cdots \,\!}$

どこ${\displaystyle {\boldsymbol {f}}_{(k)}^{*}(x_{k})=(f_{(1)k}^{*}(x_{k}),f_{(2)k}^{*}(x_{k}),\ldots )^{T}.}$ これらはM個の加法予測子です。各平滑関数${\displaystyle f_{(j)k}^{*}}$はデータから推定されます。したがって、VGLMはモデル駆動型であり、VGAMはデータ駆動型です。現在、このVGAMパッケージには平滑化スプラインのみが実装されています。M > 1の場合、それらは実際にはベクトルスプラインであり、の成分関数を推定します。  ${\displaystyle f_{(j)k}^{*}(x_{k})}$同時に。もちろん、VGLM で回帰スプラインを使用することもできます。VGAM の背後にある動機は、Hastie と Tibshirani (1990) ^{[ 6 ]} および Wood (2017) ^{[ 7 ]}の動機と似ています。VGAM は 1996 年に提案されました。^{[ 8 ]}

現在、 EilersとMarx（1996）のPスプラインを使用してVGAMを推定する作業が行われています。 ^{[ 9 ]}これにより、平滑化スプラインとベクトルバックフィッティングを使用するよりも、自動平滑化パラメータの選択をより簡単に実行できるなど、 いくつかの利点が得られます。

これらは、RR-VGLM クラスに潜在変数の二次項を追加します。その結果、潜在変数の関数として、各応答にベル型の曲線を当てはめることができます。R = 2の場合、2 つの潜在変数の関数としてベル型の表面が得られます。これは、二 変量正規分布にいくらか似ています。QRR-VGLM の具体的な応用例は、生態学の順序付けと呼ばれる多変量解析の分野で見られます。  

QRR-VGLM の具体的なランク 1 の例として、S種のポアソン データについて考えてみましょう。種sのモデルはポアソン回帰です。

${\displaystyle \log \,\mu _{s}(\nu )=\eta _{s}(\nu )=\beta _{(s)1}+\beta _{(s)2}\,\nu +\beta _{(s)3}\,\nu ^{2}=\alpha _{s}-{\frac {1}{2}}\left({\frac {\nu -u_{s}}{t_{s}}}\right)^{2},}$

のために${\displaystyle s=1,\ldots ,S}$記号を使用する最も右側のパラメータ化${\displaystyle \alpha _{s},}$${\displaystyle u_{s},}$${\displaystyle t_{s},}$これらはそれぞれ種の個体数、最適値、耐性に関係するため、生態学的に特別な意味を持ちます。例えば、耐性はニッチ幅の尺度であり、値が大きいほどその種は幅広い環境で生息できることを意味します。上記の式では、${\displaystyle \beta _{(s)3}<0}$ベル型の曲線を得るために。

QRR-VGLMは最尤推定法によってガウス順序付けモデルに適合し、直接勾配分析の一例です。パッケージcqo()内の関数はVGAM現在、optim()最適なものを探索するために 呼び出されます。${\displaystyle {\boldsymbol {C}}}$そして、それを踏まえると、サイトスコアを計算し、それに 適した一般化線形モデルを当てはめるのは容易です。この関数は、制約付き二次順序付けの頭文字であるCQOにちなんで名付けられています。制約付きは直接勾配分析（環境変数があり、それらの線形結合が潜在変数として扱われる）を意味し、二次は潜在変数の二次形式を意味します。${\displaystyle {\boldsymbol {\nu }}}$ で${\displaystyle {\boldsymbol {\eta }}}$スケール。残念ながら、QRR-VGLM は応答変数と説明変数の両方の外れ値に敏感であり、計算コストも高く、全体的な解ではなく局所的な解を与える可能性があります。QRR-VGLM は 2004 年に提案されました。^{[ 10 ]}