多段階モデル

マルチレベルモデルは、複数のレベルで変化するパラメーターの統計モデルです。 ^{[ 1 ]}例としては、個々の生徒の測定値と、生徒がグループ化されている教室の測定値の両方を含む生徒の成績モデルが挙げられます。これらのモデルは、階層線形モデル、線形混合効果モデル、混合モデル、ネストされたデータモデル、ランダム係数、ランダム効果モデル、ランダムパラメーターモデル、または分割プロットデザインとも呼ばれます。これらのモデルは、線形モデル（特に線形回帰）の一般化と見なすことができますが、非線形モデルにも拡張できます。これらのモデルは、十分な計算能力とソフトウェアが利用可能になった後に、はるかに普及しました。^{[ 1 ]}

マルチレベルモデルは、参加者のデータが複数のレベルで整理されている研究デザイン（つまり、ネストされたデータ）に特に適しています。^{[ 2 ]}分析の単位は通常、コンテキスト/集計単位（上位レベル）内にネストされた個人（下位レベル）です。^{[ 3 ]}マルチレベルモデルのデータの最低レベルは通常個人ですが、個人の繰り返し測定も検討できます。^{[ 2 ] [ 4 ]}このように、マルチレベルモデルは、繰り返し測定の単変量または多変量分析の代替タイプの分析を提供します。成長曲線の個人差を検討できます。^{[ 2 ]}さらに、マルチレベルモデルは、治療差をテストする前に従属変数のスコアを共変量（たとえば個人差）で調整するANCOVAの代替として使用できます。^{[ 5 ]}マルチレベルモデルは、ANCOVAで必要とされる回帰傾きの均一性の仮定なしにこれらの実験を分析できます。^{[ 2 ]}

多レベルモデルは、多くのレベルを持つデータに使用できますが、2レベルモデルが最も一般的であり、この記事の残りの部分ではこれらのみを扱います。従属変数は、分析の最も低いレベルで検討する必要があります。^{[ 1 ]}

レベル 1 の独立変数が 1 つしかない場合、レベル 1 モデルは

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{ij}+e_{ij}}$。

• ${\displaystyle Y_{ij}}$は、レベル j における個々の観測値の従属変数のスコアを指します (添え字 i は個々のケースを、添え字 j はグループを表します)。
• ${\displaystyle X_{ij}}$レベル1予測器を指します。
• $\displaystyle \beta _{0j}}$これは、グループ j における従属変数の切片を指します。
• $\displaystyle \beta _{1j}}$これは、グループ j (レベル 2) におけるレベル 1 の予測変数と従属変数との関係の傾きを指します。
• ${\displaystyle e_{ij}}$レベル 1 方程式の予測のランダム誤差を指します ($\displaystyle r_{ij}}$)

${\displaystyle e_{ij}\sim {\mathcal {N}}(0,\sigma _{1}^{2})}$

レベル 1 では、グループ内の切片と傾きは、固定 (すべてのグループが同じ値を持つことを意味しますが、現実世界ではこれはまれなケースです)、非ランダム変動 (切片および/または傾きがレベル 2 の独立変数から予測可能であることを意味します)、またはランダム変動 (切片および/または傾きがグループごとに異なり、それぞれが独自の全体平均と分散を持つことを意味します) のいずれかになります。^{[ 2 ] [ 4 ]}

レベル1の独立変数が複数ある場合、方程式にベクトルや行列を代入することでモデルを拡張できます。

応答間の関係${\displaystyle Y_{ij}}$予測因子${\displaystyle X_{ij}}$線形関係で説明できない場合は、応答と予測変数の間に非線形関数関係を見つけ、モデルを非線形混合効果モデルに拡張することができます。たとえば、応答が${\displaystyle Y_{ij}}$累積感染の軌跡は${\displaystyle i}$第 1 国、そして${\displaystyle X_{ij}}$は${\displaystyle j}$番目の時点、次に順序対${\displaystyle (X_{ij},Y_{ij})}$各国のデータはロジスティック関数に似た形状を示す可能性がある。^{[ 6 ] [ 7 ]}

従属変数は、レベル2のグループにおけるレベル1の独立変数の切片と傾きである。

${\displaystyle u_{0j}\sim {\mathcal {N}}(0,\sigma _{2}^{2})}$

${\displaystyle u_{1j}\sim {\mathcal {N}}(0,\sigma _{3}^{2})}$

${\displaystyle \beta _{0j}=\gamma _{00}+\gamma _{01}w_{j}+u_{0j}}$

${\displaystyle \beta _{1j}=\gamma _{10}+\gamma _{11}w_{j}+u_{1j}}$

• $\displaystyle \gamma _{00}}$これは全体の切片を指します。これは、すべての予測変数が0の場合における、すべてのグループにおける従属変数のスコアの全体平均です。
• $\displaystyle \gamma _{10}}$これは、従属変数とレベル1予測変数との間の平均傾きを指します。
• ${\displaystyle w_{j}}$レベル2予測器を指します。
• $\displaystyle \gamma _{01}}$そして$\displaystyle \gamma _{11}}$レベル2の予測変数がレベル1の切片と傾きに及ぼす影響をそれぞれ示します。
• $u_0j$これは、グループ j における全体の切片からの偏差を表します。
• $u_1j$これは、グループ j における従属変数とレベル 1 予測変数間の平均傾きからの偏差を指します。

多段階モデル​​分析を実施する前に、研究者は、分析に含める予測変数（もしあれば）など、いくつかの側面について決定する必要があります。次に、研究者は、パラメータ値（つまり、推定される要素）が固定かランダムかを決定する必要があります。^{[ 2 ] [ 5 ] [ 4 ]}固定パラメータはすべてのグループにわたって一定ですが、ランダムパラメータは各グループごとに異なる値を持ちます。^{[ 4 ]}さらに、研究者は、最尤推定法または制限付き最尤推定法のどちらを使用するかを決定する必要があります。^{[ 2 ]}

マルチレベルモデルは、他の主要な一般線形モデル（ ANOVA、回帰など）と同じ仮定に基づいていますが、設計の階層的な性質（つまり、ネストされたデータ）に合わせて、いくつかの仮定が修正されています。

線形性

線形性の仮定は、変数間に直線的な（非線形またはU字型ではなく）関係があることを示しています。^{[ 9 ]}しかし、このモデルは非線形関係にも拡張できます。^{[ 10 ]}特に、レベル1回帰方程式の平均部分を非線形パラメトリック関数に置き換えると、このようなモデルフレームワークは非線形混合効果モデルとして広く呼ばれます。^{[ 7 ]}

正常

正規性の仮定は、モデルの各レベルの誤差項が正規分布に従うことを述べている。^{[ 9 ]}ただし、ほとんどの統計ソフトウェアでは、ポアソン分布、二項分布、ロジスティック分布など、分散項に異なる分布を指定できる。マルチレベルモデリングアプローチは、一般化線形モデルのすべての形式に使用できる。

等分散性

等分散性の仮定（分散の均一性とも呼ばれる）は、母集団の分散が等しいことを仮定する。^{[ 9 ]}ただし、これを考慮するため、異なる分散相関行列を指定することができ、分散の不均一性自体をモデル化することができる。

観測値の独立性（モデルの残差に自己相関がない）

独立性は一般線形モデルの仮定であり、ケースは母集団からのランダムサンプルであり、従属変数のスコアは互いに独立していることを示しています。^{[ 9 ]} マルチレベルモデルの主な目的の 1 つは、独立性の仮定が破られるケースに対処することです。ただし、マルチレベルモデルでは、1) レベル 1 とレベル 2 の残差は無相関であり、2) 最高レベルの誤差 (残差によって測定される) は無相関であると仮定しています。^{[ 11 ]}

回帰変数とランダム効果の直交性

回帰変数はランダム効果と相関してはならない。$u_0j$この仮定は検証可能ですが、しばしば無視され、推定値が不整合になります。^{[ 12 ]}この仮定が破られた場合、ランダム効果は、ダミー変数を使用するか、すべてのクラスター平均を含めることによって、モデルの固定部分で明示的にモデル化する必要があります。${\displaystyle X_{ij}}$回帰変数。^{[ 12 ] [ 13 ] [ 14 ] [ 15 ]}この仮定は推定量が行う最も重要な仮定であるが、この種のモデルを使用するほとんどの応用研究者によって誤解されている。^{[ 12 ]}

多レベルモデルで使用される統計的検定の種類は、固定効果を調べるか分散成分を調べるかによって異なります。固定効果を調べる場合、検定は固定効果の標準誤差と比較され、Z検定が行われます。^{[ 5 ]} t検定も計算できます。t検定を計算する際には、予測変数のレベル（レベル1予測変数またはレベル2予測変数など）によって決まる自由度を考慮することが重要です。^{[ 5 ]}レベル1予測変数の場合、自由度はレベル1予測変数の数、グループ数、および個々の観測値の数に基づいています。レベル2予測変数の場合、自由度はレベル2予測変数の数とグループ数に基づいています。^{[ 5 ]}

多レベルモデルの統計的検出力は、レベル 1 効果かレベル 2 効果かによって異なります。レベル 1 効果の検出力は個々の観測値の数に依存しますが、レベル 2 効果の検出力はグループ数に依存します。^{[ 16 ]}十分な検出力で研究を行うには、多レベルモデルでは大きなサンプル サイズが必要です。ただし、研究におけるグループ数ほど、グループ内の個々の観測値の数も重要ではありません。グループ サイズが小さすぎない場合、クロス レベル相互作用を検出するには、少なくとも 20 グループが必要であるという推奨事項が出されていますが、^{[ 16 ]}固定効果に関する推論のみに関心があり、ランダム効果が制御変数または「邪魔な」変数である場合は、はるかに少ないグループを使用できます。^{[ 4 ]}多レベルモデルにおける統計的検出力の問題は、検出力が効果量とクラス内相関の関数として変化し、固定効果とランダム効果で異なり、グループ数とグループごとの個々の観測値の数によって変化するという事実によって複雑になります。^{[ 16 ]}

階層データを分析する代替方法はいくつかありますが、そのほとんどに何らかの問題があります。まず、従来の統計的手法を使用できます。高次の変数を個人レベルに分解し、この個人レベルで分析を行うことができます（たとえば、クラス変数を個人レベルに割り当てます）。このアプローチの問題点は、独立性の仮定に違反するため、結果に偏りが生じる可能性があることです。これは原子論的誤謬として知られています。^{[ 17 ]} 従来の統計的手法を使用してデータを分析するもう1つの方法は、個人レベルの変数を高次の変数に集約し、この高次のレベルで分析を行うことです。このアプローチの問題点は、グループ内の情報をすべて破棄することです（個人レベルの変数の平均を取るため）。分散の80～90%が無駄になる可能性があり、集約された変数間の関係が過大評価され、歪められます。^{[ 18 ]}これは生態学的誤謬として知られており、統計的には、この種の分析は情報の損失に加えて検出力の低下をもたらします。^{[ 2 ]}

階層データを分析するもう 1 つの方法は、ランダム係数モデルを使用することです。このモデルでは、各グループが独自の切片と傾きを持つ異なる回帰モデルを持っていると仮定します。^{[ 5 ]}グループはサンプリングされるため、切片と傾きもグループの切片と傾きの母集団からランダムにサンプリングされるとモデルは仮定します。これにより、傾きは固定されているが切片は変化できると仮定できる分析が可能になります。^{[ 5 ]}しかし、個々のコンポーネントは独立していますが、グループコンポーネントはグループ間では独立しているものの、グループ内では依存しているため、問題が生じます。これにより、傾きがランダムである分析も可能になりますが、誤差項 (撹乱) の相関は、個人レベルの変数の値に依存します。^{[ 5 ]}したがって、階層データを分析するためにランダム係数モデルを使用する際の問題は、高次の変数を組み込むことができないことです。

マルチレベルモデルには、誤差項（撹乱項とも呼ばれる）が2つあります。個々の構成要素はすべて独立していますが、グループ構成要素もあり、これらはグループ間では独立していますが、グループ内では相関しています。ただし、一部のグループは他のグループよりも均質であるため、分散構成要素は異なる場合があります。^{[ 18 ]}

マルチレベルモデリングは様々なアプリケーションで頻繁に使用されており、ベイズフレームワークで定式化できます。特に、ベイズ非線形混合効果モデルは近年大きな注目を集めています。ベイズ非線形混合効果モデルの基本バージョンは、次の3段階で表されます。

ステージ1：個人レベルモデル

${\displaystyle {\begin{aligned}&{y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\\{\phantom {spacer}}\\&\epsilon _{ij}\sim N(0,\sigma ^{2}),\\{\phantom {spacer}}\\&i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.\end{aligned}}}$

ステージ2：個体群モデル

${\displaystyle {\begin{aligned}&\theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\\{\phantom {spacer}}\\&\eta _{li}\sim N(0,\omega _{l}^{2}),\\{\phantom {spacer}}\\&i=1,\ldots ,N,\,l=1,\ldots ,K.\end{aligned}}}$

ステージ3：事前

${\displaystyle {\begin{aligned}&\sigma ^{2}\sim \pi (\sigma ^{2}),\\{\phantom {spacer}}\\&\alpha _{l}\sim \pi (\alpha _{l}),\\{\phantom {spacer}}\\&(\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\\{\phantom {spacer}}\\&\omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\\{\phantom {spacer}}\\&l=1,\ldots ,K.\end{aligned}}}$

ここ、$\displaystyle y_{ij}}$連続応答を表す${\displaystyle i}$時点における 番目の被験者$t_ij$、 そして${\displaystyle x_{ib}}$は${\displaystyle b}$の 番目の共変量${\displaystyle i}$第 1 番目の対象。モデルに含まれるパラメータはギリシャ文字で表記されています。${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$は、${\displaystyle K}$次元ベクトル${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$。 通常、${\displaystyle f}$これは「非線形」関数であり、個人の時間的軌跡を表します。モデルでは、${\displaystyle \epsilon _{ij}}$そして $\displaystyle \eta _{li}}$それぞれ、個体内変動と個体間変動を記述する。ステージ3：事前を考慮しない場合、モデルは頻度論的非線形混合効果モデルに帰着する。

ベイズ非線形混合効果モデルの適用における中心的な課題は、事後密度を評価することである。

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\オメガ _{l}\}_{l=1}^{K})}$

${\displaystyle {\begin{aligned}=&~\left.{\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})}\right\}{\text{Stage 1: Individual-Level Model}}\\{\phantom {spacer}}\\\times &~\left.{\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}\right\}{\text{Stage 2: Population Model}}\\{\phantom {spacer}}\\\times &~\left.{p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}\right\}{\text{Stage 3: Prior}}\end{aligned}}}$

右側のパネルは、ベイズ非線形混合効果モデルを用いたベイズ研究サイクルを示しています。^{[ 19 ]}ベイズ非線形混合効果モデルを用いた研究サイクルは、(a)標準研究サイクルと(b)ベイズ固有のワークフローの2つのステップで構成されます。標準研究サイクルでは、文献レビュー、問題の定義、研究課題と仮説の特定が行われます。ベイズ固有のワークフローは、(b)–(i)背景知識と事前分布の抽出に基づく事前分布の形式化、(b)–(ii)非線形関数に基づく尤度関数の決定、という3つのサブステップで構成されます。${\displaystyle f}$（b）～（iii）事後推論を行う。得られた事後推論は、新たな研究サイクルを開始するために使用できる。

• ハイパーパラメータ
• 混合デザイン分散分析
• マルチスケールモデリング
• ランダム効果モデル
• 非線形混合効果モデル
• ベイズ階層モデリング
• 制限付きランダム化

• Gelman, A. ; Hill, J. (2007).回帰分析と多段階/階層モデルを用いたデータ分析. ニューヨーク: Cambridge University Press. pp. 235–299 . ISBN  978-0-521-68689-1。
• ゴールドスタイン、H. (2011).多段階統計モデル（第4 版）. ロンドン：ワイリー. ISBN 978-0-470-74865-7。
• ヘデカー、D.、ギボンズ、RD（2012）。縦断的データ分析（第2 版）。ニューヨーク：ワイリー。ISBN 978-0-470-88918-3。
• Hox, JJ (2010).多段階分析：技法と応用（第2 版）. ニューヨーク：Routledge. ISBN 978-1-84872-845-5。
• Raudenbush, SW; Bryk, AS (2002).階層線形モデル：応用とデータ分析手法（第2 版）。カリフォルニア州サウザンドオークス：Sage。 これは教育に焦点を当てたものです。
• Snijders, TAB; Bosker, RJ (2011).多レベル分析：基本および高度な多レベルモデリング入門（第2 版）。ロンドン：Sage。ISBN 978-1-4462-5433-2。
• Swamy, PAVB ; Tavlas, George S. (2001). 「ランダム係数モデル」. Baltagi, Badi H. (編) 『理論計量経済学入門』所収. Oxford: Blackwell. pp. 410–429 . ISBN  978-0-631-21254-6。
• Verbeke, G.; Molenberghs, G. (2013).縦断データのための線形混合モデル. Springer.SASコードが含まれています
• Gomes, Dylan GE (2022年1月20日). 「混合効果モデルにおいて、グループ化因子のレベルが5未満の場合、固定効果とランダム効果のどちらを使用すべきか？」. PeerJ . 10 e12794 . doi : 10.7717/peerj.12794 . PMC 8784019. PMID 35116198 .  
• Hajjem, Ahlem; Bellavance, François; Larocque, Denis (2011). "クラスター化データのための混合効果回帰ツリー" . Statistics & Probability Letters . 81 (4): 451– 459. doi : 10.1016/j.spl.2010.12.003 . ISSN 0167-7152 . 
• Hajjem, Ahlem; Larocque, Denis; Bellavance, François (2017). "一般化混合効果回帰ツリー" . Statistics & Probability Letters . 126 : 114– 118. doi : 10.1016/j.spl.2017.02.033 . ISSN 0167-7152 . 
• Hajjem, Ahlem; Bellavance, François; Larocque, Denis (2014年6月3日). 「クラスター化データのための混合効果ランダムフォレスト」 . Journal of Statistical Computation and Simulation . 84 (6): 1313– 1328. doi : 10.1080/00949655.2012.741599 . ISSN 0094-9655 . 

• 多層モデリングセンター