マルチレベルモデル

マルチレベルモデル（階層的線型モデル、線型混合効果モデル、混合モデル、ネストされたデータモデル、ランダム係数、ランダム効果モデル、ランダムパラメータモデル、または分割計画とも呼ばれる）は、複数のレベルで変化するパラメータの統計モデルです。^[1]一例として、個々の生徒の尺度と生徒がグループ化されている教室の尺度を含む生徒のパフォーマンスモデルが挙げられます。これらのモデルは、線型モデル（特に線型回帰）の一般化と見なすことができますが、非線型モデルにも拡張できます。これらのモデルは、十分な計算能力とソフトウェアが利用可能になってから、はるかに普及しました。^[1]

マルチレベルモデルは、参加者のデータが複数のレベル（つまり、ネストされたデータ）で構成されている研究デザインに特に適しています。^[2]分析の単位は通常、個人（下位レベル）であり、コンテキスト/集計単位（上位レベル）内にネストされています。^[3]マルチレベルモデルにおけるデータの最低レベルは通常個人ですが、個人の反復測定も調べることができます。^{[2] [4]そのため、マルチレベルモデルは、}反復測定の単変量または多変量解析の代替タイプの分析を提供します。成長曲線の個人差を調べることができます。^{[2]さらに、マルチレベルモデルは、処理の違いをテストする前に、従属変数のスコアを共変量（個人差など）に合わせて調整する}ANCOVAの代替として使用できます。^[5]マルチレベルモデルは、ANCOVA で必要な回帰の等質性傾斜の仮定なしにこれらの実験を分析できます。^[2]

マルチレベルモデルは多くのレベルのデータに使用できますが、最も一般的なのは2レベルモデルであり、この記事の残りの部分ではこれについてのみ扱います。従属変数は分析の最低レベルで調べる必要があります。^[1]

レベル1の独立変数が1つだけの場合、レベル1のモデルは

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{ij}+e_{ij}}$。

• ${\displaystyle Y_{ij}}$レベル 1 の個々の観測値の従属変数のスコアを示します (下付き文字 i は個々のケースを示し、下付き文字 j はグループを示します)。
• ${\displaystyle X_{ij}}$レベル 1 予測子を指します。
• ${\displaystyle \beta_{0j}}$グループ j の従属変数の切片を指します。
• ${\displaystyle \beta_{1j}}$グループ j (レベル 2) におけるレベル 1 の予測変数と従属変数間の関係の傾きを指します。
• ${\displaystyle e_{ij}}$レベル 1 方程式の予測のランダム誤差を指します ( と呼ばれることもあります)。${\displaystyle r_{ij}}$

${\displaystyle e_{ij}\sim {\mathcal {N}}(0,\sigma _{1}^{2})}$

レベル1では、グループ内の切片と傾きはどちらも固定（すべてのグループが同じ値を持つことを意味しますが、現実世界ではこれはまれなことです）、非ランダムに変化する（切片や傾きがレベル2の独立変数から予測可能であることを意味します）、またはランダムに変化する（切片や傾きがグループごとに異なり、それぞれが独自の平均と分散を持つことを意味します）のいずれかになります。^{[2] [4]}

レベル 1 の独立変数が複数ある場合は、方程式にベクトルと行列を代入することでモデルを拡張できます。

応答と予測変数の関係が線形関係で記述できない場合、応答と予測変数の間に非線形機能関係を見つけ、モデルを非線形混合効果モデルに拡張することができます。たとえば、応答が - 番目の国の累積感染軌跡であり、 - 番目の時点を表す場合、各国の順序付きペアはロジスティック関数に似た形状を示す可能性があります。^{[6] [7]}${\displaystyle Y_{ij}}$${\displaystyle X_{ij}}$${\displaystyle Y_{ij}}$${\displaystyle i}$${\displaystyle X_{ij}}$${\displaystyle j}$${\displaystyle (X_{ij},Y_{ij})}$

従属変数は、レベル 2 のグループにおけるレベル 1 の独立変数の切片と傾きです。

${\displaystyle u_{0j}\sim {\mathcal {N}}(0,\sigma _{2}^{2})}$

${\displaystyle u_{1j}\sim {\mathcal {N}}(0,\sigma _{3}^{2})}$

${\displaystyle \beta _{0j}=\gamma _{00}+\gamma _{01}w_{j}+u_{0j}}$

${\displaystyle \beta _{1j}=\gamma _{10}+\gamma _{11}w_{j}+u_{1j}}$

• ${\displaystyle \gamma_{00}}$全体の切片を指します。これは、すべての予測変数が 0 に等しい場合の、すべてのグループにわたる従属変数のスコアの総平均です。
• ${\displaystyle \gamma_{10}}$従属変数とレベル 1 予測変数間の平均勾配を指します。
• ${\displaystyle w_{j}}$レベル 2 の予測子を指します。
• ${\displaystyle \gamma_{01}}$および は、レベル 2 の予測子がレベル 1 の切片と傾きに及ぼす影響をそれぞれ示します。${\displaystyle \gamma_{11}}$
• ${\displaystyle u_{0j}}$グループ j の全体の切片からの偏差を指します。
• ${\displaystyle u_{1j}}$従属変数とレベル 1 予測変数間の平均傾きからのグループ j の偏差を指します。

マルチレベルモデル分析を行う前に、研究者は、どの予測変数を分析に含めるか（含める場合）など、いくつかの側面を決定する必要があります。次に、研究者は、パラメータ値（推定される要素）を固定するかランダムにするかを決定する必要があります。^{[2] [5] [4]}固定パラメータはすべてのグループにわたって定数で構成されますが、ランダムパラメータはグループごとに異なる値を持ちます。^[4]さらに、研究者は、最大尤度推定を使用するか、制限付き最大尤度推定タイプを使用するかを決定する必要があります。^[2]

ランダム切片モデルは、切片が変化することを許容するモデルであり、したがって、個々の観測値の従属変数のスコアは、グループ間で変化する切片によって予測されます。^{[5] [8] [4]}このモデルは、傾きが固定されている（異なるコンテキストで同じ）ことを前提としています。さらに、このモデルはクラス内相関に関する情報を提供し、マルチレベルモデルがそもそも必要かどうかを判断するのに役立ちます。^[2]

ランダム勾配モデルは、相関行列に応じて勾配が変化することを許すモデルであり、したがって、勾配は時間や個人などのグループ化変数ごとに異なります。このモデルでは、切片は固定されている（異なるコンテキストでも同じ）と仮定しています。^[5]

ランダム切片とランダム傾きの両方を含むモデルは、最も複雑なモデルではあるが、おそらく最も現実的なモデルである。このモデルでは、切片と傾きの両方がグループ間で変化することが許されており、異なるコンテキストでは異なることを意味する。^[5]

マルチレベルモデル分析を行うには、まず固定係数（傾きと切片）から始めます。1つの側面を一度に変化させ（つまり、変更し）、以前のモデルと比較して、モデルの適合性を評価します。^[1]研究者がモデルを評価する際に尋ねる質問は3つあります。1つ目は、そのモデルは良いモデルか？2つ目は、より複雑なモデルの方が良いか？3つ目は、個々の予測子がモデルにどのような貢献をするか？

モデルを評価するためには、様々なモデル適合統計量が調べられる。^[2]そのような統計量の1つがカイ2乗尤度比検定で、モデル間の差を評価する。尤度比検定は、一般的なモデル構築、モデル内の効果を変化させた場合に何が起こるかの検討、ダミーコード化されたカテゴリ変数を単一の効果として検定する場合に使用できる。^{[2]ただし、この検定はモデルが}ネストされている場合にのみ使用できる（つまり、より複雑なモデルには、より単純なモデルの効果がすべて含まれる）。ネストされていないモデルを検定する場合は、赤池情報量基準（AIC）やベイズ情報量基準（BIC）などを使用してモデル間の比較を行うことができる。^{[1] [2] [5]詳細については、}モデル選択 を参照。

マルチレベルモデルは、他の主要な一般線型モデル（ ANOVA、回帰など）と同じ仮定を持ちますが、一部の仮定は設計の階層的性質（つまり、ネストされたデータ）に合わせて変更されます。

直線性

線形性の仮定は、変数間に直線（非線形またはU字型ではなく直線）関係があることを述べています。^[9]しかし、このモデルは非線形関係に拡張することができます。^[10]特に、レベル1回帰式の平均部分が非線形パラメトリック関数に置き換えられると、そのようなモデルフレームワークは非線形混合効果モデルと広く呼ばれます。^[7]

正常

正規性の仮定は、モデルのすべてのレベルでの誤差項が正規分布していることを示しています。^{[9] [異論あり–議論]}ただし、ほとんどの統計ソフトウェアでは、分散項に対してポアソン分布、二項分布、ロジスティック分布などの異なる分布を指定できます。マルチレベルモデリングアプローチは、すべての形式の一般化線形モデルに使用できます。

等分散性

等分散性の仮定は、分散の均一性とも呼ばれ、母集団の分散が等しいことを前提としています。^[9]しかし、これを考慮して異なる分散相関行列を指定したり、分散の不均一性自体をモデル化したりすることができます。

観測値の独立性（モデルの残差の自己相関なし）

独立性は一般線型モデルの仮定であり、ケースは母集団からのランダムサンプルであり、従属変数のスコアは互いに独立しているというものである。^[9] マルチレベルモデルの主な目的の1つは、独立性の仮定が破られたケースに対処することである。ただし、マルチレベルモデルでは、1) レベル1とレベル2の残差は無相関であり、2) 最高レベルの誤差（残差で測定）は無相関であると仮定している。^[11]

回帰変数とランダム効果の直交性

回帰変数はランダム効果と相関してはならない。この仮定は検証可能であるが、しばしば無視され、推定値の一貫性を失わせる。^[12]この仮定に違反する場合は、ダミー変数を使用するか、すべての回帰変数のクラスター平均を含めるかのいずれかの方法で、モデルの固定部分でランダム効果を明示的にモデル化する必要がある。^{[12] [13] [14] [15]}この仮定は、推定値が行う最も重要な仮定であると思われるが、この種のモデルを使用するほとんどの応用研究者によって誤解されている。^[12]${\displaystyle u_{0j}}$${\displaystyle X_{ij}}$

マルチレベルモデルで使用される統計検定の種類は、固定効果を調べるか分散成分を調べるかによって異なります。固定効果を調べる場合、検定は固定効果の標準誤差と比較され、Z検定の結果となります。^[5] t検定も計算できます。t検定を計算するときは、予測子のレベル（レベル1予測子またはレベル2予測子など）に応じて異なる自由度に留意することが重要です。^[5]レベル1予測子の場合、自由度はレベル1予測子の数、グループ数、および個々の観測値の数に基づいています。レベル2予測子の場合、自由度はレベル2予測子の数とグループ数に基づいています。^[5]

マルチレベル モデルの統計的検出力は、調査対象がレベル 1 効果かレベル 2 効果かによって異なります。レベル 1 効果の検出力は個々の観測値の数に依存しますが、レベル 2 効果の検出力はグループの数に依存します。^[16]十分な検出力で研究を行うには、マルチレベル モデルで大きなサンプル サイズが必要です。ただし、グループ内の個々の観測値の数は、研究内のグループの数ほど重要ではありません。グループ サイズが小さすぎない場合、レベル間の相互作用を検出するには、少なくとも 20 グループが必要であると推奨されています。^[16]ただし、固定効果の推論のみに関心があり、ランダム効果は制御変数、つまり「迷惑」変数である場合は、それよりはるかに少ないグループを使用できます。^[4]マルチレベル モデルにおける統計的検出力の問題は、検出力が効果サイズとクラス内相関の関数として変化し、固定効果とランダム効果で異なり、グループの数とグループあたりの個々の観測値の数によって変化するという事実によって複雑になります。^[16]

レベルの概念はこのアプローチの要となる。教育研究の例では、2レベルモデルのレベルは次のようになる。

1. 瞳
2. クラス

しかし、複数の学校や複数の学区を研究する場合、4レベルモデルには以下が含まれる可能性があります。

1. 瞳
2. クラス
3. 学校
4. 地区

研究者は、各変数について、それが測定されたレベルを確立する必要があります。この例では、「テストのスコア」は生徒レベルで、「教師の経験」はクラスレベルで、「学校の資金」は学校レベルで、「都市」は地区レベルで測定される可能性があります。

簡単な例として、年齢、階級、性別、人種の関数として収入を予測する基本的な線形回帰モデルを考えてみましょう。すると、収入レベルは居住する都市や州によっても異なることが分かります。これを回帰モデルに組み込む簡単な方法は、場所を考慮するために追加の独立 カテゴリ変数を追加することです(つまり、場所ごとに 1 つずつ、追加の 2 値予測子と関連する回帰係数のセット)。これにより、平均収入が上下にシフトする効果がありますが、それでも、たとえば、人種と性別が収入に与える影響はどこでも同じであると仮定します。実際には、これが当てはまる可能性は低く、異なる地方の法律、異なる退職政策、人種的偏見のレベルの違いなどにより、すべての予測子が異なる場所で異なる種類の影響を与える可能性があります。

言い換えれば、単純な線形回帰モデルは、たとえば、シアトルでランダムに抽出された特定の人物は、アラバマ州モービルの同様の人物よりも年間平均収入が 10,000 ドル高いと予測する可能性があります。ただし、場所に関係なく、たとえば白人の平均収入は黒人よりも 7,000 ドル高く、65 歳の収入は 45 歳の収入よりも 3,000 ドル低いとも予測します。ただし、マルチレベル モデルでは、場所ごとに各予測子に異なる回帰係数を使用できます。基本的に、特定の場所の人々は単一の回帰係数セットによって相関収入が生成され、別の場所の人々は異なる係数セットによって収入が生成されると想定されます。一方、係数自体は相関しており、単一のハイパーパラメーター セットから生成されると想定されます。追加のレベルも可能です。たとえば、人々を都市ごとにグループ化し、都市レベルの回帰係数を州ごとにグループ化し、州レベルの係数を単一のハイパーパラメータから生成することができます。

マルチレベル モデルは、複数のレベルのランダム変数と、異なる変数間の任意の関係を持つ一般的なモデルである階層ベイズ モデルのサブクラスです。マルチレベル分析は、マルチレベル構造方程式モデリング、マルチレベル潜在クラス モデリング、およびその他のより一般的なモデル を含むように拡張されています。

マルチレベルモデルは教育研究や地理研究で、同じ学校内の生徒間の差異と学校間の差異を別々に推定するために使われてきました。心理学の応用では、マルチレベルは、機器内の項目、個人、家族です。社会学の応用では、マルチレベルモデルは、地域や国に埋め込まれた個人を調べるために使用されます。組織心理学の研究では、個人のデータは、チームや他の機能単位内にネストされる必要があることがよくあります。これらは、より一般的な用語である混合モデルの下で、生態学の研究でもよく使用されます。^[4]

さまざまな共変数は、さまざまなレベルで関連する可能性があります。成長研究と同様に、縦断的研究で使用して、1 人の個人内の変化と個人間の差異を区別することができます。

レベル間の相互作用も重要な関心事となる場合があります。たとえば、傾きがランダムに変化することが許可されている場合、レベル 2 の予測子がレベル 1 の共変量の傾きの式に含まれることがあります。たとえば、人種と近隣地域の相互作用を推定して、個人の特性と社会的状況の相互作用の推定値を得ることができます。

階層的データを分析する方法はいくつかあるが、そのほとんどは何らかの問題を抱えている。まず、従来の統計手法を使用できる。高次の変数を個体レベルに分解し、個体レベルで分析を行う（たとえば、クラス変数を個体レベルに割り当てる）ことができる。このアプローチの問題は、独立性の仮定に違反し、結果に偏りが生じる可能性があることである。これは原子論的誤謬として知られている。^[17] 従来の統計的アプローチを使用してデータを分析する別の方法は、個体レベルの変数を高次の変数に集約し、この高次のレベルで分析を行うことである。このアプローチの問題は、グループ内の情報がすべて破棄される（個体レベルの変数の平均を取るため）ことである。分散の80～90％が無駄になる可能性があり、集約された変数間の関係が誇張され、歪んでしまう。^{[18]これは}生態学的誤謬として知られており、統計的には、この種の分析は情報の損失に加えて検出力の低下をもたらす。^[2]

階層的データを分析する別の方法は、ランダム係数モデルを使用することです。このモデルは、各グループが独自の切片と傾きを持つ異なる回帰モデルを持っていると想定しています。^[5]グループがサンプリングされるため、モデルは、切片と傾きもグループの切片と傾きの母集団からランダムにサンプリングされていると想定しています。これにより、傾きは固定されているが切片は変化する可能性があると想定できる分析が可能になります。^[5]ただし、個々のコンポーネントは独立していますが、グループコンポーネントはグループ間で独立していますが、グループ内では依存しているため、問題が発生します。これにより、傾きがランダムな分析も可能になりますが、誤差項（外乱）の相関は、個々のレベルの変数の値に依存します。^[5]したがって、階層的データを分析するためにランダム係数モデルを使用する場合の問題は、高次の変数を組み込むことが依然として不可能であることです。

マルチレベルモデルには、外乱とも呼ばれる2つの誤差項があります。個々の成分はすべて独立していますが、グループ間では独立していますがグループ内では相関しているグループ成分もあります。ただし、一部のグループは他のグループよりも均質であるため、分散成分は異なる場合があります。^[18]

マルチレベル モデリングはさまざまなアプリケーションで頻繁に使用されており、ベイズ フレームワークで定式化できます。特に、ベイズ非線形混合効果モデルは最近大きな注目を集めています。ベイズ非線形混合効果モデルの基本バージョンは、次の 3 段階で表されます。

ステージ1: 個人レベルモデル

${\displaystyle {\begin{aligned}&{y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\\{\phantom {spacer}}\\&\epsilon _{ij}\sim N(0,\sigma ^{2}),\\{\phantom {spacer}}\\&i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.\end{aligned}}}$

ステージ2: 人口モデル

${\displaystyle {\begin{aligned}&\theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\\{\phantom {spacer}}\\&\eta _{li}\sim N(0,\omega _{l}^{2}),\\{\phantom {spacer}}\\&i=1,\ldots ,N,\,l=1,\ldots ,K.\end{aligned}}}$

ステージ3: 事前

${\displaystyle {\begin{aligned}&\sigma ^{2}\sim \pi (\sigma ^{2}),\\{\phantom {spacer}}\\&\alpha _{l}\sim \pi (\alpha _{l}),\\{\phantom {spacer}}\\&(\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\\{\phantom {spacer}}\\&\omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\\{\phantom {spacer}}\\&l=1,\ldots ,K.\end{aligned}}}$

ここで、は、時点 における - 番目の被験者の連続応答を表し、は- 番目の被験者の - 番目の共変量です。モデルに含まれるパラメータはギリシャ文字で表記されます。は、次元ベクトルによってパラメータ化された既知の関数です。通常、は「非線形」関数であり、個人の時間的軌跡を表します。モデルでは、および は、 それぞれ個人内変動と個人間変動を表します。ステージ 3: 事前分布が考慮されない場合、モデルは頻度主義非線形混合効果モデルになります。 ${\displaystyle y_{ij}}$${\displaystyle i}$${\displaystyle t_{ij}}$${\displaystyle x_{ib}}$${\displaystyle b}$${\displaystyle i}$${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$${\displaystyle K}$${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$${\displaystyle f}$${\displaystyle \epsilon _{ij}}$${\displaystyle \eta _{li}}$

ベイズ非線形混合効果モデルの適用における中心的なタスクは、事後密度を評価することです。

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle {\begin{aligned}=&~\left.{\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})}\right\}{\text{Stage 1: Individual-Level Model}}\\{\phantom {spacer}}\\\times &~\left.{\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}\right\}{\text{Stage 2: Population Model}}\\{\phantom {spacer}}\\\times &~\left.{p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}\right\}{\text{Stage 3: Prior}}\end{aligned}}}$

右側のパネルには、ベイジアン非線形混合効果モデルを使用したベイジアン研究サイクルが表示されています。^[19]ベイジアン非線形混合効果モデルを使用した研究サイクルは、(a) 標準研究サイクルと (b) ベイジアン固有のワークフローの 2 つのステップで構成されます。標準研究サイクルには、文献レビュー、問題の定義、研究の質問と仮説の指定が含まれます。ベイジアン固有のワークフローは、3 つのサブステップで構成されます。(b)–(i) 背景知識と事前の引き出しに基づいて事前分布を形式化します。(b)–(ii) 非線形関数に基づいて尤度関数を決定します。(b)–(iii) 事後推論を行います。結果として得られる事後推論を使用して、新しい研究サイクルを開始できます。 ${\displaystyle f}$

• ハイパーパラメータ
• 混合デザイン分散分析
• マルチスケールモデリング
• ランダム効果モデル
• 非線形混合効果モデル
• 制限付きランダム化

• Gelman, A. ; Hill, J. (2007). 回帰分析とマルチレベル/階層モデルを使用したデータ分析。ニューヨーク: Cambridge University Press。pp. 235–299。ISBN 978-0-521-68689-1。
• ゴールドスタイン、H. (2011)。マルチレベル統計モデル（第4版）。ロンドン：ワイリー。ISBN 978-0-470-74865-7。
• Hedeker, D.; Gibbons, RD (2012). Longitudinal Data Analysis (第 2 版). ニューヨーク: Wiley. ISBN 978-0-470-88918-3。
• Hox, JJ (2010)。『マルチレベル分析：テクニックとアプリケーション（第2版）』。ニューヨーク：Routledge。ISBN 978-1-84872-845-5。
• Raudenbush, SW; Bryk, AS (2002)。階層線形モデル: アプリケーションとデータ分析方法(第 2 版)。サウザンドオークス、カリフォルニア州: Sage。 これは教育に重点を置いています。
• Snijders, TAB; Bosker, RJ (2011)。『マルチレベル分析：基本および高度なマルチレベルモデリング入門（第2版）』ロンドン：Sage。ISBN 9781446254332。
• Swamy, PAVB ; Tavlas, George S. (2001) 「ランダム係数モデル」 Baltagi, Badi H. (編) 『理論計量経済学入門』 オックスフォード: ブラックウェル。 pp. 410–429。ISBN 978-0-631-21254-6。
• Verbeke, G.; Molenberghs, G. (2013).縦断的データのための線形混合モデル. Springer.SASコードを含む
• Gomes, Dylan GE (2022年1月20日). 「混合効果モデルでグループ化因子のレベルが5未満の場合、固定効果とランダム効果のどちらを使用すべきか?」PeerJ . 10 : e12794. doi : 10.7717/peerj.12794 . PMC  8784019 . PMID  35116198.

• マルチレベルモデリングセンター