GHKアルゴリズム

GHKアルゴリズム（Geweke、Hajivassiliou、Keane）^[1]は、多変量プロビットモデルの選択確率をシミュレートするための重要度サンプリング法です。これらのシミュレートされた確率は、通常のよく知られた最大化手法（ニュートン法、BFGSなど）のいずれかを使用して、最大化尤度方程式からパラメータ推定値を回復するために使用できます。Train ^[2]には、このアルゴリズムを多項式プロビットモデルに実装するための手順が詳しく説明されています。ここで説明する内容は、バイナリ多変量プロビットモデルに適用されます。

選択確率を評価しようとする場合を考えてみましょう。ここで、選択として、個体または観測として、 は平均であり、はモデルの共分散行列です。選択を観測する確率は ${\displaystyle \Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )}$${\displaystyle \mathbf {y_{i}} =(y_{1},...,y_{J}),\ (i=1,...,N)}$${\displaystyle j}$${\displaystyle i}$${\displaystyle \mathbf {X_{i}\beta } }$${\displaystyle \Sigma }$${\displaystyle \mathbf {y_{i}} }$

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{J}}\cdots \int _{A_{1}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{1}^{*}\dots dy_{J}^{*}\\\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )d\mathbf {y} _{i}^{*}\end{aligned}}}$

どこで、そして、 ${\displaystyle A=A_{1}\times \cdots \times A_{J}}$

${\displaystyle A_{j}={\begin{cases}(-\infty ,0]&y_{j}=0\\(0,\infty )&y_{j}=1\end{cases}}}$

が小さい（2以下）場合を除き、上で定義された積分に対して閉じた形式の解は存在しません（ ^[3]でいくつかの研究が行われています）。これらの積分を閉じた形式または求積法で評価する代わりに、シミュレーションを使用することもできます。GHKは、重要度サンプリング法を使用して上記の確率をシミュレートするシミュレーション方法です。 ${\displaystyle J}$${\displaystyle J=3}$

潜在データ モデルはコレスキー分解を使用して書き直すことができることを認識することで、評価が簡素化されます。これにより、項が に分布していることがわかります。 ${\displaystyle \Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )d\mathbf {y} _{i}^{*}}$${\displaystyle \mathbf {y_{i}^{*}} =\mathbf {X_{i}\beta } +\epsilon }$${\displaystyle \Sigma =CC'}$${\displaystyle \mathbf {y_{i}^{*}} =\mathbf {X_{i}\beta } +C\eta _{i}}$${\displaystyle \eta _{i}}$${\displaystyle N(0,\mathbf {I} )}$

この因数分解と、が独立して分布しているという事実を利用すると、単変量ランダム正規分布からの抽出を使用して、切り捨てられた多変量正規分布からの抽出をシミュレートできます。 ${\displaystyle \eta _{i}}$

例えば、切り捨て領域の下限と上限が（a,b = を含む）に等しい場合、タスクは次のようになります。 ${\displaystyle \mathbf {A} }$${\displaystyle [a,b]}$${\displaystyle \pm \infty }$

${\displaystyle {\begin{array}{lcl}a<&y_{1}^{*}&<b\\a<&y_{2}^{*}&<b\\\vdots &\vdots &\vdots \\a<&y_{J}^{*}&<b\\\end{array}}}$

注: 、置き換え: ${\displaystyle \mathbf {y_{i}^{*}} =\mathbf {X_{i}\beta } +C\eta _{i}}$

${\displaystyle {\begin{array}{lcl}a<&x_{1}\beta _{1}+c_{11}\eta _{1}&<b\\a<&x_{2}\beta _{2}+c_{21}\eta _{1}+c_{22}\eta _{2}&<b\\\vdots &\vdots &\vdots \\a<&x_{J}\beta _{J}+\sum _{k=1}^{J}c_{J,k}\eta _{k}&<b\\\end{array}}}$

上記を整理すると、

${\displaystyle {\begin{array}{ccc}{\frac {a-x_{1}\beta _{1}}{c_{11}}}&<\eta _{1}<&{\frac {b-x_{1}\beta _{1}}{c_{11}}}\\{\frac {a-(x_{2}\beta _{2}+c_{21}\eta _{1})}{c_{22}}}&<\eta _{2}<&{\frac {b-(x_{2}\beta _{2}+c_{21}\eta _{1})}{c_{22}}}\\\vdots &\vdots &\vdots \\{\frac {a-(x_{J}\beta _{J}+\sum _{k=1}^{J-1}c_{J,k})}{c_{J,J}}}&<\eta _{k}<&{\frac {b-(x_{J}\beta _{J}+\sum _{k=1}^{J-1}c_{J,k})}{c_{J,J}}}\\\end{array}}}$

ここで必要なのは、上記の境界を持つ切断された一変量正規分布から繰り返し抽出することだけです。これは逆CDF法で実行でき、切断された正規分布は次のように表されます。

${\displaystyle u={\frac {\Phi ({\frac {x-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}{\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}}}$

上記はCDFなので、0から1の間の数字になります。これは、切り捨てられた分布からランダムな抽出を生成するには、次を解く必要があることを示しています。 ${\displaystyle u}$${\displaystyle x}$

${\displaystyle x=\sigma F^{-1}(u*(F(\beta )-F(\alpha ))+F(\alpha ))+\mu }$

ここで、およびは標準正規CDFです。このような抽出により、コレスキー分解を使用した簡略化された方程式によってを再構築できます。これらの抽出は、前の抽出に条件付きであり、正規分布の特性を使用すると、条件付きPDFの積は、の結合分布になります。 ${\displaystyle \alpha ={\frac {a-\mu }{\sigma }}}$${\displaystyle \beta ={\frac {b-\mu }{\sigma }}}$${\displaystyle F}$${\displaystyle \mathbf {y_{i}^{*}} }$${\displaystyle \mathbf {y_{i}^{*}} }$

${\displaystyle q(\mathbf {y_{i}^{*}} |\mathbf {X_{1}\beta } ,\Sigma )=q(y_{1}^{*}|\mathbf {X_{1}\beta } ,\Sigma )q(y_{2}^{*}|y_{1}^{*},\mathbf {X_{1}\beta } ,\Sigma )\dots q(y_{J}^{*}|y_{1}^{*},\dots ,y_{J-1}^{*},\mathbf {X_{1}\beta } ,\Sigma )}$

多変量正規分布は どこですか。${\displaystyle q(\cdot )}$

の条件はコレスキー分解を用いた設定によって集合に制限されるため、 は切り捨てられた多変量正規分布であることがわかります。切り捨てられた正規分布の分布関数は、 ${\displaystyle y_{j}^{*}}$${\displaystyle y_{k},\ k<j}$${\displaystyle A}$${\displaystyle q(\cdot )}$

${\displaystyle {\frac {\phi ({\frac {x-\mu }{\sigma }})}{\sigma (\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }}))}}}$

したがって、分布があり、 ${\displaystyle y_{j}^{*}}$

${\displaystyle {\begin{aligned}q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )&={\frac {{\frac {1}{c_{11}}}\phi _{1}{\Big (}{\frac {y_{j}^{*}-x_{1}\beta }{c_{11}}}{\Big )}}{{\Big (}\Phi _{1}{\Big (}{\frac {b-x_{1}\beta }{c_{11}}}{\Big )}-\Phi _{1}{\Big (}{\frac {a-x_{1}\beta }{c_{11}}}{\Big )}{\Big )}}}\times \dots \times {\frac {{\frac {1}{c_{JJ}}}\phi _{J}{\Big (}{\frac {y_{J}^{*}-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1})}{c_{JJ}}}{\Big )}}{{\Big (}\Phi _{J}{\Big (}{\frac {b-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1})}{c_{JJ}}}{\Big )}-\Phi _{J}{\Big (}{\frac {a-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1}}{c_{JJ}}}{\Big )}{\Big )}}}\\&={\frac {\prod _{j=1}^{J}{\frac {1}{c_{jj}}}\phi _{j}{\Big (}{\frac {y_{j}^{*}-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}}{\prod _{j=1}^{J}{\Big (}\Phi _{j}{\Big (}{\frac {b-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}-\Phi {\Big (}{\frac {a-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}{\Big )}}}\end{aligned}}}$

選択の標準正規分布の PDF はどこですか。 ${\displaystyle \phi _{j}}$${\displaystyle j}$

上記の標準化 により、各項の平均は 0、分散は 1 になります。${\displaystyle y_{j|\{y_{k<j}^{*}\}}^{*}\sim N(\mathbf {X_{i}\beta } +\sum _{k=1}^{k<j}c_{jk}\eta _{k},c_{jj}^{2})}$

分母を、分子を とすると、 は多変量正規分布 PDF となります。 ${\displaystyle \prod _{j=1}^{J}\Phi _{j}{\Big (}{\frac {b-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}-\Phi {\Big (}{\frac {a-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}=\prod _{j=1}^{J}l_{jj}}$${\displaystyle \prod _{j=1}^{J}{\frac {1}{c_{jj}}}\phi _{j}{\Big (}{\frac {y_{j}^{*}-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}=f_{N}(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )}$${\displaystyle f_{N}(\cdot )}$

当初の目標に戻って評価するために

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{j}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\\end{aligned}}}$

重要度サンプリングを使用すると、この積分を評価できます。

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{j}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\=&\int _{A_{j}}{\frac {f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )}{q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )}}q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\=&\int _{A_{j}}{\frac {f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )}{\frac {f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )}{\prod _{j=1}^{J}l_{jj}}}}q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\=&\mathbb {E} _{\mathbf {q} }{\Big (}\prod _{j=1}^{J}l_{jj}{\Big )}\\\end{aligned}}}$

これは によってよく近似されます。 ${\displaystyle {\frac {1}{S}}\sum _{s=1}^{S}\prod _{j=1}^{J}l_{jj}}$