尤度比検定

統計学において、尤度比検定は、2つの競合する統計モデル（通常、1つはパラメータ空間全体を最大化することで求められ、もう1つは何らかの制約を課した後に求められる）の適合度を、尤度の比に基づいて比較する仮説検定である。より制約のあるモデル（すなわち、帰無仮説）が観測データによって支持される場合、2つの尤度は標本誤差以上異なってはならない。^[1]したがって、尤度比検定は、この比が1と有意に異なるかどうか、または同等に、その自然対数が0と有意に異なるかどうかを検定する。

尤度比検定はウィルクス検定とも呼ばれ、^{[2] 、}ラグランジュ乗数検定やワルド検定とともに、仮説検定の3つの古典的なアプローチの中で最も古いものです。^[3]実際、後者の2つは尤度比検定の近似として概念化でき、漸近的に同等です。^{[4] [5] [6]それぞれ未知の}パラメータを持たない2つのモデルを比較する場合、尤度比検定の使用はネイマン–ピアソンの補題によって正当化されます。 この補題は、この検定がすべての競合の中で最も高い検出力を持つことを示しています。^[7]

パラメータ空間 を持つ統計モデルがあるとします。帰無仮説は、パラメータがの指定されたサブセット内にあるという形で示されることがよくあります。対立仮説は、が の補集合、つまり 内にあるというものであり、 と表記されます。帰無仮説の尤度比検定統計量は次のように与えられます: ^[8] ${\displaystyle \Theta}$${\displaystyle \theta}$${\displaystyle \Theta _{0}}$${\displaystyle \Theta}$${\displaystyle \theta}$${\displaystyle \Theta _{0}}$${\displaystyle \Theta ~\backslash ~\Theta _{0}}$${\displaystyle \Theta _{0}^{\text{c}}}$${\displaystyle H_{0}\,:\,\theta \in \Theta _{0}}$

${\displaystyle \lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]}$

ここで、括弧内の量は尤度比と呼ばれます。ここで、表記は最大値を指します。すべての尤度は正であり、制約付き最大値は制約なし最大値を超えることはできないため、尤度比は0 と 1 の間に 制限されます。${\displaystyle \sup}$

尤度比検定統計量は、多くの場合、対数尤度の差として表される。

${\displaystyle \lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]}$

どこ

${\displaystyle \ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~}$

は最大尤度関数の対数であり、帰無仮説が真である特別な場合の最大値（ただし、必ずしもサンプルデータに対して 最大となる値ではない）であり、${\displaystyle {\mathcal {L}}}$${\displaystyle \ell (\theta _{0})}$${\displaystyle {\mathcal {L}}}$

${\displaystyle \theta _{0}\in \Theta _{0}\qquad {\text{ および }}\qquad {\hat {\theta }}\in \Theta ~}$

最大値のそれぞれの引数と、それらが埋め込まれている許容範囲を表します。-2を掛けると、帰無仮説が真であれば、数学的に（ウィルクスの定理により）漸近的にχ²分布に収束することが保証されます。 ^[9]尤度比統計の有限サンプル分布は一般に未知です。[ 10 ^]${\displaystyle \lambda_{\text{LR}}}$

尤度比検定では、モデルがネストされている必要があります。つまり、複雑なモデルは、そのパラメータに制約を課すことで、より単純なモデルに変換できます。多くの一般的な検定統計量はネストされたモデルの検定であり、対数尤度比またはその近似値として表現できます。たとえば、Z検定、F検定、G検定、ピアソンのカイ二乗検定などです。1標本t検定の図については、以下を参照してください。

モデルがネストされていない場合は、尤度比検定の代わりに、通常は検定の一般化を使用できます。詳細については、相対尤度を参照してください。

単純仮説検定では、帰無仮説と対立仮説の両方においてモデルが完全に指定されており、便宜上、概念パラメータの固定値で記述されます。 ${\displaystyle \theta}$

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

この場合、どちらの仮説でも、データの分布は完全に特定されており、推定すべき未知のパラメータは存在しない。この場合、尤度比検定の変種が利用可能である：^{[11] [12]}

${\displaystyle \Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}.}$

古い文献の中には、上記の関数の逆数を定義として使用しているものがある。^[13]したがって、代替モデルがヌルモデルよりも優れている場合、尤度比は小さくなる。

尤度比検定では、次のような決定ルールが提供されます。

の場合、拒否しないでください。${\displaystyle ~\Lambda >c~}$${\displaystyle H_{0}}$

の場合、拒否します。${\displaystyle ~\Lambda <c~}$${\displaystyle H_{0}}$

の場合、確率 で拒否します。${\displaystyle ~\Lambda =c~}$${\displaystyle H_{0}}$${\displaystyle ~q~}$

値とは通常、関係式を介して 指定された有意水準を得るために選択される。${\displaystyle c}$${\displaystyle q}$ ${\displaystyle \alpha}$

${\displaystyle ~q~}$ ${\displaystyle \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.}$

ネイマン・ピアソンの補題によれば、この尤度比検定は、この場合のすべてのレベルの検定の中で最も強力である。 ^{[7] [12]}${\displaystyle \alpha}$

尤度比はデータの関数であるため、統計量ですが、統計量の値がパラメータ に依存するという点で通常とは異なります。尤度比検定では、この統計量の値が小さすぎる場合に帰無仮説を棄却します。小さすぎるかどうかは、検定の有意水準、つまり許容できると考えられるタイプ I の誤りの確率によって異なります (タイプ I の誤りは、真である帰無仮説を棄却することです)。 ${\displaystyle x}$${\displaystyle \theta}$

分子は、帰無仮説のもとで観測される結果の尤度に対応します。分母は、パラメータ空間全体にわたってパラメータを変化させた場合の、観測される結果の最大尤度に対応します。この比率の分子は分母より小さいため、尤度比は 0 から 1 の間になります。尤度比の値が低いということは、対立仮説と比較して帰無仮説のもとで観測される結果が発生する可能性がはるかに低いことを意味します。統計値が高いということは、帰無仮説のもとで観測される結果が発生する可能性が対立仮説のもとでほぼ同じであることを意味するため、帰無仮説を棄却することはできません。

以下の例は、Stuart、Ord、Arnold (1999、§22.2) から改変し、要約したものです。

正規分布する母集団から、サイズnのランダムサンプルを抽出したとします。母集団の平均μと標準偏差σはどちらも不明です。平均が特定の値μ ₀ と等しいかどうかをテストします。

したがって、帰無仮説はH ₀ :  μ = μ ₀ であり、対立仮説はH ₁ :  μ ≠ μ ₀ である。尤度関数は

${\displaystyle {\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.}$

計算（ここでは省略）をすると、次のようになる。

${\displaystyle \lambda _{LR}=n\ln \left[1+{\frac {t^{2}}{n-1}}\right]}$

ここで、t は自由度n  − 1のt統計量です。したがって、 t _{n −1}の既知の正確な分布を使用して推論を行うことができます。

特定の帰無仮説と対立仮説に対応する尤度比の分布が明示的に決定できる場合、それを直接使用して決定領域（帰無仮説を支持または棄却する）を形成できます。ただし、ほとんどの場合、特定の仮説に対応する尤度比の正確な分布を決定することは非常に困難です。^{[引用が必要]}

H ₀が真であると仮定すると、サミュエル・S・ウィルクスによる基本的な結果が得られます。サンプルサイズがに近づくにつれて、帰無仮説が厳密にパラメータ空間の内部にある場合、上で定義された検定統計量は、自由度がとの次元の差に等しい漸近的なカイ2乗分布( )になります。^[14]これは、さまざまな仮説について、データの尤度比を計算し、観測された値を近似統計検定として望ましい統計的有意性に対応する値と比較できることを意味します。他の拡張も存在します。^{[どれですか? ]}${\displaystyle n}$${\displaystyle \infty}$${\displaystyle \lambda_{\text{LR}}}$ ${\displaystyle \chi^{2}}$${\displaystyle \Theta}$${\displaystyle \Theta _{0}}$${\displaystyle \lambda}$${\displaystyle \lambda_{\text{LR}}}$${\displaystyle \chi^{2}}$

• 赤池情報量基準
• ベイズ係数
• ヨハンセンテスト
• モデルの選択
• ヴオンの近さテスト
• Sup-LRテスト
• 仮説検定における誤差指数

• グローバー、スコット、ディクソン、ピーター（2004）「尤度比：経験心理学者のためのシンプルで柔軟な統計」Psychonomic Bulletin & Review、11（5）：791–806、doi：10.3758/BF0​​3196706、PMID  15732688
• ヘルド、レオンハルト、サバネス・ボヴェ、ダニエル（2014）、応用統計的推論—尤度とベイズ、シュプリンガー
• Kalbfleisch、JG (1985)、確率と統計的推論、vol. 2、シュプリンガー・フェルラーク
• パールマン、マイケル・D.; ウー、ラング (1999)、「皇帝の新しいテスト」、統計科学、14 (4): 355–381、doi : 10.1214/ss/1009212517
• Perneger, Thomas V. (2001)、「証拠のふるい分け: 尤度比は P 値の代替手段である」、The BMJ、322 (7295): 1184–5、doi :10.1136/bmj.322.7295.1184、PMC  1120301、PMID  11379590
• Pinheiro, José C.; Bates, Douglas M. (2000)、S ​​および S-PLUS の混合効果モデル、Springer-Verlag、pp. 82–93
• リチャード、マーク; ヴェーサー、ヤン (2021)。「予測市場の効率性テスト：マルチンゲールアプローチ、尤度比、ベイズ因子分析」。リスク。9 ( 2 ): 31。doi : 10.3390/risks9020031。hdl : 10419/258120。
• ソロモン、ダニエル L. (1975)、「単純な帰無仮説と単純な対立仮説を検定するためのネイマン-ピアソン検定と一般化尤度比検定の非同等性に関する注記」(PDF)、アメリカ統計学者、29 (2): 101–102、doi :10.1080/00031305.1975.10477383、hdl : 1813/32605

• 尤度比検定の実用的応用について説明
• R パッケージ: Wald の逐次確率比検定
• リチャード・ローリーの予測値と尤度比オンライン臨床計算機