尤度関数

させて${\textstyle X}$確率質量関数を持つ離散確率変数である${\textstyle p}$パラメータに応じて${\textstyle \theta }$すると関数

$${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x)={\text{Pr}}\{X=x\mid \Theta =\theta \},}$$

関数として考慮される${\textstyle \theta }$、決定論的だが未知のパラメータの可能性のある値${\textstyle \Theta }$は、結果が与えられた場合の尤度関数です。${\textstyle x}$確率変数の${\textstyle X}$時々「値」の確率は${\textstyle x}$の${\textstyle X}$パラメータ値について${\textstyle \theta }$「」はP ( X = x | θ )またはP ( X = x ; θ )と表記されます。尤度は、特定の結果が発生する確率です。${\textstyle x}$パラメータの真の値が${\textstyle \theta }$確率質量に相当${\textstyle x}$パラメータに関する確率密度ではありません${\textstyle \theta }$可能性、${\textstyle {\mathcal {L}}(\theta \mid x)}$と混同してはならない${\textstyle P(\theta \mid x)}$これは事後確率である${\textstyle \theta }$データに基づいて${\textstyle x}$。

例

コイン投げの単純な統計モデルを考えてみましょう。単一のパラメータ${\textstyle p_{\text{H}}}$これはコインの「公平性」を表す指標です。このパラメータは、コインを投げたときに表（「H」）が出る確率です。${\textstyle p_{\text{H}}}$0.0から1.0の範囲内の任意の値をとることができます。完全に公平なコインの場合、${\textstyle p_{\text{H}}=0.5}$。

公平なコインを2回投げ、2回とも表が出た（「HH」）とします。各連続するコイン投げが独立同分布（ iid）であると仮定すると、HHが観察される確率は

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$$

同様に、「HH」を観測する確率は、${\textstyle p_{\text{H}}=0.5}$は

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$$

これは、${\textstyle P(p_{\text{H}}=0.5\mid {\text{HH}})=0.25}$これは、周辺確率に関する知識があればベイズの定理によってのみ到達できる結論である。${\textstyle P(p_{\text{H}}=0.5)}$そして${\textstyle P({\text{HH}})}$。

さて、コインが公平なコインではなく、${\textstyle p_{\text{H}}=0.3}$すると、2回のコイン投げで2回とも表が出る確率は

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$$

したがって

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.}$$

より一般的には、各値に対して${\textstyle p_{\text{H}}}$、対応する尤度を計算できます。このような計算の結果は図 1に示されています。${\textstyle {\mathcal {L}}}$[0,  1] の範囲では 1/3 であり、尤度はパラメータ空間全体で積分または合計して 1 になる必要はありません。

させて${\textstyle X}$は、密度関数を持つ絶対連続確率分布に従う確率変数である。${\textstyle f}$（${\textstyle x}$)これはパラメータに依存します${\textstyle \theta }$すると関数

$${\displaystyle {\mathcal {L}}(\theta \mid x)=f_{\theta }(x),}$$

関数として考慮される${\textstyle \theta }$は尤度関数（${\textstyle \theta }$結果を考慮すると${\textstyle X=x}$）。 また、${\textstyle {\mathcal {L}}}$確率密度関数または質量関数ではない${\textstyle \theta }$関数であるにもかかわらず${\textstyle \theta }$観察結果を考慮すると${\textstyle X=x}$。

測度論的確率論では、密度関数は、共通の支配測度に関する確率分布のラドン・ニコディム微分として定義されます。 ^{[ 5 ]}尤度関数は、確率変数ではなくパラメータの関数として解釈されたこの密度です。^{[ 6 ]}したがって、離散分布、連続分布、混合分布など、あらゆる分布に対して尤度関数を構築できます。（尤度は、例えばパラメータ推定の場合、同じ支配測度に関するラドン・ニコディム微分である場合にのみ比較可能です。）

離散確率変数の尤度に関する上記の議論では、計数尺度を使用しています。この尺度では、任意の結果における確率密度は、その結果の確率に等しくなります。

上記は、離散成分と連続成分の両方を含む分布を考慮できるように、簡単に拡張できます。分布が複数の離散確率質量から構成されていると仮定します。${\textstyle p_{k}(\theta )}$そして密度${\textstyle f(x\mid \theta )}$すべての合計${\textstyle p}$の積分に が加えられた${\textstyle f}$は常に 1 です。離散確率質量のいずれかに対応する観測値と密度成分に対応する観測値を区別できると仮定すると、連続成分からの観測値の尤度関数は上記のように扱うことができます。離散成分からの観測値の場合、離散成分からの観測値の尤度関数は単純に次のようになります。 $${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),}$$ どこ${\textstyle k}$は、観測値に対応する離散確率質量のインデックスです。${\textstyle x}$なぜなら、確率質量（または確率）を最大化することで${\textstyle x}$これは、特定の観測結果が得られる可能性を最大化することに等しい。

尤度関数が、互いに比例しない寄与（密度と確率質量）を含む形で定義できるという事実は、尤度関数が比例定数を除いて定義される方法に由来する。この「定数」は観測によって変化する可能性がある。${\textstyle x}$ただし、パラメータは使用しません${\textstyle \theta }$。

パラメータ推定の文脈では、尤度関数は通常、正則条件と呼ばれる特定の条件を満たすと仮定されます。これらの条件は、尤度関数を含むさまざまな証明で仮定されており、それぞれの特定のアプリケーションで検証する必要があります。最尤推定の場合、尤度関数の大域的最大値の存在は非常に重要です。極値定理によれば、最尤推定量が存在するためには、尤度関数がコンパクトなパラメータ空間で連続であれば十分です。 ^{[ 7 ]}連続性の仮定は通常満たされますが、パラメータ空間のコンパクト性の仮定は、真のパラメータ値の境界が不明な場合があるため、しばしば満たされません。その場合、尤度関数の凹性が重要な役割を果たします。

より具体的には、尤度関数がk次元パラメータ空間上で2回連続微分可能である場合${\textstyle \Theta }$開いた連結部分集合であると想定される${\textstyle \mathbb {R} ^{k}\,,}$唯一の最大値が存在する${\textstyle {\hat {\theta }}\in \Theta }$2次偏微分の行列が$${\displaystyle \mathbf {H} (\theta )\equiv \left[\,{\frac {\partial ^{2}L}{\partial \theta _{i}\,\partial \theta _{j}}}\,\right]_{i,j=1,1}^{n_{\mathrm {i} },n_{\mathrm {j} }}\;}$$すべての​${\textstyle \theta \in \Theta }$勾配が${\textstyle \nabla L\equiv \left[{\frac {\partial L}{\partial \theta _{i}}}\right]_{i=1}^{n_{\mathrm {i} }}}$が消滅し、尤度関数がパラメータ空間の境界で定数に近づく場合、${\textstyle \partial \Theta ,}$つまり、 $${\displaystyle \lim _{\theta \to \partial \Theta }L(\theta )=0\;,}$$ これには無限遠点が含まれる可能性があります。${\textstyle \Theta }$は有界ではない。Mäkeläinen と共著者は、非公式に山道特性に訴えながら、モース理論を使用してこの結果を証明している。 ^{[ 8 ]} Mascarenhas は、山道定理を使用して彼らの証明を再述している。^{[ 9 ]}

最尤推定量の一貫性と漸近正規性の証明では、特定の尤度関数の基礎となる確率密度に関して追加の仮定がなされる。これらの条件は、チャンダによって最初に確立された。^{[ 10 ]}特に、ほとんどすべての${\textstyle x}$、そしてすべての${\textstyle \,\theta \in \Theta \,,}$$${\displaystyle {\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\,}$$ すべての人々のために存在する${\textstyle \,r,s,t=1,2,\ldots ,k\,}$テイラー展開の存在を保証するため。第二に、ほとんどすべての${\textstyle x}$そしてすべての${\textstyle \,\theta \in \Theta \,}$きっとそうに違いない $${\displaystyle \left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\,\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\right|<H_{rst}(x)}$$ どこ${\textstyle H}$は、${\textstyle \,\int _{-\infty }^{\infty }H_{rst}(z)\,dz\leq M<\infty \;.}$導関数の有界性は、積分記号の下での微分を可能にするために必要です。最後に、情報行列は、 $${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}\ {\frac {\partial \log f}{\partial \theta _{s}}}\ f\,dz}$$正定値で あり、${\textstyle \,\left|\mathbf {I} (\theta )\right|\,}$は有限である。これにより、スコアの分散が有限であることが保証される。^{[ 11 ]}

上記の条件は十分条件ではあるが、必要条件ではない。つまり、これらの正則性条件を満たさないモデルは、上述の特性の最尤推定量を持つ場合もあれば、持たない場合もある。さらに、観測値が独立または同一分布に従わない場合には、追加の特性を仮定する必要があるかもしれない。

ベイズ統計学では、事後確率の漸近正規性を証明するため、尤度関数にほぼ同一の正則性条件が課せられ、^{[ 12 ] [ 13 ]}したがって、大標本における事後確率のラプラス近似を正当化する。^{[ 14 ]}

尤度比とは、指定された2つの尤度の比であり、多くの場合次のように表記されます。 $${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}.}$$

尤度比は尤度統計学の中心となる概念である。尤度の法則によれば、データ（証拠とみなされる）が一方のパラメータ値を他方のパラメータ値よりもどの程度支持しているかは、尤度比によって測定される。

頻度論的推論では、尤度比は検定統計量の基礎であり、いわゆる尤度比検定である。ネイマン・ピアソン補題によれば、これは与えられた有意水準で2つの単純な仮説を比較するための最も強力な検定である。他の多くの検定は、尤度比検定またはその近似と見なすことができる。^{[ 15 ]}検定統計量として考えられる対数尤度比の漸近分布は、ウィルクスの定理によって与えられる。

尤度比はベイズ推論においても中心的な重要性を持ち、ベイズ因子として知られ、ベイズの定理で使用されます。オッズの観点から述べると、ベイズの定理は、2 つの選択肢の事後オッズが、${\displaystyle A_{1}}$そして​​${\displaystyle A_{2}}$⁠、イベントが与えられた場合⁠${\displaystyle B}$⁠ は、事前オッズに尤度比を掛けたものです。数式で表すと次のようになります。 $${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).}$$

尤度比はAICに基づく統計手法では直接使用されません。代わりに、モデルの相対尤度が使用されます（下記参照）。

根拠に基づいた医療では、診断検査を実施する価値を評価するために、診断検査において尤度比が用いられる。

尤度関数の実際の値はサンプルに依存するため、標準化された尺度を用いると便利な場合が多い。パラメータθの最尤推定値が次のようになると仮定する。${\textstyle {\hat {\theta }}}$他のθ値の相対的な妥当性は、それらの他の値の尤度と、${\textstyle {\hat {\theta }}}$θの相対尤度は次のように定義されます^{[ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ]}$${\displaystyle R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.}$$ したがって、相対尤度は、固定分母を持つ尤度比（上記で説明した）である。${\textstyle {\mathcal {L}}({\hat {\theta }})}$これは、最大確率が1になるように標準化することに相当します。

パラメータのサブセットに対する尤度関数を集中させることで次元を削減することが可能であり、そのためには、不要なパラメータを関心のあるパラメータの関数として表現し、それらを尤度関数に置き換える必要がある。^{[ 25 ] [ 26 ]}一般に、パラメータベクトルに依存する尤度関数については、${\textstyle \mathbf {\theta } }$分割できる${\textstyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$、そして対応関係がある場合${\textstyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$明示的に決定することができ、集中により元の最大化問題の計算負荷が軽減される。 ^{[ 27 ]}

例えば、誤差が正規分布する線形回帰では、${\textstyle \mathbf {y} =\mathbf {X} \beta +u}$係数ベクトルは以下のように分割できます。${\textstyle \beta =\left[\beta _{1}:\beta _{2}\right]}$（そして結果として設計マトリックスも）${\textstyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$）に関して最大​​化する${\textstyle \beta _{2}}$最適な値関数が得られる${\textstyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$この結果を用いると、${\textstyle \beta _{1}}$すると、次のように導き出せる。 $${\displaystyle {\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} }$$ どこ${\textstyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$は射影行列です${\textstyle \mathbf {X} _{2}}$この結果は、フリッシュ・ウォー・ラヴェル定理として知られています。

グラフ的に見ると、集中手順は、迷惑パラメータの値の尾根に沿って尤度曲面をスライスすることと同等である。${\textstyle \beta _{2}}$尤度関数を最大化し、与えられた尤度関数の等長プロファイルを作成する${\textstyle \beta _{1}}$この手順の結果はプロファイル尤度としても知られています。^{[ 28 ] [ 29 ]}プロファイル尤度はグラフ化されるだけでなく、信頼区間を計算するためにも使用でき、多くの場合、完全な尤度から計算された漸近標準誤差に基づく信頼区間よりも小標本特性が優れています。 ^{[ 30 ] [ 31 ]}

場合によっては、邪魔なパラメータの十分な統計量を見つけることができ、この統計量に基づいて条件付けを行うことで、邪魔なパラメータに依存しない尤度が得られます。^{[ 32 ]}

一例として、2×2分割表では、4つの周辺合計値すべてに基づいて条件付けを行うことで、非心超幾何分布に基づく条件付き尤度が得られます。この条件付け方法は、フィッシャーの正確確率検定の基礎にもなっています。

場合によっては、データに含まれる情報の一部のみに基づいて尤度を考慮することで、不要なパラメータを除去できることがあります。例えば、数値ではなく順位のセットを用いる場合などです。別の例としては、線形混合モデルが挙げられます。固定効果を当てはめた後、残差の尤度のみを考慮することで、分散成分の残差最尤推定値が得られます。

部分尤度は、パラメータの一部（関心のあるパラメータ）のみが含まれるように完全尤度を適応させたものです。^{[ 33 ]}これは比例ハザードモデルの重要な構成要素です。ハザード関数に制約を加えることで、尤度には時間の経過に伴うハザードの形状が含まれなくなります。

対数尤度のグラフは、（単変量の場合）サポート曲線と呼ばれます。[ 36 ]多変量^の場合、 この概念はパラメータ空間上のサポート曲面に一般化されます。これは分布のサポートと関連がありますが、それとは異なります。

この用語は、統計的仮説検定の文脈でAWF エドワーズ^{[ 36 ]}によって造語されました。つまり、データがテストされている仮説 (またはパラメータ値) のうちの 1 つを他の仮説よりも「支持」しているかどうかということです。

グラフにプロットされている対数尤度関数は、スコア（対数尤度の勾配）とフィッシャー情報量（対数尤度の曲率）の計算に使用されます。したがって、このグラフは最尤推定法と尤度比検定の文脈において直接的な解釈が可能です。

対数尤度関数が滑らかである場合、パラメータに関するその勾配はスコアとして知られ、次のように表されます。${\textstyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$が存在し、微分計算の適用を可能にします。微分可能な関数を最大化する基本的な方法は、停留点（導関数がゼロになる点）を見つけることです。和の導関数は導関数の和に等しいですが、積の導関数には積の法則が必要なので、独立事象の尤度よりも独立事象の対数尤度の停留点を計算する方が簡単です。

スコア関数の停留点によって定義される方程式は、最尤推定量の 推定方程式として機能する。$${\displaystyle s_{n}(\theta )=\mathbf {0} }$$ その意味で、最尤推定量は暗黙のうちに次の値によって定義される。${\textstyle \mathbf {0} }$逆関数の${\textstyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$、 どこ${\textstyle \mathbb {E} ^{d}}$はd次元ユークリッド空間であり、${\textstyle \Theta }$はパラメータ空間である。逆関数定理を用いると、次のことが示される。${\textstyle s_{n}^{-1}}$オープンな近隣地域で明確に定義されています${\textstyle \mathbf {0} }$確率は1に近づき、${\textstyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$は、${\textstyle \theta }$結果として、数列が存在する${\textstyle \left\{{\hat {\theta }}_{n}\right\}}$そのため${\textstyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$漸近的にほぼ確実に、そして${\textstyle {\hat {\theta }}_{n}\xrightarrow {\text{p}} \theta _{0}}$^{[ 37 ]}ロルの定理を用いて同様の結果を確立することができる。^{[ 38 ] [ 39 ]}

2階微分を評価したところ、${\textstyle {\hat {\theta }}}$フィッシャー情報として知られるこの値は、尤度曲面の曲率を決定し、^{[ 40 ]}推定値の精度を示します。 ^{[ 41 ]}

対数尤度は、多くの一般的なパラメトリック確率分布を含む指数分布族にも特に有用です。指数分布族の確率分布関数（したがって尤度関数）は、指数を含む因子の積を含んでいます。このような関数の対数は積の和であり、元の関数よりも微分が容易です。

指数族とは、確率密度関数が次の形式である分布族のことである（一部の関数では、次のように書くことができる）。${\textstyle \langle -,-\rangle }$内積の場合）：

$${\displaystyle p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.}$$

これらの各項には解釈がありますが、^{[ a ]}確率から尤度に切り替えて対数を取るだけで、次の合計が得られます。

$${\displaystyle \ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).}$$

の${\textstyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$そして${\textstyle h(x)}$それぞれが座標変換に対応しているため、これらの座標では、指数型分布族の対数尤度は次の単純な式で与えられます。

$${\displaystyle \ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).}$$

言い換えれば、指数型分布族の対数尤度は自然パラメータの内積である。${\displaystyle {\boldsymbol {\eta }}}$⁠そして十分統計量${\displaystyle \mathbf {T} (x)}$正規化係数（対数分割関数）を差し引いた値${\displaystyle A({\boldsymbol {\eta }})}$したがって、例えば、十分統計量Tと対数分割関数Aの導関数を取ることによって、最尤推定値を計算できます。

「尤度」という用語は、少なくとも中期英語後期から英語で使われてきました。^{[ 42 ]}数学統計学における特定の関数を指す正式な用語として、ロナルド・フィッシャー[ ^{43 ]}が1921年^{[ 44 ]}と1922年^{[ 45 ]}に発表した2つの研究論文で提唱しました。1921年の論文では、今日「尤度区間」と呼ばれるものが導入され、1922年の論文では「最尤法」という用語が導入されました。フィッシャーの言葉を引用すると^、次のようになります。

1922年に私は「尤度」という用語を提案しました。これは、[パラメータ]に関して、尤度は確率ではなく、確率の法則に従わない一方で、[パラメータ]の可能な値の中から合理的に選択するという問題に対して、確率が偶然のゲームにおける事象の予測という問題に対して持つ関係に似た関係を持つという事実に基づいています。…しかし、心理的判断に関して、尤度は確率とある程度似ていますが、この2つの概念は全く異なります。…」^{[ 46 ]}

ロナルド・フィッシャー卿が述べたように、可能性の概念は確率と混同してはならない。

私がこの点を強調するのは、確率と尤度の違いを常に強調してきたにもかかわらず、尤度を一種の確率であるかのように扱う傾向が依然としてあるためです。したがって、最初の結果は、異なるケースに適した2つの異なる合理的信念の尺度が存在するということです。母集団を知っている場合、標本に関する不完全な知識または期待を確率で表現できます。標本を知っている場合、母集団に関する不完全な知識を尤度で表現できます。^{[ 47 ]}

フィッシャーによる統計的尤度の発明は、逆確率と呼ばれる以前の推論形式に対する反動であった。^{[ 48 ]}彼が「尤度」という用語を使用したことで、数学統計学におけるその用語の意味が固定された。

AWF エドワーズ(1972) は、対数尤度比をある仮説に対する別の仮説の相対的な支持の尺度として使用するための公理的基礎を確立しました。支持関数は、尤度関数の自然対数です。これらの用語はどちらも系統発生学で使用されていますが、統計的証拠のトピックの一般的な扱いには採用されていません。^{[ 49 ]}

統計学者の間では、統計の基礎が何であるべきかについて合意はありません。基礎として提案されている主なパラダイムは、頻度主義、ベイズ主義、尤度主義、AICベースという4つです。^{[ 50 ]}提案されているそれぞれの基礎において、尤度の解釈は異なります。4つの解釈については、以下のサブセクションで説明します。