尤度関数

尤度関数（単に尤度と呼ばれることが多い）は、統計モデルが観測データをどの程度説明できるかを、モデルのさまざまなパラメータ値の下でそのデータが見られる確率を計算することによって測定します。尤度関数は、（おそらく）観測を生成したランダム変数の結合確率分布から構築されます。 ^{[1] [2] [3]}実際のデータポイントで評価すると、尤度関数はモデルパラメータのみの関数になります。

最大尤度推定では、尤度関数を最大化する引数が未知のパラメータの点推定として機能し、フィッシャー情報（多くの場合、最大値での尤度のヘッセ行列によって近似される）は推定値の精度の指標となります。

対照的に、ベイズ統計では、関心のある推定値は尤度の逆数、つまり観測されたデータが与えられたパラメータの事後確率であり、ベイズの定理によって計算される。^[4]

尤度関数は、（多変量の場合もある）パラメータによってパラメータ化され、離散確率分布と連続確率分布では通常異なる定義がされる（より一般的な定義については後述）。確率密度関数または質量関数が与えられている。 ${\textstyle \theta }$

$${\displaystyle x\mapsto f(x\mid \theta ),}$$

ここで は確率変数の実現値であり、尤度関数は 次のように書かれることが多い。 ${\textstyle x}$${\textstyle X}$$${\displaystyle \theta \mapsto f(x\mid \theta ),}$$$${\displaystyle {\mathcal {L}}(\theta \mid x).}$$

言い換えると、を の関数として固定して見ると、それは確率密度関数であり、を の関数として固定して見ると、それは尤度関数です。頻度主義パラダイムでは、 という表記法は避けられることが多く、代わりにまたは を使用して、 が条件付けされるランダム変数ではなく、固定された未知数として扱われることを示します。 ${\textstyle f(x\mid \theta )}$${\textstyle x}$${\textstyle \theta }$${\textstyle \theta }$${\textstyle x}$${\textstyle f(x\mid \theta )}$${\textstyle f(x;\theta )}$${\textstyle f(x,\theta )}$${\textstyle \theta }$

尤度関数は、観測されたサンプルが与えられた場合に、 が真実である確率を特定するものではありません。このような解釈はよくある誤りであり、悲惨な結果を招く可能性があります (検察官の誤謬を参照)。 ${\textstyle \theta }$${\textstyle X=x}$

をパラメータに依存する確率質量関数を持つ離散確率変数とする。このとき関数 ${\textstyle X}$ ${\textstyle p}$${\textstyle \theta }$

$${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x),}$$

の関数として考えた場合、確率変数 の結果が与えられたときの尤度関数です。「パラメータ値 に対するの値」の確率は、 P ( X = x | θ )またはP ( X = x ; θ )と表記されることがあります。尤度は、パラメータ の真の値が であるときに特定の結果が観測される確率であり、 上の確率質量に相当します。これは、パラメータ 上の確率密度ではありません。尤度 を、データ が与えられたときの の事後確率である と混同しないでください。 ${\textstyle \theta }$ ${\textstyle x}$${\textstyle X}$${\textstyle x}$${\textstyle X}$${\textstyle \theta }$ ${\textstyle x}$${\textstyle \theta }$${\textstyle x}$${\textstyle \theta }$${\textstyle {\mathcal {L}}(\theta \mid x)}$${\textstyle P(\theta \mid x)}$${\textstyle \theta }$${\textstyle x}$

コイン投げの単純な統計モデルを考えてみましょう。これは、コインの「公平さ」を表す単一のパラメータです。パラメータは、コインを投げたときに表が上を向く確率 (「H」) です。は、 0.0 から 1.0 の範囲内の任意の値を取ることができます。完全に公平なコインの場合、です。 ${\textstyle p_{\text{H}}}$${\textstyle p_{\text{H}}}$${\textstyle p_{\text{H}}=0.5}$

公平なコインを2回投げ、2回とも表が出る（「HH」）と想像してください。連続するコイン投げがそれぞれiidであると仮定すると、HHを観測する確率は

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$$

同様に、「HH」を観測する確率は、 ${\textstyle p_{\text{H}}=0.5}$

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$$

これは、 と言っているのとは異なります。この結論は、周辺確率 とについての知識があればベイズの定理によってのみ到達できるものです。 ${\textstyle P(p_{\text{H}}=0.5\mid HH)=0.25}$${\textstyle P(p_{\text{H}}=0.5)}$${\textstyle P({\text{HH}})}$

ここで、コインが公正なコインではなく、 であると仮定します。この場合、2回投げて2回表が出る確率は ${\textstyle p_{\text{H}}=0.3}$

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$$

したがって

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.}$$

より一般的には、 の各値に対して、対応する尤度を計算できます。このような計算の結果は図 1 に示されています。の [0, 1] 上の積分は 1/3 です。尤度は、パラメータ空間上で積分したり合計したりして 1 になる必要はありません。 ${\textstyle p_{\text{H}}}$${\textstyle {\mathcal {L}}}$

を、パラメータ に依存する密度関数（ の関数）を持つ絶対連続確率分布に従うランダム変数とします。このとき、関数 ${\textstyle X}$ ${\textstyle f}$${\textstyle x}$${\textstyle \theta }$

$${\displaystyle {\mathcal {L}}(\theta \mid x)=f_{\theta }(x),}$$

を の関数として考えると、 は(結果が与えられた場合の の)尤度関数です。また、 は、観測値 が与えられた場合の の関数であるにもかかわらず、上の確率密度関数や質量関数ではありません。 ${\textstyle \theta }$${\textstyle \theta }$ ${\textstyle X=x}$${\textstyle {\mathcal {L}}}$${\textstyle \theta }$${\textstyle \theta }$${\textstyle X=x}$

上記の尤度関数を指定する際に確率密度を使用することは、次のように正当化されます。観測値 が与えられた場合、区間（ は定数）の尤度は で与えられます。は正で定数であるため、 である ことに注意してください 。${\textstyle x_{j}}$${\textstyle [x_{j},x_{j}+h]}$${\textstyle h>0}$${\textstyle {\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])}$$${\displaystyle \mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h]),}$$${\textstyle h}$$${\displaystyle \mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\Pr(x_{j}\leq x\leq x_{j}+h\mid \theta )=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx,}$$

ここで確率密度関数は、 ${\textstyle f(x\mid \theta )}$

$${\displaystyle \mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx.}$$

微積分学の第一基本定理は、 $${\displaystyle \lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx=f(x_{j}\mid \theta ).}$$

それから $${\displaystyle {\begin{aligned}&\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\mathop {\operatorname {arg\,max} } _{\theta }\left[\lim _{h\to 0^{+}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])\right]\\[4pt]={}&\mathop {\operatorname {arg\,max} } _{\theta }\left[\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx\right]=\mathop {\operatorname {arg\,max} } _{\theta }f(x_{j}\mid \theta ).\end{aligned}}}$$

したがって、 における 確率密度を最大化することは、特定の観測値の尤度を最大化することに等しい。 $${\displaystyle \mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\mathop {\operatorname {arg\,max} } _{\theta }f(x_{j}\mid \theta ),}$$${\textstyle x_{j}}$${\textstyle x_{j}}$

測度論的確率論では、密度関数は、共通の支配的な測度に対する確率分布のラドン・ニコディム微分として定義されます。 ^[5]尤度関数は、この密度をランダム変数ではなくパラメータの関数として解釈したものです。^[6]したがって、離散分布、連続分布、混合分布など、あらゆる分布の尤度関数を構築できます。(尤度は、たとえばパラメータ推定の場合、同じ支配的な測度に対するラドン・ニコディム微分である場合にのみ比較可能です。)

離散確率変数の尤度に関する上記の議論では、計数測度が使用されています。この測度では、任意の結果における確率密度がその結果の確率に等しくなります。

上記は、離散的要素と連続的要素の両方を含む分布を考慮できるように、簡単な方法で拡張できます。分布が多数の離散的確率質量と密度で構成され、の積分に加えられた のすべての の合計が常に 1 であると仮定します。離散的確率質量の 1 つに対応する観測値と密度要素に対応する観測値を区別することが可能であると仮定すると、連続要素からの観測値の尤度関数は、上記で示した方法で処理できます。離散的要素からの観測値の場合、離散的要素からの観測値の尤度関数は、単に となります。 ここで は、観測値 に対応する離散的確率質量のインデックスです。これは、 での確率質量 (または確率) を最大化することが、特定の観測値の尤度を最大化することにつながるためです。 ${\textstyle p_{k}(\theta )}$${\textstyle f(x\mid \theta )}$${\textstyle p}$${\textstyle f}$$${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),}$$${\textstyle k}$${\textstyle x}$${\textstyle x}$

尤度関数が、比例しない寄与（密度と確率質量）を含む方法で定義できるという事実は、尤度関数が比例定数まで定義される方法から生じます。この「定数」は、観測値 によって変化しますが、パラメータ によって変化することはありません。 ${\textstyle x}$${\textstyle \theta }$

パラメータ推定の文脈では、尤度関数は通常、正則性条件と呼ばれる特定の条件に従うと仮定されます。これらの条件は、尤度関数を伴うさまざまな証明で仮定されており、特定のアプリケーションごとに検証する必要があります。最大尤度推定では、尤度関数のグローバル最大値の存在が最も重要です。極値定理により、最大尤度推定量が存在するためには、尤度関数がコンパクトなパラメータ空間上で連続していれば十分です。 ^[7]連続性の仮定は通常満たされますが、真のパラメータ値の境界が不明な場合があるため、パラメータ空間に関するコンパクト性の仮定は満たされないことがよくあります。その場合、尤度関数の凹面性が重要な役割を果たします。

より具体的には、尤度関数がk次元パラメータ空間上で連続的に二回微分可能で、その空間が の開連結部分集合であると仮定される場合、第 2 偏行列が任意の に対して負定値で、勾配がゼロになる唯一の最大値が存在し、尤度関数がパラメータ空間の境界、すなわちが 有界でない 場合に無限遠点を含む可能性がある境界上で定数に近づく場合が存在する。Mäkeläinen と共著者は、モース理論を使用してこの結果を証明し、非公式に峠特性を援用している。^{[8] Mascarenhas は、}峠定理を使用して証明を再述べている。^[9]${\textstyle \Theta }$ ${\textstyle \mathbb {R} ^{k}\,,}$${\textstyle {\hat {\theta }}\in \Theta }$ $${\displaystyle \mathbf {H} (\theta )\equiv \left[\,{\frac {\partial ^{2}L}{\,\partial \theta _{i}\,\partial \theta _{j}\,}}\,\right]_{i,j=1,1}^{n_{\mathrm {i} },n_{\mathrm {j} }}\;}$$${\textstyle \,\theta \in \Theta \,}$${\textstyle \;\nabla L\equiv \left[\,{\frac {\partial L}{\,\partial \theta _{i}\,}}\,\right]_{i=1}^{n_{\mathrm {i} }}\;}$${\textstyle \;\partial \Theta \;,}$$${\displaystyle \lim _{\theta \to \partial \Theta }L(\theta )=0\;,}$$${\textstyle \,\Theta \,}$

最大尤度推定量の一貫性と漸近正規性の証明では、特定の尤度関数の基礎となる確率密度について追加の仮定が立てられる。これらの条件は、最初にチャンダによって確立された。^[10]特に、テイラー展開の存在を保証するために、ほぼすべての に対して、およびすべての に対して が すべての に対して存在する。第二に、ほぼすべての に対して、およびすべての に対してが でなければならない 。 ここでは となる。この導関数の有界性は、積分記号 の下での微分を可能にするために必要である。そして最後に、情報行列、は 正定値 であり、有限であると仮定される。これにより、スコアが有限の分散を持つことが保証される。^[11]${\textstyle x}$${\textstyle \,\theta \in \Theta \,,}$ $${\displaystyle {\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\,}$$${\textstyle \,r,s,t=1,2,\ldots ,k\,}$${\textstyle x}$${\textstyle \,\theta \in \Theta \,}$$${\displaystyle \left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\,\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\right|<H_{rst}(x)}$$${\textstyle H}$${\textstyle \,\int _{-\infty }^{\infty }H_{rst}(z)\mathrm {d} z\leq M<\infty \;.}$$${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}\ {\frac {\partial \log f}{\partial \theta _{s}}}\ f\ \mathrm {d} z}$$${\textstyle \,\left|\mathbf {I} (\theta )\right|\,}$

上記の条件は十分ですが、必須ではありません。つまり、これらの規則性条件を満たさないモデルは、上記の特性の最大尤度推定値を持つ場合と持たない場合があります。さらに、独立して分布していない、または同一に分布していない観測値の場合、追加の特性を想定する必要がある可能性があります。

ベイズ統計では、事後確率の漸近正規性を証明し、^{[12] [13]大規模なサンプルにおける事後確率のラプラス}近似を正当化するために、ほぼ同一の正則性条件が尤度関数に課される。^[14]

尤度比は、指定された 2 つの尤度の比であり、次のように記述されることが多いです。 $${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}.}$$

尤度比は尤度統計学の中心です。尤度の法則は、データ（証拠としてみなされる）が 1 つのパラメータ値と別のパラメータ値をどの程度支持するかが尤度比によって測定されることを示しています。

頻度主義的推論では、尤度比は検定統計量、いわゆる尤度比検定の基礎となる。ネイマン・ピアソンの補題によれば、これは与えられた有意水準で2つの単純な仮説を比較する最も強力な検定である。他の多くの検定も尤度比検定またはその近似値とみなすことができる。^[15]検定統計量として考えられる対数尤度比の漸近分布はウィルクスの定理によって与えられる。

尤度比はベイズ推論においても中心的な役割を果たし、ベイズ係数として知られ、ベイズの定理で使用されます。オッズの観点から述べると、ベイズの定理は、ある事象が与えられた場合の 2 つの選択肢⁠ ⁠と⁠ ⁠の事後オッズは、事前オッズに尤度比を掛けたものになる、というものです。方程式として、 ${\displaystyle A_{1}}$${\displaystyle A_{2}}$${\displaystyle B}$$${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).}$$

AIC ベースの統計では、尤度比は直接使用されません。代わりに、モデルの相対的な尤度が使用されます (以下を参照)。

エビデンスに基づく医療では、診断検査を実施する価値を評価するために、診断検査で尤度比が使用されます。

尤度関数の実際の値はサンプルによって異なるため、標準化された尺度で作業すると便利な場合がよくあります。パラメータθの最大尤度推定値が であると仮定します。他のθ値の相対的な妥当性は、それらの他の値の尤度を の尤度と比較することによって見つけることができます。θの相対尤度は次のように定義されます。 ^{[16] [17] [18] [19] [20]} したがって、相対尤度は、分母を固定した尤度比（上記で説明）です。これは、尤度を最大値 1 に標準化することに対応します。 ${\textstyle {\hat {\theta }}}$${\textstyle {\hat {\theta }}}$ $${\displaystyle R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.}$$${\textstyle {\mathcal {L}}({\hat {\theta }})}$

尤度領域とは、相対尤度が与えられた閾値以上であるθのすべての値の集合である。パーセンテージで表すと、 θのp％尤度領域は次のように定義される^{[16] [18] [21]}

$${\displaystyle \left\{\theta :R(\theta )\geq {\frac {p}{100}}\right\}.}$$

θが単一の実パラメータである場合、 p %尤度領域は通常、実数値の区間で構成されます。領域が区間で構成される場合、それは尤度区間と呼ばれます。^{[16] [18] [22]}

尤度区間、およびより一般的には尤度領域は、尤度統計における区間推定に使用されます。尤度区間は、頻度主義統計における信頼区間やベイズ統計における信用区間に似ています。尤度区間は、カバレッジ確率(頻度主義) や事後確率(ベイズ主義)ではなく、相対尤度で直接解釈されます。

モデルが与えられれば、尤度区間は信頼区間と比較することができます。θが単一の実数パラメータである場合、特定の条件下では、θの 14.65% 尤度区間 (約 1:7 の尤度)は、95% 信頼区間 (19/20 のカバレッジ確率) と同じになります。^{[16] [21]}対数尤度の使用に適したわずかに異なる定式化 (ウィルクスの定理を参照) では、検定統計量は対数尤度の差の 2 倍であり、検定統計量の確率分布は、自由度 (df) が 2 つのモデル間の df の差に等しいカイ 2 乗分布に近似します (したがって、 e ⁻²尤度区間は、df の差が 1 であると仮定すると、0.954 信頼区間と同じです)。^{[21] [22]}

多くの場合、尤度は複数のパラメータの関数ですが、関心は1つ、または多くても数個のパラメータの推定に焦点が当てられ、残りは不要パラメータと見なされます。このような不要パラメータを排除し、尤度を関心のある1つのパラメータ（または複数のパラメータ）のみの関数として記述できるようにするための代替アプローチがいくつか開発されています。主なアプローチは、プロファイル尤度、条件付き尤度、および周辺尤度です。^{[23] [24]これらのアプローチは、}グラフを可能にするために高次元の尤度面を1つまたは2つの関心パラメータに縮小する必要がある場合にも役立ちます。

パラメータのサブセットに対する尤度関数を集中させることで次元を削減することができます。そのためには、不要なパラメータを関心のあるパラメータの関数として表現し、尤度関数で置き換えます。^{[25] [26]}一般に、パラメータベクトルに依存する尤度関数を に分割でき、対応を明示的に決定できる場合、集中によって元の最大化問題の計算負荷が軽減されます。 ^[27]${\textstyle \mathbf {\theta } }$${\textstyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$${\textstyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$

たとえば、正規分布誤差を持つ線型回帰では、係数ベクトルは（したがって計画行列）に分割できます。 を について最大化すると、最適値関数 が得られます。 この結果を使用して、 の最大尤度推定量はとして導出できます 。 ここで、は の射影行列です。 この結果は、Frisch-Waugh-Lovell の定理として知られています。 ${\textstyle \mathbf {y} =\mathbf {X} \beta +u}$${\textstyle \beta =\left[\beta _{1}:\beta _{2}\right]}$ ${\textstyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$${\textstyle \beta _{2}}$${\textstyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$${\textstyle \beta _{1}}$$${\displaystyle {\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} }$$${\textstyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$${\textstyle \mathbf {X} _{2}}$

グラフ的に見ると、集中の手順は、尤度関数を最大化する偽パラメータの値の稜線に沿って尤度面をスライスし、与えられた尤度関数の等尺プロファイルを作成することと同等であるため、この手順の結果はプロファイル尤度とも呼ばれます。^{[28] [29]}プロファイル尤度はグラフ化できるだけでなく、信頼区間を計算するためにも使用できます。この信頼区間は、完全尤度から計算された漸近標準誤差に基づく信頼区間よりも小規模サンプルの特性が優れていることがよくあります。^{[30] [31]}${\textstyle \beta _{2}}$ ${\textstyle \beta _{1}}$

時には、迷惑パラメータに対して十分な統計量を見つけることが可能であり、この統計量に基づいて条件付けすると、迷惑パラメータに依存しない尤度が得られる。^[32]

一例として、2×2 表では、4 つの周辺合計すべてに対する条件付けにより、非心超幾何分布に基づく条件付き尤度が得られます。この形式の条件付けは、フィッシャーの正確検定の基礎でもあります。

場合によっては、数値ではなくランクのセットを使用するなど、データ内の情報の一部のみに基づいて尤度を考慮することで、不要なパラメータを除去できます。別の例は線形混合モデルで発生し、固定効果を適合させた後にのみ残差の尤度を考慮すると、分散成分の残差最大尤度推定につながります。

部分尤度は、全尤度を適応させたもので、パラメータの一部（関心のあるパラメータ）のみが出現する。^{[33]これは}比例ハザードモデルの重要な要素である。ハザード関数に制約を加えると、尤度には時間の経過に伴うハザードの形状が含まれなくなる。

2 つ以上の独立した イベントが与えられた場合の尤度は、個々のイベントそれぞれの尤度の積です。 これは、確率における独立性の定義に従います。つまり、モデルが与えられた場合、2 つの独立したイベントが発生する確率は、確率の積です。 $${\displaystyle \Lambda (A\mid X_{1}\land X_{2})=\Lambda (A\mid X_{1})\cdot \Lambda (A\mid X_{2}).}$$

これは、イベントが独立した観測や復元抽出など、独立かつ同一に分布するランダム変数からのものである場合に特に重要です。このような状況では、尤度関数は個々の尤度関数の積に考慮されます。

空の積の値は 1 で、これはイベントがない場合の尤度が 1 であることに対応します。つまり、データが存在しない状態では、尤度は常に 1 です。これはベイズ統計における均一事前分布に似ていますが、尤度統計では尤度が統合されないため、これは不適切な事前分布ではありません。

対数尤度関数は尤度関数の対数であり、尤度を表す大文字の L または と対比するために、小文字のlまたは⁠ ⁠で表記さ${\displaystyle \ell }$れることが多い。対数は厳密に増加関数であるため、尤度を最大化することは対数尤度を最大化することと同義である。しかし、実用上は最大尤度推定において対数尤度関数を使用する方が便利である。特に、最も一般的な確率分布、特に指数分布族は対数的に凹面であるだけであり、^{[34] [35]}目的関数の凹面性が最大化において重要な役割を果たすからである。 ${\textstyle {\mathcal {L}}}$

各イベントの独立性を考えると、交差の全体的な対数尤度は、個々のイベントの対数尤度の合計に等しくなります。これは、全体的な対数確率が個々のイベントの対数確率の合計であるという事実に類似しています。これによる数学的な利便性に加えて、対数尤度の追加プロセスには、データからの「サポート」として表現されることが多い直感的な解釈があります。最大尤度推定の対数尤度を使用してパラメータが推定される場合、各データポイントは合計対数尤度に追加されて使用されます。データは推定されたパラメータをサポートする証拠と見なすことができるため、このプロセスは「独立した証拠からのサポートが追加」と解釈でき、対数尤度は「証拠の重み」です。負の対数確率を情報内容または意外性として解釈すると、モデルのサポート (対数尤度) は、モデルを与えられた場合のイベントの意外性の負になります。つまり、モデルを与えられた場合のイベントが意外性がない程度に、モデルはイベントによってサポートされます。

尤度比の対数は対数尤度の差に等しくなります。 $${\displaystyle \log {\frac {{\mathcal {L}}(A)}{{\mathcal {L}}(B)}}=\log {\mathcal {L}}(A)-\log {\mathcal {L}}(B)=\ell (A)-\ell (B).}$$

イベントがない場合の尤度が 1 であるのと同様に、イベントがない場合の対数尤度は 0 であり、これは空の合計の値に対応します。つまり、データがなければ、どのモデルもサポートされません。

対数尤度のグラフはサポート曲線と呼ばれます（単変量の場合）。^[36] 多変量の場合、この概念はパラメータ空間上のサポート面へと一般化されます。これは分布のサポートと関係がありますが、それとは異なります。

この用語は、統計的仮説検定、すなわち、データが他のどの仮説（またはパラメータ値）よりも検定されている一つの仮説を「支持」しているかどうかという文脈で、AWFエドワーズ^[36 ]によって造られた。

プロットされている対数尤度関数は、スコア（対数尤度の勾配）とフィッシャー情報（対数尤度の曲率）の計算に使用されます。したがって、このグラフは、最大尤度推定と尤度比検定のコンテキストで直接解釈できます。

対数尤度関数が滑らかな場合、パラメータ に関する勾配（スコアと呼ばれ、 と表記）が存在し、微分積分を適用することができます。微分可能関数を最大化する基本的な方法は、定常点（導関数がゼロになる点）を見つけることです。和の導関数は単に導関数の和ですが、積の導関数には積則 が必要であるため、独立イベントの尤度よりも独立イベントの対数尤度の定常点を計算する方が簡単です。 ${\textstyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$

スコア関数の停留点によって定義される方程式は、最大尤度推定量の 推定方程式として機能します。その意味で、最大尤度推定量は、逆関数の における 値によって暗黙的に定義されます。ここで、はd次元ユークリッド空間、 はパラメータ空間です。逆関数定理 を使用すると、 がの開近傍で明確に定義され、確率が 1 になること、および がの一貫した推定値であることを示すことができます。結果として、漸近的にほぼ確実に、および となるようなシーケンスが存在します。^{[37]同様の結果は}、ロールの定理を使用して確立できます。^{[38] [39]}$${\displaystyle s_{n}(\theta )=\mathbf {0} }$$${\textstyle \mathbf {0} }$ ${\textstyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$${\textstyle \mathbb {E} ^{d}}$${\textstyle \Theta }$${\textstyle s_{n}^{-1}}$${\textstyle \mathbf {0} }$${\textstyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$${\textstyle \theta }$${\textstyle \left\{{\hat {\theta }}_{n}\right\}}$${\textstyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$${\textstyle {\hat {\theta }}_{n}\xrightarrow {\text{p}} \theta _{0}}$

で評価される2番目の導関数はフィッシャー情報として知られており、尤度面の曲率を決定し、^[40]推定値の精度を示します。 ^[41]${\textstyle {\hat {\theta }}}$

対数尤度は、多くの一般的なパラメトリック確率分布を含む指数分布族にも特に役立ちます。指数分布族の確率分布関数 (および尤度関数) には、指数関数を含む因子の積が含まれます。このような関数の対数は積の合計であり、これも元の関数よりも微分化が容易です。

指数族とは、確率密度関数が次の形式であるものである（一部の関数では、内積を と書く）。 ${\textstyle \langle -,-\rangle }$

$${\displaystyle p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.}$$

これらの用語にはそれぞれ解釈がありますが、^[a]確率から尤度に切り替えて対数を取ると、合計は次のようになります。

$${\displaystyle \ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).}$$

および はそれぞれ座標 の変化に対応するため、これらの座標では、指数族の対数尤度は次の簡単な式で与えられます。 ${\textstyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$${\textstyle h(x)}$

$${\displaystyle \ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).}$$

言い換えると、指数族の対数尤度は、自然パラメータ⁠ ⁠${\displaystyle {\boldsymbol {\eta }}}$と十分な統計量 ⁠ ⁠${\displaystyle \mathbf {T} (x)}$の内積から正規化係数 (対数分割関数) ⁠ ⁠を引いたものです。したがって、たとえば最大尤度推定値は、十分な統計量${\displaystyle A({\boldsymbol {\eta }})}$Tと対数分割関数Aの導関数を取ることで計算できます。

ガンマ分布は、2つのパラメータとを持つ指数分布族です。尤度関数は ${\textstyle \alpha }$${\textstyle \beta }$

$${\displaystyle {\mathcal {L}}(\alpha ,\beta \mid x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.}$$

単一の観測値に対するの最大尤度推定値を求めるのは、かなり困難に思えます。対数を使うと、はるかに簡単に処理できます。 ${\textstyle \beta }$${\textstyle x}$

$${\displaystyle \log {\mathcal {L}}(\alpha ,\beta \mid x)=\alpha \log \beta -\log \Gamma (\alpha )+(\alpha -1)\log x-\beta x.\,}$$

対数尤度を最大化するために、まずに関して偏微分をとります。 ${\textstyle \beta }$

$${\displaystyle {\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x)}{\partial \beta }}={\frac {\alpha }{\beta }}-x.}$$

独立した観測値が複数ある場合、結合対数尤度は個々の対数尤度の合計となり、この合計の導関数は各個々の対数尤度の導関数の合計となります。 ${\textstyle x_{1},\ldots ,x_{n}}$

$${\displaystyle {\begin{aligned}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1},\ldots ,x_{n})}{\partial \beta }}\\={}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1})}{\partial \beta }}+\cdots +{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{n})}{\partial \beta }}={\frac {n\alpha }{\beta }}-\sum _{i=1}^{n}x_{i}.\end{aligned}}}$$

結合対数尤度の最大化手順を完了するには、方程式をゼロに設定し、次のように解きます。 ${\textstyle \beta }$

$${\displaystyle {\widehat {\beta }}={\frac {\alpha }{\bar {x}}}.}$$

ここで は最大尤度推定値を表し、 は観測値の サンプル平均です。${\textstyle {\widehat {\beta }}}$${\textstyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$

英語では「尤度」という用語は、少なくとも中英語後期から使われてきました。^[42]数理統計学における特定の関数を指すための正式な用法は、ロナルド・フィッシャー^{[43]によって、1921 年[44]}と 1922 年に発表された 2 つの研究論文で提案されました。[ ^45] 1921 年の論文では、今日「尤度区間」と呼ばれるものが導入され、1922 年の論文では「最大尤度法」という用語が導入されました。フィッシャーの言葉を引用します。

「1922年に私は『尤度』という用語を提案したが、それは[パラメータ]に関してはそれが確率ではなく、確率の法則に従わないという事実に鑑みてなされたものである。しかし同時に[パラメータ]の可能な値の中から合理的に選択するという問題と、偶然のゲームで出来事を予測するという問題とが持つ確率の関係に似た関係を、尤度は[パラメータ]の可能な値の中から合理的に選択するという問題とが持つ。…しかしながら、心理学的判断に関しては尤度は確率といくらか似ているが、この2つの概念はまったく異なるものである…」^[46]

ロナルド・フィッシャー卿が述べたように、尤度の概念は確率と混同されるべきではない。

私がこれを強調するのは、確率と尤度の違いを常に強調してきたにもかかわらず、尤度を確率の一種であるかのように扱う傾向が依然としてあるからである。したがって、最初の結果は、異なるケースに適切な合理的信念の2つの異なる尺度が存在するということである。母集団を知ることで、サンプルに関する不完全な知識または期待を確率で表現できる。サンプルを知ることで、母集団に関する不完全な知識を尤度で表現できる。^[47]

フィッシャーの統計的尤度の発明は、逆確率と呼ばれる以前の推論形式に対する反応でした。^[48]彼が「尤度」という用語を使用したことで、数理統計学におけるこの用語の意味が固定されました。

AWFエドワーズ（1972）は、対数尤度比を、ある仮説に対する別の仮説の相対的な支持の尺度として使用するという公理的な根拠を確立した。支持関数は尤度関数の自然対数である。どちらの用語も系統学で使用されているが、統計的証拠の話題の一般的な扱いには採用されていない。^[49]

統計学者の間では、統計の基礎がどうあるべきかについてのコンセンサスはありません。基礎として提案されている主なパラダイムは、頻度主義、ベイズ主義、尤度主義、AICベースです。^[50]提案されている基礎ごとに、尤度の解釈は異なります。4つの解釈については、以下のサブセクションで説明します。

ベイズ推論では、ある命題やランダム変数の尤度について、別のランダム変数が与えられた場合について話すことができます。たとえば、指定されたデータやその他の証拠が与えられた場合のパラメータ値や統計モデルの尤度（周辺尤度を参照）などです。^{[51] [52] [53] [54]}尤度関数は同じ実体のままですが、(i)パラメータが与えられた場合のデータの条件付き密度（パラメータはランダム変数であるため）と、(ii) パラメータ値やモデルに関してデータによってもたらされる情報の尺度または量という追加の解釈が加わります。^{[51] [52] [53] [54] [55]パラメータ空間またはモデルの集合に確率構造が導入されたことにより、パラメータ値または統計モデルが与えられたデータに対して大きな尤度値を持ちながら}確率が低いことや、その逆のことが起こり得ます。^{[53] [55]}これは医療の文脈ではよくあることです。^[56]ベイズの法則に従うと、条件付き密度として見た尤度は、パラメータの事前確率密度で乗じられ、その後正規化されて事後確率密度を与える。^{[51] [52] [53] [54] [55]}より一般的には、未知の量が与えられた場合の尤度は、与えられた確率に比例する。^{[51] [52] [53] [54] [55]}${\textstyle X}$${\textstyle Y}$${\textstyle Y}$${\textstyle X}$

頻度主義統計では、尤度関数自体は、母集団からの単一のサンプルを要約する統計であり、その計算値は、いくつかのパラメータθ ₁ ... θ _pの選択に依存します。ここで、pは、すでに選択された統計モデル内のパラメータの数です。尤度の値は、パラメータに使用される選択の性能指数として機能し、利用可能なデータを考えると、尤度が最大となるパラメータ セットが最適な選択です。

尤度の具体的な計算は、選択されたモデルといくつかのパラメータθの値が、観測サンプルが抽出された母集団の頻度分布の正確な近似値を与えると仮定して、観測サンプルが割り当てられる確率です。経験的に、パラメータの適切な選択とは、実際に観測されたサンプルが起こったことの事後確率が最大になるようなパラメータを選択することです。ウィルクスの定理は、推定値のパラメータ値によって生成される尤度の対数と母集団の「真の」(ただし未知である) パラメータ値によって生成される尤度の対数の差が漸近的にχ ²分布していることを示すことによって、経験則を定量化します。

各独立サンプルの最大尤度推定値は、サンプルされた母集団を表す「真の」パラメータ セットの個別の推定値です。多数の独立サンプルからの連続推定値は、母集団の「真の」パラメータ値セットがその中間のどこかに隠れた状態で密集します。最大尤度の対数と隣接するパラメータ セットの尤度の差は、パラメータθ ₁ ... θ _{p を}座標とするプロット上に信頼領域を描くために使用できます。この領域は最大尤度推定値を囲み、その領域内のすべてのポイント (パラメータ セット) は、最大で固定値による対数尤度の差があります。ウィルクスの定理によって与えられるχ ²分布は、領域の対数尤度の差を、母集団の「真の」パラメータ セットが内部にある「信頼度」に変換します。固定の対数尤度の差を選択するコツは、信頼度を許容できるほど高くしながら、領域を許容できるほど小さく (推定値の範囲を狭く) することです。

より多くのデータが観測されると、それらを独立した推定値の作成に使用する代わりに、以前のサンプルと組み合わせて単一の結合サンプルを作成し、その大きなサンプルを新しい最大尤度推定値に使用できます。結合サンプルのサイズが大きくなると、同じ信頼度を持つ尤度領域のサイズは縮小します。最終的には、信頼領域のサイズがほぼ 1 つのポイントになるか、母集団全体がサンプリングされます。どちらの場合も、推定されたパラメータ セットは、母集団パラメータ セットと基本的に同じになります。

AICパラダイムでは、尤度は情報理論の文脈の中で解釈される。^{[57] [58] [59]}