最尤推定

尤度関数の定義域であるパラメータ空間は、一般にユークリッド空間の有限次元部分集合ですが、推定プロセスに追加の制約を組み込む必要がある場合もあります。パラメータ空間は次のように表すことができます。 $${\displaystyle \Theta =\left\{\theta$$ :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}

どこ${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$はベクトル値関数マッピングです${\displaystyle \,\mathbb {R} ^{k}\,}$の中へ${\displaystyle \;\mathbb {R} ^{r}~.}$真のパラメータを推定する${\displaystyle \theta }$に属する${\displaystyle \Theta }$実際には、制約条件の下で尤度関数の最大値を求めることを意味する。${\displaystyle ~h(\theta )=0~.}$

理論的には、この制約付き最適化問題に対する最も自然なアプローチは、代入法、つまり制約を「埋める」方法である。${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$セットへ${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$そのような方法で${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$は からの一対一関数です${\displaystyle \mathbb {R} ^{k}}$自身に、そして尤度関数を再パラメータ化して、${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$^{[ 12 ]}最尤推定量の等変性により、最尤推定量の性質は制限付き推定値にも適用されます。 ^{[ 13 ]}例えば、多変量正規分布共分散行列は${\displaystyle \,\Sigma \,}$正定値でなければならない。この制約は、置き換えることによって課すことができる。${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,}$どこ${\displaystyle \Gamma }$は実数の上三角行列であり、${\displaystyle \Gamma ^{\mathsf {T}}}$は転置である。^{[ 14 ]}

実際には、制約は通常ラグランジュ法を用いて課され、上記のように定義された制約条件が与えられると、制約付き尤度方程式が得られる。$${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$$そして${\displaystyle h(\theta )=0\;,}$

どこ${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$はラグランジュ乗数の列ベクトルであり、${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$は偏微分のk × rヤコビ行列です。 ^{[ 12 ]}当然、制約が最大で拘束的でない場合、ラグランジュ乗数はゼロになるはずです。^{[ 15 ]}これにより、ラグランジュ乗数テストとして知られる、制約の「妥当性」の統計的テストが可能になります。

ノンパラメトリック最尤推定は、経験尤度を用いて実行できます。

サポート法は、データセットから推論を行うために使用される手法です。AWF Edwards ^{[ 16 ]}によると、サポート法は、特定のパラメータ値に対するデータセットによって誘導される相対的なサポート、つまり対数尤度の観点から、未知のパラメータについて推論を行うことを目的としています。この手法は、事前情報が利用可能かどうかに関わらず使用できます。最尤法はサポート法の一部ですが、サポート法は、そのサポートによって定義される信頼領域も提供することに注意してください。

以下に概説する条件の下では、最尤推定量は一致性を持つ。一致性とは、データが次のように生成された場合、${\displaystyle f(\cdot \,;\theta _{0})}$観測値nが十分に大きい場合、 θ ₀の値を任意の精度で求めることができます。数学的に言えば、n が無限大に近づくにつれて推定値は${\displaystyle {\widehat {\theta \,}}}$確率的に真の値に収束する：

$${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$$

やや厳しい条件下では、推定量はほぼ確実に（または強く）収束する。

$${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$$

実際のアプリケーションでは、データは決して${\displaystyle f(\cdot \,;\theta _{0})}$。 それよりも、${\displaystyle f(\cdot \,;\theta _{0})}$これは、データによって生成されるプロセスを、多くの場合理想化された形でモデル化したものです。統計学では、「すべてのモデルは間違っている」という格言がよく知られています。したがって、実際の応用においては真の整合性は実現しません。しかしながら、整合性は推定量が持つべき望ましい特性であるとよく考えられています。

一貫性を確立するためには、以下の条件が十分である。^{[ 18 ]}

優位条件は、 iid観測の場合に適用できます。非 iid の場合、確率の一様収束は、数列が次のようになることを示すことで確認できます。${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$確率的に等連続である。

ML推定器が${\displaystyle {\widehat {\theta \,}}}$θ ₀ にほぼ確実に収束する場合、より強い一様収束の条件をほぼ確実に課す必要がある。 $${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$$

さらに、（上記のように仮定したように）データが生成された場合${\displaystyle f(\cdot \,;\theta _{0})}$そして、特定の条件下では、最尤推定量が分布において正規分布に収束することも示せる。具体的には、 ^{[ 19 ]}$${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$$ ここで、Iはフィッシャー情報行列です。

最尤推定量は、観測データに可能な限り最大の確率（連続データの場合は確率密度）を与えるパラメータ値を選択します。パラメータが複数の成分から構成されている場合、完全なパラメータの最尤推定量の対応する成分として、それぞれの成分の最尤推定量を定義します。これと整合して、${\displaystyle {\widehat {\theta \,}}}$は、${\displaystyle \theta }$、そしてもし${\displaystyle g(\theta )}$は、${\displaystyle \theta }$すると、MLE は${\displaystyle \alpha =g(\theta )}$定義により^{[ 20 ]}

$${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$$

これは、いわゆるプロファイル尤度を最大化するものです。

$${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta$$ :\alpha =g(\theta )}L(\theta ).\,}

MLEは、データの特定の変換に関しても同変です。${\displaystyle y=g(x)}$どこ${\displaystyle g}$が1対1であり、推定されるパラメータに依存しない場合、密度関数は以下を満たす。

$${\displaystyle f_{Y}(y)=f_{X}(g^{-1}(y))\,|(g^{-1}(y))^{\prime }|}$$

したがって、尤度関数は次のようになります。${\displaystyle X}$そして${\displaystyle Y}$両者の違いは、モデルパラメータに依存しない要因のみによる。

例えば、対数正規分布の最尤推定パラメータは、データの対数に適合させた正規分布のパラメータと同じです。実際、対数正規分布の場合、${\displaystyle X\sim {\mathcal {N}}(0,1)}$、 それから${\displaystyle Y=g(X)=e^{X}}$Y は対数正規分布に従います。Y の密度は以下に従います。${\displaystyle f_{X}}$標準ノーマルと${\displaystyle g^{-1}(y)=\log(y)}$、${\displaystyle |(g^{-1}(y))^{\prime }|={\frac {1}{y}}}$のために${\displaystyle y>0}$。

上記のように仮定すると、データが生成された場合${\displaystyle ~f(\cdot \,;\theta _{0})~,}$そして、特定の条件下では、最尤推定量が分布収束して正規分布になることも示せる。これは√n一致 性があり、漸近的に効率的である。つまり、クラメール・ラオ限界に達する。具体的には、^{[ 19 ]}

$${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$$ どこ${\displaystyle ~{\mathcal {I}}~}$フィッシャー情報行列は次のとおりです。 $${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$$

特に、これは最尤推定量のバイアスが1 / √ nの オーダーまでゼロに等しいことを意味します。

しかし、この推定量の分布の展開における高次の項を考慮すると、 θ _{mle には}1 ⁄ nのオーダーのバイアスがあることがわかります。このバイアスは (成分ごとに) ^{[ 21 ]}に等しくなります。

$${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$$

どこ${\displaystyle {\mathcal {I}}^{jk}}$（上付き文字付き）は、逆フィッシャー情報行列の（ j,k）番目の成分を表す。${\displaystyle {\mathcal {I}}^{-1}}$、 そして

$${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$$

これらの式を用いることで、最尤推定量の2次バイアスを推定し、そのバイアスを差し引くことで 補正することが可能です。$${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$$この推定量は1 / nの 項まで不偏であり、バイアス補正最大尤度推定量と呼ばれます。

このバイアス補正推定量は、（少なくとも曲線指数族内では）2次効率であり^、 1/n²の項までのすべての2次バイアス補正推定量の中で最小の平均二乗誤差を持つことを意味します。このプロセスを継続して、3次バイアス補正項などを導出することも可能です。ただし、最尤推定量は3次効率ではありません。 ^{[ 22 ]} 

パラメータに関する一様事前分布が与えられた場合、最尤推定量は最も確率の高いベイズ推定量と一致する。実際、最大事後推定値は、ベイズの定理によって与えられる、データが与えられた場合のθの確率を最大化するパラメータθである。

$${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$$

どこ${\displaystyle \operatorname {\mathbb {P} } (\theta )}$はパラメータθの事前分布であり、${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$は、すべてのパラメータについて平均化されたデータの確率です。分母はθに依存しないため、ベイズ推定量は、を最大化することによって得られます。${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$θに関して。さらに、事前の${\displaystyle \operatorname {\mathbb {P} } (\theta )}$が一様分布である場合、ベイズ推定量は尤度関数を最大化することによって得られる。${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$したがって、ベイズ推定量は一様事前分布に対する最尤推定量と一致する。${\displaystyle \operatorname {\mathbb {P} } (\theta )}$。

発見${\displaystyle {\hat {\theta }}}$尤度を最大化するものは、漸近的に次のことと同等である。${\displaystyle {\hat {\theta }}}$確率分布を定義する（${\displaystyle Q_{\hat {\theta }}}$）カルバック・ライブラー情報量の観点から、我々のデータが生成された実際の確率分布（すなわち、によって生成された）との距離が最小となる分布。${\displaystyle P_{\theta _{0}}}$[ ^{24 ]理想的な世界では、PとQは同じであり、}（そして唯一未知のものは${\displaystyle \theta }$P を定義するモデルであるが、そうでない場合や、使用するモデルが誤って指定されている場合でも、MLE は「最も近い」分布 (モデル Q が依存する制約内) を与える。${\displaystyle {\hat {\theta }}}$実際の分布へ${\displaystyle P_{\theta _{0}}}$[ ^{25 ]​}

パラメータの最尤推定値を確率密度関数、累積分布関数、または分位関数の式に代入することで、サンプル外イベントの確率または分位値の予測を生成できます。この確率予測方法は、統計学の教科書^{[ 27 ] [ 28 ] [ 29 ]}やアクチュアリーの教科書^{[ 30 ]}で推奨されており、科学文献でも広く使用されています。しかし、最尤予測では、最尤パラメータ推定値の不確実性が予測に反映されません^{[ 31 ] [ 32 ]} 。その結果、予測された確率は適切に較正されておらず、サンプル外イベントの頻度と一致するとは期待できません。特に、裾超過確率と裾超過分位値は通常過小評価され、場合によっては大幅に過小評価されます。過小評価は、訓練データが少ない場合、推定されるパラメータが多い場合、および裾の遠い場合に最も大きくなります。この予測バイアスが問題となる場合、事前分布をバイアスを軽減または排除するように選択すれば、ベイズ予測が解決策となる可能性がある。^{[ 33 ] [ 34 ] [ 35 ]}

1からnまでの番号が振られたn枚のチケットが箱に入れられ、そこから1枚がランダムに選ばれる場合を考えます（一様分布を参照）。したがって、サンプルサイズは1です。nが不明な場合、最尤推定量は${\displaystyle {\widehat {n}}}$nの期待値は、引かれたチケットの番号mです。（ n  < mの場合は尤度は 0 、n ≥ mの場合は1 / nであり、 n = mのときに最大になります。n の最尤推定値は、可能な値の範囲の「中間」ではなく、可能な値 { m , m + 1, ...} の下限で発生することに注意してください。これにより、バイアスが少なくなります。）引かれたチケットの番号mの期待値、したがって期待値は、         ${\displaystyle {\widehat {n}}}$、は ( n  +  1)/2 です。その結果、サンプルサイズが 1 の場合、nの最尤推定量は、 n を( n  − 1)/2 だけ系統的に過小評価することになります 。

不公平なコインがどれほど偏っているかを判断したいとしましょう。表が出る確率を p とします。すると、目標はpを決定することになります。

コインを80回投げたとします。つまり、サンプルはx ₁  =  H、x ₂  =  T、...、x ₈₀  = T のようになり、表 「H」が出た回数が観測されます。

裏が出る確率は1  − pです(ここでpは上記のθです)。結果が表 49回、裏31 回だったとします。コインは 3 枚のコインが入った箱から取り出されたとします。1 枚は表が出る確率がp = 1 / 3、1枚は表が出る確率がp = 1/2 、もう1枚は表が出る確率がp = 2/3です。コインにはラベルが付いていないため、どれが表だったかはわかりません。最尤推定法を用いると、観測されたデータに基づいて、最も尤度の高いコインを見つけることができます。サンプルサイズが 80、成功回数が 49 で、p (「成功の確率」) の値が異なる二項分布の確率質量関数を用いると、尤度関数 (以下で定義) は 3 つの値のいずれかをとります。         

$${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$$

p  = 2/3のときに尤度が最大化されるため、これがpの最尤推定値となります。  

ここで、コインは1枚しかなく、そのpの値は0 ≤ p ≤ 1の任意の値を取り得ると仮定します。最大化すべき尤度関数は次のようになります。 $${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$$

そして最大化は、0 ≤ p ≤ 1 のすべての可能な値に対して行われます。

この関数を最大化する一つの方法は、pに関して微分してゼロに設定することです。

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$$

これは3つの項の積です。第1項はp  = 0のときに0になります。第2項はp = 1のときに0になります。第3項はp = 49/80のときに0になります。尤度を最大化する解は明らかにp = 49/80です （p  =  0と p = 1では尤度が0になるため）。したがって、pの最尤推定値は49/80です。       

この結果は、ベルヌーイ試行の「成功」回数を表す文字として49の代わりにsを、ベルヌーイ試行の回数を表す文字として80の代わりにnを代入することで容易に一般化できます。全く同じ計算により、 s回の「成功」をもたらすn回のベルヌーイ試行の任意のシーケンスに対する最尤推定値であるs / nが得られます。

正規分布の場合${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$確率密度関数を持つ

$${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$$

n個の独立同分布正規乱数（尤度）の標本に対応する確率密度関数は

$${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$$

この分布族には 2 つのパラメータがあります: θ  = ( μ , σ )  ;したがって、尤度を最大化します。${\displaystyle {\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})}$両方のパラメータを同時に、または可能であれば個別に検討する。

対数関数自体は尤度の範囲において連続的に厳密に増加する関数であるため、尤度を最大化する値は対数も最大化します（対数尤度自体は必ずしも厳密に増加するとは限りません）。対数尤度は次のように表すことができます。

$${\displaystyle \log \left({\mathcal {L}}(\mu ,\sigma ^{2})\right)=-{\frac {n}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(x_{i}-\mu \right)^{2}}$$

（注：対数尤度は情報エントロピーおよびフィッシャー情報量と密接に関連しています。）

次に、この対数尤度の導関数を以下のように計算します。

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log \left({\mathcal {L}}(\mu ,\sigma ^{2})\right)=0-{\frac {-2n({\bar {x}}-\mu )}{2\sigma ^{2}}}.\end{aligned}}}$$ どこ${\displaystyle {\bar {x}}}$は標本平均です。これは次のように解決されます。

$${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$$

これは確かに関数の最大値です。なぜなら、これはμの唯一の変曲点であり、2階微分が厳密にゼロより小さいからです。その期待値は、与えられた分布のパラメータμに等しくなります。

$${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$$

つまり、最尤推定量は${\displaystyle {\widehat {\mu }}}$公平である。

同様に、対数尤度をσに関して微分し、ゼロに等しいとおく。

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$$

これは、

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$$

見積もりを挿入する${\displaystyle \mu ={\widehat {\mu }}}$我々は得る

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$$

期待値を計算するには、式を平均ゼロの確率変数（統計誤差） で書き換えるのが便利です。${\displaystyle \delta _{i}\equiv \mu -x_{i}}$これらの変数で推定値を表現すると、

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$$

上記の式を簡略化するために、${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$そして${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$これによって、

$${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$$

これは推定器が${\displaystyle {\widehat {\sigma }}^{2}}$偏っている${\displaystyle \sigma ^{2}}$また、以下のことも示せる。${\displaystyle {\widehat {\sigma }}}$偏っている${\displaystyle \sigma }$しかし両方とも${\displaystyle {\widehat {\sigma }}^{2}}$そして${\displaystyle {\widehat {\sigma }}}$一貫性がある。

正式には、最大尤度推定量は${\displaystyle \theta =(\mu ,\sigma ^{2})}$は

$${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$$

この場合、最尤推定値は個別に求めることができる。しかし、一般的にはそうではなく、最尤推定値は同時に求める必要がある。

通常の対数尤度は、最大値において特に単純な形をとる。

$${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$$

この最大対数尤度は、より一般的な最小二乗法、さらには非線形最小二乗法においても同じであることが示されています。これは、尤度に基づく近似信頼区間や信頼領域を決定する際によく用いられ、これらは一般的に、上述の漸近正規性を用いるものよりも精度が高いです。

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$はセル/ボックス1からmまでのカウントです。各ボックスには異なる確率があり（ボックスが大きいか小さいかを考えてください）、落下するボールの数を固定します。${\displaystyle n}$:${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$各ボックスの確率は${\displaystyle p_{i}}$ただし、制約条件があります。${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$これは、${\displaystyle X_{i}}$sは独立ではないので、ベクトルの同時確率は${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$これは多項式と呼ばれ、次の形式をとります。

$${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$$

各ボックスを他のすべてのボックスと個別に比較すると二項分布となり、これはその拡張である。

この事象の対数尤度は次のとおりです。

$${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$$

制約条件を考慮に入れ、ラグランジュ乗数を用いる必要がある。

$${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$$

すべての導関数を0と仮定すると、最も自然な推定値が得られる。

$${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$$

制約の有無にかかわらず、対数尤度を最大化する問題は、閉形式では解けない問題となる場合があり、その場合は反復手順を用いる必要がある。

（注：ここでは最大化問題なので、勾配の前の符号が反転しています）

$${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$$ それは収束するには十分小さく、${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

勾配降下法では、 r回目の反復における勾配を計算する必要があるが、2階微分の逆行列、すなわちヘッセ行列を計算する必要はない。そのため、ニュートン・ラフソン法よりも計算速度が速い。

$${\displaystyle \eta _{r}=1}$$そして${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

どこ${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$スコアと​${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$は、 r番目の反復で評価された対数尤度関数のヘッセ行列の逆行列です。 ^{[ 41 ] [ 42 ]}しかし、ヘッセ行列の計算は計算コストが高いため、多くの代替案が提案されています。一般的なBerndt–Hall–Hall–Hausman アルゴリズムは、期待勾配の外積でヘッセ行列を近似し、

$${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta$$ ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta  ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}

他の準ニュートン法では、より精緻な割線更新を用いてヘッセ行列の近似値を得る。