最大尤度推定

統計学において、最大尤度推定法（MLE ）は、観測データが与えられた場合に、仮定の確率分布のパラメータを推定する方法である。これは、仮定の統計モデルの下で観測データが最も確からしいものとなるように尤度関数を最大化することによって達成される。尤度関数を最大化するパラメータ空間の点は、最大尤度推定値と呼ばれる。^{[1]最大尤度の論理は直感的かつ柔軟であるため、この方法は}統計的推論の主要な手段となっている。^{[2] [3] [4]}

尤度関数が微分可能な場合は、最大値を見つけるための微分検定を適用できます。場合によっては、尤度関数の一次条件を解析的に解くことができます。たとえば、線形回帰モデルの通常の最小二乗推定量は、ランダム誤差が同じ分散を持つ正規分布に従うと仮定した場合に尤度を最大化します。^[5]

ベイズ推論の観点から見ると、MLE は一般に、関心領域内で均一な事前分布を持つ最大事後確率 (MAP) 推定と同等です。頻度主義推論では、MLEは極値推定量の特殊なケースであり、目的関数は尤度です。

我々は、一連の観測値を、一連のパラメータで表される未知の結合確率分布からのランダムサンプルとしてモデル化する。最尤推定の目的は、観測データが最高の結合確率を持つパラメータを決定することである。我々は、結合分布を支配するパラメータをベクトルとして書き、この分布がパラメータ空間と呼ばれるパラメトリック族、つまりユークリッド空間の有限次元部分集合内に入るようにする。観測データサンプル における結合密度を評価すると、実数値関数が得られる。 ${\displaystyle \;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\​​mathsf {T}}\;}$ ${\displaystyle \;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;,}$${\displaystyle \,\Theta \,}$${\displaystyle \;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;}$

${\displaystyle {\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y } ;\シータ )\;,}$

これは尤度関数と呼ばれます。独立かつ同一に分布するランダム変数の場合、は単変量密度関数の積になります。 ${\displaystyle f_{n}(\mathbf {y} ;\theta )}$

${\displaystyle f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k}; \θ )~.}$

最大尤度推定の目的は、パラメータ空間上の尤度関数を最大化するモデルパラメータの値を見つけることである^[6]。つまり 、

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

直感的には、これは観測されたデータが最も確からしいものになるパラメータ値を選択する。尤度関数を最大化する特定の値は、最大尤度推定値と呼ばれる。さらに、このように定義された関数が測定可能であれば、最大尤度推定量と呼ばれる。これは通常、標本空間上で定義される関数、すなわち与えられた標本をその引数として取る関数である。尤度関数が存在するための十分条件だが必須条件ではない条件は、尤度関数がコンパクトなパラメータ空間上で連続していることである。^[7]オープンの場合、尤度関数は最大値に達することなく増加する可能性がある。 ${\displaystyle ~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~}$${\displaystyle \,{\mathcal {L}}_{n}\,}$${\displaystyle \;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;}$${\displaystyle \,\Theta \,}$ ${\displaystyle \,\Theta \,}$

実際には、対数尤度と呼ばれる尤度関数の自然対数を使用すると便利な場合がよくあります。

${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

対数は単調関数なので、の最大値はの最大値と同じ値で発生します。^[8]が微分可能で、最大値（または最小値）が発生するための 十分な条件は${\displaystyle \;\ell (\theta \,;\mathbf {y} )\;}$${\displaystyle \theta}$${\displaystyle \,{\mathcal {L}}_{n}~.}$${\displaystyle \ell (\theta \,;\mathbf {y} )}$${\displaystyle \,\Theta \,,}$

${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~,}$

尤度方程式として知られる。いくつかのモデルでは、これらの方程式は明示的に解くことができるが、一般に最大化問題に対する閉形式の解は知られていないか利用可能でなく、MLEは数値最適化によってのみ見つけることができる。もう1つの問題は、有限サンプルでは尤度方程式に複数の根が存在する可能性があることである。^[9]尤度方程式の特定された根が実際に（局所的）最大値であるかどうかは、2次偏微分および交差偏微分行列、いわゆるヘッセ行列が${\displaystyle \,{\widehat {\theta \,}}\,,}$${\displaystyle \,{\widehat {\theta \,}}\,}$

${\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,}$

はにおいて負の半定値であり、これは局所的に凹であることを示す。便利なことに、最も一般的な確率分布、特に指数分布族は対数的に凹である。[ ^{10] [11]}${\displaystyle {\widehat {\theta \,}}}$

尤度関数の領域、つまりパラメータ空間は、一般的にはユークリッド空間の有限次元部分集合であるが、推定プロセスには追加の制約を組み込む必要がある場合がある。パラメータ空間は次のように表される。

${\displaystyle \Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}$

ここで、はベクトル値関数であり、にマッピングされます。に属する真のパラメータを推定することは、実際には、制約条件の下で尤度関数の最大値を見つけることを意味します。${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$${\displaystyle \,\mathbb {R} ^{k}\,}$${\displaystyle \;\mathbb {R} ^{r}~.}$${\displaystyle \theta }$${\displaystyle \Theta }$ ${\displaystyle ~h(\theta )=0~.}$

理論的には、この制約付き最適化問題に対する最も自然なアプローチは置換法である。つまり、制約をから への1 対 1 関数となるような方法で集合に「埋める」ことであり、尤度関数を次のように再パラメータ化する。^[12]最大尤度推定量の同値性のため、MLE の特性は制約付き推定値にも適用される。^{[13]たとえば、}多変量正規分布では、共分散行列は正定値でなければならない。この制約は、をに置き換えることによって課すことができる。ここで、は実数上三角行列であり、 はその転置である。^[14]${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$ ${\displaystyle \,\Sigma \,}$${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,}$${\displaystyle \Gamma }$${\displaystyle \Gamma ^{\mathsf {T}}}$

実際には、ラグランジュ法を用いて制約が課されるのが一般的であり、上記で定義した制約を前提として、制約尤度方程式が導かれる。

${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$そして${\displaystyle h(\theta )=0\;,}$

ここで、はラグランジュ乗数の列ベクトルであり、は偏導関数のk × rヤコビ行列です。 ^[12]当然、制約が最大値で拘束されていない場合、ラグランジュ乗数はゼロになります。^{[15]これにより、}ラグランジュ乗数テストと呼ばれる制約の「妥当性」の統計的テストが可能になります。 ${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$

経験的尤度を使用して、ノンパラメトリック最大尤度推定を実行できます。

最尤推定量は、θの関数として目的関数を最大化することによって得られる極値推定量である。データが独立かつ同一に分布している場合、 ${\displaystyle {\widehat {\ell \,}}(\theta \,;x)}$

${\displaystyle {\widehat {\ell \,}}(\theta \,;x)=\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),}$

これは期待対数尤度のサンプル類似物であり、この期待値は真の密度に関して取られます。 ${\displaystyle \ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]}$

最大尤度推定量は有限サンプルに対して最適な特性を持たない。つまり、有限サンプルで評価した場合、他の推定量の方が真のパラメータ値の周囲に集中する可能性がある。^[16]しかし、他の推定方法と同様に、最大尤度推定量にはいくつかの魅力的な制限特性がある。サンプルサイズが無限大に増加すると、最大尤度推定量のシーケンスには次の特性がある。

• 一貫性: MLE のシーケンスは、推定される値に確率的に収束します。
• 同値性: がの最大尤度推定量であり、が の全単射変換である場合、 の最大尤度推定量は です。同値性プロパティは非全単射変換に一般化できますが、その場合は一般に真の尤度ではない誘導尤度関数の最大値に適用されます。${\displaystyle {\hat {\theta }}}$${\displaystyle \theta }$${\displaystyle g(\theta )}$${\displaystyle \theta }$${\displaystyle \alpha =g(\theta )}$${\displaystyle {\hat {\alpha }}=g({\hat {\theta }})}$
• 効率性、つまりサンプル サイズが無限大に近づくとCramér–Rao 下限が達成されます。これは、一貫した推定量で MLE (またはこの上限に達する他の推定量) よりも漸近平均二乗誤差が低いものはないことを意味し、MLE が漸近正規性を持つことも意味します。
• バイアス補正後の二次効率。

以下に概説する条件下では、最尤推定量は矛盾がありません。矛盾がないとは、データが によって生成され、観測値が十分に大きいn個ある場合、任意の精度でθ ₀の値を見つけることができることを意味します。数学的に言えば、これはn が無限大に近づくにつれて推定量が確率的に真の値 に収束することを意味します。${\displaystyle f(\cdot \,;\theta _{0})}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$

わずかに強い条件下では、推定量はほぼ確実に（または強く）収束します。

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$

実際のアプリケーションでは、データが によって生成されることはありません。むしろ、 は、データによって生成されるプロセスの、多くの場合は理想化された形式のモデルです。統計学では、すべてのモデルは間違っているというのが一般的な格言です。したがって、実際のアプリケーションでは真の一貫性は発生しません。それでも、一貫性は推定器が持つべき望ましい特性であると考えられることがよくあります。 ${\displaystyle f(\cdot \,;\theta _{0})}$${\displaystyle f(\cdot \,;\theta _{0})}$

一貫性を確立するには、以下の条件を満たせば十分である。^[17]

優位条件は、 iid観測 の場合に使用できます。非 iid の場合、確率の一様収束は、シーケンスが確率的に等連続であることを示すことによって確認できます。ML 推定量がほぼ確実にθ ₀に収束することを証明したい場合は、より強力な一様収束の条件をほぼ確実に課す必要があります。 ${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$

さらに、（上記の仮定どおり）データが によって生成された場合、特定の条件下では、最大尤度推定量が分布において正規分布に収束することも示されます。具体的には、 ^[18]${\displaystyle f(\cdot \,;\theta _{0})}$

${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$

ここで、Iはフィッシャー情報行列です。

最尤推定量は、観測データに可能な限り最大の確率（連続の場合は確率密度）を与えるパラメータ値を選択する。パラメータが複数の要素で構成されている場合、それらの個別の最尤推定量を、完全なパラメータのMLEの対応する要素として定義する。これと一致して、が のMLEであり、がの任意の変換である場合、 のMLEは定義により^{[19]となる。}${\displaystyle {\widehat {\theta \,}}}$${\displaystyle \theta }$${\displaystyle g(\theta )}$${\displaystyle \theta }$${\displaystyle \alpha =g(\theta )}$

${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$

いわゆるプロファイル尤度を最大化します。

${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,}$

MLEは、データの特定の変換に関しても同変です。が1対1で、推定するパラメータに依存しない場合、密度関数は次式を満たします。 ${\displaystyle y=g(x)}$${\displaystyle g}$

${\displaystyle f_{Y}(y)=f_{X}(g^{-1}(y))\,|(g^{-1}(y))^{\prime }|}$

したがって、およびの尤度関数は、モデルパラメータに依存しない係数によってのみ異なります。 ${\displaystyle X}$${\displaystyle Y}$

たとえば、対数正規分布の MLE パラメータは、データの対数にフィットした正規分布のパラメータと同じです。実際、対数正規分布の場合、 であれば、対数正規分布に従います。Y の密度は、に対して、標準正規分布およびに従います。 ${\displaystyle X\sim {\mathcal {N}}(0,1)}$${\displaystyle Y=g(X)=e^{X}}$${\displaystyle f_{X}}$${\displaystyle g^{-1}(y)=\log(y)}$${\displaystyle |(g^{-1}(y))^{\prime }|={\frac {1}{y}}}$${\displaystyle y>0}$

上で仮定したように、データが特定の条件下で生成された場合、最大尤度推定量は分布的に正規分布に収束することも示せます。これは√nに整合し、漸近的に効率的であり、つまりクラメール・ラオ境界に到達します。具体的には、^[18]${\displaystyle ~f(\cdot \,;\theta _{0})~,}$ 

${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$

フィッシャー情報行列は次のようになります。 ${\displaystyle ~{\mathcal {I}}~}$

${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

特に、最大尤度推定量のバイアスは次数までゼロに等しいことを意味する。1/√n​ ⁠ .

しかし、この推定量の分布の展開における高次の項を考慮すると、 θ _mleは1 ⁄ nのオーダーのバイアスを持つことがわかります。このバイアスは（成分ごとに） ^[20]に等しいです。

${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$

ここで（上付き文字）は逆フィッシャー情報行列の（ j,k）番目の成分を表し、 ${\displaystyle {\mathcal {I}}^{jk}}$${\displaystyle {\mathcal {I}}^{-1}}$

${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

これらの式を使用すると、最大尤度推定量の 2 次バイアスを推定し、それを減算してそのバイアスを 修正することができます。

${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$

この推定量は、順序の条件まで偏りがない。1/ ん ⁠、バイアス補正最大尤度推定量と呼ばれます。

このバイアス補正推定量は2次効率が高い（少なくとも曲線指数族内では）。つまり、2次バイアス補正推定量の中で、次数 ⁠ の項までの平均二乗誤差が最小であることを意味する。1/ ²位 ⁠  。このプロセスを継続して、3次のバイアス補正項などを導出することは可能です。しかし、最大尤度推定量は3次効率的ではありません。 ^[21]

最大尤度推定量は、パラメータに一様事前分布が与えられた場合の最も確率の高い ベイズ推定量と一致します。実際、最大事後推定値は、ベイズの定理によって与えられる、データが与えられた場合に θの確率を最大化するパラメータθです。

${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$

ここで、 はパラメータθの事前分布であり、 はすべてのパラメータにわたって平均されたデータの確率です。分母はθに依存しないため、ベイズ推定量はθについて最大化することで得られます。さらに事前分布が一様分布であると仮定すると、ベイズ推定量は尤度関数 を最大化することで得られます。したがって、ベイズ推定量は一様事前分布の最大尤度推定量と一致します。 ${\displaystyle \operatorname {\mathbb {P} } (\theta )}$${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$${\displaystyle \operatorname {\mathbb {P} } (\theta )}$${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$${\displaystyle \operatorname {\mathbb {P} } (\theta )}$

機械学習の多くの実用的なアプリケーションでは、最大尤度推定がパラメータ推定のモデルとして使用されます。

ベイズ決定理論は、総期待リスクを最小化する分類器を設計することに関するもので、特に、異なる決定に関連するコスト（損失関数）が等しい場合、分類器は分布全体にわたって誤差を最小化します。^[22]

したがって、ベイズ決定則は次のように述べられる。

「そうでなければ決定する」${\displaystyle \;w_{1}\;}$${\displaystyle ~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~}$${\displaystyle \;w_{2}\;}$

ここで、異なるクラスの予測値である。誤差を最小化する観点からは、次のようにも言える。 ${\displaystyle \;w_{1}\,,w_{2}\;}$

${\displaystyle w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~}$

どこ

${\displaystyle \operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~}$

もし私たちが決めれば、もし私たちが決めれば${\displaystyle \;w_{2}\;}$${\displaystyle \;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}\mid x)\;}$${\displaystyle \;w_{1}\;.}$

ベイズの定理を適用することで

${\displaystyle \operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}}$、

さらに、すべてのエラーに対して同じ損失となるゼロまたは1の損失関数を想定すると、ベイズ決定規則は次のように再定式化できます。

${\displaystyle h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,}$

ここで は予測値であり、 は事前確率です。 ${\displaystyle h_{\text{Bayes}}}$${\displaystyle \;\operatorname {\mathbb {P} } (w)\;}$

尤度を最大化する を見つけることは、カルバック・ライブラー・ダイバージェンスの観点から、データが生成された実際の確率分布（ によって生成された）からの距離が最小となる確率分布（ ）を定義する を見つけることと漸近的に同等です。 ^[23]理想的な世界では、P と Q は同じです（そして唯一不明なのはP を定義する です）が、たとえそうでなく、使用するモデルが誤って指定されていたとしても、MLE は実際の分布 に「最も近い」分布（ に依存するモデル Q の制限内で）を提供します。^[24]${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$${\displaystyle Q_{\hat {\theta }}}$${\displaystyle P_{\theta _{0}}}$${\displaystyle \theta }$${\displaystyle {\hat {\theta }}}$${\displaystyle P_{\theta _{0}}}$

1 からnまでの番号が付けられたn 枚のチケットが箱に入れられ、そのうち 1 枚がランダムに選択される場合を考えます(一様分布を参照)。したがって、サンプル サイズは 1 です。nが不明の場合、nの最大尤度推定量は、抽選されたチケットの番号mです。(尤度は、 n  <  mの場合は 0 、n  ≥  mの場合は1 ⁄ nで、これはn  =  m のときに最大になります。nの最大尤度推定値は、可能な値の範囲の「中央」のどこか (バイアスが少なくなる) ではなく、可能な値 { m、  m  + 1、...} の下限で発生することに注意してください。)抽選されたチケットの番号mの期待値、つまり の期待値は、( n + 1)/2です。結果として、サンプル サイズが 1 の場合、 n の最大尤度推定量はn を( n − 1)/2だけ系統的に過小評価します 。 ${\displaystyle {\widehat {n}}}$${\displaystyle {\widehat {n}}}$

不公平なコインがどの程度偏っているかを判断したいとします。コインを投げて「表」が出る確率をpとします。すると、目標はp を決定することになります。

コインを 80 回投げると仮定します。つまり、サンプルはx ₁  = H、x ₂  = T、...、x _{80 = T のようになり、}表が出た 回数「H」がカウントされます。

裏が出る確率は1 −  pです(したがって、ここでp は上記のθです)。結果が表が 49 回、 裏が31 回で、コインが 3 枚のコインが入った箱から出されたとします。1 枚は確率p  =  1 ⁄ 3で表が出、1 枚は確率p  =  1 ⁄ 2で表が出、もう 1 枚は確率p  =  2 ⁄ 3で表が出ます。コインのラベルは剥がされているため、どれだったかは不明です。最大尤度推定を使用すると、観測されたデータから、尤度が最大となるコインを見つけることができます。サンプル サイズが 80、成功回数が 49 でp (「成功の確率」) が異なる二項分布の確率質量関数を使用すると、尤度関数 (以下で定義) は次の 3 つの値のいずれかになります。

${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$

尤度はp  =  2 ⁄ 3のときに最大化されるため、これがpの 最大尤度推定値となります。

ここで、コインが1枚しかないが、そのpは0 ≤ p ≤ 1の任意の値を取ることができると仮定します。最大化される尤度関数は

${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$

そして最大化は0 ≤ p ≤ 1のすべての可能な値にわたって行われます。

この関数を最大化する 1 つの方法は、 pについて微分し、ゼロに設定することです。

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$

これは 3 つの項の積です。最初の項はp  = 0 のとき 0 です。2 番目の項はp  = 1 のとき 0 です。3 番目の項はp  =  49 ⁄ 80 のとき 0 です。尤度を最大化する解は明らかにp  =  49 ⁄ 80です( p  = 0 およびp  = 1 のとき尤度は 0 になるため)。したがって、pの最大尤度推定量は49 ⁄ 80です。

この結果は、ベルヌーイ試行の「成功」の観測数を表すために 49 の代わりにsなどの文字を、ベルヌーイ試行の数を表すために 80 の代わりにnなどの文字を代入することで簡単に一般化できます。まったく同じ計算でs ⁄ nが得られ、これはs 回の「成功」をもたらすn 回のベルヌーイ試行の任意のシーケンスの最大尤度推定値です。

確率密度関数を持つ正規分布 の場合${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$

n個の独立した同一分布の正規確率変数のサンプルに対する対応する確率密度関数（尤度）は、

${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$

この分布族にはθ  = ( μ ,  σ )という 2 つのパラメータがあります。したがって、両方のパラメータに対して同時に、または可能であれば個別に尤度を最大化します。 ${\displaystyle {\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})}$

対数関数自体は尤度の範囲にわたって連続 的に増加する関数であるため、尤度を最大化する値はその対数も最大化します (対数尤度自体は必ずしも厳密に増加するわけではありません)。対数尤度は次のように表すことができます。

${\displaystyle \log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}}$

(注: 対数尤度は情報エントロピーおよびフィッシャー情報と密接に関連しています。)

この対数尤度の導関数を次のように計算します。

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=0-{\frac {\;-2n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}}$

ここで標本平均はである。これは次のように解ける。 ${\displaystyle {\bar {x}}}$

${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$

これは確かに関数の最大値です。なぜなら、これはμの唯一の転換点であり、2次導関数は厳密にゼロより小さいからです。その期待値は、与えられた分布のパラメータμに等しいです。

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$

これは、最大尤度推定量が偏りがないことを意味します。 ${\displaystyle {\widehat {\mu }}}$

同様に、対数尤度をσについて微分すると、ゼロになります。

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$

これは次のように解決される。

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$

得られた 推定値を挿入する${\displaystyle \mu ={\widehat {\mu }}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$

期待値を計算するには、式を平均ゼロのランダム変数（統計的誤差） で書き直すと便利です。これらの変数で推定値を表すと、 ${\displaystyle \delta _{i}\equiv \mu -x_{i}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$

上記の式を簡略化し、およびという事実を利用すると、次の式が得られます。 ${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$

これは、推定量がに対して偏っていることを意味します。 がに対して偏っていることも示されますが、 と は両方とも一貫しています。 ${\displaystyle {\widehat {\sigma }}^{2}}$${\displaystyle \sigma ^{2}}$${\displaystyle {\widehat {\sigma }}}$${\displaystyle \sigma }$${\displaystyle {\widehat {\sigma }}^{2}}$${\displaystyle {\widehat {\sigma }}}$

正式には、最大 尤度推定量は${\displaystyle \theta =(\mu ,\sigma ^{2})}$

${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$

この場合、MLE は個別に取得できます。ただし、通常はそうはならず、MLE は同時に取得する必要があります。

正規対数尤度が最大になると、次のような非常に単純な形になります。

${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$

この最大対数尤度は、より一般的な最小二乗法、さらには非線形最小二乗法でも同じであることが示されます。これは、尤度に基づく近似信頼区間と信頼領域を決定する際によく使用され、一般的に、上で説明した漸近正規性を使用するものよりも正確です。

変数が相関している、つまり独立していない場合があります。2つのランダム変数は、それらの結合確率密度関数が個々の確率密度関数の積である場合にのみ独立です。つまり、 ${\displaystyle y_{1}}$${\displaystyle y_{2}}$

${\displaystyle f(y_{1},y_{2})=f(y_{1})f(y_{2})\,}$

ランダム変数からn次のガウスベクトルを構築するとします。ここで、各変数の平均は で与えられます。さらに、共分散行列は で表されます。これらのn 個のランダム変数の結合確率密度関数は、次式で与えられる多変量正規分布に従います。 ${\displaystyle (y_{1},\ldots ,y_{n})}$${\displaystyle (\mu _{1},\ldots ,\mu _{n})}$${\displaystyle {\mathit {\Sigma }}}$

${\displaystyle f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)}$

二変量の場合、結合確率密度関数は次のように表されます。

${\displaystyle f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]}$

この場合や、結合密度関数が存在するその他の場合では、尤度関数は、この密度を使用して、上記の「原則」 のセクションで定義されます。

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$は 1 から m までのセル/ボックス内のカウントです。各ボックスには異なる確率があり (ボックスが大きいか小さいかを考えてください)、落ちるボールの数は に固定されます。各ボックスの確率は で、制約条件はです。これはが独立していない場合であり、ベクトルの結合確率は多項式と呼ばれ、次の形式になります。 ${\displaystyle n}$${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$${\displaystyle p_{i}}$${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$${\displaystyle X_{i}}$ ${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$

${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$

各ボックスを他のすべてのボックスに対して個別に見ると二項式となり、これはその拡張です。

この対数尤度は次のようになります。

${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$

制約を考慮してラグランジュ乗数を使用する必要があります。

${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$

すべての導関数を0とすると、最も自然な推定値が導かれる。

${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$

制約の有無にかかわらず対数尤度を最大化することは、閉じた形式では解決できない問題になる可能性があり、その場合は反復手順を使用する必要があります。

特別な場合を除いて、尤度方程式

${\displaystyle {\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0}$

は推定量 に対して明示的に解くことはできません。代わりに、反復的に解く必要があります。つまり、 （ と仮定して）初期推定値から始めて、収束するシーケンス を取得しようとします。この種の最適化問題には多くの手法がありますが、^{[26] [27]}最も一般的に使用されるのは、次の形式の更新式に基づくアルゴリズムです。 ${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}_{1}}$${\displaystyle \left\{{\widehat {\theta }}_{r}\right\}}$

${\displaystyle {\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)}$

ここでベクトルはr番目の「ステップ」の下降方向を示し、スカラーは「ステップ長」^{[28] [29]を表し、}学習率^[30]としても知られています。${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)}$${\displaystyle \eta _{r}}$

(注: ここでは最大化問題なので、勾配の前の符号は反転しています)

${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$ 収束するには十分小さく、${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

勾配降下法では、r 回目の反復で勾配を計算する必要がありますが、2 次導関数の逆数、つまりヘッセ行列を計算する必要はありません。そのため、ニュートン・ラプソン法よりも計算が高速です。

${\displaystyle \eta _{r}=1}$そして${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

ここで、はスコア、は対数尤度関数のヘッセ行列の逆行列であり、どちらもr番目の反復を評価した。^{[31] [32]}しかし、ヘッセ行列の計算は計算コストが高いため、多くの代替法が提案されている。一般的なベルント・ホール・ホール・ハウスマンアルゴリズムは、期待される勾配の 外積でヘッセ行列を近似し、${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$

${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

他の準ニュートン法では、より複雑なセカント更新を使用してヘッセ行列の近似値を求めます。

DFP 式は、対称で正定値であり、2 次導関数の現在の近似値に最も近い解を見つけます。

${\displaystyle \mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},}$

どこ

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle \gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

BFGS は対称かつ正定値の解も提供します。

${\displaystyle B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,}$

どこ

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

BFGS法は、関数が最適値付近で2次テイラー展開を持たない限り、収束することが保証されません。しかし、BFGSは、非滑らかな最適化インスタンスでも許容できるパフォーマンスを発揮します。

もう一つの一般的な方法は、ヘッセ行列をフィッシャー情報行列に置き換えて、フィッシャースコアリングアルゴリズムを得るというものです。この手順は、一般化線形モデルなどの多くの方法の推定において標準的です。 ${\displaystyle {\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]}$

準ニュートン法は一般的ではあるが、必ずしも局所的または大域的最大値ではなく、局所的最小値または鞍点である定常点に収束する可能性がある^{[33] 。したがって、解で評価されたヘッセ行列が}負定値かつ条件付きであることを検証することにより、尤度方程式の得られた解の妥当性を評価することが重要である[ 34 ^]。

最大尤度法の初期の使用者には、カール・フリードリヒ・ガウス、ピエール＝シモン・ラプラス、ソルヴァルド・N・ティーレ、フランシス・イシドロ・エッジワースなどがいます。^{[35] [ 36]しかし、1912年から1922年の間にこの方法の現代版を独力で考案したのは}ロナルド・フィッシャーでした。^{[37] [38]}

最大尤度推定は、1938年にサミュエル・S・ウィルクスが発表した証明（現在ではウィルクスの定理と呼ばれている）で、ついにヒューリスティックな正当性を超越した。^[39]この定理は、複数の独立した観測からの推定値の尤度値の対数の誤差が漸近的にχ ²分布することを示しており、これにより、パラメータの推定値の周りの信頼領域を簡単に決定できる。ウィルクスの証明の唯一の難しい部分は、フィッシャー情報行列の期待値に依存しており、これはフィッシャーによって証明された定理によって提供される。^[40]ウィルクスは生涯を通じて定理の一般性を改良し続け、1962年に最も一般的な証明を発表した。^[41]

最大尤度推定法の開発に関するレビューは多くの著者によって提供されている。^{[42] [43] [44] [45] [46] [47] [48] [49]}

• 赤池情報量基準：MLEに基づく統計モデルを比較するための基準
• 極値推定量: MLEが属するより一般的な推定量のクラス
• フィッシャー情報：情報行列、ML推定値の共分散行列との関係
• 平均二乗誤差: 分布パラメータの推定値（最大尤度推定値でも他の推定値でも）がどれだけ「優れているか」を測る指標
• RANSAC :外れ値を含むデータから数学モデルのパラメータを推定する方法
• ラオ・ブラックウェル定理：可能な限り最良の不偏推定量（平均二乗誤差が最小であるという意味）を見つけるためのプロセスをもたらす。MLEは、多くの場合、このプロセスの良い出発点となる。
• ウィルクスの定理：カイ二乗分布を用いて、単一の標本からの情報を用いて、母集団のパラメータ値のほぼ等確率推定値の領域の大きさと形状を推定する手段を提供する。

• 一般化モーメント法：最大尤度推定における尤度方程式に関連する方法
• M推定量: ロバスト統計で使用されるアプローチ
• 最大事後推定量（MAP）: 事前知識が仮定されている場合の推定量の計算方法の対比
• 最大間隔推定：多くの状況でより堅牢な関連手法
• 最大エントロピー推定
• モーメント法（統計）：分布のパラメータを見つけるためのもう一つの一般的な方法
• サポート法、最大尤度法のバリエーション
• 最小距離推定
• パネルデータの部分尤度法
• 準最大尤度推定量: 誤って指定されているが、それでも一貫性のあるMLE推定量
• 制限付き最大尤度: 変換されたデータセットから計算された尤度関数を使用するバリエーション

• Cramer, JS (1986)。最尤法の計量経済学的応用。ニューヨーク、NY：ケンブリッジ大学出版局。ISBN 0-521-25317-9。
• エリアソン、スコット R. (1993)。最大尤度推定: 論理と実践。ニューベリーパーク: セージ。ISBN 0-8039-4107-2。
• キング、ゲイリー（1989）。『統一的政治方法論：統計的推論の類似性理論』ケンブリッジ大学出版局。ISBN 0-521-36697-6。
• Le Cam, Lucien (1990). 「最大尤度: 入門」ISI Review . 58 (2): 153–171. doi :10.2307/1403464. JSTOR  1403464.
• マグナス、ヤン・R. (2017)。「最大尤度」。計量経済学の理論入門。アムステルダム、オランダ：VU大学出版局。pp. 53–68。ISBN 978-90-8659-766-6。
• ミラー、ラッセル B. (2011)。最大尤度推定と推論。ホーボーケン、ニュージャージー州: Wiley。ISBN 978-0-470-09482-2。
• ピクルス、アンドリュー（1986）。尤度分析入門。ノーリッチ：WHハッチンズ＆サンズ。ISBN 0-86094-190-6。
• セヴェリーニ、トーマス A. (2000)。統計における尤度法。ニューヨーク、NY: オックスフォード大学出版局。ISBN 0-19-850650-3。
• Ward, Michael D. ; Ahlquist, John S. (2018).社会科学のための最大尤度: 分析戦略. ケンブリッジ大学出版局. ISBN 978-1-316-63682-4。

• Tilevik, Andreas (2022). 線形回帰における最大尤度と最小二乗法 (ビデオ)
• 「最大尤度法」、数学百科事典、EMS Press、2001 [1994]
• パーセル、S.「最大尤度推定」。
• Sargent, Thomas ; Stachurski, John. 「最大尤度推定」。Pythonによる定量経済学。
• オット、トゥーメット。ヘニングセン、アルネ (2019-05-19)。 「maxLik: R の最尤推定用パッケージ」。
• レッサー、ローレンス M. (2007)。「『MLE』の歌詞」。テキサス大学理学部数学科学科。テキサス州エルパソ。 2021年3月6日閲覧。