経験的可能性

確率論と統計学において、 経験的尤度( EL ) は統計モデルのパラメータを推定するノンパラメトリックな手法である。尤度ベースの推論のメリットの一部を保持しながら、誤差分布に関する仮定が少なくて済む。推定法では、データが独立かつ同一分布(iid) していることが求められる。分布が非対称または検閲されている場合でも、良好なパフォーマンスを発揮する。^[1] EL 法では、パラメータの制約と事前情報も処理できる。アート・オーウェンは 1988 年の論文でこの分野の先駆者となった。^[2]

ランダム変数のiid実現の集合が与えられた場合、経験分布関数は、指標関数と（正規化された）重みを持つ となる。この場合、経験尤度は次のように表される: ^[3]${\displaystyle n}$${\displaystyle y_{i}}$${\displaystyle Y_{i}}$${\displaystyle {\hat {F}}(y):=\sum _{i=1}^{n}\pi _{i}I(Y_{i}}) である。$${\displaystyle I}$${\displaystyle \pi_{i}}$

${\displaystyle L:=\prod _{i=1}^{n}{\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}},}$

ここで、 は小さな数値です (次の小さいサンプルとの差になる可能性があります)。 ${\displaystyle \delta y}$

経験的尤度推定は、経験的分布関数に対するさらなる制約（一般化推定方程式アプローチに類似）を使用することで、サイド情報で補強することができます。たとえば、次のような制約は、次を意味するラグランジュ乗数を使用して組み込むことができます。 ${\displaystyle E[h(Y;\theta )]=\int _{-\infty }^{\infty }h(y;\theta )dF=0}$${\displaystyle {\hat {E}}[h(y;\theta )]=\sum _{i=1}^{n}h(y_{i};\theta )\pi _{i}=0}$

同様の制約があれば、相関関係もモデル化できます。

経験的尤度法は離散分布にも適用できる。^[4 ] ${\displaystyle \ p_{i}:={\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y),\ i=1,...,n}$${\displaystyle p_{i}\geq 0{\text{ かつ }}\sum _{i=1}^{n}\ p_{i}=1.}$

すると、経験的尤度は再び となります。 ${\displaystyle L(p_{1},...,p_{n})=\prod _{i=1}^{n}\ p_{i}}$

ラグランジュ乗数法を使用して、自明な正規化制約の下で経験的尤度の対数を最大化すると、最大値が見つかります。したがって、は経験分布関数です。 ${\displaystyle p_{i}=1/n}$${\displaystyle {\hat {F}}}$

EL推定値は、推定関数に基づく制約と尤度関数の確率重みの合計が1になるという単純な仮定の下で、経験的尤度関数（上記参照）を最大化することによって計算されます^。[5]この手順は次のように表されます。

${\displaystyle \max_{\pi_{i},\theta}\ln(L)=\max_{\pi_{i},\theta}\sum_{i=1}^{n}\ln\pi_{i}}$

制約を受ける

${\displaystyle st\sum _{i=1}^{n}\pi _{i}=1,\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta )=0,\forall i\in [1..n]\quad 0\leq \pi _{i}.}$^{[6] : 式(73)}

θパラメータの値はラグランジアン関数を解くことで求められる。

${\displaystyle {\mathcal {L}}=\sum _{i=1}^{n}\ln \pi _{i}+\mu (1-\sum _{i=1}^{n}\ pi _{i})-n\tau '\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta ).}$^{[6] : 式(74)}

この最大化問題と最大エントロピーを求める問題の間には明らかな類似点があります。

パラメータは迷惑パラメータです。 ${\displaystyle \pi_{i}}$

経験的尤度比関数が定義され、関心のあるパラメータθの信頼区間を取得するために使用されます。これはパラメトリック尤度比信頼区間に似ています。 ^{[7] [8]} L(F)を関数の経験的尤度とすると、ELRは次のようになります。 ${\displaystyle F}$

${\displaystyle R(F)=L(F)/L(F_{n})}$。

次のような集合を考える

${\displaystyle C=\{T(F)|R(F)\geq r\}}$。

このような条件下では、 t が に属さないとき、つまり、尤度 を持つ分布 F が ない場合、の検定は棄却されます。 ${\displaystyle T(F)=t}$${\displaystyle C}$${\displaystyle T(F)=t}$${\displaystyle L(F)\geq rL(F_{n})}$

中心的な結果は、X の平均に関するものです。明らかに、 に対する何らかの制限が必要であり、そうでなければ となります。これを確認するために、次のようにします。 ${\displaystyle F}$${\displaystyle C=\mathbb {R} ^{p}}$${\displaystyle r<1}$

${\displaystyle F=\epsilon \delta _{x}+(1-\epsilon )F_{n}}$

が十分に小さく、 の 場合、 となります。 ${\displaystyle \epsilon }$${\displaystyle \epsilon >0}$${\displaystyle R(F)\geq r}$

しかし、 が を通るとき、 の平均もを通って まで広がり、 をたどるとになります。この問題は、 を有界集合でサポートされている分布 F に制限することで解決できます。サンプルでサポートされる t 分布、つまり分布 に注目することが可能であることがわかります。統計学者は の有界サポートを指定したくない場合があり、は の構築を有限次元の問題に変換するため、このような方法は便利です。 ${\displaystyle x}$${\displaystyle \mathbb {R} ^{p}}$${\displaystyle F}$${\displaystyle C=\mathbb {R} ^{p}}$${\displaystyle F\ll F_{n}}$${\displaystyle F}$${\displaystyle t}$${\displaystyle C}$

経験的尤度の使用は信頼区間に限定されません。効率的な分位回帰では、ELベースの分類^[9]手順は、レベルpでの真の離散分布の形状を決定するのに役立ち、一貫した推定値を定式化する方法も提供します。さらに、ELはパラメトリック尤度の代わりにモデル選択基準を形成するために使用できます。^{[10]経験的尤度は、}生存分析^[11]や回帰問題^[12] に当然適用できます。

• ブートストラップ（統計）
• ジャックナイフ（統計）
• ネルソン・アーレン推定量
• 生存分析#離散時間生存モデル

• Nordman, Daniel J.、および Soumendra N. Lahiri。「時系列に対する経験的尤度法のレビュー」Journal of Statistical Planning and Inference 155 (2014): 1-18。https://doi.org/10.1016/j.jspi.2013.10.001