推定理論

推定理論は、ランダムな要素を持つ測定された経験的データに基づいてパラメータの値を推定する統計学の一分野です。パラメータは、その値が測定データの分布に影響を与えるような形で、基礎となる物理的設定を記述します。推定者は、測定値を使用して未知のパラメータを近似しようとします。推定理論では、一般的に2つのアプローチが考えられます。^[1]

• 確率的アプローチ（この記事で説明）は、測定されたデータがランダムであり、確率分布が関心のあるパラメータに依存すると仮定します。
• セットメンバーシップアプローチでは、測定されたデータベクトルがパラメータベクトルに依存するセットに属していると想定します。

たとえば、特定の候補者に投票する有権者の人口の割合を推定することが望まれます。その割合が求められるパラメータであり、推定は有権者の小さなランダム サンプルに基づいています。あるいは、年齢などの人口統計学的特徴に基づいて、有権者が特定の候補者に投票する確率を推定することが望まれます。

あるいは、たとえばレーダーでは、送信されたパルスの受信エコーの双方向の通過タイミングを分析することで、物体（飛行機、船など）の距離を測ることが目的です。反射されたパルスは電気ノイズに埋め込まれることが避けられないため、測定値はランダムに分布し、通過時間を推定する必要があります。

別の例として、電気通信理論では、関心のあるパラメータに関する情報を含む測定値は、ノイズの多い 信号に関連付けられることがよくあります。

与えられたモデルでは、推定子を実装するために、いくつかの統計的「材料」が必要です。1 つ目は統計的サンプル、つまりサイズNのランダム ベクトル(RV)から取得されたデータ ポイントのセットです。ベクトルに入れられます。2 つ目は、 値を推定するM個のパラメーター です。3 つ目は、データを生成した基礎分布の連続確率密度関数(pdf) またはその離散的対応物である確率質量関数(pmf) を、パラメーターの値に応じて指定する必要があります。 パラメーター自体が確率分布を持つこともできます (例:ベイズ統計)。その場合は、ベイズ確率を定義する必要があります。 モデルが形成された後、目標はパラメーターを推定することです。推定値は通常 で示され、「ハット」は推定値を示します。 $${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$$$${\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$$$${\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}$$ $${\displaystyle \pi ({\boldsymbol {\theta }}).\,}$$${\displaystyle {\hat {\boldsymbol {\theta }}}}$

一般的な推定量の 1 つは、最小平均二乗誤差(MMSE) 推定量です。これは、推定されたパラメータとパラメータの実際の値の間の誤差を 最適性の基準として使用します。次に、この誤差項を二乗し、この二乗値の期待値をMMSE 推定量に対して最小化します。 $${\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}$$

一般的に使用される推定量（推定方法）とそれに関連するトピックは次のとおりです。

• 最大尤度推定量
• ベイズ推定量
• モーメント推定法
• クラメール・ラオ行き
• 最小二乗法
• 最小平均二乗誤差(MMSE)、別名ベイズ最小二乗誤差 (BLSE)
• 最大事後確率(MAP)
• 最小分散不偏推定量(MVUE)
• 非線形システム同定
• 最良線形不偏推定量(青)
• 偏りのない推定量 —推定量のバイアスを参照してください。
• 粒子フィルター
• マルコフ連鎖モンテカルロ法(MCMC)
• カルマンフィルタとそのさまざまな派生
• ウィーナーフィルター

平均がゼロで分散が既知の加法性白色ガウス雑音（AWGN）を伴う未知の定数（つまり、 ）で構成される独立したサンプルの受信離散信号を考えます。分散が既知のため、唯一の未知のパラメータは です。 ${\displaystyle x[n]}$${\displaystyle N}$ ${\displaystyle A}$${\displaystyle w[n]}$ ${\displaystyle \sigma ^{2}}$${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$${\displaystyle A}$

信号のモデルは $${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$$

パラメータの推定値として考えられるものは 2 つあります (多数あります)。 ${\displaystyle A}$

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$これはサンプル平均である

これらの推定値は両方とも平均を持ち、これは各推定値の 期待値 と ${\displaystyle A}$$${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$$$${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$$

この時点では、これら 2 つの推定値のパフォーマンスは同じであるように見えます。ただし 、分散を比較すると、両者の違いが明らかになります。 $${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$$$${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{独立性}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$$

N > 1ごとに分散が低くなるため、サンプル平均の方がより適切な推定値であると思われます  。

最尤推定量を用いた例を続けると、1つのサンプルに対するノイズの確率密度関数（pdf）は 、の確率は（と考えることができる） となる。独立性 により、の確率は、 pdfの 自然対数 と最尤推定量 を取ると、 ${\displaystyle w[n]}$$${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$$${\displaystyle x[n]}$${\displaystyle x[n]}$${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$$${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$$${\displaystyle \mathbf {x} }$$${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$$$${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$$$${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$$

対数尤度関数の 一次導関数 をゼロに設定する $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$$${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$$

この結果、単純にサンプル平均である最大尤度推定値が 得られます。この例から、サンプル平均は、AWGN によって破損した固定の未知のパラメータのサンプル の最大尤度推定値であることがわかりました。$${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$$${\displaystyle N}$

標本平均推定量のクラメール・ラオ下限値（CRLB）を求めるには、まずフィッシャー情報数 を求め 、上からコピーする。 $${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$$$${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$

2次導関数を取り 、負の期待値を見つけることは、決定論的な定数であるため簡単です。 $${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$$${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

最後に、フィッシャー情報を 結果に当てはめると、 $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$$$${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$$

これを標本平均の分散（以前に決定）と比較すると、標本平均は、およびのすべての値に対して Cramér–Rao 下限に等しいことがわかります。言い換えると、標本平均は（必然的に唯一の）効率的な推定量であり、したがって、最大尤度推定量であるだけでなく、最小分散不偏推定量（MVUE）でもあります。 ${\displaystyle N}$${\displaystyle A}$

推定の最も単純で重要な例の 1 つは、一様分布の最大値の推定です。これは、実践的な教室の演習として、また推定理論の基本原理を説明するために使用されます。さらに、単一のサンプルに基づく推定の場合、最大尤度推定量と尤度関数の使用に関する哲学的問題と誤解の可能性が示されます。

最大値が不明な離散一様分布 が与えられた場合、最大値の UMVU推定量は次のように与えられます。 ここで、 mはサンプル最大値、kは非復元サンプリングのサンプルサイズです。 ^{[2] [3]}この問題は、最大値推定を第二次世界大戦中のドイツの戦車生産量の推定に適用したことから、一般にドイツ戦車問題として知られています。 ${\displaystyle 1,2,\dots ,N}$$${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$$

この式は直感的に次のように理解できます。

このギャップは、標本最大値が母集団最大値の推定値として持つ負のバイアスを補正するために追加されている。^{[注 1]}

これは分散が^[2] なので 、標準偏差はおよそ で、サンプル間のギャップの（母集団の）平均サイズです。上記と比較してください。これは最大間隔推定の非常に単純なケースと見ることができます。 $${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$$${\displaystyle N/k}$${\displaystyle {\frac {m}{k}}}$

サンプル最大値は母集団最大値の最大尤度推定値ですが、上で説明したように、偏りがあります。

推定理論の使用が必要な分野は数多くあります。これらの分野には次のようなものがあります。

• 科学実験の解釈
• 信号処理
• 臨床試験
• 世論調査
• 品質管理
• 通信
• プロジェクト管理
• ソフトウェアエンジニアリング
• 制御理論（特に適応制御）
• ネットワーク侵入検知システム
• 軌道決定

測定されたデータはノイズや不確実性の影響を受ける可能性があり、統計的確率を通じて、データから可能な限り 多くの情報を抽出するための最適なソリューションが求められます。

• ウィキメディア・コモンズの推定理論に関連するメディア