ポイント推定

統計学において、点推定とは、標本データを用いて単一の値（区間ではなく点を特定するため、点推定値と呼ばれる）を計算することであり、これは未知の量（例えば、母平均、分布の分散、またはモデルパラメータ（パラメトリックモデルの場合））の「最良の推測」または「最良の推定値」として機能する。

点推定は区間推定と対比できます。区間推定は、頻度論的推論の場合は信頼区間、ベイズ推論の場合は信用区間のいずれかです。より一般的には、点推定量は集合推定量と対比できます。例としては、信頼集合や信用集合が挙げられます。点推定量は分布推定量とも対比できます。例としては、信頼分布、ランダム化推定量、ベイズ事後分布が挙げられます。

点推定量の性質

偏向

バイアスは、推定量の期待値と推定対象の母集団パラメータの真の値との差として定義されます。また、パラメータの期待値が測定されたパラメータに近いほど、バイアスは小さくなるとも言えます。推定値と真の値が等しい場合、推定量は不偏であるとみなされます。これを不偏推定量と呼びます。推定量の分散が最小であれば、推定量は最良の不偏推定量になります。ただし、分散が小さいバイアスのある推定量は、分散が大きい不偏推定量よりも有用な場合があります。^[¹^]

数学的に言えば、 $T=h(X_{1},\dots ,X_{n})$ はランダムサンプルに基づく推定量である $X_{1},\dots ,X_{n}$ 分布から抽出 $\displaystyle \mathbb {P} _{\theta }}$ 、違い $\mathbb {E} _{\theta }[T]-\theta$ バイアスと呼ばれる $T$ 推定器 $T$ パラメータに対して不偏であると呼ばれる。 $\theta$ バイアスがゼロの場合、 $\theta$ [ ²^{]それ以外}^の場合、 $T$ は偏りがあると言われます。偏りのない推定量の例としては、標本平均と偏りのない標本分散があります。

（不）偏りの概念は、平均以外の指標にも一般化できる。不偏推定量 $T$ ^[³^]を満たす $\mathbb {E} _{\theta }[T]=\mathrm {arg} \min _{\theta '}\mathbb {E} _{\theta }[(T-\theta ')^{2}]=\theta .$ したがって、バイアスの少ない条件は^{[ 4 ]によって定義できる。} $\mathrm {arg} \min _{\theta '}\mathbb {E} _{\theta }{\big [}W{\big (}T,\theta '{\big )}{\big ]}=\theta ,$ ある関数に対して $W$ 例えば、 $W(T,\theta ')=|T-\theta '|$ すると、中央値は平均絶対誤差を最小化する値となるため、推定値は中央値不偏推定値と呼ばれる^{[ 5 ] 。}

一貫性

点推定量は、標本サイズが無限大に近づくにつれて推定値が真の値に近づく確率が 1 に近づく場合、一致性を持つと呼ばれます。標本サイズが無限大に近づくにつれて、推定値が最終的に（ほぼ）確実に真の値に近づく場合、その推定量は強一致性を持つとも呼ばれます。直感的に言えば、標本サイズが十分に大きい場合、一致性を持つ推定量は「おそらく近似的に正しい」ものであり、強一致性を持つ推定量は「確実に近似的に正しい」ものとなります。推定量が不偏である場合、標本サイズが無限大に近づくにつれて分散がゼロに減少すれば、その推定量は既に一致性を持っています。

効率

効率性とは、不偏推定量の分散を調べるために用いられる特性です。バイアス・分散分解によれば、不偏推定量の分散は平均二乗誤差（MSE）に等しく、これは推定量の近似誤差の尺度としてよく用いられます。したがって、分散が最小となる（不偏）推定量を求めることが望ましいと言えます。データが抽出される分布が何らかの形で「良好な」性質を持つ場合、「良好な」性質を持つ不偏推定量の分散は、ある閾値よりも小さくなることはないことが示されます。 $\sigma _{\mathrm {分} }^{2}$ （つまり、クラメール・ラオ限界）。分散が正確に $\sigma _{\mathrm {分} }^{2}$ は効率的と呼ばれる。

より正確には、ランダムサンプルの場合 $X_{1},\dots ,X_{n}$ 分布から抽出 $\displaystyle \mathbb {P} _{\theta }}$ パラメータ付き $\theta \in \mathbb {R}$ （効率はパラメータベクトルについても同様の方法で定義できる）クラメール・ラオ正則条件を満たす任意の正則不偏推定量 $T=h(X_{1},\dots ,X_{n})$ パラメータの $\theta$ クラメール・ラオ限界を満たす

$任意の \theta に対して、\displaystyle \mathrm {Var} _{\theta }(T)\geq {\frac {1}{I(\theta )}}\qquad {\text{$

どこ $I(\theta )$ フィッシャー情報量は $\displaystyle \mathbb {P} _{\theta }}$ 。もし $\mathrm {Var} _{\theta }(T)=1/I(\theta )$ 任意の値に対して $\theta$ 、それから $T$ 効率的と呼ばれる。実際、 $T$ 効率的であるのは、以下の場合に限る。 $\displaystyle \mathbb {P} _{\theta }}$ は指数族であり、 $T$ （実は $h$ ) は自然十分統計量である。^{[ 6 ]}^{[ 7 ]}

推定量の分散は、クラメール・ラオ限界ではなく、他の推定量の分散と比較されることがあります。2つの不偏推定量の場合 $T_{1}$ そして $T_{2}$ 同じパラメータの $\theta$ 推定器 $T_{2}$ より効率的と呼ばれるだろう $T_{1}$ もし $\mathrm {Var} _{\theta }(T_{2})<\mathrm {Var} _{\theta }(T_{1})$ 値に関係なく $\theta$ [ ⁸^]最も効率的な推定量は、結果の変動が最も少ない推定量であるとも言える。相対的効率性の概念は、バイアスのある推定量にも拡張でき、推定量^は $T_{2}$ 推定器よりも効率的です $T_{1}$ （同じ関心パラメータの場合）MSEが $T_{2}$ MSEよりも小さい $T_{1}$ [ ⁹^]

一様最小分散性および不偏性（UMVU）

効率性の概念は、クラメール・ラオ正則条件を満たす推定量と分布に限定される。しかし、この枠組みには当てはまらない他の設定も存在し、そのような場合でも、すべてのパラメータにわたって一様に最小の分散を持つ不偏推定量が存在する。 $\theta$ このような推定量は、（一様に）最小分散不偏推定量（UMVUE/MVUE）と呼ばれます。

分布が与えられた場合 $\displaystyle \mathbb {P} _{\theta }}$ 未知のパラメータを持つ $\theta \in \Theta$ 不偏推定量 ${\hat {\theta }}$ 他の不偏推定量の場合、UMVUEとなります。 ${\hat {T}}$ ^[ 10 ^]

$\mathrm {Var} _{\theta }({\hat {\theta }})\leq \mathrm {Var} _{\theta }({\hat {T}}),$

いかなる場合でも $\theta \in \Theta$ 。

十分

統計学において、統計学者の仕事は、収集したデータを解釈し、調査対象集団について統計的に妥当な結論を導き出すことです。しかし多くの場合、生データは膨大で保存コストも高いため、この目的には適していません。そのため、統計学者は、いくつかの統計量を計算してデータを圧縮し、その統計量に基づいて分析を行うことで、関連情報が失われないようにしたいと考えています。つまり、統計学者は、標本に含まれるパラメータに関するすべての情報を網羅する統計量を選択したいのです。

十分統計量を次のように定義する。 $X=(X_{1},\dots ,X_{n})$ ランダムサンプルである。統計 $T(X)$ 十分であると言われている $\theta$ （または分布の族の場合）条件付き分布が $X$ 与えられた $T$ 依存しない $\theta$ [ ¹¹^]

漸近的性質

多くの場合、統計的推定手順の挙動はサンプルサイズに応じて変化する。 $n$ 無限大に近づく。一貫性に加えて、推定量の望ましい漸近特性 $T_{n}$ のために $\theta$ は：

漸近的不偏性：大まかに言えば、 $T_{n}-\theta$ 平均がゼロの分布に近づく $n$ 無限大に近づく。より正確には、 $T_{n}-\theta$ 分布は平均がゼロの分布に収束する。 $n$ 無限大に近づく。期待値が $T_{n}^{2}$ 爆発しないとき $n$ 無限大に近づくと、これはバイアスが $\mathbb {E} [T_{n}]-\theta$ （標本サイズが有限な場合はゼロにならない場合もあるが）ゼロに収束する。すべての一致推定量は漸近的に不偏である。
漸近正規性：分布 $T_{n}$ 正規分布に近づく $n$ 無限大に近づく。つまり、再スケーリングされた推定値は $\sigma _{n}(T_{n}-\mu _{n})$ 一部のシーケンスについては $(\mu _{n})_{n\in \mathbb {N} }$ そして $(\sigma _{n})_{n\in \mathbb {N} }$ 分布は標準正規分布に収束する。
漸近効率： $\theta$ はパラメトリックモデルのパラメータであり、 $T_{n}$ 漸近的に正規分布であり、かつ漸近的に不偏分布である分布は、 ${\sqrt {n}}(T_{n}-\theta )$ サンプルサイズが小さくなるにつれて収束する $n$ 無限大に近づき、分散がフィッシャー情報の逆数である分布、つまり、1つのデータポイントに基づく通常の不偏推定量で可能な最小の分散になります。

推定方法

以下に、未知のパラメータを推定するために一般的に用いられる方法をいくつか示します。これらの方法は、適用範囲や、根底にある統計的パラダイム（頻度論的アプローチまたはベイズ的アプローチ）において異なります。

頻度論的方法

最尤推定法（MLE）

R.A.フィッシャーによる最尤法は、おそらくパラメータを推定するための最も重要な一般的な方法である。 $\theta _{1},\dots ,\theta _{p}$ パラメトリックモデルの場合。^{[ 12 ]}この方法によれば、未知のモデルパラメータの最良推定値は、観測されたデータを観測する確率（または確率密度）を最大化するものです。モデルパラメータの関数としてのこの確率は尤度と呼ばれ、この方法の名前の由来となっています。^{[ 13 ]}

数学的に言えば、この方法は次のように機能します。 $X=(X_{1},\dots ,X_{n})$ 結合確率密度関数または確率質量関数を持つランダムデータサンプルを表す $f_{\theta }$ ベクトルに応じて $\theta =(\theta _{1},\dots ,\theta _{p})$ モデルパラメータの関数。 $\theta \mapsto f_{\theta }(X)$ これは尤度関数と呼ばれ、しばしばで表されます。 $L$ 真のモデルパラメータが集合内に存在すると仮定する $\Theta \subset \mathbb {R} ^{p}$ 最尤推定量 ${\hat {\theta }}_{\mathrm {MLE} }$ 満たす

$L({\hat {\theta }}_{\mathrm {MLE} })=\max _{\theta \in \Theta }L(\theta )=\max _{\theta \in \Theta }f_{\theta }(X).$

実際には、尤度関数は微分可能であることが多く、その場合 ${\hat {\theta }}_{\mathrm {MLE} }$ は方程式^{[ 14 ]の解である。}

${\frac {\partial L(\theta )}{\partial \theta _{i}}}=0,\quad i=1,\dots ,k.$

尤度に関する特定の仮定の下では、最尤推定量は強一致性、漸近効率性、漸近正規性を持つ。

モーメント法（MoM）

モーメント法は、最も古い推定方法の 1 つです。これは、1895 年にカールピアソンによって初めて導入されました。 ^{[ 15 ]}^{[ 16 ]}^{[ 17 ]}この方法は、分布の関心のある量 (分散やモデルパラメータなど) と、その分布のモーメントとの間の関数関係を使用し、前述の量について解かれる一連の方程式につながります。大数の法則に動機付けられ、分布のモーメントは、サンプルモーメント、つまりデータ値のべき乗の算術平均によって推定されます。^{[ 18 ]}この方法は、その単純さと適用範囲の広さで際立っていますが、最良の推定値が得られない場合が多く、場合によっては推定値がまったく得られないこともあります。^{[ 19 ]}モーメント法の一般化も存在します。

数学的に言えば、分布の場合 $\mathbb {P} _{\theta }$ パラメータのベクトルに応じて $\theta =(\theta _{1},\dots ,\theta _{k})$ 最初の方程式 $k$ 瞬間 $X\sim \mathbb {P} _{\theta }$ 設立される：

${\begin{aligned}&m_{1}=\mathbb {E} [X]=f_{1}(\theta _{1},\dots ,\theta _{k}),\\&\dots \\&m_{k}=\mathbb {E} [X^{k}]=f_{k}(\theta _{1},\dots ,\theta _{k}).\end{aligned}}$

これらの方程式に解が存在するならば、関数が存在する。 $g_{1},\dots ,g_{k}$ パラメータはモーメントによって表現できる

${\begin{aligned}&\theta _{1}=g_{1}(m_{1},\dots ,m_{k}),\\&\dots \\&\theta _{k}=g_{k}(m_{1},\dots ,m_{k}).\end{aligned}}$

ランダムサンプルが与えられた場合 $X_{1},\dots ,X_{n}$ から $\mathbb {P} _{\theta }$ すると、モーメントはサンプルモーメントに置き換えられます。 ${\hat {m}}_{j}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}^{j}$ 、 $j=1,\dots ,k$ モーメント推定量が得られる。

${\begin{aligned}&{\hat {\theta }}_{1}=g_{1}({\hat {m}}_{1},\dots ,{\hat {m}}_{k}),\\&\dots \\&{\hat {\theta }}_{k}=g_{k}({\hat {m}}_{1},\dots ,{\hat {m}}_{k}).\end{aligned}}$

解関数に関する比較的低い仮定の下で $g_{1},\dots ,g_{k}$ そしてその瞬間 $\mathbb {P} _{\theta }$ モーメント推定量は、強い一致性と漸近正規性を持つ。

レーマン・シェッフェの定理

レーマン・シェッフェの定理は、それ自体は推定方法ではないが、完全かつ十分な統計量を持つモデルにおいて UMVU 推定量を構築するための 2 つの方法の動機付けとなる。 $T$ 利用可能です。^{[ 20 ]}^{[ 21 ]}これは、例えば指数型分布族に適用され、そこでは自然十分統計量が常に完全です。

させて $X=(X_{1},\dots ,X_{n})$ ある分布からのランダムサンプルのベクトルである $\mathbb {P} _{\theta }$ パラメータに応じて $\theta$ 。

方法1：推定のために $\theta$ 関数は最大で1つしか存在しない。 $g$ 方程式を解く $\mathbb {E} _{\theta }[g(T(X))]=\theta ,$ この場合、推定器は ${\hat {\theta }}=g(T)$ UMVU推定器は $\theta$ 。

方法2：任意の不偏推定量が与えられた場合 ${\tilde {\theta }}$ の $\theta$ 推定器 ${\hat {\theta }}(X)=\mathbb {E} _{\theta }[{\tilde {\theta }}(X)\mid T(X)],$ つまり、条件付き期待値は ${\tilde {\theta }}$ 与えられた $T$ は、唯一の UMVU 推定量です。場合によっては、適切に選択された不偏推定量の条件付き期待値を計算すると、 $T$ 方法1で方程式を解くよりも簡単かもしれない。

スコアマッチング推定

スコアマッチングは、パラメータ推定のための比較的新しい手法であり、最尤推定法よりも直感的ではないが、多数のパラメータを持つ複雑な分布に対してより有利である。^{[ 22 ]}

データは確率密度関数を持つ分布から抽出されたものと仮定する $f(\mathbf {x} ,{\boldsymbol {\theta }})$ 、 $\mathbf {x} \in \mathbb {R} ^{d}$ パラメータ化 ${\boldsymbol {\theta }}$ スコアマッチング推定に必要なキーとなる量はスコアです。 $\nabla _{\mathbf {x} }\log f(\mathbf {x} ,{\boldsymbol {\theta }})$ 真のパラメータ（ベクトル） ${\boldsymbol {\theta }}$ 特徴は ${\begin{aligned}{\boldsymbol {\theta }}&=\mathrm {arg} \min _{{\boldsymbol {\theta }}'}{\frac {1}{2}}\int _{\mathbb {R} ^{d}}\lVert \nabla _{\mathbf {y} }\log f(\mathbf {y} ,{\boldsymbol {\theta }}')-\nabla _{\mathbf {y} }\log f(\mathbf {y} ,{\boldsymbol {\theta }})\rVert ^{2}f(\mathbf {y} ,{\boldsymbol {\theta }})\mathrm {d} \mathbf {y} \\&=\mathrm {arg} \min _{{\boldsymbol {\theta }}'}\sum _{i=1}^{d}\int _{\mathbb {R} ^{d}}\left(\partial _{y_{i}}^{2}\log f(\mathbf {y} ,{\boldsymbol {\theta }}')+{\frac {1}{2}}(\partial _{y_{i}}\log f(\mathbf {y} ,{\boldsymbol {\theta }}')^{2}\right)f(\mathbf {y} ,{\boldsymbol {\theta }})\mathrm {d} \mathbf {y} .\end{aligned}}$ 2番目の等式に従って、観測値については $\mathbf {x} _{1},\dots ,\mathbf {x} _{n}$ スコアマッチング推定値 ${\hat {\boldsymbol {\theta }}}$ 定義される ${\hat {\boldsymbol {\theta }}}=\mathrm {arg} \min _{{\boldsymbol {\theta }}'}\sum _{j=1}^{n}\sum _{i=1}^{d}\left(\partial _{x_{i}}^{2}\log f(\mathbf {x} _{j},{\boldsymbol {\theta }}')+{\frac {1}{2}}(\partial _{x_{i}}\log f(\mathbf {x} _{j},{\boldsymbol {\theta }}')^{2}\right).$ スコアマッチング推定が最尤推定に比べて持つ主な利点は以下のとおりです。通常、確率密度は次の形式になります。 $f(\mathbf {x} ,{\boldsymbol {\theta }})={\frac {1}{Z({\boldsymbol {\theta }})}}q(\mathbf {x} ,{\boldsymbol {\theta }}),$ 正規化されていない密度 $q(\mathbf {x} ,{\boldsymbol {\theta }})$ 正規化定数 $Z({\boldsymbol {\theta }})$ 後者の計算は、特に依存性がある場合、最尤推定のボトルネックとなることが多い。 ${\boldsymbol {\theta }}$ は非解析的であり、パラメータベクトルは高次元である。対数の微分をとることにより、 $f$ 、 $Z({\boldsymbol {\theta }})$ スコアマッチング推定手順では発生しないため、この問題は解消されます。^{[ 22 ]}

さらに、軽度の制限の下で $f(\mathbf {x} ,{\boldsymbol {\theta }})$ スコアマッチング推定値は弱一致性を持つことが示される。

最小二乗推定法（LSE）

最小二乗法は、観測値を用いた回帰分析におけるパラメータ推定手順です。 $Y_{1},\dots ,Y_{n}$ 共変量の関数として表現する必要がある $X_{1},\dots ,X_{n}\in \mathbb {R} ^{p}$ 経由

$Y_{i}=f_{\beta }(X_{i})+\varepsilon _{i}$

ある関数に対して $f_{\beta }$ パラメータベクトルに応じて $\beta \in \mathbb {R} ^{p+1}$ そしてランダム変数 $\varepsilon _{i}$ データ中のランダムノイズを考慮する。最小二乗推定法（OLS） ${\hat {\beta }}_{\mathrm {OLS} }$ と仮定する $f_{\beta }$ は、の線形関数である。 $\beta$ そして、二乗差の合計（残差と呼ばれる）を最小化することによってパラメータを推定します。

${\hat {\beta }}_{\mathrm {OLS} }\in \mathrm {arg} \min _{\beta \in \mathbb {R} ^{p}}\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-X_{i,1}\beta _{1}-\dots -X_{i,p}\beta _{p}\right)^{2}.$

実際、ノイズ変数が $\varepsilon _{i}$ が独立で、平均がゼロの正規分布に従う場合、OLSは最尤推定量と一致する。

共変量行列のランクが $X=(X_{1},\dots ,X_{n})^{\top }\in \mathbb {R} ^{n\times p}$ に等しい $p$ するとOLSは一意に与えられる。

${\hat {\beta }}_{\mathrm {OLS} }=(X^{\top }X)^{-1}X^{\top }Y,$

そして、ガウス・マルコフの定理により、これは最良の線形不偏推定量（BLUE）です。上記のように、ノイズ変数が独立で同一の正規分布に従う場合、OLSは不偏推定量のクラス全体に対してUMVUとなります。^[²³^]

最小二乗推定には複数のバリエーションが存在する。

重み付き最小二乗法（WLS）推定：残差は異なる重み係数で重み付けされる。 $w_{i}$ 。
一般化最小二乗法（GLS）推定：ノイズ変数は相関していても構いません。
非線形最小二乗推定：関数 $f_{\beta }$ パラメータに非線形に依存する可能性がある $\beta$ 。
正則化最小二乗推定：パラメータは、残差の二乗和と正則化項の合計が最小になるように選択されます。正則化の典型的な選択肢は、ユークリッドノルムです。 $\lVert \beta \rVert _{2}^{2}$ リッジ回帰、または1ノルムにつながる $\lVert \beta \rVert _{1}$ それによってLasso回帰につながる。

ベイズ法

ベイズ推定法では、統計学者がパラメータの分布について持つ事前の信念を考慮に入れ、その分布は密度を持つ分布としてモデル化される。 $\pi$ パラメータ空間において $\Theta$ 事前分布と呼ばれる。観測値が与えられた場合 $X_{1},\dots ,X_{n}$ 固定値の場合 $\theta \in \Theta$ は密度を持つ分布に従って分布すると仮定される。 $p_{\theta }$ 事前分布はベイズの定理に従って更新されます。

$p(\theta \mid X_{1},\dots ,X_{n})={\frac {p_{\theta }(X_{1},\dots ,X_{n})\pi (\theta )}{\int _{\Theta }p_{\theta }(X_{1},\dots ,X_{n})\pi (\theta )\mathrm {d} \theta }}.$ データに基づいて更新されたパラメータの分布は、事後分布と呼ばれます。多くのベイズ点推定量は、事後分布の中心傾向の統計量、例えば平均値、中央値、最頻値などです。

ベイズ推定器

ランダムな観測値のベクトルが与えられた場合 $X=(X_{1},\dots ,X_{n})$ そして損失関数 $L$ ベイズ推定量は任意の推定量である ${\hat {\theta }}(X)$ ベイズリスクを最小限に抑える：^{[ 24 ]} $R_{\pi }({\hat {\theta }})=\int _{\Theta }\mathbb {E} [L(\theta ,{\hat {\theta }}(X))]\pi (\theta )\mathrm {d} \theta =\mathbb {E} \left[\int _{\Theta }L{\big (}\theta ,{\hat {\theta }}(X){\big )}p(\theta \mid X)\mathrm {d} \theta \right].$

当然ながら、期待値下の積分が観測値の関数として最小化されるとき、リスクは最小化される。したがって、ベイズ推定量は事後損失を最小化するものとして等価的に与えられる。

${\hat {\theta }}(X)\in \mathrm {arg} \min _{y\in \mathbb {R} ^{n}}\int _{\Theta }L{\big (}\theta ,y{\big )}p(\theta \mid X)\mathrm {d} \theta .$

最も一般的な選択肢は $L$ 以下の通りです。

$L(\theta ,y)=(\theta -y)^{2}$ この場合、事後損失は事後平均によって最小化される。 ${\hat {\theta }}(X)=\int _{\Theta }\theta \,p(\theta \mid X)\mathrm {d} \theta$ ガウスが観察したように。^{[ 25 ]}

$L(\theta ,y)=|\theta -y|$ : ここでは、ラプラスが観察したように、事後損失は事後分布の中央値によって最小化されます。^[²⁵^]

ウォルドの定理により、一意のベイズ推定量が許容される。^{[ 26 ]}^{[ 27 ]}さらに、事前分布と特定の仮定の下で、 $p_{\theta }$ 事後平均推定量は、一致性、漸近正規性、漸近効率性を持つことが示される。^{[ 28 ]}

最大事後確率（MAP）

最大事後確率推定量 ${\hat {\theta }}_{\mathrm {MAP} }$ 事後分布を最大化する：

${\hat {\theta }}_{\mathrm {MAP} }(X)\in \mathrm {arg} \max _{\theta \in \Theta }p(\theta \mid X).$

ある意味で、MAP推定量は最尤推定量のベイズ版と言える。実際、一様事前分布の場合、MAP推定量は最尤推定量と一致する。

MAP推定量は、最尤推定量が困難となる多くの難しい問題に対しても、優れた漸近特性を持っています。最尤推定量が一致性を持つ通常の問題では、最尤推定量は最終的にMAP推定量と一致します。^{[ 29 ]}^{[ 26 ]}^{[ 30 ]}

その他

最小メッセージ長（MML ）点推定器はベイズ情報理論に基づいており、事後分布とは直接関係がありません。

ベイズフィルターの特殊なケースは重要です。

計算統計学のいくつかの手法は、ベイズ分析と密接な関係がある。

粒子フィルター
マルコフ連鎖モンテカルロ法（MCMC）

点推定値と信頼区間推定値の比較

推定には大きく分けて2種類あります。点推定と信頼区間推定です。点推定では、パラメータ空間内で、パラメータの真の値と合理的に考えられる唯一の点を選択しようとします。一方、パラメータの唯一の推定値ではなく、特定の確率で真の（未知の）パラメータ値を含む集合の族を構築することに関心があります。統計的推論の多くの問題では、パラメータを推定したり、パラメータに関する仮説を検定したりするだけでなく、実数値パラメータの下限値、上限値、またはその両方を取得したい場合もあります。そのためには、信頼区間を構築する必要があります。

信頼区間は、推定値の信頼性を表します。観測データから区間の上限と下限の信頼限界を計算できます。データセット x ₁ , . . . , x _nが与えられ、確率変数 X ₁ , . . . , X _nの実現としてモデル化されているとします。θ を関心のあるパラメータとし、γ を 0 から 1 の間の数値とします。すべての θ の値に対して P(L n < θ < U n ) = γ となるような標本統計量 L _{n = g(X 1}_, . _. . , X n ) と U n = h(X ₁ , . _. . , _X_n )_が存在する場合、l _n = g(x ₁ , . . . , x _n ) および u _n = h(x ₁ , . . . , x _{n ) である (}_l n , u _{n ) は、θ の 100γ%}信頼区間と呼ばれます。 γ という数値は信頼水準と呼ばれます。^[³¹^]一般に、正規分布に従う標本平均 Ẋ と既知の標準偏差 σ の値を用いて、真の μ の 100(1-α)% 信頼区間は、Ẋ ± e を取ることによって形成されます。ここで、e = z _1-α/2 (σ/n ^1/2 ) であり、z _1-α/2は標準正規曲線の 100(1-α/2)% 累積値、n はその列のデータ値の数です。たとえば、95% 信頼の場合、z _1-α/2は 1.96 になります。^[³²^]

ここでは、観測値の集合から 2 つの限界値 l _nと u _{nが計算され、γ の真の値が l}_nと u _nの間にあることが一定の信頼度 (確率的に測定) で主張されます。したがって、γ(θ) の真の値が含まれると予想される区間 (l n と u n ) が得られます_。この_{タイプの推定は信頼区間推定と呼ばれます。}^{[ 33 ]}この推定は、パラメータが存在すると予想される値の範囲を提供します。これは一般的に点推定よりも多くの情報を提供し、推論を行う際に好まれます。ある意味で、点推定は区間推定の反対であると言えます。

注記

↑デッキングら。 (2005)、p. 305
↑デッキングら。 (2005)、p. 290
↑カセラ＆バーガー（2002）、58ページ
↑レーマン、エーリッヒ L. (1951). 「不偏性の一般概念」 .数理統計学年報. 22 (4): 587–592 .
↑ブラウン、ジョージ W. (1947). 「小標本推定について」 .数理統計学年報. 18 (4): 582–585 .
↑レーマン＆カセラ（1998）、120～121ページ
↑カセラ＆バーガー（2002）、341ページ
↑デッキングら。 (2005)、p. 303
↑デッキングら。 (2005)、p. 305
↑レーマン＆カセラ（1998）、p.85
↑ Sahu et al. (2015), p. 3
↑ Sahu et al. (2015), p. 48
↑ドッジ（2008）、334ページ
↑サフら。 (2015)、p. 48–49
↑ピアソン、カール (1895)。「進化の数学的理論への貢献。II. 均質な物質における歪んだ変化」。ロンドン王立協会の哲学的トランザクションA。186 : 343–414。
↑ Sahu et al. (2015), p. 47
↑ドッジ（2008）、349ページ
↑ドッジ（2008）、348～349ページ
↑シャオ (2003)、p. 207
↑レーマン＆カセラ（1998）、88～89ページ
↑シャオ (2003)、p. 162
1 2 Hyvärinen, Aapo (2005). "スコアマッチングによる非正規化統計モデルの推定" . Journal of Machine Learning Research . 6 : 695– 709.
↑サフら。 (2015)、p. 56–57
↑レーマン＆カセラ（1998）、5ページおよび225ページ
1 2 Dodge, Yadolah編 (1987). L1ノルムに基づく統計データ分析と関連手法: 1987年8月31日～9月4日にヌーシャテルで開催された第1回国際会議の論文集. North-Holland Publishing .
1 2ル・カム、ルシアン(1986).統計的決定理論における漸近的方法. Springer-Verlag . ISBN 0-387-96307-3。
↑レーマン＆カセラ（1998）、323ページ
↑レーマン＆カセラ（1998）、488～490ページ
↑ファーガソン、トーマス S. (1996).大標本理論入門.チャップマン＆ホール. ISBN 0-412-04371-8。
↑ Ferguson, Thomas S. (1982). 「不整合な最尤推定」。Journal of the American Statistical Association . 77 (380): 831– 834. doi : 10.1080/01621459.1982.10477894 . JSTOR 2287314 .
↑デッキングら。 (2005)、p. 343
↑実験計画法 ― 経営、工学、科学への応用。Springer: Paul D. Berger、Robert E. Maurer、Giovana B. Celli。2019年。
↑サフら。 (2015)、p. 131

参考文献

Bickel, Peter J.; Doksum, Kjell A. (2015).数理統計学：基礎と厳選されたトピック。第 I 巻( 第 2 版)。Taylor & Francis。ISBN 978-1-4987-2381-7。
カセラ、ジョージ；バーガー、ロジャー L. (2002).統計的推論（第 2 版）. ダックスベリー.
デッキング、FM;クライカンプ、C.ロプハー、HP;ミースター、LE (2005)。確率と統計の最新入門。スプリンガー。ISBN 978-1-85233-896-1。
ドッジ、ヤドラ（2008）。統計学簡潔百科事典。シュプリンガー。ISBN 978-0-387-32833-1。
ジェインズ、ET（2003）。確率論：科学の論理。ケンブリッジ大学出版局。ISBN 978-0-521-59271-0。
レーマン、エーリッヒ・L. 、カセラ、ジョージ（1998）。点推定理論（第2 版）。ニューヨーク：スプリンガー。ISBN 0-387-98502-6。
リーゼ、フリードリヒ；ミースケ、クラウス-J. (2008).統計的決定理論：推定、検定、および選択. Springer .
サフ、プラディップ・クマール。パル、サンティ・ランジャン。ダス、アジット・クマール (2015)。推定と推論統計。スプリンガー。ISBN 978-81-322-2514-0。
Shao, Jun (2003).数理統計学（第2 版）. Springer . ISBN 978-0-387-95382-3。

[1] デッキングら。 (2005)、p. 305

[2] デッキングら。 (2005)、p. 290

[3] カセラ＆バーガー（2002）、58ページ

[4] レーマン、エーリッヒ L. (1951). 「不偏性の一般概念」 .数理統計学年報. 22 (4): 587–592 .

[5] ブラウン、ジョージ W. (1947). 「小標本推定について」 .数理統計学年報. 18 (4): 582–585 .

[6] レーマン＆カセラ（1998）、120～121ページ

[7] カセラ＆バーガー（2002）、341ページ

[8] デッキングら。 (2005)、p. 303

[9] デッキングら。 (2005)、p. 305

[10] レーマン＆カセラ（1998）、p.85

[11] Sahu et al. (2015), p. 3

[12] Sahu et al. (2015), p. 48

[13] ドッジ（2008）、334ページ

[14] サフら。 (2015)、p. 48–49

[15] ピアソン、カール (1895)。「進化の数学的理論への貢献。II. 均質な物質における歪んだ変化」。ロンドン王立協会の哲学的トランザクションA。186 : 343–414。

[16] Sahu et al. (2015), p. 47

[17] ドッジ（2008）、349ページ

[18] ドッジ（2008）、348～349ページ

[19] シャオ (2003)、p. 207

[20] レーマン＆カセラ（1998）、88～89ページ

[21] シャオ (2003)、p. 162

[:2-22] 1 2 Hyvärinen, Aapo (2005). "スコアマッチングによる非正規化統計モデルの推定" . Journal of Machine Learning Research . 6 : 695– 709.

[23] サフら。 (2015)、p. 56–57

[24] レーマン＆カセラ（1998）、5ページおよび225ページ

[Dodge-25] 1 2 Dodge, Yadolah編 (1987). L1ノルムに基づく統計データ分析と関連手法: 1987年8月31日～9月4日にヌーシャテルで開催された第1回国際会議の論文集. North-Holland Publishing .

[LeCam-26] 1 2ル・カム、ルシアン(1986).統計的決定理論における漸近的方法. Springer-Verlag . ISBN 0-387-96307-3。

[27] レーマン＆カセラ（1998）、323ページ

[28] レーマン＆カセラ（1998）、488～490ページ

[29] ファーガソン、トーマス S. (1996).大標本理論入門.チャップマン＆ホール. ISBN 0-412-04371-8。

[FergJASA-30] Ferguson, Thomas S. (1982). 「不整合な最尤推定」。Journal of the American Statistical Association . 77 (380): 831– 834. doi : 10.1080/01621459.1982.10477894 . JSTOR 2287314 .

[31] デッキングら。 (2005)、p. 343

[32] 実験計画法 ― 経営、工学、科学への応用。Springer: Paul D. Berger、Robert E. Maurer、Giovana B. Celli。2019年。

[33] サフら。 (2015)、p. 131

[

2

[

[ 4 ]によって定義できる。

[ 5 ] 。

[ 6 ]

[ 7 ]

8

9

[

11

[ 12 ]

[ 13 ]

[ 14 ]の解である。

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[

[

[ 33 ]