統計的推論

標本統計量の正確な分布を特定することは困難であるため、それらを近似するための多くの方法が開発されてきた。

有限サンプルでは、​​近似結果は極限分布が統計量のサンプル分布にどれだけ近づくかを測定します。たとえば、10,000 個の独立サンプルでは、​​ベリー・エッセンの定理により、正規分布は多くの母集団分布のサンプル平均の分布を (2 桁の精度で) 近似します。^{[ 15 ]}しかし、シミュレーション研究と統計学者の経験によると、多くの実際的な目的では、10 (またはそれ以上) 個の独立サンプルがある場合、正規近似はサンプル平均の分布の良い近似を提供します。^{[ 15 ]} 1950 年代のコルモゴロフの研究に続いて、高度な統計学では、近似理論と関数解析を使用して近似の誤差を定量化します。このアプローチでは、確率分布の計量幾何学が研究されます。このアプローチでは、例えば、カルバック・ライブラー情報量、ブレグマン情報量、ヘリンジャー距離を用いて近似誤差を定量化する。^{[ 16 ] [ 17 ] [ 18 ]}

無限に大きなサンプルでは、​​中心極限定理のような極限結果は、存在する場合、サンプル統計量の極限分布を記述します。極限結果は有限サンプルに関する記述ではなく、実際、有限サンプルとは無関係です。^{[ 19 ] [ 20 ] [ 21 ]}しかし、極限分布の漸近理論は、有限サンプルを扱う作業によく用いられます。たとえば、極限結果は、計量経済学や生物統計学でよく用いられる一般化モーメント法や一般化推定方程式の使用を正当化するためによく用いられます。極限分布と真の分布の差の大きさ（正式には近似の「誤差」）は、シミュレーションを用いて評価できます。^{[ 22 ]}有限サンプルへの極限結果のヒューリスティックな適用は、多くのアプリケーション、特に対数凹尤度を持つ低次元モデル（1パラメータ指数族など）でよく行われます。

ランダム化実験のデータを分析する際には、線形モデルやロジスティックモデルなどの統計モデルを参照するのが一般的です。^{[ 40 ]}ただし、統計モデルの選択はランダム化スキームによって左右されます。ランダム化スキームを知らずに適切なモデルを選択することはできません。^{[ 24 ]}実験プロトコルを無視してランダム化実験のデータを分析すると、重大な誤解を招く結果が生じる可能性があります。よくある間違いとしては、実験で使用したブロックを忘れたり、同じ実験ユニットでの繰り返し測定と、異なる実験ユニットに適用した処理の独立した繰り返しを混同したりすることが挙げられます。^{[ 41 ]}

モデルフリー技術は、現実を単純化する還元主義的戦略を採用するモデルベースの手法を補完するものです。前者は、プロセスの文脈的類似性に動的に適応し、観測の固有の特性を学習するアルゴリズムを組み合わせ、進化させ、アンサンブルし、訓練します。^{[ 42 ] [ 43 ]}

例えば、モデルフリーの単純線形回帰は、以下のいずれかに基づいています。

• ランダムなデザインでは、観測値のペアが${\displaystyle (X_{1},Y_{1}),(X_{2},Y_{2}),\cdots ,(X_{n},Y_{n})}$独立同分布（iid）である。
• または決定論的設計では、変数は${\displaystyle X_{1},X_{2},\cdots ,X_{n}}$決定論的であるが、対応する応答変数は${\displaystyle Y_{1},Y_{2},\cdots ,Y_{n}}$はランダムで独立しており、共通の条件付き分布を持ちます。${\displaystyle P\left(Y_{j}\leq y|X_{j}=x\right)=D_{x}(y)}$これはインデックスとは無関係です${\displaystyle j}$。

いずれの場合も、共通条件付き分布の特徴に対するモデルフリーランダム化推論${\displaystyle D_{x}(.)}$関数の滑らかさなどのいくつかの規則性条件に依存します。たとえば、母集団特徴条件付き平均のモデルフリーランダム化推論、${\displaystyle \mu (x)=E(Y|X=x)}$は、以下の仮定の下で、局所平均または局所多項式近似によって一貫して推定できる。${\displaystyle \mu (x)}$は滑らかです。また、漸近正規性またはリサンプリングに頼って、母集団の特徴、この場合は条件付き平均の信頼区間を構築できます。${\displaystyle \mu (x)}$[ ^{44 ]​}

• p値
• 信頼区間
• 帰無仮説の有意性検定

頻度論的推論（または古典的推論）の解釈の一つは、頻度確率の観点からのみ適用可能である、つまり母集団からの繰り返しサンプリングの観点からのみ適用可能であるというものである。しかし、Neyman ^{[ 46 ]}のアプローチは、これらの手順を実験前の確率の観点から展開する。つまり、実験を行う前に、結論に至るためのルールを決定し、正しい確率が適切な方法で制御されるようにする。このような確率は、頻度論的または繰り返しサンプリングの解釈を持つ必要はない。対照的に、ベイズ推論は、頻度論的アプローチで使用される周辺確率（ただし未知のパラメータに条件付けられた）と比較して、条件付き確率（つまり、観測データに条件付けられた確率）の観点から機能する。

有意性検定や信頼区間の頻度論的手順は、効用関数を考慮せずに構築できます。しかし、統計的決定理論などの頻度論的統計学の要素の中には、効用関数を取り入れているものがあります。特に、最適推論の頻度論的展開（最小分散不偏推定量や一様最強力検定など）では、（負の）効用関数の役割を果たす損失関数が利用されます。統計理論家が統計的手順が最適性特性を持つことを証明するために、損失関数を明示的に述べる必要はありません。^{[ 47 ]}しかし、損失関数は最適性特性を述べるのに役立つことがよくあります。たとえば、中央値不偏推定量は期待損失を最小化するため、絶対値損失関数の下で最適であり、最小二乗推定量は期待損失を最小化するため、二乗誤差損失関数の下で最適です。

頻度論的推論を用いる統計学者は、関心のあるパラメータと使用する推定量／検定統計量を自分で選択しなければならないが、明らかに明示的な効用や事前分布が存在しないことが、頻度論的手法が「客観的」であると広く認識されるようになった要因となっている。^{[ 48 ]}

• 区間推定のための信頼区間
• モデル比較のためのベイズ因子

多くの非公式なベイズ推論は、事後分布の「直感的に妥当な」要約に基づいています。例えば、事後平均、中央値、最頻値、最高事後密度区間、ベイズ因子などは、いずれもこのような方法で導出できます。このような推論では、利用者の効用関数を明示する必要はありませんが、これらの要約は（ある程度）明示された事前信念に依存しており、一般的には主観的な結論とみなされます。（外部入力を必要としない事前分布構築法も提案されていますが、まだ十分に開発されていません。）

形式的には、ベイズ推論は明示的に示された効用関数または損失関数を参照して較正されます。「ベイズ規則」とは、事後不確実性で平均化された期待効用を最大化するものです。したがって、形式的なベイズ推論は、意思決定理論的な意味で最適な決定を自動的に提供します。仮定、データ、および効用が与えられれば、ベイズ推論は基本的にあらゆる問題に対して行うことができますが、すべての統計的推論がベイズ的解釈を持つ必要はありません。形式的にベイズ的ではない分析は、（論理的に）一貫性がない可能性があります。適切な事前分布（つまり、1に積分可能なもの）を使用するベイズ的手順の特徴は、一貫性が保証されていることです。ベイズ推論の支持者の中には、推論はこの意思決定理論の枠組みで行われるべきであり、ベイズ推論は事後信念の評価と要約で終わるべきではないと主張する人もいます。

最小記述長（MDL）原理は、情報理論^{[ 50 ]}とコルモゴロフ複雑性理論^{[ 51 ]}のアイデアから発展したものです。MDL原理は、データを最大限に圧縮する統計モデルを選択します。推論は、頻度主義的アプローチやベイズ的アプローチで行われるような、反事実的または反証不可能な「データ生成メカニズム」やデータの確率モデルを仮定することなく進められます。

しかし、実際に「データ生成メカニズム」が存在する場合、シャノンのソース符号化定理によれば、それは平均的にも漸近的にもデータのMDL記述を提供する。^{[ 52 ]}記述長（または記述の複雑さ）を最小化する点において、MDL推定は最尤推定および最大事後推定（最大エントロピーベイズ事前分布を使用）に似ている。ただし、MDLは基礎となる確率モデルが既知であると仮定することを避ける。MDL原理は、例えばデータが独立したサンプリングから生じたという仮定なしにも適用できる。^{[ 52 ] [ 53 ]}

MDL原理は、通信符号化理論、情報理論、線形回帰^{[ 53 ]}、データマイニング^{[ 51 ]}に適用されてきた。

MDLベースの推論手順の評価には、計算複雑性理論の手法や基準がよく用いられる。^{[ 54 ]}

フィデューシャル推論は、フィデューシャル確率、別名「フィデューシャル分布」に基づく統計的推論のアプローチでした。その後の研究では、このアプローチは定義が曖昧で、適用範囲が極めて限定的で、さらには誤謬であるとさえ言われました。 ^{[ 55 ] [ 56 ]しかし、この議論は、}いわゆる信頼分布が有効な確率分布ではないことを示す^{議論と同じ}であり、信頼区間の適用が無効になっていないため、フィデューシャル議論から導き出された結論が必ずしも無効になるわけではありません。フィッシャーのフィデューシャル議論の初期の研究を、上限確率と下限確率を用いた推論理論の特殊なケースとして再解釈する試みが行われました。^{[ 58 ]}

1938年から1939年にかけてフィッシャーとピットマンのアイデアを発展させ、^{[ 59 ]}ジョージ・A・バーナードは「構造推論」または「ピボット推論」^{[ 60 ]}を開発した。これは、群族上の不変確率を使用するアプローチである。バーナードは、「フィデューシャル」手順が明確に定義され有用となるモデルの限定されたクラスで、フィデューシャル推論の背後にある議論を再定式化した。ドナルド・AS・フレイザーは、群論に基づいて構造推論の一般理論を開発し^{[ 61 ]}、これを線形モデルに適用した^{[ 62 ]} 。フレイザーによって定式化された理論は、決定理論とベイズ統計と密接な関連があり、存在する場合は最適な頻度主義的決定ルールを提供できる^{[ 63 ] 。}

普遍的推論を参照