正確なテスト

正確（有意）検定は、帰無仮説が真であれば、検定統計量の分布の導出中に行われたすべての仮定が満たされる統計検定です。正確検定を使用すると、検定のタイプ I 誤り率（ ）を検定の望ましい有意水準に維持する有意検定が提供されます。たとえば、有意水準 での正確検定を、帰無仮説が真である多くのサンプルに対して繰り返すと、ほとんどの場合に棄却されます。これは、望ましいタイプ I 誤り率がおおよそしか維持されない（つまり、検定が 5% を超える確率で棄却される可能性がある）近似検定とは対照的ですが、この近似は、サンプル サイズを十分に大きくすることで、望みどおり に に近づけることができます。${\displaystyle \alpha}$${\displaystyle \alpha =5\%}$${\displaystyle 5\%}$${\displaystyle \alpha}$

離散検定統計量に基づく正確検定は保守的である可能性があり、実際の棄却率が名目上の有意水準を下回ることを示します。例として、これはフィッシャーの正確検定と、そのより強力な代替検定であるボシュロー検定の場合です。検定統計量が連続的である場合、有意水準に正確に到達します。^{[引用が必要]}${\displaystyle \alpha}$

正確な統計で使用されるようなパラメトリック検定は、パラメトリック仮定が完全に満たされている場合は正確な検定ですが、実際には、正確な（有意な）検定という用語は、パラメトリック仮定に基づかない検定であるノンパラメトリック検定にのみ使用されます^[要出典]。ただし、実際には、ノンパラメトリック検定ソフトウェアの実装のほとんどが、有意値を取得するために漸近アルゴリズムを使用するため、検定は正確ではありません。

したがって、統計分析の結果が「正確検定」と呼ばれたり、「正確なp 値」が指定されたりする場合、これは検定がパラメトリック仮定なしで定義され、近似アルゴリズムを使用せずに評価されることを意味します。ただし、原理的には、すべてのパラメトリック仮定が完全に満たされている状況でパラメトリック検定が採用されていることを意味する場合もありますが、ほとんどの場合、実際の状況でこれを完全に証明することは不可能です。パラメトリック検定が正確であることが確実な例外には、二項分布またはポアソン分布に基づく検定が含まれます。順列検定という用語は、正確検定の同義語として使用されることがありますが、すべての順列検定は正確検定ですが、すべての正確検定が順列検定であるとは限らないことに留意する必要があります。

正確な検定の基礎となる基本方程式は

${\displaystyle \Pr({\text{exact}})=\sum _{\mathbf {y} \,:\,T(\mathbf {y} )\geq T(\mathbf {x)} }\Pr (\mathbf {y} )}$

どこ：

• xは実際に観測された結果であり、
• Pr( y )は、帰無仮説の下での潜在的に観測される結果yの確率である。
• T ( y ) は結果yに対する検定統計量であり、Tの値が大きいほど帰無仮説からの逸脱が大きいことを表す。

そして、合計は、観測されたサンプルxに対して得られた検定統計量と同じ値、またはそれより大きい 値を持つすべての結果y (観測されたものを含む) にわたっています。

この概念の簡単な例として、ピアソンのカイ二乗検定が近似検定であるという観察が挙げられます。ピアソンのカイ二乗検定は、6面のサイコロが「公平」であるかどうか、つまり6つの可能な結果がそれぞれ同じ頻度で出るかどうかを確認するために使用されているとします。サイコロをn回振ると、各結果がn /6回発生することが「期待」されます。検定統計量は次のようになります。

${\displaystyle \sum {\frac {({\text{観測値}}-{\text{期待値}})^{2}}{\text{期待値}}}=\sum _{k=1}^{6}{\frac {(X_{k}-n/6)^{2}}{n/6}},}$

ここで、X _{k は}結果kが観測される回数です。「公平性」という帰無仮説が正しい場合、サンプル サイズn を十分に大きくすることで、検定統計量の確率分布を自由度 5 のカイ二乗分布に望みどおりに近づけることができます。一方、nが小さい場合、カイ二乗分布に基づく確率は十分に近い近似値にならない可能性があります。この検定統計量が特定の値を超える正確な確率を見つけるには、検定統計量のそのような大きな値を生み出す実験のすべての結果の組み合わせ列挙が必要になります。その場合、同じ検定統計量を使用する必要があるかどうかは疑問です。尤度比検定が好まれる可能性があり、検定統計量は上記のものの単調関数ではない可能性があります。

フィッシャーの正確検定は、1930年代のロナルド・フィッシャーとEJGピットマンの研究に基づいており、標本分布（周辺分布を条件とする）が正確にわかっているため正確です。これは、ピアソンのカイ二乗検定と比較する必要があります。ピアソンのカイ二乗検定は、同じ帰無仮説を検定しますが、検定統計量の分布が漸近的にしか正しくないため正確ではありません。

• 正確な統計
• 最適判別分析

• ロナルド・フィッシャー（1954）「研究者のための統計手法」オリバーとボイド。
• Mehta, CR; Patel, NR (1998)。「カテゴリデータの正確な推論」。P. Armitage および T. Colton 編著、Encyclopedia of Biostatistics、チチェスター: John Wiley、pp. 1411–1422。未発表プレプリント
• Corcoran, CD; Senchaudhuri, P.; Mehta, CR; Patel, NR (2005). 「カテゴリデータの正確な推論」.生物統計百科事典. doi :10.1002/0470011815.b2a10019. ISBN 047084907X。