正確な(有意性)検定とは、帰無仮説が真である場合、検定統計量の分布の導出中に行われたすべての仮定が満たされるような統計的検定です。正確な検定を使用すると、検定の第一種過誤率を維持する有意性検定が得られます() 検定の望ましい有意水準で。たとえば、有意水準での正確な検定は帰無仮説が真である多数のサンプルで繰り返した場合、最大で棄却されるこれは、望ましい第一種過誤率が近似的にしか維持されない近似テストとは対照的です(つまり、テストは5%を超える確率で棄却する可能性があります)。一方、この近似は、サンプルサイズを十分に大きくすることで、望ましい結果が得られる。
離散検定統計量に基づく厳密検定は保守的である可能性があり、実際の棄却率が名目上の有意水準を下回っていることを示している。例えば、フィッシャーの正確検定とそのより強力な代替検定であるボシュルー検定がこれに該当します。検定統計量が連続値であれば、有意水準に正確に達します。
パラメトリック検定(厳密統計学で使用されるものなど)は、パラメトリック仮定が完全に満たされている場合は厳密検定となりますが、実際には、「厳密(有意性)検定」という用語は、パラメトリック仮定に基づかない検定、すなわちノンパラメトリック検定に限定して使用されます。しかし、実際には、ノンパラメトリック検定ソフトウェアのほとんどの実装では、漸近アルゴリズムを使用して有意性値を取得するため、検定は厳密ではありません。
したがって、統計分析の結果が「厳密検定」と呼ばれたり、「厳密なp値」が指定されたりする場合は、検定がパラメトリックな仮定なしに定義され、近似アルゴリズムを使用せずに評価されることを意味します。ただし、原則として、これはすべてのパラメトリックな仮定が完全に満たされている状況でパラメトリック検定が使用されたことを意味する可能性もありますが、現実の状況でこれを完全に証明することはほとんどの場合不可能です。パラメトリック検定が厳密であることが確実な例外としては、二項分布またはポアソン分布に基づく検定が挙げられます。順列検定という用語は、厳密検定の同義語として使用されることがありますが、すべての順列検定は厳密検定であるものの、すべての厳密検定が順列検定であるとは限らないことに留意する必要があります。
正確な検定の根底にある基本方程式は次のとおりです。
どこ:
ここで、合計は、観測されたサンプルxに対して得られた検定統計量の値が同じか、またはそれより大きいすべての結果y (観測されたものを含む) にわたって行われます。
この概念の簡単な例として、ピアソンのカイ二乗検定が近似検定であるという観察が挙げられます。ピアソンのカイ二乗検定を用いて、6面サイコロが「公平」であるかどうか、つまり6つの可能な結果がそれぞれ等しい頻度で出るかどうかを判定するとします。サイコロをn回投げた場合、各結果がn /6回出現すると「期待」されます。検定統計量は次のようになります。
ここで、X kは結果kが観測された回数です。「公平性」の帰無仮説が真である場合、標本サイズn を十分に大きくすることで、検定統計量の確率分布を自由度5 のカイ二乗分布にいくらでも近づけることができます。一方、nが小さい場合、カイ二乗分布に基づく確率は十分に近似値にならない可能性があります。この検定統計量が特定の値を超える正確な確率を求めるには、検定統計量のそのような大きな値を生み出す実験のすべての結果を組み合わせ的に列挙する必要があります。そうなると、同じ検定統計量を使用すべきかどうか疑問が生じます。尤度比検定の方が好ましい場合があり、検定統計量は上記の検定統計量の単調関数ではない可能性があります。
フィッシャーの正確検定は、 1930年代のロナルド・フィッシャーとEJGピットマンの研究に基づいており、標本分布(周辺分布を条件とする)が正確に分かっているため、正確であると言えます。これに対し、ピアソンのカイ二乗検定は(同じ帰無仮説を検定するものの)検定統計量の分布が漸近的にしか正しくないため、正確ではありません。