p値の誤用

P値はしばしば誤って使用または解釈されます。 ^{[ 1 ]}アメリカ統計協会は、 p値はデータが特定の統計モデルとどの程度不適合であるかを示すことができると述べています^{。 [ 2 ]}ネイマン・ピアソン仮説検定アプローチによる統計的では、 p値を有意水準と、2つの結果のいずれかをもたらします。帰無仮説が棄却される（ただし、これは帰無仮説が偽であることを証明するものではありません）、または、その有意水準では帰無仮説を棄却できない（ただし、これは帰無仮説が真であることを証明するものではありません）。フィッシャー統計検定アプローチによる統計的推論では、低いp値は、帰無仮説が真であり、非常に起こりそうもない事象が発生したか、または帰無仮説が偽であることを意味します。

以下のリストは、p値に関してよく誤解されているいくつかの問題を明確にしています。^{[ 2 ] [ 3 ] [ 4 ]}

1. p値は、帰無仮説が真である確率でも、対立仮説が偽である確率でもありません。 ^{[ 2 ]} p値は、データセットと特定の仮説的説明（帰無仮説など）との適合性の度合いを示すことができます。具体的には、p値は、帰無仮説が真であるという条件の下で、観測された効果と少なくとも同程度に極端な効果が得られる確率とみなすことができます。これは、観測された効果を条件として帰無仮説が真である確率と混同してはいけません（ベースレートの誤謬を参照）。実際、頻度主義統計学では、仮説に確率を付与しません。
2. p値は、観察された効果が偶然のみによって生じた確率ではありません。 ^{[ 2 ]} p値は、特定のモデル（通常は帰無仮説）が真であるという仮定の下で計算されます。つまり、p値はデータと仮説との関係についての記述です。^{[ 2 ]}
3. 0.05 の有意水準は単なる慣例です。^{[ 3 ] [ 5 ]} 0.05 の有意水準 (アルファ水準) は、統計的に有意な p 値と統計的に有意でないp値の境界としてよく使用されます。しかし、これは、任意の閾値の両側の結果を質的に異なると考える科学的な理由が一般的にあることを意味するものではありません。^{[ 3 ] [ 6 ]}
4. p値は、観察された効果の大きさや重要性を示すものではありません。^{[ 2 ]}意味のない、あるいは重要でない効果に対して小さなp値が観測されることがあります。実際、サンプルサイズが大きいほど、統計的に有意なp値を生成するために必要な最小効果は小さくなります（効果量を参照）。

問題1と問題2は、共通の基盤となる2×2分割表の形式において、検察官の誤謬との類推によって説明できる。そこでは、利用者が都合よく注意を90度回転させることで、意図した標本空間が不正な標本空間に置き換えられてしまう。^{[ 7 ]： 18-19}これらのp値の誤用は、確率論における変換条件の誤謬、ひいては範疇論理における不正変換の誤謬と類似している。^{[ 7 ]： 12-13}

頻度主義的アプローチは、仮説の確率を表すことの妥当性を否定する。仮説は真か偽かであり、確率で表せるものではない。^{[ 8 ]}

ベイズ統計学は、仮説の尤度を積極的にモデル化します。p値自体は仮説の確率について推論することを可能にするものではなく、複数の仮説または仮説の範囲と、それらの間の尤度の事前分布が必要であり、その場合、ベイズ統計学を使用できます。そこでは、単一の帰無仮説のp値の代わりに、事前分布のすべての可能な値に対する尤度関数を使用します。p値は、特定の帰無仮説と比較したときのデータの特性を記述するものであり、仮説自体の特性ではありません。同じ理由で、p値はデータが偶然のみによって生成された確率を与えるものではありません。^{[ 2 ]}

多重比較問題は、一連の統計的推論を同時に考慮する場合^{[ 9 ]}、または観測値に基づいて選択されたパラメータのサブセットを推論する場合に発生します^{[ 10 ]} 。これは、ルック・エルスウェア効果としても知られています。対応する母集団パラメータを含まない信頼区間や、帰無仮説を誤って棄却する仮説検定など、推論のエラーは、セット全体を考慮した場合に発生しやすくなります。これを防ぐために、いくつかの統計的手法が開発されており、単一比較と多重比較の有意水準を直接比較できるようになっています。これらの手法では、推論の数を補償するために、個々の比較に対して一般的に高い有意水準が要求されます。

ウェブコミックxkcd は、ジェリービーンズを食べるとニキビができるという主張を調査する科学者を描写することで、p値の誤解を風刺しました。^{[ 11 ] [ 12 ] [ 13 ] [ 14 ]}ジェリービーンズを食べることとニキビの間に有意な ( p < 0.05) 相関関係が見つからなかった後、科学者たちは多重比較の調整をせずに、20 種類の異なる色のジェリービーンズを個別に調査しました。彼らは、1 つの色 (緑) が名目上ニキビと関連していることを発見しました ( p < 0.05)。その後、新聞は、緑のジェリービーンズが 95% の信頼水準でニキビと関連していることを示していると結果を報道しました。まるで緑だけがテストされた色であるかのように。実際には、0.05 の有意水準で 20 回の独立したテストが実施され、すべての帰無仮説が真である場合、少なくとも 1 つの偽陽性を得る確率は 64.2% であり、偽陽性の期待値は1 (つまり 0.05 × 20) です。

一般的に、ファミリーワイズエラー率（FWER）（少なくとも 1 つの偽陽性を得る確率）は、実施するテストの数とともに増加します。m個の独立したテストですべての帰無仮説が真である場合、それぞれが有意水準αで実施され、FWER は次のようになります。 ^{[ 13 ]}

$FWER = 1 - (1 - α) m$

• 推定統計
• 複製危機
• メタサイエンス
• 統計の誤用
• スタットチェック