p値

帰無仮説有意性検定において、p値^{[注 1]は、}帰無仮説が正しいという仮定の下で、実際に観察された結果と少なくとも同程度に極端な検定結果を得る確率である。 ^{[2] [3]}非常に小さいp値は、そのような極端な観察結果が帰無仮説の下では非常に起こりそうにないことを意味する。統計検定のp値を報告することは、多くの定量的分野の学術出版物で一般的な慣行であるにもかかわらず、 p値の誤解や誤用が蔓延しており、数学やメタサイエンスの主要なトピックとなっている。^{[4] [5]} 2016年に、アメリカ統計協会（ASA）は、「p値は、研究された仮説が真である確率、またはデータが単なる偶然によって生成された確率を測定するものではない」、および「p値、または統計的有意性は、効果の大きさや結果の重要性、または「モデルや仮説に関する証拠」を測定するものではない」という正式な声明を発表した。^[6]とはいえ、ASAの2019年のタスクフォースは統計的有意性と再現性に関する声明を発表し、「p値と有意性検定は、適切に適用され解釈されれば、データから導き出された結論の厳密さを高める」と結論付けている。^[7]${\displaystyle p}$

統計学では、ある研究で観測されたデータを表すランダム変数の集合の未知の確率分布に関するあらゆる推測を統計的仮説と呼びます。仮説を 1 つだけ述べ、統計的検定の目的がこの仮説が妥当かどうかを確認することであり、他の特定の仮説を調査することではない場合、そのような検定は帰無仮説検定と呼ばれます。 ${\displaystyle X}$

統計的仮説は定義により分布の何らかの特性を述べるため、帰無仮説はその特性が存在しないデフォルトの仮説です。帰無仮説は通常、関心対象の母集団の何らかのパラメータ（相関や平均値の差など）がゼロであるというものです。仮説は の確率分布を正確に指定する場合もあれば、何らかの分布のクラスに属することだけを指定する場合もあります。多くの場合、データを単一の数値統計量（例： ）に減らしますが、その周辺確率分布は研究の主な関心事と密接に関連しています。 ${\displaystyle X}$${\displaystyle T}$

p値は、帰無仮説検定において、結果の統計的有意性を定量化するために使用されます。結果とは、選択された統計量の観測値です。 [^{注 2]} p値が低いほど、帰無仮説が正しい場合にその結果を得る確率が低くなります。帰無仮説を棄却できる場合、結果は統計的に有意であると言われます。他の条件が同じであれば、 p値が小さいほど、帰無仮説に対するより強力な証拠とみなされます。 ${\displaystyle T}$

大まかに言えば、帰無仮説を棄却するということは、それに反する十分な証拠があることを意味します。

具体的な例として、ある要約統計量が標準正規分布に従うという帰無仮説がある場合、この帰無仮説を棄却すると、(i) の平均が0 でない、(ii)の分散が1 でない、(iii) が正規分布していない、ということになります。同じ帰無仮説の異なる検定は、異なる代替案に対して多かれ少なかれ敏感になります。ただし、3 つの代替案すべてについて帰無仮説を棄却できたとしても、分布が正規分布で分散が 1 であることがわかっていても、帰無仮説検定では、平均のどの非ゼロ値が最も妥当であるかはわかりません。同じ確率分布からの独立した観測値が多いほど、検定の精度が高まり、平均値を決定してそれがゼロではないことを示す精度が高くなりますが、これにより、この偏差の現実世界または科学的妥当性を評価することの重要性も高まります。 ${\displaystyle T}$ ${\displaystyle {\mathcal {N}}(0,1),}$${\displaystyle T}$${\displaystyle T}$${\displaystyle T}$

p値は、帰無仮説のもとで、得られたものと少なくとも同じくらい極端な実数値検定統計量が得られる確率です。未知の分布から観測された検定統計量を考えてみましょう。すると、p値は、帰無仮説が真であるかのように少なくとも同じくらい「極端な」検定統計量を観測する事前確率になります。つまり、次の ようになります。${\displaystyle t}$${\displaystyle T}$${\displaystyle p}$${\displaystyle t}$${\displaystyle H_{0}}$

• ${\displaystyle p=\Pr(T\geq t\mid H_{0})}$片側右側検定統計量分布の場合。
• ${\displaystyle p=\Pr(T\leq t\mid H_{0})}$片側左側検定統計量分布の場合。
• ${\displaystyle p=2\min\{\Pr(T\geq t\mid H_{0}),\Pr(T\leq t\mid H_{0})\}}$両側検定統計量分布の場合。分布がゼロを中心に対称である場合、${\displaystyle T}$${\displaystyle p=\Pr(|T|\geq |t|\mid H_{0}).}$

統計学者が避けるべきと考える誤り (主観的な判断) は、第一種の誤りと呼ばれます。数学理論の第一の要求は、第一種の誤りを犯す確率が、α = 0.05 や 0.01 などの事前に割り当てられた数値 α に等しい (またはほぼ等しい、または超えない) ことを保証するテスト基準を導き出すことです。この数値は有意水準と呼ばれます。

— イェジ・ネイマン「数理統計学の出現」^[8]

有意性検定では、p値がアルファレベルまたは有意水準と呼ばれる定義済みの閾値以下の場合、帰無仮説は棄却される。アルファレベルはデータから導き出されるのではなく、研究者がデータを調べる前に設定したものである。アルファレベルは通常0.05に設定されるが、より低いアルファレベルが使用されることもある。0.05という値（確率1/20に相当）は、1925年にR.フィッシャーが彼の有名な著書『研究者のための統計的手法』で最初に提案した。^[9] 2018年、ダニエル・ベンジャミン率いる統計学者グループは、統計的有意性の標準値として世界中で0.005という値を採用することを提案した。^[10]${\displaystyle H_{0}}$${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle \alpha }$

独立したデータセットに基づく異なるp値は、たとえばFisher の結合確率検定を使用して組み合わせることができます。

p値は、選択された検定統計量の関数であるため、ランダム変数です。帰無仮説によって の確率分布が正確に固定され (たとえば、が唯一のパラメータである場合)、その分布が連続的である場合、帰無仮説が真であれば、p値は0 から 1 の間に一様に分布します。の真偽にかかわらず、p値は固定されません。同じ検定を新しいデータで独立して繰り返すと、通常、各反復で 異なるp値が得られます。${\displaystyle T}$${\displaystyle T}$${\displaystyle H_{0}:\theta =\theta _{0},}$${\displaystyle \theta }$${\displaystyle H_{0}}$

通常、仮説に関連するp値は1つしか観察されないため、 p値は有意性検定によって解釈され、そのp値が抽出された分布を推定する努力は行われません。p値の集合が利用可能な場合（たとえば、同じ主題に関する研究グループを検討する場合）、p値の分布はp曲線と呼ばれることがあります。^[11] p 曲線は、出版バイアスやpハッキングを検出するなど、科学文献の信頼性を評価するために使用できます。 ^{[11] [12]}

パラメトリック仮説検定問題において、単純仮説または点仮説とは、パラメータの値が単一の数値であると仮定される仮説を指します。対照的に、複合仮説では、パラメータの値は一連の数値で与えられます。帰無仮説が複合仮説である場合（または統計量の分布が離散的である場合）、帰無仮説が真であれば、 0から1までの任意の数値以下のp値を得る確率は、その数値以下のままです。言い換えれば、帰無仮説が真であれば、非常に小さな値が出る確率は比較的低く、p値が以下の場合は帰無仮説を棄却することで、レベルでの有意性検定が得られます。^{[13] [14]}${\displaystyle \alpha }$${\displaystyle \alpha }$

たとえば、分布が平均が 0 以下で正規分布であるという帰無仮説を、平均が 0 より大きい ( 、分散は既知) という対立仮説に対して検定する場合、帰無仮説では適切な検定統計量の正確な確率分布は指定されません。この例では、それは片側 1 サンプルZ検定に属するZ統計量になります。理論上の平均の可能な値ごとに、Z検定統計量の確率分布は異なります。このような状況では、p値は最も好ましくない帰無仮説ケース (通常は帰無仮説と対立仮説の境界上) を取ることによって定義されます。この定義により、p 値とアルファレベルの相補性が保証されます。つまり、 p値が 以下の場合にのみ帰無仮説を棄却し、仮説検定の最大タイプ 1 誤り率は実際に になります。 ${\displaystyle H_{0}:\mu \leq 0}$${\displaystyle \alpha =0.05}$${\displaystyle 0.05}$${\displaystyle 0.05}$

p値は統計的仮説検定、特に帰無仮説有意性検定で広く使用されています。この方法では、研究を実施する前に、まずモデル（帰無仮説）とアルファレベルα（最も一般的には0.05）を選択します。データを分析した後、p値がαより小さい場合、観測データは帰無仮説と十分に矛盾しており、帰無仮説を棄却する必要があることを意味します。しかし、それは帰無仮説が偽であることを証明するものではありません。p値自体は仮説の確率を確立するものではありません。むしろ、帰無仮説を棄却するかどうかを決定するためのツールです。^[15]

ASAによれば、p値はしばしば誤用され、誤解されているという点で広く合意されている。^[3]特に批判されている慣行の 1 つは、名目上 0.05 未満のp値に対して、他の裏付けとなる証拠がないまま対立仮説を受け入れることである。p値は、データが特定の統計モデルとどの程度矛盾しているかを評価するのに役立つが、「研究の設計、測定の質、研究対象の現象の外部証拠、データ分析の根底にある仮定の妥当性」などの文脈的要因も考慮する必要がある。^[3]もう 1 つの懸念は、p値が帰無仮説が真である確率であると誤解されることが多いことである。^{[3] [16]}

一部の統計学者はp値を放棄し、信頼区間^{[17] [18]}、尤度比^{[19] [20]}、ベイズ係数^{[21] [22] [23]}などの他の推論統計^[3]に重点を置くことを提案していますが、これらの代替案の実現可能性については激しい議論があります。 [24] [25] 他の者は、固定された有意閾値を削除し、p値を帰無仮説に対する証拠の強さの連続的な指標として解釈することを提案しています。[ ^{26 ]} [ 27 ]^さらに、事前に指定された閾値（たとえば5％）を下回る偽陽性リスクを得るために必要な実際の効果の事前確率（つまり、実際の効果が存在しない確率）をp値と一緒に報告することを提案しました。^[28]

とはいえ、2019年にASAのタスクフォースが招集され、科学的研究における統計的手法、特に仮説検定とp値の使用と、それらの再現性との関連について検討した。^[7]このタスクフォースは「不確実性の異なる尺度は互いに補完し合うことができ、単一の尺度ですべての目的を果たせることはない」と述べ、p値をその尺度の1つとして挙げている。また、 p値は特定の値を検討する場合や、ある閾値と比較する場合に貴重な情報を提供できると強調している。一般的に、「p値と有意性検定は、適切に適用され解釈されると、データから導き出される結論の厳密さを高める」と強調している。

通常、は検定統計量です。検定統計量は、すべての観測値のスカラー関数の出力です。この統計量は、 t統計量やF統計量などの単一の数値を提供します。したがって、検定統計量は、その検定統計量を定義するために使用される関数と入力観測データの分布によって決定される分布に従います。 ${\displaystyle T}$

データが正規分布からのランダムサンプルであると仮定される重要なケースでは、検定統計量の性質とその分布に関する関心のある仮説に応じて、さまざまな帰無仮説検定が開発されています。そのような検定には、既知の分散を持つ正規分布の平均に関する仮説のz検定、分散が未知の場合の正規分布の平均に関する仮説の適切な統計量のスチューデントのt分布に基づくt検定、分散に関する仮説のさらに別の統計量のF分布に基づくF検定などがあります。他の性質のデータ、たとえばカテゴリ (離散) データの場合は、ピアソンのカイ 2 乗検定の場合のように、大きなサンプルに中心極限定理を適用して得られた適切な統計量の正規近似値に基づいて帰無仮説分布が構成される検定統計量が構築されることがあります。

したがって、 p値を計算するには、帰無仮説、検定統計量（研究者が片側検定と両側検定のどちらを実行するかを決定すること）、およびデータが必要です。与えられたデータに対する検定統計量の計算は簡単かもしれませんが、帰無仮説の下での標本分布を計算し、その累積分布関数（CDF）を計算することは、多くの場合難しい問題です。今日、この計算は統計ソフトウェアを使用して行われ、多くの場合数値法（厳密な数式ではなく）を介して行われますが、20世紀初頭から中期には、これは代わりに値の表を介して行われ、これらの離散値からp値が補間または外挿されていました^{[要出典] 。} p値表を使用する代わりに、フィッシャーは CDF を逆転させ、与えられた固定p値に対する検定統計量の値のリストを公開しました。これは、分位関数（逆 CDF）を計算することに対応します。

統計的検定の例として、コイン投げが公平であるか（表か裏が出る可能性が等しい）、不公平に偏っているか（一方が他方よりも可能性が高い）を判断するための実験が行われます。

実験結果が、コインを 20 回投げて 14 回表が出たと仮定します。完全なデータは、記号「H」または「T」の 20 回のシーケンスになります。注目する統計は、表が出た回数の合計です。帰無仮説は、コインは公平であり、コイン投げは互いに独立しているというものです。右側検定を考慮すると、コインが表になる可能性に実際に関心がある場合は、この結果のp値は、公平なコインが 20 回投げて少なくとも14 回表になる確率です。この確率は、二項係数から次のように 計算できます。${\displaystyle X}$${\displaystyle T}$

${\displaystyle {\begin{aligned}&\Pr(14{\text{ heads}})+\Pr(15{\text{ heads}})+\cdots +\Pr(20{\text{ heads}})\\&={\frac {1}{2^{20}}}\left[{\binom {20}{14}}+{\binom {20}{15}}+\cdots +{\binom {20}{20}}\right]={\frac {60\,460}{1\,048\,576}}\approx 0.058.\end{aligned}}}$

この確率は、表に有利な極端な結果のみを考慮したp値です。これは片側検定と呼ばれます。ただし、表または裏のいずれかに有利な、いずれかの方向の偏差に関心がある場合があります。代わりに、表または裏のいずれかに有利な偏差を考慮した両側p値を計算できます。二項分布は公平なコインに対して対称であるため、両側p値は、上で計算した片側p値の 2 倍になります。つまり、両側p値は 0.115 です。

上記の例では、

• _帰無仮説（H0）：コインは公平であり、Pr（表）= 0.5である。
• 検定統計量: 表の数。
• アルファレベル（重要度の指定されたしきい値）：0.05。
• 観察O : 20回中14回表が出ました。
• H ₀が与えられた場合の観測値Oの両側p値= 2 × min(Pr(表の数 ≥ 14 個), Pr(表の数 ≤ 14 個)) = 2 × min(0.058, 0.978) = 2 × 0.058 = 0.115。

Pr(表の数 ≤ 14) = 1 − Pr(表の数 ≥ 14) + Pr(表の数 = 14) = 1 − 0.058 + 0.036 = 0.978 ですが、この二項分布の対称性により、2 つの確率のうち小さい方を計算する必要がありません。ここで、計算されたp値は 0.05 を超えており、これは、コインが公平である場合に 95% の確率で発生する範囲内にデータが含まれることを意味します。したがって、帰無仮説は 0.05 レベルでは棄却されません。

しかし、表がもう 1 つ得られていた場合、結果として得られるp値 (両側) は 0.0414 (4.14%) となり、その場合、帰無仮説は 0.05 レベルで棄却されます。

「極端」の2つの意味の違いは、コインの公平性について、順次仮説検定、またはオプションの停止を考慮するときに現れます。一般的に、オプションの停止はp値の計算方法を変更します。^{[29] [30]}次のように実験を設計するとします。

• コインを 2 回投げます。両方とも表か裏が出たら、実験を終了します。
• それ以外の場合は、コインをさらに 4 回投げます。

この実験には、表 2 回、裏 2 回、表 5 回、裏 1 回、...、表 1 回、裏 5 回という 7 種類の結果があります。ここで、「表 3 回、裏 3 回」の結果の p値を計算します。

検定統計量 を使用する場合、帰無仮説の下では、両側p値についてはちょうど 1 になり、片側左側p値についてはちょうど 1 になり、片側右側p値についても同じく になります。 ${\displaystyle {\text{heads}}/{\text{tails}}}$${\displaystyle 19/32}$

「3回表3回裏」と同等かそれ以下の確率を持つすべての結果を「少なくとも同じくらい極端」と見なすと、p値は正確に${\displaystyle 1/2.}$

しかし、何が起きてもコインを 6 回投げるだけを計画しているとすると、p値の 2 番目の定義は、「表 3 回、裏 3 回」のp値がちょうど 1 になることを意味します。

したがって、 p値の「少なくとも同程度に極端な」定義は、状況に大きく左右され、発生しなかった状況でも 実験者が何を計画していたかによって決まります。

p値の計算は1700年代にまで遡り、出生時の人間の性比について計算され、男と女の出生の確率が等しいという帰無仮説と比較した統計的有意性を計算するために使用されました。^[31] ジョン・アーバスノットは1710年にこの問題を研究し、^{[32] [33] [34] [35]} 1629年から1710年までの82年間の各年についてロンドンの出生記録を調べました。どの年でも、ロンドンで生まれた男性の数は女性の数を上回っていました。男性または女性の出生の数が多いことが同じ確率であると見なすと、観察された結果の確率は1/2 ⁸²、つまり約4,836,000,000,000,000,000,000,000分の1となり、現代の言葉で言えばp値となります。これは無視できるほど小さいため、アーバスノットは、これは偶然ではなく神の摂理によるものだと考えた。「このことから、支配するのは偶然ではなく、技であることがわかる」。現代の言葉で言えば、彼は、男児と女児の出生確率が等しいという帰無仮説を有意水準p  = 1/2 ⁸²で棄却した。アーバスノットによるこの研究とその他の研究は、「… 有意性検定の最初の使用 …」^[36]、統計的有意性についての推論の最初の例^{[37] 、および「… おそらく}ノンパラメトリック検定の最初の公表された報告…」^[33]として評価されている。特に符号検定については、符号検定 § 歴史を参照。

同じ疑問は後にピエール＝シモン・ラプラスによって取り上げられ、彼は代わりにパラメトリック検定を用いて、男児出生数を二項分布でモデル化した。^[38]

1770 年代、ラプラスはおよそ 50 万の出生統計を検討しました。統計では、男児が女児よりも多く出ていることが示されました。彼はp値を計算して、この過剰は現実のものだが説明できない影響であると結論付けました。

p値は、カール・ピアソンがピアソンのカイ二乗検定^[39]で初めて正式に導入しました。この検定ではカイ二乗分布が使用され、大文字のPと表記されました^。[39]カイ二乗分布のp値（χ2^のさまざまな値と自由度について）は現在Pと表記され、（Elderton 1902）で計算され、（Pearson 1914、pp. xxxi–xxxiii、26–28、表XII）にまとめられています。

ロナルド・フィッシャーは統計学におけるp値の使用を定式化し普及させ、^{[40] [41]}彼がこのテーマに取り組む上でp値が中心的な役割を果たした。^[42]非常に影響力のある著書「研究者のための統計的手法」 （1925年）で、フィッシャーは統計的有意性の限界としてp = 0.05、つまり偶然にそれを超える確率が20分の1である水準を提案し、これを正規分布に適用して（両側検定として）、統計的有意性の2標準偏差の法則（正規分布上）を導いた（68–95–99.7の法則を参照）。^{[43] [注3] [44]}

次に彼はエルダートンと同様に値の表を計算したが、重要なのは χ ²とpの役割を逆にした点である。つまり、異なる χ ²の値（および自由度n）に対してpを計算するのではなく、特定のp値、具体的には0.99、0.98、0.95、0.90、0.80、0.70、0.50、0.30、0.20、0.10、0.05、0.02、および0.01をもたらすχ ^{2の値を計算した。 [45]}これにより、計算された χ ²の値をカットオフと比較できるようになり、 p値自体を計算して報告する代わりに、 p値（特に0.05、0.02、および0.01）をカットオフとして使用することが推奨された。その後、同じタイプの表が（Fisher & Yates 1938）にまとめられ、このアプローチが確立されました。^[44]

実験のデザインと解釈へのp値の応用例として、フィッシャーはその後の著書『実験デザイン』（1935年）の中で、p値の典型的な例である女性のお茶の試飲実験^[46]を紹介した。

ある女性 (ミュリエル・ブリストル) が、味覚で紅茶の淹れ方 (最初にカップにミルクを入れてから紅茶を入れるか、最初に紅茶を入れてからミルクを入れるか) を区別できるという主張を評価するために、彼女には 8 つのカップが順番に提示され、4 つは一方の方法で淹れられ、4 つはもう一方の方法で淹れられ、各カップの淹れ方を判断するように求められました (それぞれ 4 つずつあることはわかっています)。その場合、帰無仮説は彼女に特別な能力がないというもので、検定はフィッシャーの正確検定であり、p値は、すべてが正しく分類された場合にフィッシャーが帰無仮説を棄却する意思がある (結果が偶然による可能性は非常に低いと考える) ように設定されました。(実際の実験では、ブリストルは 8 つのカップすべてを正しく分類しました。) ${\displaystyle 1/{\binom {8}{4}}=1/70\approx 0.014,}$

フィッシャーはp = 0.05の閾値を繰り返し述べ、その根拠を次のように説明した。^[47]

実験者にとって、5 パーセントを有意水準の標準とすることは、この基準に達しない結果をすべて無視する用意があるという意味で、通常かつ都合がよく、この手段によって、偶然によって実験結果にもたらされた変動の大部分をそれ以上の議論から排除することになります。

彼はまた、この閾値を実験計画にも適用し、6個のカップ（それぞれ3個ずつ）しか提示されていなかった場合、完璧な分類ではこの有意水準を満たさないp値しか得られなかっただろうと指摘している。 ^{[47]フィッシャーはまた、帰無仮説が真であると仮定して、} pをデータと同程度以上の極端な値の長期的な割合として解釈することを強調した。 ${\displaystyle 1/{\binom {6}{3}}=1/20=0.05,}$

フィッシャーは、後の版で、科学における統計的推論のためのp値の使用と、彼が「受け入れ手順」と呼ぶネイマン・ピアソン法を明確に対比しました。^[48]フィッシャーは、5％、2％、1％などの固定レベルは便利ですが、正確なp値を使用することができ、証拠の強さはさらなる実験で修正することができ、修正されるだろうと強調しています。対照的に、決定手順では明確な決定が必要であり、取り返しのつかない行動を生み出し、手順はエラーのコストに基づいており、科学的研究には適用できないと彼は主張しています。

E値は2つの概念を指すことがありますが、どちらもp値に関連しており、どちらも多重検定で役割を果たします。第一に、これはp値の一般的な、より堅牢な代替手段に対応し、実験の任意の継続に対処できます。第二に、これは「期待値」の略語としても使用されます。これは、帰無仮説が真であると仮定した場合に、実際に観察されたものと少なくとも同じくらい極端な検定統計量が得られると予想される回数です。[ ^49]この期待値は、検定回数とp値の積です。

q値は陽性偽発見率に関するp値の類似物である。^[50]これは偽陽性率を最小限に抑えながら統計的検出力を維持するために多重仮説検定で用いられる。^[51]

方向確率（ pd ）はベイズ統計におけるp値の数値的等価物である。^{[52]これは}事後分布のうち中央値の符号に一致する割合に相当し、通常は50%から100%の間で変化し、効果が正か負かの確実性を表す。

第二世代のp値は、極めて小さく実質的に無関係な効果サイズを有意であると見なさないことでp値の概念を拡張します。^[53]

• スチューデントのt検定
• ボンフェローニ補正
• カウンターヌル
• フィッシャーのp値を組み合わせる方法
• 一般化p値
• 調和平均p値
• ホルム・ボンフェローニ法
• 多重比較問題
• p-繰り返し
• p値の誤り

ウィキメディア・コモンズには、 P値に関連するメディアがあります。

• さまざまな特定のテスト (カイ二乗検定、フィッシャーの F 検定など) 用の無料のオンライン p 値計算機。
• p 値の理解。これには、 p値の数値が、テスト中の仮説の真偽について非常に誤解を招く印象を与える可能性があることを示す Java アプレットが含まれます。
• StatQuest: P 値、YouTubeでわかりやすく説明
• StatQuest: YouTubeでの P 値の落とし穴と検出力の計算
• 科学は壊れていない - p 値を操作する方法とそれを視覚化するインタラクティブ ツールに関する記事。