統計的仮説検定

統計的仮説検定は、データが特定の仮説を棄却するのに十分な証拠を提供しているかどうかを判断するために使用される統計的推論の方法です。統計的仮説検定では、通常、検定統計量の計算が行われます。次に、検定統計量を臨界値と比較するか、または同等に、検定統計量から計算されたp値を評価することによって決定が下されます。約100種類の専門的な統計検定が使用されています。^{[ 1 ] [ 2 ]}

仮説検定の目的は、標本データを調べることによって、統計的母集団の特定の特性が真であるかどうかを立証することです。通常、母集団は、分布のパラメータが未知の確率変数によってモデル化されます。たとえば、ある臨床試験では、特定の薬剤が高血圧の治療に有効かどうかを立証したい場合があり、「その薬剤を服用した患者に観察される血圧の変化」が確率変数となります。仮説の例としては、「血圧の平均変化はゼロである」または「血圧の平均変化は負である」などが挙げられます。一般に、母集団を記述するパラメータに関する記述はすべて仮説となり得ます（ただし、標本に関する記述は仮説ではありません）。^{[ 3 ]}

このテストでは、デフォルトの「帰無」仮説（H ₀と表記）と、その否定である「対立」仮説（H ₁）の 2 つの仮説を比較します。通常、このテストでは、研究対象の介入に効果がない、または母集団パラメータが何らかの「明白な」値を取るという帰無仮説を選択します。与えられたサンプルデータから検定統計量が計算され、検定者は、帰無仮説が真であると仮定した場合に、少なくともこの極端な値を観測する条件付き確率を計算します。この確率（p 値と呼ばれる）がテストの有意水準（H 0 と表記）より小さい場合、${\displaystyle \alpha }$) の場合、帰無仮説は棄却されます。この検定では、帰無仮説が偽であるとは結論付けていません。また、帰無仮説が偽である確率が 未満であるとも結論付けていません。${\displaystyle \alpha }$[ ^{4 ]​}

標本から検証対象の仮説が真か偽かを明確に判断することは通常不可能であるため、仮説検定の結論が正しいとは限りません。考えられる誤差には2つの種類があります。

• 第一種過誤とは、帰無仮説が真であるにもかかわらず、確率で帰無仮説が棄却される過誤のことである。${\displaystyle \alpha =P({\text{reject }}H_{0}|H_{0})}$これは検定の有意水準と同じです。
• 第二種過誤とは、対立仮説が真であるにもかかわらず、確率で帰無仮説が受け入れられる過誤のことである。${\displaystyle \beta =P({\text{accept }}H_{0}|H_{1})}$数量${\displaystyle 1-\beta }$これは検定力と呼ばれる。

さらにいくつかの定義を付け加えます。

• 単純仮説：母集団の分布を完全に規定する仮説。
• 複合仮説：母集団の分布を完全に特定しない仮説。
• 肯定的なデータ：研究者が帰無仮説を棄却することを可能にするデータ。

• 統計的検定の臨界値は、検定の受容領域の境界です。 ^{[ 5 ]}受容領域とは、帰無仮説が棄却されない検定統計量の値の集合です。受容領域の形状によっては、臨界値が1つまたは複数存在する場合があります。
  • 拒絶領域/棄却域：帰無仮説が棄却される検定統計量の値の集合。
• サイズ：単純な仮説の場合、これは検定が帰無仮説を誤って棄却する確率です。偽陽性率です。複合仮説の場合、これは帰無仮説に含まれるすべてのケースにおいて帰無仮説を棄却する確率の上限です。偽陽性率の補数は、生物統計学では特異度と呼ばれます。（「これは特異度の高い検査です。結果が陽性であるため、患者がその疾患にかかっていると自信を持って言えます。」）詳細な定義については、感度と特異度、および第一種過誤と第二種過誤を参照してください。
• 統計的有意性検定：統計的仮説検定の前身（起源の項を参照）。サンプルが（帰無）仮説と十分に矛盾する場合、実験結果は統計的に有意。これは、常識、意味のある実験結果を特定するための実用的なヒューリスティック、統計的証拠の閾値を確立する慣習、またはデータから結論を導き出す方法など、さまざまな観点から考えられていた。統計的仮説検定は、対立仮説を明示することで、この概念に数学的な厳密性と哲学的な一貫性を加えた。この用語は、現在では統計的仮説検定の一部となっている現代版を指すのに漠然と用いられている。
• 保守的な検定：ある検定が保守的であるというのは、特定の名目上の有意水準に基づいて構築された場合、帰無仮説を誤って棄却する真の確率が、その名目上の有意水準を超えることが決してないという場合である。
• 正確なテスト

統計的仮説検定では、検定統計量（例えばz値やt値）を閾値と比較します。検定統計量（以下の表に示す式）は最適性に基づいて決定されます。第一種過誤率が一定の場合、これらの統計量を用いることで第二種過誤率を最小化できます（検出力を最大化することに相当します）。以下の用語は、このような最適性の観点から検定を説明するものです。

• 最も強力な検定：特定のサイズまたは有意水準において、対立仮説に含まれる検定対象のパラメータの特定の値に対して、最も高い検出力（棄却確率）を持つ検定。
• 一様に最も強力な検定（UMP）

仮説検定は20世紀初頭に普及したが、その初期の形態は1700年代に使用されていた。最初の使用はジョン・アーバスノット（1710年）^{[ 6 ]}によるものとされ、続いてピエール＝シモン・ラプラス（1770年代）が人間の出生時の性比を分析した。§ 人間の性比を参照。

1778年：ピエール・ラプラスは、ヨーロッパの複数の都市における男女の出生率を比較した。彼は「これらの可能性はほぼ同じ比率であると結論づけるのが自然である」と述べている。したがって、この場合の帰無仮説は、「常識」に基づけば男女の出生率は等しいはずである、というものである。^{[ 7 ]}

1900年：カール・ピアソンは、「特定の母集団から抽出された標本を、特定の形式の度数曲線が効果的に記述できるかどうか」を判断するためにカイ二乗検定を開発しました。したがって、帰無仮説は、母集団が理論によって予測される何らかの分布によって記述されるというものです。彼は例として、ウェルドンのサイコロ投げデータにおける5と6の数を使用しています。^{[ 8 ]}

1904年：カール・ピアソンは、結果が特定のカテゴリー要因から独立しているかどうかを判断するために、 「偶発性」の概念を発展させた。ここでは、帰無仮説は、2つの事柄が無関係であるという前提に基づいている（例：瘢痕形成と天然痘による死亡率）。 ^{[ 9 ]}この場合の帰無仮説は、もはや理論や常識によって予測されるものではなく、フィッシャーらが「逆確率」の使用を否定するに至った無関心の原理に基づいている。 ^{[ 10 ]}

現代の有意性検定は主にカール・ピアソン（p値、ピアソンのカイ二乗検定）、ウィリアム・シーリー・ゴセット（スチューデントのt分布）、ロナルド・フィッシャー（「帰無仮説」、分散分析、「有意性検定」）の成果であり、仮説検定はイェジー・ネイマンとエゴン・ピアソン（カールの息子）によって開発された。ロナルド・フィッシャーは統計学のキャリアをベイズ主義者としてスタートしたが（Zabell 1992）、フィッシャーはすぐにその主観性（特に事前確率を決定する際の無差別原理の使用）に幻滅し、帰納的推論に対するより「客観的な」アプローチを提供しようとした。^{[ 11 ]}

フィッシャーは、正規分布を仮定して少数のサンプルから結果を抽出する厳密な実験計画と手法を重視した。一方、ネイマン（若いピアソンと共同研究を行った）は、多数のサンプルからより多くの結果を得るための数学的な厳密さと、より広い範囲の分布に対応する手法を重視した。現代の仮説検定は、20世紀初頭に開発されたフィッシャーとネイマン／ピアソンの定式化、手法、用語が混在した、一貫性のないハイブリッドである。

フィッシャーは「有意性検定」を普及させた。彼は帰無仮説（母集団の度数分布に対応するもの）と標本を必要とした。彼の（今ではよく知られている）計算によって、帰無仮説を棄却するかどうかが決定された。有意性検定では対立仮説を用いないため、第二種過誤（偽陰性）の概念は存在しなかった。

p値は、研究者が（他の知識に基づいて）将来の実験を修正するか、帰無仮説に対する確信を強めるかを判断するのに役立つことを目的とした、非公式だが客観的な指標として考案された。 ^{[ 12 ]}仮説検定（およびタイプI/IIエラー）は、フィッシャーのp値よりも客観的な代替手段としてネイマンとピアソンによって考案され、研究者の行動を判断することを目的としているが、研究者による帰納的推論は必要としない。 ^{[ 13 ] [ 14 ]}

ネイマンとピアソンは、フィッシャーとは異なる問題（彼らはこれを「仮説検定」と呼んだ）を検討した。彼らはまず、2つの単純な仮説（どちらも度数分布を持つ）を検討した。そして、2つの確率を計算し、通常は確率の高い方の仮説（サンプルを生成した可能性が高い仮説）を選択した。彼らの方法は常に仮説を選択するものであり、また、2種類の誤差確率を計算することも可能であった。

フィッシャーとネイマン/ピアソンは激しく対立した。ネイマン/ピアソンは、自分たちの定式化を有意性検定の改良された一般化だと考えていた（定義論文^{[ 13 ]}は抽象的であり、数学者たちは何十年にもわたってこの理論を一般化して洗練させてきた^{[ 15 ]}）。フィッシャーは、実験の過程で、予期せぬ誤差の原因により、帰無仮説に関する当初の仮定が疑わしいことが判明することが多いため、この定式化は科学研究には適用できないと考えていた。彼は、データ収集前に定式化されたモデルに基づく厳格な棄却/受容の決定は、科学者が直面するこの一般的なシナリオとは相容れず、この方法を科学研究に適用しようとすると大混乱を招くと信じていた。^{[ 16 ]}

フィッシャーとネイマン＝ピアソンの間の論争は哲学的な根拠に基づいて行われ、ある哲学者はそれを統計的推論におけるモデルの適切な役割をめぐる論争と特徴づけた。^{[ 17 ]}

ネイマンは1938年にカリフォルニア大学バークレー校の職に就き、ピアソンとのパートナーシップを解消し、（以前は同じ建物に入居していた）両者を分離させた。フィッシャーとネイマンの間の紛争は、1962年のフィッシャーの死によって（27年間未解決のまま）終結した。ネイマンは高く評価された追悼文を書いた。^{[ 18 ]}ネイマンの後の出版物の中には、p値と有意水準を報告したものもある。^{[ 19 ]}

ポール・ミールは、帰無仮説の選択の認識論的重要性がほとんど認識されていないと主張している。帰無仮説が理論によって予測される場合、より精密な実験は、その根底にある理論に対するより厳しい検証となる。帰無仮説が「差がない」または「効果がない」にデフォルト設定されている場合、より精密な実験は、実験を行う動機となった理論に対するより緩やかな検証となる。^{[ 23 ]}

フィッシャーとネイマンは、確率の主観性に反対した。彼らの見解は、客観的な定義の確立に貢献した。彼らの歴史的な意見の相違の核心は、哲学的なものであった。

仮説検定に対する哲学的批判の多くは、統計学者によって他の文脈、特に相関関係は因果関係を意味しないことや実験計画法で議論されている。仮説検定は哲学者にとって継続的な関心事である。^{[ 17 ] [ 24 ]}

統計学は学校でますます教えられるようになり、仮説検定は教えられる要素の 1 つです。^{[ 25 ] [ 26 ]}大衆メディアで報告される多くの結論 (政治世論調査から医学研究まで) は統計に基づいています。一部の著者は、このような統計分析により、大量のデータを含む問題について明確に考えることができ、また、そのデータからの傾向と推論を効果的に報告できると述べていますが、一般大衆向けの著者は、用語と概念を正しく使用するために、この分野をしっかりと理解しておく必要があると警告しています。^{[ 27 ] [ 28 ]}大学の入門統計学の授業では、仮説検定に重点が置かれており、おそらくコースの半分を占めています。文学や神学などの分野では、統計分析に基づく発見が取り入れられています (聖書分析を参照)。入門統計学の授業では、仮説検定は手順書のように教えられます。仮説検定は大学院レベルでも教えられています。統計学者は、優れた統計的検定手順 ( z、スチューデントのt、F、カイ二乗など) を作成する方法を学びます。統計的仮説検定は統計学の中で成熟した分野と考えられているが、^{[ 29 ]}限定的な開発が続いている。

ある学術研究によると、入門統計学の指導におけるマニュアル的な方法では、歴史、哲学、論争に割く時間が全くないという。仮説検定は、既成の統一的な方法として教えられてきた。調査によると、このクラスの卒業生は（統計的推論のあらゆる側面に関して）哲学的な誤解に満ちており、それは教師の間でも根強く残っている。^{[ 30 ]}この問題は10年以上前に取り上げられ、^{[ 31 ]}教育改革の要求は続いているが、^{[ 32 ]}学生は依然として仮説検定に関する根本的な誤解を抱えたまま統計学の授業を卒業する。^{[ 33 ]}仮説検定の指導を改善するためのアイデアとしては、学生に発表された論文中の統計的誤りを探すよう促すこと、統計学の歴史を教えること、そして一般的に退屈なこの分野における論争を強調することなどが挙げられる。^{[ 34 ]}

レイモンド・S・ニッカーソンは次のようにコメントした。

NHST に関する議論は、現代のアプローチの基礎となっている推論統計理論の発展に大きく貢献した人々の間で未解決の意見の相違があることに端を発している。Gigerenzerら (1989)は、一方では R.A. Fisher、他方では Jerzy Neyman と Egon Pearson の間の論争、そしてこれら 2 つの見解と Thomas Bayes の追随者たちの見解との間の意見の相違についてかなり詳細に検討した。彼らは、NHST を潜在的なユーザーに教えるために使用されているほとんどの教科書には、歴史的かつ現在も続いている論争の兆候がほとんど見られないという驚くべき事実を指摘した。その結果、正確な歴史的視点と、統計的推論に対するさまざまなアプローチの複雑さと時には論争の的となる哲学的基盤の理解が欠如していることが、統計的検定が誤用され、誤解される明らかな容易さを説明する大きな要因となっている可能性がある。^{[ 20 ]}

実際に頻度論的仮説検定を行う際の典型的な手順は以下のとおりです。

1. 仮説（データを用いて検証可能な主張）を定義する。
2. 関連する統計的検定と、それに対応する検定統計量Tを選択してください。
3. 仮定から、帰無仮説の下での検定統計量の分布を導出します。標準的なケースでは、これは既知の結果となります。例えば、検定統計量は自由度が既知のt分布に従うか、平均と分散が既知の正規分布に従う可能性があります。
4. 有意水準（α ）、つまり許容される偽陽性率の最大値を選択してください。一般的な値は5%と1%です。
5. 観測値から検定統計量Tの観測値t _obsを計算します。
6. 帰無仮説を棄却して対立仮説を採用するか、棄却しないかを決定します。ネイマン・ピアソンの決定ルールは、観測値t _obsが棄却域にある場合は帰無仮説H ₀を棄却し、そうでない場合は帰無仮説を棄却しないというものです。^{[ 35 ]}

ブートストラップベースのリサンプリング法は、帰無仮説検定に使用できます。ブートストラップは、帰無仮説が正しいと仮定して、元の結合サンプルデータをランダムに（復元抽出で）リサンプリングすることにより、多数のシミュレーションサンプルを作成します。ブートストラップは、分布に依存せず、制約のあるパラメトリック仮定に依存せず、漸近保証のある経験的近似法に基づいているため、非常に汎用性があります。従来のパラメトリック仮説検定は計算効率が高いですが、より強い構造的仮定を置きます。帰無仮説の下での検定統計量の確率を計算することが困難または不可能な状況（おそらく不便さや基礎となる分布の知識不足のため）では、ブートストラップは統計的推論のための実行可能な方法を提供します。^{[ 44 ] [ 45 ] [ 46 ] [ 47 ]}

統計的仮説検定は、頻度論的推論とベイズ推論の両方において重要な手法ですが、両者には顕著な違いがあります。統計的仮説検定は、デフォルトの立場（帰無仮説）が誤っていると判断する確率を制御（固定）する手順を定義します。この手順は、帰無仮説が真である場合に一連の観測値が発生する可能性に基づいています。この誤った判断をする確率は、帰無仮説が真である確率でも、特定の対立仮説が真である確率でもありません。これは、帰無仮説と対立仮説をより同等に扱う意思決定理論の他の手法とは対照的です。

仮説検定に対する単純なベイズ的アプローチの 1 つは事後確率に基づいて決定を下すことですが、^{[ 57 ] [ 58 ]}これは点仮説と連続仮説を比較する場合に失敗します。ベイズ決定理論などの他の意思決定アプローチは、単一の帰無仮説に集中するのではなく、すべての可能性にわたる誤った決定の結果のバランスを取ろうとします。データに基づいて決定を下すための他のアプローチは、決定理論と最適決定を通じて利用可能であり、その中には望ましい特性を持つものもあります。しかし、仮説検定は、科学の多くの分野でデータ分析の支配的なアプローチです。仮説検定理論の拡張には、検定力の研究、つまり帰無仮説が偽である場合に正しく帰無仮説を棄却する確率の研究が含まれます。このような考慮事項は、データ収集前のサンプルサイズ決定の目的で使用できます。

ネイマン・ピアソン仮説検定（または帰無仮説統計的有意性検定）の例は、放射性スーツケースの例を変更することで作成できます。「スーツケース」が実際に放射性物質を輸送するための遮蔽容器である場合、テストを使用して、放射性源が存在しない、1つ存在する、2つ（すべて）存在するという3つの仮説の中から選択することができます。テストは安全のために必要であり、それぞれの場合に措置が必要になります。仮説検定のネイマン・ピアソン補題は、仮説を選択するための良い基準は、それらの確率の比（尤度比）であると述べています。簡単な解決方法は、観測されたガイガーカウントに対して最も高い確率を持つ仮説を選択することです。典型的な結果は直感と一致します。カウントが少ない場合は源がなく、カウントが多い場合は2つの源があり、中間のカウントの場合は1つの源があることを意味します。また、通常は否定を証明するのに問題があることにも注意してください。帰無仮説は少なくとも反証可能でなければなりません。

ネイマン・ピアソン理論は、事前確率と意思決定から生じる行動のコストの両方に対応できます。^{[ 59 ]}前者は、各検定で以前の検定の結果を考慮に入れることを可能にします（フィッシャーの有意性検定とは異なります）。後者は、確率だけでなく、経済的な問題（例えば）も考慮に入れることを可能にします。尤度比は、仮説を選択するための優れた基準であり続けます。

仮説検定の 2 つの形式は、異なる問題設定に基づいています。元のテストは真偽問題に類似しており、ネイマン・ピアソン検定は多肢選択式に近いものです。Tukey [ 60 ] の見解では、前者^は強力な証拠のみに基づいて結論を導き出し、後者は利用可能な証拠に基づいて決定を導き出します。この 2 つのテストは数学的にも哲学的にもかなり異なっているように見えますが、後の発展により正反対の主張につながっています。多数の微小な放射性物質を考えてみましょう。仮説は 0、1、2、3、... 粒の放射性砂になります。放射線がまったくないか、いくらかある場合 (Fisher ) と、放射性砂が 0 粒の場合とすべての選択肢 (ネイマン・ピアソン) の間にはほとんど区別がありません。1933 年のネイマン・ピアソンの主要な論文^{[ 13 ]}では、複合仮説 (分布に未知のパラメータが含まれるもの) も検討されました。ある例では、（スチューデントの）t検定の最適性が証明されており、「検討中の仮説に対してこれ以上の検定方法はあり得ない」（321ページ）と述べられている。ネイマン＝ピアソン理論は、その提唱当初からフィッシャー法の最適性を証明していた。

フィッシャーの有意性検定は、応用において数学的な成長の可能性はほとんどないものの、人気のある柔軟な統計ツールであることが証明されています。ネイマン・ピアソン仮説検定は、数学統計学の柱であると主張されており、^{[ 61 ]}この分野に新しいパラダイムを生み出しました。また、統計的プロセス管理、検出理論、決定理論、ゲーム理論における新しい応用も刺激しました。どちらの定式化も成功していますが、その成功の性質は異なります。

定式化をめぐる論争は未解決である。科学では主に、入門統計学で教えられるフィッシャーの（わずかに修正された）定式化が用いられる。統計学者は大学院でネイマン・ピアソン理論を学ぶ。数学者は定式化を統合したことを誇りに思っている。哲学者はそれらを別々に考察する。学識ある意見では、定式化は（フィッシャー対ネイマン）競合的、非両立的^{[ 11 ]}、または補完的^{[ 15 ]}と様々に見なされている。ベイズ推論が認められるようになってから、論争はさらに複雑になった。

用語に一貫性がない。仮説検定とは、時間とともに変化する2つの定式化の組み合わせを指す場合もある。有意性検定と仮説検定に関する議論は、特に混乱を招きやすい。

フィッシャーは、仮説検定は産業品質管理を行う上で有用な戦略であると考えていたが、仮説検定が科学者にとって有用であるという点には強く反対した。^{[ 12 ]} 仮説検定は、有意性検定で使用される検定統計量を求める手段を提供する。^{[ 15 ]}検出力の概念は、有意水準を調整することによる影響を説明するのに有用であり、サンプルサイズ決定において広く用いられている。この2つの方法は、哲学的に異なるままである。^{[ 17 ]}これらは通常（常にではないが）、同じ数学的答えを生み出す。好ましい答えは文脈に依存する。^{[ 15 ]}フィッシャー理論とネイマン・ピアソン理論の既存の統合は強く批判されているが、ベイズ目標を達成するために統合を修正することが検討されている。^{[ 62 ]}

統計的仮説検定に対する批判の多​​くは、以下の問題点に集約される。

• p値の解釈は、停止ルールと多重比較の定義に依存します。前者は研究の過程でしばしば変化し、後者は必然的に曖昧になります（つまり、「p値は、観測された（データ）と、観測されたかもしれないが観測されなかった他の可能性のある（データ）の両方に依存します」）。^{[ 63 ]}
• （部分的には）概念的に異なるフィッシャー法とネイマン・ピアソン法を組み合わせたことに起因する混乱。^{[ 60 ]}
• 繰り返し実験による推定や確認を排除し、統計的有意性に重点を置く。^{[ 64 ]}
• 出版基準として統計的有意性を厳密に要求することで、出版バイアスが生じる。^{[ 65 ]}批判のほとんどは間接的なものである。統計的仮説検定は間違っているのではなく、誤解され、過剰に使用され、誤用されている。
• グループ間に差があるかどうかを検出するために使用すると、パラドックスが生じます。実験設計の改善（測定精度とサンプルサイズの増加など）が行われると、検定はより寛容になります。データのすべてのノイズ源が完全に相殺されるという不合理な仮定を受け入れない限り、どちらの方向にも統計的有意性を見つける可能性は100%に近づきます。^{[ 66 ]}しかし、2つのグループ間の平均差がゼロになることはないというこの不合理な仮定は、iidランダム変数の任意の2つのサブグループ間の期待差がゼロであるため、データが独立かつ同一分布（iid）ではないことを意味します。したがって、iid仮定も不合理です。
• 哲学的な懸念の層。統計的有意性の確率は、実験者/分析者による決定の関数である。^{[ 67 ]}決定が慣習に基づく場合、それは恣意的または無思慮であるとされ^{[ 68 ]、}そうでないものについては主観的であるとされる。タイプIIエラーを最小限に抑えるために、大きなサンプルが推奨される。心理学では、十分に大きなサンプルでは、​​事実上すべての帰無仮説が偽であると主張されるため、「帰無仮説を棄却することだけを目的として実験を行うことは通常無意味である」 ^{[ 69 ]} 。心理学では、「統計的に有意な発見はしばしば誤解を招く」^{[ 70 ]} 。統計的有意性は実質的有意性を意味するものではなく、相関は因果関係を意味するものではない。したがって、帰無仮説に疑義を呈することは、研究仮説を直接支持することとは程遠い。
• 「それは我々が知りたいことを教えてくれない」^{[ 71 ]}数十件の苦情リストが入手可能である^{[ 72 ] [ 20 ] [ 73 ]}

批判者と支持者は、帰無仮説有意性検定（NHST）の特性に関して、事実上ほぼ一致している。NHSTは重要な情報を提供できるが、統計分析の唯一のツールとしては不十分である。帰無仮説を棄却できたとしても、研究仮説を支持するものではない可能性がある。現在も議論が続いているのは、既存の統計手法を踏まえて、近い将来に最適な統計手法を選択することである。しかし、適切な研究設計によってこの問題を最小限に抑えることができる。批判者はNHSTを完全に禁止し、既存の手法から完全に脱却することを望んでいるが^{[ 74 ]}、支持者はそれほど絶対的ではない変更を提案している^{[ 75 ] 。}

有意性検定、特にそれが出版バイアスに及ぼす影響をめぐる論争は、いくつかの結果を生み出した。米国心理学会は、見直しの後、統計報告要件を強化した^{[ 76 ]。}医学雑誌の出版社は、出版バイアスに対抗するために、統計的に有意でない結果もいくつか掲載する義務があることを認識した^{[ 77 ]} 。また、そのような結果のみを掲載する雑誌（帰無仮説を支持する論文誌）が創刊された^{[ 78 ]} 。教科書にはいくつかの注意書きが追加され^{[ 79 ]}、有意な結果を得るために必要なサンプルサイズを推定するために必要なツールの解説が増えた。有意性検定の使用を放棄した主要な組織はほとんどないが、放棄を検討した組織もある。^{[ 76 ]}例えば、2023年にJournal of Physiologyの編集者は、「同誌に論文を掲載する者には推定方法の使用を強く推奨する」（効果量の大きさ（読者が発見が実用的、生理学的、または臨床的に関連性があるかどうかを判断できるようにするため）と、その推定の精度を伝えるための信頼区間を意味する）と述べ、「最終的には、Journal of Physiologyに論文を掲載する者が最も気にするべきは、統計的有意性ではなく、データの生理学的重要性である」と述べている。^{[ 80 ]}

P値は確率変数です。^{[ 81 ]}したがって、統計的検定の決定は確率変数です。その安定性を理解するために、以下のようなアプローチが提案されています。

• p値の標本分布をブートストラップする^{[ 82 ]}

批評家たちの共通の立場は、統計は受容・拒否の結論や決定ではなく、区間推定値を伴う推定値をもたらすべきであるというものである。このデータ分析の哲学は、広く推定統計と呼ばれている。推定統計は、頻度論的方法^{[ 83 ]またはベイズ的方法[ 84 ] [ 85 ]}のいずれかで実行できる。

有意性検定の批判者たちは、推論をp値よりも効果量の重要性については信頼区間、信頼性については予測区間、再現性については再現と拡張、一般性についてはメタ分析に基づいて行うべきだと主張してきた 。^{[ 86 ]}しかし、これらの提案された代替案のいずれも、本質的に決定を生み出すものではない。レーマンは、仮説検定理論は結論/決定、確率、または信頼区間の観点から提示できると述べた。「これらのアプローチの区別は、主に報告と解釈の違いである。」^{[ 29 ]}

ベイズ推論は、有意性検定の代替案として提案されているものの1つです。（ニッカーソンは、ロゼブーム（1960）を含む10の出典を挙げて、それを示唆しています）。^{[ 20 ]}例えば、ベイズパラメータ推定は、研究者が推論を導き出すことができるデータに関する豊富な情報を提供することができ、十分なデータが利用可能な場合には、結果に最小限の影響しか及ぼさない不確実な事前分布を使用します。心理学者のジョン・K・クルシュケは、 t検定の代替案としてベイズ推定を提案しており^{[ 84 ]}、また、帰無仮説を評価するためのベイズ推定と、仮説検定のためのベイズモデル比較を対比させています。^{[ 85 ]} 2つの競合するモデル/仮説は、ベイズ因子を使用して比較できます。^{[ 87 ]}ベイズ法は、有意性検定が最も頻繁に使用されるケースではめったに利用できない情報を必要とするため、批判される可能性があります。事前確率も、対立仮説の下での検定統計量の確率分布も、社会科学ではしばしば利用できません。^{[ 20 ]}

ベイズ的アプローチの支持者は、研究者の目標は、収集したデータに基づいて仮説が真である確率を客観的に評価することであると主張することがある。 ^{[ 88 ] [ 89 ]}フィッシャーの有意性検定 もネイマン・ピアソン仮説検定も、この情報を提供することはできず、また提供することも主張していない。仮説が真である確率は、ベイズの定理の使用からのみ導き出すことができるが、事前確率という形で主観性を明示的に使用しているため、フィッシャー陣営とネイマン・ピアソン陣営の両方にとって満足のいくものではなかった。^{[ 13 ] [ 90 ]}フィッシャーの戦略は、 p値（データのみに基づく客観的な指標）とそれに続く帰納的推論によってこれを回避することであり、一方ネイマン・ピアソンは帰納的行動のアプローチを考案した。

• Lehmann EL (1992)「NeymanとPearson (1933)『統計的仮説検定の最も効率的な問題について』への序論」。『統計学のブレークスルー』第1巻（Kotz , S.、Johnson, NL編）、Springer-Verlag。ISBN 0-387-94037-5（その後、論文の再掲載が行われた）
• ネイマン、J.、ピアソン、ES（1933）。「統計的仮説の最も効率的な検定の問題について」。Philosophical Transactions of the Royal Society A。231（694–706 ）：289–337。Bibcode：1933RSPTA.231..289N。doi：10.1098/rsta.1933.0009。

ウィキメディア・コモンズには、仮説検定に関連するメディアがあります。

• 「統計的仮説、検証」、数学百科事典、EMS Press、2001 [1994]
• 古典的な仮説検定に対するベイズ的批判
• 統計学者の長年の懸念を浮き彫りにする、古典的な仮説検定に対する批判
• 統計検定の概要：適切な統計検定の選び方
• 生物学的知識発見における統計分析に基づく仮説検定法；Md. Naseef-Ur-Rahman Chowdhury、Suvankar Paul、Kazi Zakia Sultana