統計的有意性

統計的仮説検定において、^[1]^[2]結果が統計的に有意であるとは、帰無仮説が真であれば少なくとも「極端な」結果が非常にまれであるときです。^[3]より正確には、研究で定義された有意水準（）は、帰無仮説が真である場合に研究が帰無仮説を棄却する確率です。^[4]そして結果のp 値（）は、帰無仮説が真である場合に少なくとも同じくらい極端な結果が得られる確率です。^[5]研究の基準では、の場合に結果は統計的に有意です。^[6]^[7]^[8]^[9]^[10]^[11]^{[12]研究の有意水準はデータ収集前に選択され、通常は 5%}^[13]または研究分野に応じてそれよりはるかに低く設定されます。 ^[14] $\alpha$ $p$ $p\leq \alpha$

母集団からサンプルを採取する実験や観察では、観察された効果が標本誤差のみによって発生した可能性が常に存在します。^[15]^[16]しかし、観察された効果のp値が有意水準以下（または等しい）の場合、研究者はその効果が母集団全体の特性を反映していると結論付け、^[1]帰無仮説を棄却する可能性があります。^[17]

結果の統計的有意性を検定するこの手法は、20世紀初頭に開発された。ここでの有意性という用語は重要性を意味するものではなく、統計的有意性という用語は研究的有意性、理論的有意性、または実際的有意性と同じではない。^[1]^[2]^[18]^[19]たとえば、臨床的有意性という用語は、治療効果の実際的重要性を指す。^[20]

歴史

統計的有意性は18世紀に遡り、ジョン・アーバスノットとピエール・シモン・ラプラスの研究で、男児と女児の出生確率が等しいという帰無仮説を仮定して、出生時の人間の性比のp値を計算しました。詳細についてはp 値§歴史を参照してください。 ^[21]^[22]^[23]^[24]^[25]^[26]^[27]

1925年、ロナルド・フィッシャーは、著書『研究者のための統計的手法』の中で、統計的仮説検定の考え方を提唱し、これを「有意性検定」と呼んだ。^[28]^[29]^[30]フィッシャーは、帰無仮説を棄却するための便利なカットオフレベルとして、20分の1（0.05）の確率を提案した。^[31] 1933年の論文で、ジェルジー・ネイマンとエゴン・ピアソンはこのカットオフを有意水準と呼び、と名付けた。彼らは、データ収集の前に事前にを設定することを推奨した。 ^[31]^[32] $\alpha$ $\alpha$

フィッシャーは、有意水準として0.05を最初に提案したにもかかわらず、このカットオフ値を固定するつもりはなかった。1956年に出版された「統計的手法と科学的推論」では、有意水準は特定の状況に応じて設定することを推奨している。^[31]

統計的仮説検定における役割

両側検定では、有意水準 $α = 0.05の棄却領域は$ 標本分布の両端に分割され、曲線の下の領域 (白い領域) の 5% を占めます。

統計的有意性は、統計的仮説検定において極めて重要な役割を果たします。これは、帰無仮説を棄却するか保持するかを決定するために使用されます。帰無仮説とは、研究対象の現象には効果が存在しないという仮説です。^[36]帰無仮説を棄却するには、観察された結果が統計的に有意である必要があります。つまり、観察されたp値が事前に指定された有意水準よりも小さい必要があります。 $\alpha$

結果が統計的に有意かどうかを判断するために、研究者はp値を計算します。p値は、帰無仮説が真であると仮定した場合、同じ大きさまたはより極端な効果が観察される確率です。^[5]^[12]p値が事前に決定されたレベル以下の場合、帰無仮説は棄却されます。は 有意水準とも呼ばれ、帰無仮説が真である場合にそれを棄却する確率（タイプIの誤り）です。通常は5%以下に設定されます。 $\alpha$ $\alpha$

例えば、が 5% に設定されている場合、帰無仮説が真であると仮定すると、タイプ I の過誤の条件付き確率は5% です^[37] 。統計的に有意な結果とは、観測されたp値が 5% 以下 (またはそれに等しい)の場合です^[38]。サンプルからデータを抽出する場合、これは棄却領域が標本分布の 5% を構成することを意味します^[39]。これらの 5% は、片側検定のように標本分布の片側に割り当てることも、両側検定のように分布の両側に分割して、各裾 (または棄却領域) に分布の 2.5% を含めることもできます。 $\alpha$

片側検定を使用するかどうかは、研究課題または対立仮説が、一群の物体がより重いか、または評価における生徒の成績がより優れているかなどの方向性を特定するかどうかによって決まる。^{[3]両側検定も使用されることがあるが、片側検定よりも}検出力が低くなる。これは、片側検定の棄却域が帰無分布の一端に集中しており、両側検定の各棄却域の2倍のサイズ（5%対2.5%）になるためである。その結果、片側検定を使用した場合、帰無仮説はそれほど極端ではない結果で棄却される可能性がある。^[40]片側検定は、対立仮説の指定された方向性が正しい場合にのみ、両側検定よりも検出力が強い。しかし、それが間違っている場合、片側検定には検出力がない。

特定の分野における重要性の閾値

素粒子物理学や製造業などの特定の分野では、統計的有意性は正規分布の標準偏差またはシグマ（σ）の倍数で表現されることが多く、有意性の閾値ははるかに厳しいレベル（たとえば5σ）に設定されます。 [ ^41]^[42]たとえば、ヒッグス粒子の存在の確実性は5σ基準に基づいており、これは約350万分の1のp値に相当します。 ^[42]^[43]

ゲノムワイド関連研究などの他の科学研究分野では、有意水準は5 × 10−8^は珍しくありません^[44]^[45] —実施されるテストの数が非常に多いためです。

制限事項

結果が統計的に有意であるかどうかだけに焦点を当てた研究者は、実質的ではなく、再現性のない研究結果を報告する可能性があります。 ^{[46] [47]}^[^48]また、統計的有意性と実際的有意性には違いがあります。統計的に有意であると判明した研究が、必ずしも実際的有意性があるとは限りません。^[49]^[19]

効果の大きさ

効果サイズは研究の実際的な重要性を測る尺度である。^[49]統計的に有意な結果でも、効果が弱い場合がある。研究結果の重要性を測るために、研究者は常にp値とともに効果サイズを報告することが推奨されている。効果サイズの尺度は、標準偏差の単位での2つの平均間の距離（Cohenのdを参照）、2つの変数間の相関係数またはその2乗、およびその他の尺度など、効果の強さを定量化する。^[50]

再現性

統計的に有意な結果は、再現が容易ではない場合があります。^[48]特に、統計的に有意な結果の中には、実際には偽陽性となるものもあります。結果を再現する試みが失敗するたびに、結果が偽陽性である可能性が高くなります。^[51]

課題

一部のジャーナルでは過剰使用

2010年代から、いくつかのジャーナルは、有意性検定、特に $α$ =5%の閾値の使用が、仮説の妥当性の主な尺度として過度に依存されているのではないかと疑問を呈し始めました。^[52]一部のジャーナルは、著者に単なる統計的有意性検定よりも詳細な分析を行うよう奨励しました。社会心理学では、ジャーナル「Basic and Applied Social Psychology」が、掲載する論文で有意性検定の使用を全面的に禁止し、^[53]著者に仮説と影響を評価するために他の尺度を使用するよう求めました。^[54]^[55]

この禁止についてコメントした他の編集者は、「Basic and Applied Social Psychology が最近行ったように、p値の報告を禁止しても、問題の症状を治療しているに過ぎず、問題は解決しません。著者、査読者、アクション編集者が正しく使用している限り、仮説検定やp値自体には何の問題もありません。」と述べています。 ^{[56]一部の統計学者は、}尤度比やベイズ係数などの代替的な証拠の尺度を使用することを好みます。^[57]ベイズ統計を使用すると信頼水準を回避できますが、追加の仮定も必要になり、^[57]統計検定に関する実践が必ずしも改善されるとは限りません。^[58]

統計的有意性の広範な乱用は、メタサイエンスにおける重要な研究テーマである。^[59]

重要性の再定義

2016年、アメリカ統計学会（ASA）はp値に関する声明を発表し、「科学的発見（または暗黙の真実）を主張するための許可証として『統計的有意性』（一般的には『 p ≤ 0.05』と解釈される）が広く使用されていることは、科学的プロセスの大幅な歪みにつながる」と述べた。 ^[57] 2017年には、72人の著者のグループが、統計的有意性のp値の閾値を0.05から0.005に変更することで再現性を高めることを提案した。^{[60]他の研究者は、より厳格な有意性閾値を課すことは、}データドレッジングなどの問題を悪化させると反論した。そのため、代替案としては、データ収集前に柔軟なp値閾値を選択して正当化するか、^[61]p値を連続的な指標として解釈し、閾値と統計的有意性を破棄するかが提案されている。^[62]さらに、0.005への変更は偽陰性の可能性を増加させ、研究対象の効果が実際にあるにもかかわらず、テストではそれを示すことができないことになります。^[63]

2019年には、800人を超える統計学者や科学者が、科学における「統計的有意性」という用語の廃止を求めるメッセージに署名し^[64]、ASAはさらなる公式声明^[65]を発表し、次のように宣言しました（2ページ目）。

この特集号の記事と幅広い文献を検討した結果、私たちは「統計的に有意」という用語の使用を完全にやめるべき時が来たと結論付けました。また、「有意に異なる」、「」、「有意でない」などの異形も、言葉で表現されるか、表にアスタリスクで表示されるか、あるいは他の方法で表現されるかにかかわらず、存続すべきではありません。 $p\leq 0.05$

参照

参考文献

^ abc Sirkin, R. Mark (2005). 「2標本t検定」。社会科学のための統計（第3版）。カリフォルニア州サウザンドオークス：SAGE Publications, Inc. pp. 271–316。ISBN 978-1-4129-0546-6。
^ ab Borror, Connie M. (2009). 「統計的意思決定」。認定品質エンジニアハンドブック（第3版）。ミルウォーキー、ウィスコンシン州：ASQ Quality Press。pp. 418–472。ISBN 978-0-87389-745-7。
^ ab Myers, Jerome L.; Well, Arnold D.; Lorch, Robert F. Jr. (2010). 「二項分布を用いた仮説検定の基礎の開発」。研究デザインと統計分析(第 3 版)。ニューヨーク、NY: Routledge。pp. 65–90。ISBN 978-0-8058-6431-1。
^ ab Dalgaard, Peter (2008). 「検出力とサンプルサイズの計算」R による統計入門。統計とコンピューティング。ニューヨーク: Springer。pp. 155–56。doi : 10.1007 / 978-0-387-79054-1_9。ISBN 978-0-387-79053-4。
^ ab 「統計的仮説検定」www.dartmouth.edu . 2020年8月2日時点のオリジナルよりアーカイブ。2019年11月11日閲覧。
^ Johnson, Valen E. (2013年10月9日). 「統計的証拠の改訂基準」. Proceedings of the National Academy of Sciences . 110 (48): 19313–19317. Bibcode :2013PNAS..11019313J. doi : 10.1073/pnas.1313476110 . PMC 3845140. PMID 24218581 .
^ Redmond, Carol; Colton, Theodore (2001)。「臨床的意義と統計的意義」。臨床試験における生物統計学。Wiley Reference Series in Biostatistics (第 3 版)。ウェストサセックス、イギリス: John Wiley & Sons Ltd。pp. 35–36。ISBN 978-0-471-82211-0。
^ Cumming, Geoff (2012). 『新しい統計を理解する: 効果サイズ、信頼区間、メタ分析』ニューヨーク、米国: Routledge。pp. 27–28。
^ Krzywinski, Martin; Altman, Naomi (2013年10月30日). 「有意性のポイント: 有意性、P値、t検定」. Nature Methods . 10 (11): 1041–1042. doi : 10.1038/nmeth.2698 . PMID 24344377.
^ Sham, Pak C.; Purcell, Shaun M (2014年4月17日). 「大規模遺伝学研究における統計的検出力と有意性検定」. Nature Reviews Genetics . 15 (5): 335–346. doi :10.1038/nrg3706. PMID 24739678. S2CID 10961123.
^ アルトマン、ダグラス G. (1999)。医療研究のための実践統計。ニューヨーク、米国：チャップマン＆ホール/CRC。pp. 167。ISBN 978-0-412-27630-9。
^ ab Devore, Jay L. (2011).工学と科学のための確率と統計(第 8 版). ボストン、マサチューセッツ州: Cengage Learning. pp. 300–344. ISBN 978-0-538-73352-6。
^ Craparo, Robert M. (2007). 「有意水準」。Salkind, Neil J. (編)。測定と統計の百科事典。第3巻。サウザンドオークス、カリフォルニア州：SAGE Publications。pp. 889–891。ISBN 978-1-4129-1611-0。
^ Sproull, Natalie L. (2002) 「仮説検定」研究方法ハンドブック: 社会科学の実践者と学生のためのガイド(第 2 版) メリーランド州ランハム: Scarecrow Press, Inc. pp. 49–64. ISBN 978-0-8108-4486-5。
^ Babbie, Earl R. (2013). 「サンプリングの論理」。社会調査の実践（第13版）。カリフォルニア州ベルモント：Cengage Learning。pp. 185–226。ISBN 978-1-133-04979-1。
^ Faherty, Vincent (2008) 「確率と統計的有意性」Compassionate Statistics: 社会サービスのための応用定量分析 (SPSS の演習と説明付き) (第 1 版)。カリフォルニア州サウザンドオークス: SAGE Publications, Inc. pp. 127–138。ISBN 978-1-4129-3982-9。
^ マキルップ、スティーブ (2006)。「確率は結果についての判断に役立ちます」。統計解説：生命科学者のための入門ガイド（第 1 版）。ケンブリッジ、イギリス：ケンブリッジ大学出版局。pp. 44–56。ISBN 978-0-521-54316-3。
^ Myers, Jerome L.; Well, Arnold D.; Lorch, Robert F. Jr. (2010) 「t分布とその応用」。研究デザインと統計分析（第3版）。ニューヨーク、NY：Routledge。pp. 124–153。ISBN 978-0-8058-6431-1。
^ ab Hooper, Peter. 「P値とは何か？」(PDF)。アルバータ大学、数学・統計科学部。 2020年3月31日時点のオリジナル(PDF)からアーカイブ。 2019年11月10日閲覧。
^ Leung, W.-C. (2001-03-01). 「治療効果の評価における統計的および臨床的重要性のバランス」. Postgraduate Medical Journal . 77 (905): 201–204. doi :10.1136/pmj.77.905.201. ISSN 0032-5473. PMC 1741942. PMID 11222834 .
^ Brian, Éric; Jaisson, Marie (2007). 「物理神学と数学 (1710–1794)」.出生時の人間の性比の減少. Springer Science & Business Media. pp. 1–25. ISBN 978-1-4020-6036-6。
^ジョン ・アーバスノット (1710)。「男女の出産に見られる一定の規則性から導かれた神の摂理の議論」(PDF)。ロンドン王立協会哲学論文集。27 (325–336): 186–190。doi : 10.1098/rstl.1710.0011。
^ Conover, WJ (1999)、「第3.4章: 符号検定」、実用ノンパラメトリック統計(第3版)、Wiley、pp. 157–176、ISBN 978-0-471-16068-7
^ Sprent, P. (1989)、応用ノンパラメトリック統計手法（第2版）、Chapman & Hall、ISBN 978-0-412-44980-2
^ スティグラー、スティーブン・M（1986年）。統計の歴史：1900年以前の不確実性の測定。ハーバード大学出版局。pp. 225–226。ISBN 978-0-674-40341-3。
^ ベルハウス、デイビッド (2001)、「ジョン・アーバスノット」、CC ハイデ、E. セネタ(編)、『世紀の統計学者』、シュプリンガー、pp. 39–42、ISBN 978-0-387-95329-8
^ Hald, Anders (1998)、「第 4 章偶然か計画か: 有意性の検定」、1750 年から 1930 年までの数理統計学の歴史、Wiley、p. 65
^ Cumming, Geoff (2011)。「帰無仮説の重要性から効果サイズのテストへ」。新しい統計を理解する: 効果サイズ、信頼区間、メタ分析。多変量アプリケーションシリーズ。イーストサセックス、イギリス: Routledge。pp. 21–52。ISBN 978-0-415-87968-2。
^ フィッシャー、ロナルド A. (1925)。研究者のための統計手法。エディンバラ、イギリス：オリバー＆ボイド。pp. 43。ISBN 978-0-05-002170-5。
^ ポレティエック、フェンナ H. (2001)。「テストの形式理論」。仮説検証行動。認知心理学エッセイ (第 1 版)。イーストサセックス、イギリス: 心理学出版社。pp. 29–48。ISBN 978-1-84169-159-6。
^ abc Quinn, Geoffrey R.; Keough, Michael J. (2002). 生物学者のための実験デザインとデータ分析（第1版）. ケンブリッジ、イギリス：ケンブリッジ大学出版局. pp. 46–69. ISBN 978-0-521-00976-8。
^ Neyman, J.; Pearson, ES (1933). 「事前確率に関する統計的仮説のテスト」.ケンブリッジ哲学協会数学紀要. 29 (4): 492–510. Bibcode :1933PCPS...29..492N. doi :10.1017/S030500410001152X. S2CID 119855116.
^ 「信頼区間の助けを借りれば、統計的有意性についての結論を出すことができます。信頼区間にゼロ効果の値が含まれていない場合、統計的に有意な結果があると想定できます。」Prel, Jean-Baptist du; Hommel, Gerhard; Röhrig, Bernd; Blettner, Maria (2009). 「信頼区間か P 値か?」Deutsches Ärzteblatt Online . 106 (19): 335–9. doi :10.3238/arztebl.2009.0335. PMC 2689604 . PMID 19547734.
^ StatNews #73: 重複する信頼区間と統計的有意性
^ Neyman, J. (1937). 「古典的確率理論に基づく統計的推定理論の概要」. Philosophical Transactions of the Royal Society A . 236 (767): 333–380. Bibcode :1937RSPTA.236..333N. doi :10.1098/rsta.1937.0005. JSTOR 91337. S2CID 19584450.
^ マイヤー、ケネス J.、ブルードニー、ジェフリー L.、ボーテ、ジョン (2011)。『公共および非営利行政のための応用統計学』（第 3 版）。ボストン、マサチューセッツ州: Cengage Learning。pp. 189–209。ISBN 978-1-111-34280-7。
^ ヒーリー、ジョセフ F. (2009)。統計の基本: 社会調査のためのツール(第 2 版)。ベルモント、カリフォルニア州: Cengage Learning。pp. 177–205。ISBN 978-0-495-60143-2。
^ マキルップ、スティーブ（2006年）。統計学解説：生命科学者のための入門ガイド（第1版）。ケンブリッジ、イギリス：ケンブリッジ大学出版局。pp. 32–38。ISBN 978-0-521-54316-3。
^ ヘルス、デイビッド（1995年）。生物学のための実験計画と統計入門（第1版）。ボストン、マサチューセッツ州：CRCプレス。pp.123-154。ISBN 978-1-85728-132-3。
^ Hinton, Perry R. (2010) 「有意性、誤差、検出力」。統計解説（第3版）。ニューヨーク、NY：Routledge。pp. 79–90。ISBN 978-1-84872-312-2。
^ ヴォーン、サイモン（2013）。科学的推論：データから学ぶ（第1版）。ケンブリッジ、イギリス：ケンブリッジ大学出版局。pp. 146–152。ISBN 978-1-107-02482-3。
^ ab Bracken, Michael B. (2013).リスク、チャンス、因果関係：疾病の起源と治療の調査（第1版）。ニューヘブン、コネチカット州：エール大学出版局。pp. 260–276。ISBN 978-0-300-18884-4。
^ フランクリン、アラン (2013)。「プロローグ: シグマの台頭」。『基準の転換: 20 世紀の素粒子物理学の実験』 (第 1 版)。ピッツバーグ、ペンシルバニア州: ピッツバーグ大学出版局。pp. Ii– Iii。ISBN 978-0-8229-4430-0。
^ Clarke, GM; Anderson, CA; Pettersson, FH; Cardon, LR; Morris, AP; Zondervan, KT (2011年2月6日). 「遺伝学的症例対照研究における基本的な統計分析」. Nature Protocols . 6 (2): 121–33. doi :10.1038/nprot.2010.182. PMC 3154648. PMID 21293453 .
^ Barsh, GS; Copenhaver, GP; Gibson, G; Williams, SM (2012年7月5日). 「ゲノムワイド関連研究のガイドライン」. PLOS Genetics . 8 (7): e1002812. doi : 10.1371/journal.pgen.1002812 . PMC 3390399. PMID 22792080 .
^ Carver, Ronald P. (1978). 「統計的有意性検定に反対するケース」.ハーバード教育評論. 48 (3): 378–399. doi :10.17763/haer.48.3.t490261645281841. S2CID 16355113.
^ Ioannidis, John PA (2005). 「なぜ出版された研究結果のほとんどが誤りなのか」. PLOS Medicine . 2 (8): e124. doi : 10.1371/journal.pmed.0020124 . PMC 1182327. PMID 16060722 .
^ ab Amrhein, Valentin; Korner-Nievergelt, Fränzi; Roth, Tobias (2017). 「地球は平らである (p > 0.05): 有意閾値と再現不可能な研究の危機」. PeerJ . 5 : e3544. doi : 10.7717/peerj.3544 . PMC 5502092. PMID 28698825 .
^ ab Hojat, Mohammadreza; Xu, Gang (2004). 「効果サイズの訪問者ガイド」.健康科学教育の進歩. 9 (3): 241–9. doi :10.1023/B:AHSE.0000038173.00909.f6. PMID 15316274. S2CID 8045624.
^ ペダズル、エラザール J.;シュメルキン、リオラ P. (1991)。測定、設計、および分析: 統合されたアプローチ(学生編)。ニューヨーク州ニューヨーク：心理学プレス。 180–210ページ。ISBN 978-0-8058-1063-9。
^ Stahel, Werner (2016). 「再現性における統計的問題」原則、問題、実践、展望再現性: 原則、問題、実践、展望: 87–114. doi :10.1002/9781118865064.ch5. ISBN 978-1-118-86497-5。
^ 「CSSMEセミナーシリーズ：p値と帰無仮説有意性検定（NHST）パラダイムに関する議論」www.education.leeds.ac.uk。リーズ大学教育学部。 2016年12月1日閲覧。
^ Novella, Steven (2015年2月25日). 「心理学ジャーナルが有意性テストを禁止」. Science-Based Medicine.
^ Woolston, Chris (2015-03-05). 「心理学ジャーナルがP値を禁止」. Nature . 519 (7541): 9. Bibcode :2015Natur.519....9W. doi : 10.1038/519009f .
^ Siegfried, Tom (2015-03-17). 「P値の禁止：ジャーナルにとっては小さな一歩だが、科学にとっては大きな飛躍」。サイエンスニュース。2016年12月1日閲覧。
^ アントナキス、ジョン（2017年2月）。「より良い科学を行うために：発見の興奮から政策への影響まで」（PDF）。リーダーシップ四半期誌。28 （ 1）：5–21。doi ：10.1016/j.leaqua.2017.01.006 。
^ abc Wasserstein, Ronald L.; Lazar, Nicole A. (2016-04-02). 「ASAのp値に関する声明：文脈、プロセス、目的」. The American Statistician . 70 (2): 129–133. doi : 10.1080/00031305.2016.1154108 .
^ García-Pérez, Miguel A. (2016-10-05). 「帰無仮説有意性検定に対して偽証してはならない」.教育および心理測定. 77 (4): 631–662. doi :10.1177/0013164416668232. ISSN 0013-1644. PMC 5991793. PMID 30034024 .
^ Ioannidis, John PA; Ware, Jennifer J.; Wagenmakers, Eric-Jan; Simonsohn, Uri; Chambers, Christopher D.; Button, Katherine S.; Bishop, Dorothy VM; Nosek, Brian A.; Munafò, Marcus R. (2017年1月). 「再現可能な科学のためのマニフェスト」. Nature Human Behaviour . 1 ( 1): 0021. doi : 10.1038/s41562-016-0021 . PMC 7610724. PMID 33954258.
^ ベンジャミン、ダニエル; et al. (2018). 「統計的有意性の再定義」. Nature Human Behaviour . 1 (1): 6–10. doi : 10.1038/s41562-017-0189-z . hdl : 10281/184094 . PMID 30980045.
^ Chawla, Dalmeet (2017). 「火災時の P 値の「万能」閾値」Nature . doi :10.1038/nature.2017.22625.
^ Amrhein, Valentin; Greenland, Sander (2017). 「統計的有意性を再定義するのではなく削除する」Nature Human Behaviour . 2 (1): 0224. doi :10.1038/s41562-017-0224-0. PMID 30980046. S2CID 46814177.
^ Vyse, Stuart (2017年11月). 「Moving Science's Statistical Goalposts」. csicop.org . CSI . 2018年7月10日閲覧。
^ McShane, Blake; Greenland, Sander; Amrhein, Valentin (2019年3月). 「科学者は統計的有意性に反抗する」. Nature . 567 (7748): 305–307. Bibcode :2019Natur.567..305A. doi : 10.1038/d41586-019-00857-9 . PMID 30894741.
^ Wasserstein, Ronald L.; Schirm, Allen L.; Lazar, Nicole A. (2019-03-20). 「「p < 0.05」を超えた世界へ」アメリカ統計学者. 73 (sup1): 1–19. doi : 10.1080/00031305.2019.1583913 .

さらに読む

リディア・デンワース、「重大な問題：標準的な科学的方法が批判にさらされている。何か変わるだろうか？」、サイエンティフィック・アメリカン、第321巻第4号（2019年10月）、62～67ページ。「実験結果の統計的有意性を判断するために[1925年以来]ほぼ1世紀にわたってp値を使用してきたことは、多くの科学分野で確実性の幻想と再現性の危機をもたらしてきました。統計分析を改革する決意が高まっています...一部の[研究者]は統計的方法の変更を提案していますが、他の研究者は「有意な」結果を定義する閾値を廃止しようとしています。」（63ページ）
ジリアック、スティーブン、ディアドラ・マクロスキー(2008)、「統計的有意性のカルト: 標準誤差が雇用、正義、そして命に及ぼす影響」Wayback Machineに 2010-06-08にアーカイブ。アナーバー、ミシガン大学出版局、2009 年。ISBN 978-0-472-07007-7。レビューと評価: (ジリアック編集)
トンプソン、ブルース（2004）。「心理学と教育における「意義」の危機」。社会経済学ジャーナル。33 （5）：607-613。doi ：10.1016/j.socec.2004.09.034 。
Chow, Siu L., (1996).統計的有意性: 根拠、妥当性、有用性 Archived 2013-12-03 at the Wayback Machine、シリーズIntroducing Statistical Methods の第 1 巻、 Sage Publications Ltd、ISBN 978-0-7619-5205-3 – 特定の状況では統計的有意性が有用であると主張しています。
Kline, Rex (2004)。有意性検定を超えて：行動研究におけるデータ分析方法の改革ワシントン D.C.：アメリカ心理学会。
Nuzzo , Regina (2014)。科学的方法: 統計的誤差。Nature Vol. 506、p. 150-152 (オープンアクセス)。p値に関するよくある誤解を強調しています。
コーエン、ジョセフ（1994）。[1] 2017-07-13にWayback Machineでアーカイブ。地球は丸い（p<.05）。アメリカ心理学会誌第49巻、997-1003ページ。帰無仮説の統計的検定に関する問題をレビューします。
Amrhein, Valentin; Greenland, Sander; McShane, Blake (2019-03-20). 「科学者は統計的有意性に反対して立ち上がる」. Nature . 567 (7748): 305–307. Bibcode :2019Natur.567..305A. doi : 10.1038/d41586-019-00857-9 . PMID 30894741.

外部リンク

記事「数学用語の最も古い使用例 (S)」には、歴史的情報を提供する「意義」に関する項目が含まれています。
「統計的有意性検定の概念は、2022-09-07にWayback Machineでアーカイブされています」（1994年2月）：ワシントンDCのERIC評価クリアリングハウスが主催するブルース・トンポンの記事
「結果が「統計的に有意」であるとはどういう意味か？」（日付なし）：ワシントン DC のジョージメイソン大学の統計評価サービスによる記事

[Sirkin-1] Sirkin, R. Mark (2005). 「2標本t検定」。社会科学のための統計（第3版）。カリフォルニア州サウザンドオークス：SAGE Publications, Inc. pp. 271–316。ISBN 978-1-4129-0546-6。

[Borror-2] Borror, Connie M. (2009). 「統計的意思決定」。認定品質エンジニアハンドブック（第3版）。ミルウォーキー、ウィスコンシン州：ASQ Quality Press。pp. 418–472。ISBN 978-0-87389-745-7。

[Myers_et_al-p65-3] Myers, Jerome L.; Well, Arnold D.; Lorch, Robert F. Jr. (2010). 「二項分布を用いた仮説検定の基礎の開発」。研究デザインと統計分析(第 3 版)。ニューヨーク、NY: Routledge。pp. 65–90。ISBN 978-0-8058-6431-1。

[Dalgaard-4] Dalgaard, Peter (2008). 「検出力とサンプルサイズの計算」R による統計入門。統計とコンピューティング。ニューヨーク: Springer。pp. 155–56。doi : 10.1007 / 978-0-387-79054-1_9。ISBN 978-0-387-79053-4。

[:0-5] 「統計的仮説検定」www.dartmouth.edu . 2020年8月2日時点のオリジナルよりアーカイブ。2019年11月11日閲覧。

[Johnson-6] Johnson, Valen E. (2013年10月9日). 「統計的証拠の改訂基準」. Proceedings of the National Academy of Sciences . 110 (48): 19313–19317. Bibcode :2013PNAS..11019313J. doi : 10.1073/pnas.1313476110 . PMC 3845140. PMID 24218581 .

[Redmond_and_Colton-7] Redmond, Carol; Colton, Theodore (2001)。「臨床的意義と統計的意義」。臨床試験における生物統計学。Wiley Reference Series in Biostatistics (第 3 版)。ウェストサセックス、イギリス: John Wiley & Sons Ltd。pp. 35–36。ISBN 978-0-471-82211-0。

[Cumming-p27-8] Cumming, Geoff (2012). 『新しい統計を理解する: 効果サイズ、信頼区間、メタ分析』ニューヨーク、米国: Routledge。pp. 27–28。

[Krzywinski_and_Altman-9] Krzywinski, Martin; Altman, Naomi (2013年10月30日). 「有意性のポイント: 有意性、P値、t検定」. Nature Methods . 10 (11): 1041–1042. doi : 10.1038/nmeth.2698 . PMID 24344377.

[Sham_and_Purcell-10] Sham, Pak C.; Purcell, Shaun M (2014年4月17日). 「大規模遺伝学研究における統計的検出力と有意性検定」. Nature Reviews Genetics . 15 (5): 335–346. doi :10.1038/nrg3706. PMID 24739678. S2CID 10961123.

[Altman-11] アルトマン、ダグラス G. (1999)。医療研究のための実践統計。ニューヨーク、米国：チャップマン＆ホール/CRC。pp. 167。ISBN 978-0-412-27630-9。

[Devore-12] Devore, Jay L. (2011).工学と科学のための確率と統計(第 8 版). ボストン、マサチューセッツ州: Cengage Learning. pp. 300–344. ISBN 978-0-538-73352-6。

[Salkind-13] Craparo, Robert M. (2007). 「有意水準」。Salkind, Neil J. (編)。測定と統計の百科事典。第3巻。サウザンドオークス、カリフォルニア州：SAGE Publications。pp. 889–891。ISBN 978-1-4129-1611-0。

[Sproull-14] Sproull, Natalie L. (2002) 「仮説検定」研究方法ハンドブック: 社会科学の実践者と学生のためのガイド(第 2 版) メリーランド州ランハム: Scarecrow Press, Inc. pp. 49–64. ISBN 978-0-8108-4486-5。

[Babbie2-15] Babbie, Earl R. (2013). 「サンプリングの論理」。社会調査の実践（第13版）。カリフォルニア州ベルモント：Cengage Learning。pp. 185–226。ISBN 978-1-133-04979-1。

[Faherty-16] Faherty, Vincent (2008) 「確率と統計的有意性」Compassionate Statistics: 社会サービスのための応用定量分析 (SPSS の演習と説明付き) (第 1 版)。カリフォルニア州サウザンドオークス: SAGE Publications, Inc. pp. 127–138。ISBN 978-1-4129-3982-9。

[McKillup-17] マキルップ、スティーブ (2006)。「確率は結果についての判断に役立ちます」。統計解説：生命科学者のための入門ガイド（第 1 版）。ケンブリッジ、イギリス：ケンブリッジ大学出版局。pp. 44–56。ISBN 978-0-521-54316-3。

[Myers_et_al-p124-18] Myers, Jerome L.; Well, Arnold D.; Lorch, Robert F. Jr. (2010) 「t分布とその応用」。研究デザインと統計分析（第3版）。ニューヨーク、NY：Routledge。pp. 124–153。ISBN 978-0-8058-6431-1。

[:1-19] Hooper, Peter. 「P値とは何か？」(PDF)。アルバータ大学、数学・統計科学部。 2020年3月31日時点のオリジナル(PDF)からアーカイブ。 2019年11月10日閲覧。

[20] Leung, W.-C. (2001-03-01). 「治療効果の評価における統計的および臨床的重要性のバランス」. Postgraduate Medical Journal . 77 (905): 201–204. doi :10.1136/pmj.77.905.201. ISSN 0032-5473. PMC 1741942. PMID 11222834 .

[21] Brian, Éric; Jaisson, Marie (2007). 「物理神学と数学 (1710–1794)」.出生時の人間の性比の減少. Springer Science & Business Media. pp. 1–25. ISBN 978-1-4020-6036-6。

[22] ^ジョン ・アーバスノット (1710)。「男女の出産に見られる一定の規則性から導かれた神の摂理の議論」(PDF)。ロンドン王立協会哲学論文集。27 (325–336): 186–190。doi : 10.1098/rstl.1710.0011。

[Conover1999-23] Conover, WJ (1999)、「第3.4章: 符号検定」、実用ノンパラメトリック統計(第3版)、Wiley、pp. 157–176、ISBN 978-0-471-16068-7

[Sprent1989-24] Sprent, P. (1989)、応用ノンパラメトリック統計手法（第2版）、Chapman & Hall、ISBN 978-0-412-44980-2

[25] スティグラー、スティーブン・M（1986年）。統計の歴史：1900年以前の不確実性の測定。ハーバード大学出版局。pp. 225–226。ISBN 978-0-674-40341-3。

[Bellhouse2001-26] ベルハウス、デイビッド (2001)、「ジョン・アーバスノット」、CC ハイデ、E. セネタ(編)、『世紀の統計学者』、シュプリンガー、pp. 39–42、ISBN 978-0-387-95329-8

[Hald1998-27] Hald, Anders (1998)、「第 4 章偶然か計画か: 有意性の検定」、1750 年から 1930 年までの数理統計学の歴史、Wiley、p. 65

[Cumming-28] Cumming, Geoff (2011)。「帰無仮説の重要性から効果サイズのテストへ」。新しい統計を理解する: 効果サイズ、信頼区間、メタ分析。多変量アプリケーションシリーズ。イーストサセックス、イギリス: Routledge。pp. 21–52。ISBN 978-0-415-87968-2。

[Fisher1925-29] フィッシャー、ロナルド A. (1925)。研究者のための統計手法。エディンバラ、イギリス：オリバー＆ボイド。pp. 43。ISBN 978-0-05-002170-5。

[Poletiek-30] ポレティエック、フェンナ H. (2001)。「テストの形式理論」。仮説検証行動。認知心理学エッセイ (第 1 版)。イーストサセックス、イギリス: 心理学出版社。pp. 29–48。ISBN 978-1-84169-159-6。

[Quinn-31] Quinn, Geoffrey R.; Keough, Michael J. (2002). 生物学者のための実験デザインとデータ分析（第1版）. ケンブリッジ、イギリス：ケンブリッジ大学出版局. pp. 46–69. ISBN 978-0-521-00976-8。

[Neyman-32] Neyman, J.; Pearson, ES (1933). 「事前確率に関する統計的仮説のテスト」.ケンブリッジ哲学協会数学紀要. 29 (4): 492–510. Bibcode :1933PCPS...29..492N. doi :10.1017/S030500410001152X. S2CID 119855116.

[33] 「信頼区間の助けを借りれば、統計的有意性についての結論を出すことができます。信頼区間にゼロ効果の値が含まれていない場合、統計的に有意な結果があると想定できます。」Prel, Jean-Baptist du; Hommel, Gerhard; Röhrig, Bernd; Blettner, Maria (2009). 「信頼区間か P 値か?」Deutsches Ärzteblatt Online . 106 (19): 335–9. doi :10.3238/arztebl.2009.0335. PMC 2689604 . PMID 19547734.

[34] StatNews #73: 重複する信頼区間と統計的有意性

[Neyman1937-35] Neyman, J. (1937). 「古典的確率理論に基づく統計的推定理論の概要」. Philosophical Transactions of the Royal Society A . 236 (767): 333–380. Bibcode :1937RSPTA.236..333N. doi :10.1098/rsta.1937.0005. JSTOR 91337. S2CID 19584450.

[Meier-36] マイヤー、ケネス J.、ブルードニー、ジェフリー L.、ボーテ、ジョン (2011)。『公共および非営利行政のための応用統計学』（第 3 版）。ボストン、マサチューセッツ州: Cengage Learning。pp. 189–209。ISBN 978-1-111-34280-7。

[Healy2009-37] ヒーリー、ジョセフ F. (2009)。統計の基本: 社会調査のためのツール(第 2 版)。ベルモント、カリフォルニア州: Cengage Learning。pp. 177–205。ISBN 978-0-495-60143-2。

[Healy2006-38] マキルップ、スティーブ（2006年）。統計学解説：生命科学者のための入門ガイド（第1版）。ケンブリッジ、イギリス：ケンブリッジ大学出版局。pp. 32–38。ISBN 978-0-521-54316-3。

[Heath-39] ヘルス、デイビッド（1995年）。生物学のための実験計画と統計入門（第1版）。ボストン、マサチューセッツ州：CRCプレス。pp.123-154。ISBN 978-1-85728-132-3。

[Hinton_2014-40] Hinton, Perry R. (2010) 「有意性、誤差、検出力」。統計解説（第3版）。ニューヨーク、NY：Routledge。pp. 79–90。ISBN 978-1-84872-312-2。

[Vaughan-41] ヴォーン、サイモン（2013）。科学的推論：データから学ぶ（第1版）。ケンブリッジ、イギリス：ケンブリッジ大学出版局。pp. 146–152。ISBN 978-1-107-02482-3。

[Bracken-42] Bracken, Michael B. (2013).リスク、チャンス、因果関係：疾病の起源と治療の調査（第1版）。ニューヘブン、コネチカット州：エール大学出版局。pp. 260–276。ISBN 978-0-300-18884-4。

[franklin-43] フランクリン、アラン (2013)。「プロローグ: シグマの台頭」。『基準の転換: 20 世紀の素粒子物理学の実験』 (第 1 版)。ピッツバーグ、ペンシルバニア州: ピッツバーグ大学出版局。pp. Ii– Iii。ISBN 978-0-8229-4430-0。

[Clarke_et_al-44] Clarke, GM; Anderson, CA; Pettersson, FH; Cardon, LR; Morris, AP; Zondervan, KT (2011年2月6日). 「遺伝学的症例対照研究における基本的な統計分析」. Nature Protocols . 6 (2): 121–33. doi :10.1038/nprot.2010.182. PMC 3154648. PMID 21293453 .

[Barsh_et_al-45] Barsh, GS; Copenhaver, GP; Gibson, G; Williams, SM (2012年7月5日). 「ゲノムワイド関連研究のガイドライン」. PLOS Genetics . 8 (7): e1002812. doi : 10.1371/journal.pgen.1002812 . PMC 3390399. PMID 22792080 .

[Carver-46] Carver, Ronald P. (1978). 「統計的有意性検定に反対するケース」.ハーバード教育評論. 48 (3): 378–399. doi :10.17763/haer.48.3.t490261645281841. S2CID 16355113.

[Ioannidis-47] Ioannidis, John PA (2005). 「なぜ出版された研究結果のほとんどが誤りなのか」. PLOS Medicine . 2 (8): e124. doi : 10.1371/journal.pmed.0020124 . PMC 1182327. PMID 16060722 .

[peerj.com-48] Amrhein, Valentin; Korner-Nievergelt, Fränzi; Roth, Tobias (2017). 「地球は平らである (p > 0.05): 有意閾値と再現不可能な研究の危機」. PeerJ . 5 : e3544. doi : 10.7717/peerj.3544 . PMC 5502092. PMID 28698825 .

[A_Visitor’s_Guide_to_Effect_Sizes-49] Hojat, Mohammadreza; Xu, Gang (2004). 「効果サイズの訪問者ガイド」.健康科学教育の進歩. 9 (3): 241–9. doi :10.1023/B:AHSE.0000038173.00909.f6. PMID 15316274. S2CID 8045624.

[Pedhazur-50] ペダズル、エラザール J.;シュメルキン、リオラ P. (1991)。測定、設計、および分析: 統合されたアプローチ(学生編)。ニューヨーク州ニューヨーク：心理学プレス。 180–210ページ。ISBN 978-0-8058-1063-9。

[51] Stahel, Werner (2016). 「再現性における統計的問題」原則、問題、実践、展望再現性: 原則、問題、実践、展望: 87–114. doi :10.1002/9781118865064.ch5. ISBN 978-1-118-86497-5。

[52] 「CSSMEセミナーシリーズ：p値と帰無仮説有意性検定（NHST）パラダイムに関する議論」www.education.leeds.ac.uk。リーズ大学教育学部。 2016年12月1日閲覧。

[53] Novella, Steven (2015年2月25日). 「心理学ジャーナルが有意性テストを禁止」. Science-Based Medicine.

[54] Woolston, Chris (2015-03-05). 「心理学ジャーナルがP値を禁止」. Nature . 519 (7541): 9. Bibcode :2015Natur.519....9W. doi : 10.1038/519009f .

[55] Siegfried, Tom (2015-03-17). 「P値の禁止：ジャーナルにとっては小さな一歩だが、科学にとっては大きな飛躍」。サイエンスニュース。2016年12月1日閲覧。

[56] アントナキス、ジョン（2017年2月）。「より良い科学を行うために：発見の興奮から政策への影響まで」（PDF）。リーダーシップ四半期誌。28 （ 1）：5–21。doi ：10.1016/j.leaqua.2017.01.006 。

[Wasserstein_129–133-57] Wasserstein, Ronald L.; Lazar, Nicole A. (2016-04-02). 「ASAのp値に関する声明：文脈、プロセス、目的」. The American Statistician . 70 (2): 129–133. doi : 10.1080/00031305.2016.1154108 .

[58] García-Pérez, Miguel A. (2016-10-05). 「帰無仮説有意性検定に対して偽証してはならない」.教育および心理測定. 77 (4): 631–662. doi :10.1177/0013164416668232. ISSN 0013-1644. PMC 5991793. PMID 30034024 .

[59] Ioannidis, John PA; Ware, Jennifer J.; Wagenmakers, Eric-Jan; Simonsohn, Uri; Chambers, Christopher D.; Button, Katherine S.; Bishop, Dorothy VM; Nosek, Brian A.; Munafò, Marcus R. (2017年1月). 「再現可能な科学のためのマニフェスト」. Nature Human Behaviour . 1 ( 1): 0021. doi : 10.1038/s41562-016-0021 . PMC 7610724. PMID 33954258.

[60] ベンジャミン、ダニエル; et al. (2018). 「統計的有意性の再定義」. Nature Human Behaviour . 1 (1): 6–10. doi : 10.1038/s41562-017-0189-z . hdl : 10281/184094 . PMID 30980045.

[61] Chawla, Dalmeet (2017). 「火災時の P 値の「万能」閾値」Nature . doi :10.1038/nature.2017.22625.

[62] Amrhein, Valentin; Greenland, Sander (2017). 「統計的有意性を再定義するのではなく削除する」Nature Human Behaviour . 2 (1): 0224. doi :10.1038/s41562-017-0224-0. PMID 30980046. S2CID 46814177.

[63] Vyse, Stuart (2017年11月). 「Moving Science's Statistical Goalposts」. csicop.org . CSI . 2018年7月10日閲覧。

[64] McShane, Blake; Greenland, Sander; Amrhein, Valentin (2019年3月). 「科学者は統計的有意性に反抗する」. Nature . 567 (7748): 305–307. Bibcode :2019Natur.567..305A. doi : 10.1038/d41586-019-00857-9 . PMID 30894741.

[Wasserstein2_129–133-65] Wasserstein, Ronald L.; Schirm, Allen L.; Lazar, Nicole A. (2019-03-20). 「「p < 0.05」を超えた世界へ」アメリカ統計学者. 73 (sup1): 1–19. doi : 10.1080/00031305.2019.1583913 .

歴史

関連概念