複製危機

再現危機[ ^a]とは、多くの科学的研究の結果が再現困難または不可能であるという、現在も続いている方法論的危機である。経験的結果の再現性は科学的方法の重要な部分であるため^[2]、このような失敗はそれに基づく理論の信頼性を損ない、科学的知識の重要な部分に疑問を投げかける可能性がある。

再現性危機は心理学や医学の分野で頻繁に議論されており、古典的な研究結果を再調査し、それが信頼できるかどうか、また信頼できない場合は失敗の理由を判断するために多大な努力が払われてきた。^{[3] [4]データは、他の}自然科学や社会科学も同様に影響を受けていることを強く示唆している。 ^[5]

複製危機という言葉は、この問題に対する認識が高まる中で、2010年代初頭に造語されました^[6] 。原因と解決策の検討により、実証研究の手法を用いて実証研究の実践を検証する、新しい科学分野であるメタサイエンス^[7]が生まれました。^[8]

再現性に関する考慮事項は、2 つのカテゴリに分類できます。狭義の再現性とは、特定のデータ セットの分析を再検討して検証することを指します。複製とは、同じまたは類似の結論に到達することを目的として、実験または研究を繰り返して新しい独立したデータを取得することを指します。

複製は「科学の基礎」と呼ばれています。^{[9] [10]}環境衛生科学者のステファン・シュミットは、2009年のレビューを複製の次のような説明から始めました。

再現は、あらゆる経験科学における中心的な課題の 1 つです。結果や仮説を反復手順で確認することは、あらゆる科学的概念の基礎となります。同じ結果が他の研究者によって他の場所でも得られることを示す再現実験は、客観性の実現として考えられます。これは、実験が、それが得られた特定の状況 (時間、場所、人物など) から切り離して考えることができる知識を反映していることの証明です。^[11]

しかし、レプリケーションと潜在的に関連のある概念をどのように定義するかについては、限られたコンセンサスしかありません。^{[12] [13] [11]}レプリケーションにはいくつかの種類があることがわかっています。

1. 直接的または正確な複製、つまり実験手順を可能な限り厳密に繰り返すこと。^{[11] [14]}
2. 体系的な複製では、実験手順が意図的に変更されて大部分が繰り返されます。^[14]
3. 概念的複製では、発見や仮説が異なる手順でテストされます。^{[11] [14]}概念的複製により、結果や仮説の一般化可能性と真実性をテストできます。^[14]

再現性は、同じデータセットを使用して同じ結果を再現することを指すため、複製とは区別されます。このタイプの再現性があるため、多くの研究者は自分のデータを他の人がテストできるようにしています。^[15]

再現性の危機は、必ずしもこれらの分野が非科学的であることを意味するわけではない。^{[16] [17] [ 18]}むしろ、このプロセスは、古いアイデアや慎重な精査に耐えられないアイデアが刈り込まれる科学的プロセスの一部であるが、^{[19] [20]}この刈り込みプロセスは常に効果的であるわけではない。^{[21] [22]}

仮説は、結果が予測されたパターンと一致し、その結果のパターンが統計的に有意であることが判明した場合に、一般的に支持されているとみなされます。帰無仮説が真であると仮定した場合、観察されたパターンの相対頻度が任意に選択された値（すなわち有意水準）を下回ると、結果は有意であるとみなされます。これは通常、統計的母集団レベルで差が存在しない場合、結果がどれほどありそうにないかという疑問に答えるものです。検定統計量に関連付けられた確率が選択された臨界値を超えると、結果は統計的に有意であるとみなされます。^[23]臨界値を超える対応する確率はp  < 0.05と表され、p（通常「p値」と呼ばれる）は確率水準です。これにより、研究が統計的仮定をすべて満たしていると仮定すると、支持される仮説の5%が偽陽性（誤った仮説が誤って正しいと判明する）になるはずです。一部の分野では、 p  < 0.01 (偽陽性の確率 1%) やp < 0.001 (偽陽性の確率 0.1%)などのより小さな p 値が使用されます 。しかし、偽陽性の確率を低くするには、多くの場合、より大きなサンプル サイズが必要になったり、偽陰性 (正しい仮説が誤って間違っていると判断される)の確率が高くなったりします。p 値検定は最も一般的に使用される方法ですが、唯一の方法ではありません。

複製危機の議論でよく使われる特定の用語には、技術的に正確な意味があり、ここでその意味を示します。^[1]

最も一般的なケースである帰無仮説検定では、帰無仮説 と対立仮説の 2 つの仮説があります。帰無仮説は通常、「X と Y は統計的に独立している」という形式です。たとえば、帰無仮説は「薬 X を服用しても、病気 Y からの 1 年後の回復率は変化しない」であり、対立仮説は「回復率は変化する」というものです。 ${\displaystyle H_{0}}$ ${\displaystyle H_{1}}$

完全な統計的独立性を検定するのは難しいため、完全な帰無仮説はしばしば「効果サイズは0である」という単純化された帰無仮説に簡略化される。ここで「効果サイズ」は完全な帰無仮説が真であれば0となる実数であり、効果サイズが大きいほど帰無仮説が偽である可能性が高い。^[24]たとえば、Xがバイナリーの場合、効果サイズはXの変化に対するYの期待値の変化として定義される可能性がある。上で定義された効果サイズは、XとYが独立していなくても、たとえば の場合でも0になる可能性があることに注意してください。「効果サイズ」の定義が異なれば、XとYの依存関係も異なるため、効果サイズの定義は数多く存在します。 $${\displaystyle ({\text{effect size}})=\mathbb {E} [Y|X=1]-\mathbb {E} [Y|X=0]}$$${\displaystyle Y\sim {\mathcal {N}}(0,1+X)}$

実際には、効果サイズを直接観察することはできず、統計的推定量によって測定する必要があります。たとえば、上記の効果サイズの定義は、多くの場合、 Cohen の d推定量によって測定されます。効率、バイアス、分散などのトレードオフがあるため、同じ効果サイズに複数の推定量が存在する場合があります。これにより、単一のデータセットで計算できる統計量の数がさらに増加し​​ます。効果サイズの推定量が統計的検定に使用される場合、それは検定統計量と呼ばれます。

帰無仮説検定は、何らかのデータを取り込んで、またはを出力する決定手順です。 が出力される場合、通常は「統計的に有意な効果がある」または「帰無仮説は棄却される」と述べられます。 ${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{1}}$

多くの場合、統計的検定は（片側）閾値検定であり、次のように構成されます。

1. データを収集します。${\displaystyle D}$
2. データの検定統計量を計算します。${\displaystyle t[D]}$
3. 検定統計量を臨界値/しきい値 と比較します。の場合は を出力し、それ以外の場合は を出力します。${\displaystyle t_{\text{threshold}}}$${\displaystyle t[D]>t_{\text{threshold}}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$

両側閾値検定も同様ですが、2つの閾値があり、どちらか一方または両方が満たされるかどうかを出力します。${\displaystyle H_{1}}$${\displaystyle t[D]<t_{\text{threshold}}^{-}}$${\displaystyle t[D]>t_{\text{threshold}}^{+}}$

帰無仮説検定の結果には、偽陰性、真陰性、偽陽性、真陽性の 4 つがあります。偽陰性とは、 が真であるが検定結果は であることを意味します。真陰性とは、が真であり、検定結果は であることを意味します。 ${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle H_{0}}$

有意水準、偽陽性率、またはアルファ水準は、帰無仮説が真であるときに対立仮説が真であると判定される確率です。たとえば、検定が片側閾値検定である場合、はからサンプリングされる」ことを意味します。 $${\displaystyle ({\text{significance}}):=\alpha :=Pr({\text{find }}H_{1}|H_{0})}$$${\displaystyle \alpha =Pr_{D\sim H_{0}}(t[D]>t_{\text{threshold}})}$${\displaystyle D\sim H_{0}}$${\displaystyle H_{0}}$

統計的検出力、すなわち真陽性率は、対立仮説が真であるときに対立仮説が真であると判定される確率です。ここで、は偽陰性率とも呼ばれます。たとえば、検定が片側閾値検定である場合、 となります。 $${\displaystyle ({\text{power}}):=1-\beta :=Pr({\text{find }}H_{1}|H_{1})}$$${\displaystyle \beta }$${\displaystyle 1-\beta =Pr_{D\sim H_{1}}(t[D]>t_{\text{threshold}})}$

統計的検定とデータセットが与えられた場合、対応するp値は、を条件として、検定統計量が少なくとも同じくらい極端である確率です。たとえば、片側閾値検定の場合、帰無仮説が真であれば、p値は に均一に分布します。それ以外の場合、 p値分布の正確な形状は対立仮説が何であるかによって異なりますが、通常は でピークに達し、ほぼ指数関数的です。 ^{[25] [26]}${\displaystyle D}$${\displaystyle H_{0}}$$${\displaystyle p[D]=Pr_{D'\sim H_{0}}(t[D']>t[D])}$$${\displaystyle [0,1]}$${\displaystyle p=0.0}$

p 値は帰無仮説を条件として均一に分布するため、p 値を計算し、ifを出力するだけで、任意の有意水準の統計検定を構築できます。これは通常、「帰無仮説は有意水準 で棄却される」、または「」と表現されます (「喫煙は癌と相関している (p < 0.001)」など)。 ${\displaystyle [0,1]}$${\displaystyle \alpha }$${\displaystyle H_{1}}$${\displaystyle p[D]<\alpha }$${\displaystyle \alpha }$${\displaystyle H_{1}\;(p<\alpha )}$

複製危機の始まりは、2010年代初頭のいくつかの出来事に遡ることができます。科学哲学者であり社会認識学者でもあるフェリペ・ロメロは、現在進行中の危機の前兆と考えられる4つの出来事を特定しました。^[27]

• 社会的プライミング研究をめぐる論争： 2010年代初頭、社会心理学者ジョン・バーグとその同僚による有名な「高齢者の歩行」研究^{[28]は、2回の直接的な複製で再現に失敗しました。 [29]}この実験は、長年にわたって広く引用され、大学のコースで定期的に教えられ、多数の概念的複製に影響を与えた3つの研究シリーズの一部でした。研究の再現の失敗は、多くの論争を引き起こし、元の著者を巻き込んだ白熱した議論を引き起こしました。^[30]注目すべきことに、元の研究の概念的複製の多くは、その後の直接的な複製でも再現できませんでした。^{[31] [32] [33] [34]}
• 超感覚知覚に関する実験をめぐる論争：社会心理学者ダリル・ベムは、超感覚知覚という物議を醸している現象の証拠を提供するとされる一連の実験を行った。^[35]ベムは研究方法論について厳しく批判され、データの再分析でも超感覚知覚の存在を示す証拠は見つからなかった。^[36]この実験は、その後の直接的な複製でも再現されなかった。^[37]ロメロによると、コミュニティが特に動揺したのは、ベムの研究で使用された欠陥のある手順や統計ツールの多くが、心理学の一般的な研究慣行の一部であったことだ。
• アムジェンとバイエルが生物医学研究の再現性の欠如について報告：バイオテクノロジー企業アムジェンとバイエルヘルスケアの科学者は、前臨床腫瘍研究における画期的な発見の再現率が驚くほど低い（11～20％）と報告した。^[38]
• pハッキングと疑わしい研究慣行に関する研究の発表：2000年代後半以来、メタサイエンスの多くの研究は、データ収集と報告のプロセスの柔軟性を利用するなど、多くの科学分野で一般的に採用されている慣行が、偽陽性の結果の確率を大幅に高める可能性があることを示しました。^{[39] [40] [41]}これらの研究は、いくつかの科学分野で発表された文献のかなりの割合が再現不可能な研究である可能性があることを示唆しました。

この一連の出来事は、広範囲にわたる方法論的欠陥と研究結果の再現の失敗を踏まえ、既存の研究の妥当性について大きな懐疑を生み出した。これにより、著名な学者たちは心理学やその他の分野における「信頼の危機」を宣言し、^[42]その後の状況は「再現の危機」として知られるようになった。

再現危機の始まりは2010年代初頭にまで遡ることができるが、社会科学における再現性と研究慣行に関する懸念はそれよりずっと以前から表明されていたと指摘する著者もいる。ロメロは、心理学研究における直接的な再現の欠如について著者らが1960年代後半から1970年代初頭に懸念を表明していたと指摘している。^{[43] [44]}また、1990年代の特定の研究では、ジャーナル編集者や査読者が一般的に再現研究の出版に偏見を持っていることがすでに報告されていたと書いている。^{[45] [46]}

社会科学では、ブログ「Data Colada」 （ 2014年の論文で3人の著者が「 pハッキング」という用語を作り出した）が、再現性危機の始まりに貢献したとされている。 ^{[47] [48] [49]}

バージニア大学教授で認知心理学者のバーバラ・A・スペルマンは、研究慣行に対する多くの批判や研究の再現性に関する懸念は新しいものではないと書いている。^[50]彼女の報告によると、1950年代後半から1990年代にかけて、研究者たちはすでに、再現の危機の可能性、^[51]疑わしいほど高い肯定的研究結果率、^[52]疑わしい研究慣行（QRP）、^[53]出版バイアスの影響、^[54]統計的検出力の問題、^{[55] [56]}報告基準の悪さについて懸念を表明していた。^[51]

スペルマンは、近年こうした批判や懸念が繰り返されたことで、本格的な危機や現状への挑戦が起きた理由も挙げている。第一に、技術の向上により、再現研究の実施と普及が容易になり、体系的な問題に関する膨大な文献の分析が可能になった。第二に、研究コミュニティの規模と多様性が増大したため、既存のメンバーの研究が、そのメンバーに馴染みのない他のコミュニティメンバーによって精査されやすくなった。スペルマンによると、これらの要因と、ますます制限されるリソースと科学的研究を行うためのインセンティブの不一致が相まって、心理学やその他の分野で危機が生じたという。^[50]

アンドリュー・ゲルマンによれば、^{[57] 1960年代から70年代にかけての}ポール・ミール、ジェイコブ・コーエン、トヴェルスキー、カーネマンの研究は、再現危機の早期警告であった。カーネマン自身も、この問題の起源を議論する中で、潜在意識知覚と不協和音低減の再現失敗の歴史的前例を指摘した。^[58]

1962年以来、心理学研究のほとんどが検出力（真陽性率）が低いことが繰り返し指摘されてきたが^[55]、その低い検出力は50年間も持続しており、心理学研究における構造的かつ根強い問題を示している。^{[59] [60]}

いくつかの要因が組み合わさって、心理学が議論の中心に躍り出た。^{[61] [62]}かつては確固たる地位を占めていた心理学のいくつかの分野、例えば社会的プライミングや自我消耗^[63]は、再現性の失敗により精査が強化された。^[64]焦点の多くは社会心理学に当てられてきたが^[65]、臨床心理学[ ^{66] [67] [68]} 発達心理学[ ^{69] [70] [71]}や教育研究などの他の心理学の分野も関与している。^{[72] [73] [74] [75] [76]}

2015年8月、心理学における再現性に関する初の公開実証研究「The Reproducibility Project: Psychology」が発表された。心理学者ブライアン・ノセックの調整の下、研究者らは3つの高評価の心理学ジャーナル（Journal of Personality and Social Psychology、Journal of Experimental Psychology: Learning, Memory, and Cognition、Psychological Science）に掲載された心理科学の研究100件を再調査した。元の研究のうち97件で有意な効果が認められたが、その97件のうち、有意な知見（p値0.05未満）が得られた複製はわずか36％だった^[12] 。複製における平均効果サイズは、元の研究で報告された効果の約半分であった。同じ論文では、ジャーナルと分野別に再現率と効果サイズを検討した。研究の再現率は、Journal of Personality and Social Psychologyでは23% 、Journal of Experimental Psychology: Learning, Memory, and Cognitionでは48% 、Psychological Scienceでは38%であった。認知心理学の分野の研究の再現率（50%）は、社会心理学の分野の研究（25%）よりも高かった。^[77]

64%の非反復研究のうち、元の結果を反証したのはわずか25%でした（統計的に有意）。残りの49%は結論が出ず、元の結果を支持も否定もしませんでした。これは、多くの反復研究が検出力不足で、サンプルが元の2.5倍小さかったためです。^[78]

2018年にNature Human Behaviourに掲載された研究では、NatureとScienceに掲載された社会科学と行動科学の論文21件を再現したところ、元の結果をうまく再現できたのはわずか62%程度だったことが判明した。^{[79] [80]}

同様に、オープンサイエンスセンターの後援の下で行われた研究では、60の異なる研究室（6つの異なる大陸の36の異なる国籍を代表する）の186人の研究者のチームが、心理学における28の古典的および現代的な発見の再現を行った。^{[81] [82]}この研究の焦点は、元の論文の発見が再現されたかどうかだけでなく、サンプルとコンテキストの変動に応じて発見がどの程度変化するかであった。全体として、28の発見のうち50％は、膨大なサンプルサイズにもかかわらず再現されなかった。しかし、発見が再現された場合、ほとんどのサンプルで再現された。発見が再現されなかった場合、サンプルとコンテキスト間でほとんど変化せずに再現されなかった。この証拠は、心理学で再現が失敗する理由は、元の研究と再現研究の間のサンプルの変化による可能性が高いという提案された説明と矛盾している。^[82]

2022年の研究結果によると、多くの以前の脳表現型研究（「脳全体の関連研究」（BWAS））は、効果サイズが小さいため、そのような研究の再現には何千人もの個人からのサンプルが必要となり、無効な結論を生み出したと示唆されている。^{[83] [84]}

1990年から2003年にかけて1000回以上引用された49件の医学研究のうち、92%で研究された治療法が有効であると結論付けられました。これらの研究のうち、16%はその後の研究で否定され、16%はその後の研究よりも強い効果が見られ、44%は再現され、24%はほとんど異論がありませんでした。^{[85]製薬会社}バイエルの研究者による2011年の分析では、バイエルの社内研究で元の研究結果を再現したのはせいぜい4分の1でした。^[86]しかし、バイエルの研究結果を分析したところ、再現された研究結果は臨床応用にうまく使用できる場合が多いことがわかりました。^[87]

2012年の論文で、アムジェンで働くバイオテクノロジーコンサルタントのC・グレン・ベグリー氏とテキサス大学の医学研究者リー・エリス氏は、53件の前臨床がん研究のうち、元の研究の結論を確認できる再現性があったのはわずか11％であることを発見した。^[38] 2021年後半、The Reproducibility Project: Cancer Biologyは、2010年から2012年の間に発表されたがんに関するトップ53の論文を調査し、やり直しに十分な情報を提供した研究では、効果サイズが平均して元の調査結果より85％小さかったことを示した。^{[88] [89]}がん研究者を対象とした調査では、半数の研究者が発表された結果を再現できなかったことがわかった。 ^[90]別の報告書では、ランダム化比較試験のほぼ半数に欠陥のあるデータが含まれていたと推定されている（150件以上の試験からの匿名化された個々の参加者データ（IPD）の分析に基づく）。^[91]

栄養学では、ほとんどの食品成分について、その成分ががんリスクに影響を与えることを明らかにした研究がありました。具体的には、料理本からランダムに抽出した50種類の食材のうち、80%にがんリスクに関する論文が掲載されていました。メタ分析では統計的有意性が低下しました。^[92]

経済学は、再現率を評価し、再現を試みる研究の数を増やすという点で、他の社会科学や心理学に遅れをとっている。^{[13] 2016年に}サイエンス誌に掲載された研究では、2011年から2014年の間に2つの主要な経済学誌であるアメリカ経済評論と季刊経済誌に掲載された18の実験研究を再現した。その結果、約39％が元の結果を再現できなかったことが判明した。^{[93] [94] [95]}アメリカ経済評論に掲載された研究の約20％は、同じまたは類似のデータセットに依存しているにもかかわらず、他の研究と矛盾している。^[96]戦略経営ジャーナルで実証的知見を研究したところ、再テストされた27の記事のうち約30％が、以前は有意であった知見に対して統計的に有意でない結果を示し、約4％が以前は有意でなかった知見に対して統計的に有意な結果を示したことがわかった。^[97]

2019年にScientific Dataで発表された研究では、2017年に発表された水資源と管理に関する1,989件の論文のうち、研究結果が再現されるのはわずか0.6%～6.8%であると95%の信頼度で推定されており、これは主に論文が再現を可能にするのに十分な情報を提供しなかったためである。^[98]

2016年にネイチャーが1,576人の研究者を対象に再現性に関する簡単なオンラインアンケートを実施した結果、研究者の70%以上が他の科学者の実験結果を再現しようとして失敗しており（化学者の87% 、生物学者の77% 、物理学者とエンジニアの69% 、医療研究者の67%、地球科学者と環境科学者の64% 、その他すべての62%を含む）、半数以上が自分の実験の再現に失敗していることがわかった。しかし、自分の研究を再現できないと他の研究者から連絡を受けたことがある研究者は20%未満だった。この調査では、結果を再現できないということは元の結果がおそらく間違っていることを意味すると考える研究者は31%未満であるが、52%は重大な再現の危機が存在することに同意している。ほとんどの研究者は、依然として発表された文献を信頼していると述べた。^{[5] [99]} 2010年にファネリ（2010）^[100]は、精神医学/心理学の研究の91.5％が期待していた効果を確認したことを発見し、これが起こる確率（肯定的な結果）は天文学や地球科学などの分野よりも約5倍高いと結論付けました。ファネリは、これは「よりソフトな」科学の研究者は意識的および無意識的な偏見に対する制約が少ないためだと主張しました。

出版バイアスの影響を受けにくい結果ブラインド査読の初期の分析では、生物医学と心理学における結果ブラインド研究の61％が無結果につながったと推定されているが、これは以前の研究では推定5％から20％であったこととは対照的である。^[101]

2021年にカリフォルニア大学サンディエゴ校が実施した調査では、再現できない論文の方が引用される可能性が高いことが判明しました。^[102]再現不可能な論文は、再現研究が発表された後でも引用されることが多いです。^[103]

複製危機の原因としては多くのものが提案されています。

再現性危機は、「前例のない速度で新しいデータと科学出版物が生成される」ことによって引き起こされる可能性があり、その結果、「出版するか、さもなければ消滅するかという絶望」と、優れた科学的実践の遵守の失敗につながる。^[104]

科学の品質管理機構に差し迫った危機が訪れるという予測は、数十年前に遡る。科学の定量的研究である科学計量学の父とされるデレク・デ・ソラ・プライスは、1963年に科学が指数関数的な成長の結果「老化」する可能性があると予測した。^[105]現代の文献の中には、この「オーバーフロー」の予言を立証し、注目度と品質の両方の衰退を嘆くものもあるようだ。^{[106] [107]}

歴史家のフィリップ・ミロウスキーは、科学の質の低下は科学の商品化と関係があり、特に大企業が利益を優先して大学や契約研究機関に研究を外注するという決定によって促進されていると主張している。^[108]

ドイツの社会学者ニクラス・ルーマンの著作で解説されている社会システム理論も同様の診断を促している。この理論では、経済、科学、宗教、メディアなどの各システムは、科学においては真実と偽、経済においては利益と損失、メディアにおいてはニュースと非ニュースなど、独自のコードを使用してコミュニケーションを行っているとしている。 ^{[109] [110]}一部の社会学者によると、システム間の構造的結合の結果として生じた科学のメディア化^[111]、商品化^[108]、政治化^{[111] [112]}が、元のシステムコードの混乱を招いているという。

再現性が低い主な原因は、統計的に有意でない結果や一見独創性がないように見える再現がめったに出版されないという事実から生じる出版バイアスである。心理学と神経科学の学術雑誌のうち、目的と範囲、または著者への指示の中で、明示的に再現研究の投稿を歓迎しているのはごくわずかであった。 ^{[113] [114]}これでは、再現研究の報告や、実行の試みさえも奨励されない。ネイチャーが2016年に調査した1,576人の研究者のうち、再現を発表しようとしたことのある人は少数派であり、失敗した再現を発表した回答者の何人かは、編集者と査読者が元の研究との比較を控えるように要求したと述べている。^{[5] [99]} 1970年から1991年にかけて18のビジネス雑誌に掲載された4,270件の実証研究を分析したところ、会計、経済、金融の記事の10％未満、経営とマーケティングの記事の5％が再現研究であったと報告されている。^{[93] [115]出版バイアスは}出版へのプレッシャーと著者自身の確証バイアスによって増幅され、^[b]この分野に内在する危険性であり、読者にはある程度の懐疑心が必要となる。^[41]

出版バイアスは、心理学者ロバート・ローゼンタールが「ファイル引き出し効果」と呼ぶものにつながります。ファイル引き出し効果とは、出版バイアスの結果として、かなりの数の否定的な結果^[c]が出版されないという考えです。科学哲学者フェリペ・ロメロによると、これは「誤解を招く文献と偏ったメタ分析研究」を生み出す傾向があり、^[27]、出版バイアスと、テストされた仮説の大部分が事前に間違っている可能性があるという事実を考慮すると、メタ科学者ジョン・イオアニディスが示したように、研究結果のかなりの割合が偽陽性である可能性があります。^[1]逆に、出版された文献の偽陽性の割合が高いことは、多くの研究結果が再現不可能である理由を説明できます。^[27]

もう一つの出版バイアスは、帰無仮説を棄却しない研究が非対称的に精査されることです。例えば、解釈が難しい、またはタイプIIエラーがあるとして棄却される可能性があります。帰無仮説を棄却する研究は、それらの理由で棄却される可能性は低いです。^[117]

大衆メディアには出版バイアスの別の要素がある。研究結果を一般大衆に公開したいという欲求が、研究結果を過度に単純化したり誇張したりすることにつながり、非現実的な期待を生み出し、非再現の影響を増幅させている。対照的に、無結果や再現の失敗は報告されない傾向がある。この説明は、パワーポーズの再現危機にも当てはまるかもしれない。^[118]

影響力の大きいジャーナルでさえ、統計の使用において数学的な誤りがかなりの割合で存在します。たとえば、 2001 年にNatureとBMJに掲載された統計結果の 11% は「不一致」です。つまり、報告された p 値は、報告された検定統計量から正しく計算された場合の値とは数学的に異なります。これらの誤りは、おそらくタイプ設定、四捨五入、転写の誤りによるものです。^[119]

2つの実験効果が異なることを示そうとする5つのトップランクのジャーナルに掲載された157本の神経科学論文のうち、78本は一方の効果が有意でもう一方の効果が有意でないかどうかを誤ってテストし、79本はそれらの差が0と有意に異なるかどうかを正しくテストした。^[120]

出版バイアスの再現性への影響は、学術界の「出版するか滅びるか」という文化によってさらに悪化する。メタ科学者のダニエレ・ファネリが説明するように、「出版するか滅びるか」という文化は、科学者が自分の研究を公認の学術誌に掲載するよう強いプレッシャーにさらされる環境で働いているという、学術界の社会学的側面である。これは、学術界の労働環境が極めて競争的であること、また、科学者のキャリアを評価するために文献計量的パラメータ（例えば、出版数）がますます多く使われていることの結果である。^[121]ファネリによると、このことが科学者に、結果を「出版可能」にするためのさまざまな戦略を採用するよう促している。出版バイアスの文脈では、これは、結果を肯定的または統計的に有意にすることを目指した行動をとることを意味する可能性があり、多くの場合、その妥当性を犠牲にすることになる（QRP、セクション 4.3 を参照）。^[121]

オープンサイエンスセンターの創設者ブライアン・ノセック氏とその同僚によると、「出版するか滅びるか」という文化は、科学者個人の目標や価値観（例えば、出版可能性）が科学の一般的な目標（例えば、科学的真実の追求）と一致しない状況を生み出した。これは、出版された研究結果の妥当性に悪影響を及ぼす。^[122]

哲学者のブライアン・D・アープと心理学者のジム・AC・エヴェレットは、複製は学者や研究者の集団にとって最大の利益であるが、学術的な心理学的文化の特徴が個々の研究者による複製を妨げていると主張している。彼らは、複製を行うには時間がかかり、研究者の独自の考えを反映するプロジェクトからリソースを奪うと主張している。複製は独創的でないために出版が難しく、出版できたとしてもその分野への大きな貢献とは見なされない可能性が高い。複製は「著者に助成金を含む認知度や報酬をあまりもたらさない」^{[123] 。}

哲学者で科学史家のジェローム・R・ラヴェッツは、1971 年の著書『科学的知識とその社会的問題』で、孤立した研究者のコミュニティで構成された「小さな」科学から「大きな」科学、つまり「テクノサイエンス」へと科学が進化する中で、科学は品質管理の内部システムに大きな問題を抱えるだろうと予測しました。彼は、現代の科学者のインセンティブ構造が機能不全に陥り、どんなに疑わしい発見でも公表しようとする逆効果のインセンティブが生まれる可能性があることを認識していました。ラヴェッツによると、科学の質は、共通の規範と基準で結びつき、互いに責任を負い合う意志と能力のある学者のコミュニティがある場合にのみ維持されます。

特定の出版慣行も、複製を実施し、再現性危機の深刻度を監視することを困難にしている。なぜなら、論文には、他の学者が研究を再現するのに十分な説明が付いていないことが多いからである。再現性プロジェクト：がん生物学では、2010年から2012年の間に発表されたがんに関するトップ53論文の193の実験のうち、研究者が研究をやり直す（時には修正を加えて）のに十分な情報を提供した著者がいるのは、23論文の50の実験のみであることが示されている。調査した193論文のいずれも、実験プロトコルが完全に説明されておらず、実験の70％を再現するには主要な試薬を要求する必要があった。^{[88] [89]前述の}戦略経営ジャーナルの実証的発見の研究では、88の論文のうち70％がデータまたは手順に関する十分な情報の欠如のために再現できなかったことが判明した。^{[93] [97]}水資源と管理の 分野では、2017年に発表された1,987件の論文のほとんどが、オンラインで共有されている利用可能な情報が不足していたため、再現性がありませんでした。^[98]イベント関連電位の研究では、研究を再現するために必要な情報の3分の2しか150件の研究のサンプルで報告されておらず、報告に大きなギャップがあることが浮き彫りになりました。^[124]

デュエム＝クワインのテーゼによれば、科学的結果は実質的理論と機器理論の両方によって解釈される。例えば、天文観測は天体理論と望遠鏡理論の両方に依存する。次のようなバイアスがある場合、再現不可能な研究が大量に蓄積される可能性がある。つまり、無結果に直面した場合、科学者はデータを機器が不十分であると示すものとして扱うことを好む。無結果ではない結果に直面した場合、科学者は機器を良好と受け入れ、データを実質的理論について何かを述べているものとして扱うことを好む。^[125]

スマルディーノとマケルリース^{[60]は、科学的実践の}文化的進化の簡単なモデルを提案した。各研究室は、偽陽性率、真陽性率、複製率、生産性（その「特性」）の異なる固定レベルで、新規研究または複製研究を行うかをランダムに決定する。研究室はより多くの「努力」を費やし、ROC曲線はより凸状になるが、生産性は低下する。研究室は存続期間中にスコアを蓄積するが、このスコアは論文発表とともに増加し、別の研究室が結果を再現できなかった場合は減少する。一定間隔で、ランダムな研究室が「死に」、別の研究室が親と類似の特性を持つ子研究室を「再生」する。スコアが高い研究室は再生する可能性がより高い。特定のパラメータ設定では、非常に高い偽陽性率を犠牲にしても、研究室の集団は最大の生産性に収束する。

疑わしい研究慣行（QRP）とは、許容される科学的行動のグレーゾーンを利用したり、研究者の自由度（研究者のDF）を悪用したりする意図的な行動であり、偽陽性の結果の確率を高めることで結果の再現性の欠如につながる可能性がある。^{[126] [127] [41]研究者のDFは、}仮説策定、実験計画、データ収集と分析、研究報告に見られる。^[127]しかし、同じデータを分析する複数の研究者または研究チームが関与する多くの分析研究では、統計的に有意な結果を報告するインセンティブがない場合でも、分析者は異なる、時には矛盾する結果を得ている。^[128]これは、研究設計とデータ分析には、分野のベストプラクティスや統計的方法論によって十分に制約されない多数の決定が伴うためである。その結果、研究者のDFにより、失敗した複製の試みで異なるがもっともらしい研究設計や統計分析が使用される状況が発生する可能性があります。このような研究は必ずしも以前の研究結果を損なうものではありません。^[129] マルチバース解析は、すべての可能性のあるデータ処理パイプラインに基づいて推論を行う手法であり、分析の柔軟性の問題に対する解決策を提供します。^[130]

代わりに、多くの統計モデルを推定すること（データドレッジングとして知られる^{[127] [131] [40] [d]}）、統計的に有意な結果のみを選択的に報告すること、 ^{[126] [127] [131] [40] [e]}、HARKing（結果がわかった後に仮説を立てること）は、疑わしい研究慣行の例です。^{[127] [131] [40] [f]}医学において、再現不可能な研究には6つの共通点があります。研究者が実験群と対照群を知らされていないこと、実験を繰り返さないこと、陽性対照と陰性対照がないこと、すべてのデータを報告しないこと、統計的検定を不適切に使用すること、適切に検証されていない試薬を使用することです。^[133]

QRPには、データの改ざんなど、より明白な科学的誠実性の違反は含まれません。^{[126] [127]社会心理学者の}ディーデリック・スタペル、^{[134] [14]}認知心理学者のマーク・ハウザー、社会心理学者のローレンス・サンナによる科学的詐欺のケースのように、不正な研究は確かに起こりますが、 ^[14]まれであるようです。

インディアナ大学教授アーネスト・オボイルと心理学者マーティン・ゲッツによると、さまざまな研究について調査を受けた研究者の約50％がHARKingに関与していたことを認めた。 ^[135]行動科学者レスリー・K・ジョンと同僚による2,000人の心理学者への調査では、約94％の心理学者が少なくとも1つのQRPを使用したことを認めた。より具体的には、63％が研究の従属指標のすべてを報告しなかったことを認め、28％が研究の条件をすべて報告し、46％が望ましい結果パターンを生み出した研究を選択的に報告した。さらに、56％がすでに収集されたデータを検査した後にさらにデータを収集したことを認め、16％が望ましい結果がすでに見えていたためデータ収集を中止したことを認めた。^[40]バイオテクノロジー研究者J・レスリー・グリックの1992年の推定によると、研究開発研究の10％から20％にQRPまたは完全な詐欺が関与していた。^[136] QRPを推定する方法論には異論があり、最近の研究では平均すると有病率は低いことが示唆されている。^[137]

2009年のメタ分析では、あらゆる分野の科学者の2％が少なくとも1回は研究を偽造したことを認め、14％が偽造した人を知っていると認めた。ある研究によると、そのような不正行為は他の研究者よりも医療研究者によって頻繁に報告されている。^[138]

ディーキン大学のトム・スタンリー教授とその同僚によると、研究が再現できない理由として考えられるのは、統計的検出力が低いことだ。これには3つの理由がある。第一に、検出力が低い再現研究は、定義上、真の効果を検出する可能性が低いため、成功する可能性は低い。第二に、元の研究の検出力が低い場合、効果サイズの推定値に偏りが生じる。再現研究の事前検出力分析を行うと、必要なサンプルサイズが過小評価されることになる。第三に、元の研究の検出力が低い場合、真の効果を反映する統計的に有意な結果が研究後に得られる確率は非常に低い。したがって、元の研究の再現は失敗する可能性が高い。^[15]

数学的には、帰無仮説を棄却して対立仮説を支持する過去の出版物を再現する確率は、有意性が検出力よりも低いと仮定している。したがって、検出力が低いということは、過去の出版物がどのように設計されたか、どの仮説が実際に正しいかに関係なく、再現の確率が低いことを意味する。^[78]${\displaystyle H_{0}}$${\displaystyle H_{1}}$$${\displaystyle ({\text{significance}})Pr(H_{0}|{\text{publication}})+({\text{power}})Pr(H_{1}|{\text{publication}})\leq ({\text{power}})}$$

スタンレーとその同僚は、200件のメタ分析のデータを分析して心理学文献の平均統計的検出力を推定した。彼らは、心理学研究の統計的検出力は平均して33.1%から36.4%の間であることを発見した。これらの値は、実験に適切な統計的検出力とされる80%と比べるとかなり低い。200件のメタ分析全体で、適切な統計的検出力を持つ研究の中央値は7.7%から9.1%の間であり、これは、陽性結果が真陽性か偽陽性かに関係なく、陽性結果が10%未満の確率で再現されることを意味している。^[15]

神経科学研究の統計的検出力は非常に低い。fMRI研究の推定統計的検出力は0.08～0.31の間であり^{[139] 、}事象関連電位の研究の統計的検出力は、大きな効果サイズでは0.72～0.98、中程度の効果では0.35～0.73、小さな効果では0.10～0.18と推定されている^[124]。

心理学者のキャサリン・バトン氏らは、ネイチャー誌に発表した研究で、神経科学分野の49件のメタ分析を用いて同様の研究を行い、統計的検出力の中央値を21%と推定した。^[140]メタ科学者のジョン・イオアニディス氏らは、実証経済研究の平均検出力の推定値を計算し、6,700件の研究に基づく文献に基づいて、平均検出力は18%であると結論付けた。^[141]これらの結果を踏まえると、いくつかの科学分野で再現性が広く失敗している主な理由は、平均して統計的検出力が非常に低いためである可能性があると考えられる。

同じ有意水準の同じ統計的検定は、対立仮説の下で効果サイズが小さい場合、統計的検出力が低くなります。複雑な遺伝形質は通常、効果サイズが小さい多数の遺伝子と相関しているため、高い検出力には大きなサンプルサイズが必要です。特に、候補遺伝子の文献からの多くの結果は、効果サイズが小さく、サンプルサイズも小さいため、再現できませんでした。ゲノムワイド関連研究(GWAS) からのより多くのデータは、この問題の解決に近づいています。^{[142] [143]}数値例として、統合失調症のリスクに関連するほとんどの遺伝子は、効果サイズ (遺伝子型相対リスク、GRR) が低いです。1000 症例と 1000 対照の統計的研究では、GRR = 1.15 の遺伝子の検出力は 0.03% で、これは統合失調症の場合すでに大きい値です。対照的に、これまでで最大の GWAS では、その遺伝子の検出力は約 100% です。^[144]

研究が再現された場合でも、その再現による効果サイズは通常小さくなります。検出力の低い研究では、効果サイズのバイアスが大きくなります。^[145]

などの回帰係数を統計的に推定する研究では、データセットが大きい場合、ノイズによって回帰係数が過小評価される傾向がありますが、データセットが小さい場合、ノイズによって回帰係数が過大評価される傾向があります。^[146]${\displaystyle k}$${\displaystyle Y=kX+b}$

メタ分析には独自の方法論的問題や論争があり、メタ分析によって理論に異議を唱えられた研究者はメタ分析の手法を拒否することになる。^[117]

ローゼンタールは、帰無結果に対する出版バイアスを回避するために「フェイルセーフ数」（FSN）^[54]を提案した。これは次のように定義される。帰無仮説が正しいと仮定すると、現在の結果が帰無仮説と区別がつかなくなるには、いくつの出版物が必要か？

Rosenthal の論点は、特定の効果サイズが十分に大きいため、たとえヌル結果に対する完全な出版バイアス (「ファイル ドロワー問題」) があったとしても、未発表のヌル結果の数は効果サイズを圧倒するには不可能なほど多くなるということです。したがって、効果サイズは、未発表のヌル結果を考慮した後でも統計的に有意である必要があります。

FSNに対する反論の1つは、未発表の結果が帰無仮説からの偏りのないサンプルであるかのように計算されるという点である。しかし、ファイルドロワー問題が真実であれば、未発表の結果は効果サイズが0の周辺に集中することになる。したがって、効果サイズを置き換えるために必要な未発表の帰無結果は少なくなるため、FSNは過大評価となる。^[117]

メタ分析のもう一つの問題は、悪い研究が「伝染性」を持つということであり、1つの悪い研究がメタ分析全体の統計的有意性を過大評価する可能性がある。^[78]

さまざまな統計的手法を適用することで、p値を実際よりも小さく見せることができます。これは必ずしも悪意のある行為ではありません。研究で日常的に行われている適度に柔軟なデータ分析によって、偽陽性率が60%以上に上昇する可能性があるからです。^[41]

たとえば、あるデータを収集し、それに対して複数の異なる有意性検定を適用し、p 値が 0.05 未満の検定だけを公開した場合、「少なくとも 1 つの有意性検定が p < 0.05 に達する」という合計 p 値は 0.05 よりはるかに大きくなる可能性があります。これは、帰無仮説が正しいとしても、多くの有意性検定のうち 1 つが極端である確率自体は極端ではないためです。

通常、統計調査には複数のステップがあり、各ステップで、データ収集、外れ値の除去、検定統計量の選択、片側検定または両側検定の選択など、いくつかの選択肢があります。これらの「分岐パスの庭」での選択肢は増加し、多くの「研究者の自由度」を生み出します。その効果は、選択されなかったパスが公開されないため、ファイル引き出し問題に似ています。^[147]

簡単な例を考えてみましょう。帰無仮説が真で、データセットに適用できる有意性検定が 20 通りあるとします。また、有意性検定の結果は独立しているとします。「有意性」の定義により、各検定が有意水準 0.05 で合格する確率は 0.05 です。独立性の仮定により、20 のうち少なくとも 1 つが有意である確率は、 です。[ ^148]${\displaystyle 1-(1-0.05)^{20}=0.64}$

もう一つの可能​​性は多重比較の問題である。2009年には、fMRI研究において、効果サイズが大きい陽性結果が疑わしい数で報告されたことが2度あった。これは、研究の検出力が低いため（1つの例^[149]では被験者が13人のみ）、予想される数よりも多かった。研究の半数以上が、現象と個々のfMRIボクセルとの相関関係をテストし、選択した閾値を超えるボクセルについてのみ報告していると指摘された。^[150]

任意停止とは、ある停止基準に達するまでデータを収集する手法である。有効な手順ではあるが、簡単に誤用される。問題は、任意停止された統計的検定のp値が見かけよりも大きいことである。直感的には、これはp値が、少なくとも観察されたものと同じぐらいまれなすべてのイベントの合計であるはずであるためである。任意停止では、説明が難しいさらにまれなイベント、つまり、任意停止ルールをトリガーせず、停止する前にさらに多くのデータを収集するイベントが存在する。これらのイベントを無視すると、p値が低くなりすぎる。実際、帰無仮説が真であれば、データ収集を続けて、目的のp値（常にこれだけのデータを収集することを計画していたかのように計算）が得られた時点で停止すれば、任意の有意水準に到達できる。^[151]公平なコインの検定の具体的な例については、p値#任意停止を参照してください。

もっと簡潔に言えば、p値を正しく計算するには、反事実、つまり、実験者が起こり得たかもしれないデータに対してどう反応したかを考慮する必要がある。何が起こり得たかを考慮することは、正直な研究者にとっても難しい。^[151]事前登録の利点の1つは、すべての反事実を考慮し、p値を正しく計算できることである。^[152]

早期中止の問題は研究者の不正行為に限ったことではない。データ収集のコストが高い場合、早期中止を迫られることが多い。動物倫理委員会の中には、研究の途中で有意な結果が得られた場合、早期中止を義務付けるところもある。^[148]

このような慣行は心理学では広く行われている。2012年の調査では、心理学者の56%が早期中止を認め、46%が「うまくいった」分析のみを報告し、38%が事後排除、つまり、すでに分析が行われたデータの一部を削除してから残りのデータを再分析する（多くの場合、「外れ値除去」を前提とする）ことを認めた。^[40]

スタンレーとその同僚が報告しているように、研究が再現に失敗する可能性があるもう 1 つの理由は、再現される効果の異質性が高いことです。メタ分析では、「異質性」とは、真の効果サイズが 1 つではないことから生じる研究結果のばらつきを指します。代わりに、このような場合の調査結果は、真の効果の分布として見た方が適切です。 ^[15]統計的異質性は、I 平方統計を使用して計算されます。^{[153] は}、「報告された効果サイズ間の観測された変動の割合 (またはパーセンテージ) で、これらの報告された効果サイズに関連付けられた計算された標準誤差では説明できないもの」と定義されています。^{[15]このばらつきは、実験方法、集団、コホート、および再現研究間の統計方法の違いが原因である可能性があります。異質性は、以前に発見された}効果サイズを再現しようとする研究にとって課題となります。異質性が高い場合、その後の再現では、元の研究とは根本的に異なる効果サイズが見つかる可能性が高くなります。^[g]

重要なのは、研究を直接的/正確に複製した場合にも、有意なレベルの異質性が見られることである。スタンリーらは、定量的行動科学者リチャード・クラインらによる研究を報告する中で、この点について論じている。この研究では、著者らは、ヨーロッパと米国の36か所の異なる場所で15の心理的効果を複製しようとした。この研究で、クラインらは、16の効果のうち8つに有意な異質性（I-squared = 23%～91%）を発見した。重要なのは、複製サイトはさまざまな特性について意図的に異なっていたが、そのような違いで異質性はほとんど説明できないということである。スタンリーらによると、これは、異質性が調査対象の現象の真の特徴であった可能性があることを示唆している。たとえば、現象は、いわゆる「隠れたモデレーター」、つまり以前は特定の効果の生成に重要であると理解されていなかった関連要因の影響を受ける可能性がある。

スタンレーと同僚は、心理的効果に関する 200 件のメタ分析の分析で、異質性の中央値は I の 2 乗 = 74% であることを発見しました。著者らによると、この異質性のレベルは「非常に大きい」と見なすことができます。これは、研究で測定された効果サイズのランダム サンプリング分散の 3 倍です。サンプリング誤差に沿って考えると、異質性により、研究間での標準偏差が、調査した 200 件のメタ分析の効果サイズの中央値よりもさらに大きくなります。^[h]著者らは、後続の研究で元の研究と十分に類似した効果サイズが見つかったことで複製が定義される場合、複製のサンプル サイズが非常に大きい場合でも、複製が成功する可能性は低いと結論付けています。重要なのは、複製が直接的または正確であっても、異質性が比較的高いままであるため、このような状況が発生することです。

経済学においては、計量経済学の結果が脆弱であるため、複製危機がさらに悪化する可能性がある。^[154]異なるが妥当な推定手順やデータ前処理技術を使用すると、矛盾した結果が生じる可能性がある。^{[155] [156] [157]}

ニューヨーク大学のジェイ・ヴァン・バベル教授とその同僚は、研究結果の再現が難しいもう1つの理由は、特定の心理的効果が文脈に対して敏感であることだと主張している。この見解では、再現の失敗は、元の実験と再現実験の間の文脈の違い、いわゆる「隠れた調整因子」によって説明できるかもしれない。 [ ^158]ヴァン・バベルとその同僚は、オープンサイエンス・コラボレーションによって実施された、広く引用されている再現性プロジェクトのデータを再分析することで、文脈敏感性の影響をテストした。^{[12]彼らは、文脈要因に対する敏感性に応じて効果を再コード化し、さまざまな}回帰モデルで文脈敏感性と再現成功の関係をテストした。

文脈感度は再現の成功と負の相関関係にあることがわかった。つまり、文脈感度の評価が高いほど、効果が再現される確率が低いということだ。^[i]重要なのは、結果の再現に重要だと考えられる他の要因（例えば、オリジナルの効果サイズとサンプルサイズ、再現の統計的検出力、オリジナルと再現の方法論的類似性）を調整した場合でも、文脈感度は再現の成功と有意に相関していたことだ。^[j]この結果を踏まえて、著者らは、異なる時間、場所、または異なるサンプルで再現を試みることで、実験結果が大幅に変わる可能性があると結論付けた。したがって、文脈感度は、心理学において特定の効果が再現されない理由かもしれない。^[158]

ベイズ確率の枠組みでは、ベイズの定理により、有意水準 5% で帰無仮説を棄却しても対立仮説の事後確率が 95% であることを意味するわけではなく、事後確率は複製の確率とも異なります。^{[159] [151]}仮説が 2 つしかない単純化されたケースを考えてみましょう。帰無仮説の事前確率を、対立仮説を とします。与えられた統計調査について、その偽陽性率（有意水準）を、真陽性率（検出力）を とします。説明のために、有意水準を 0.05、検出力を 0.45（検出力不足）とします。 ${\displaystyle Pr(H_{0})}$${\displaystyle Pr(H_{1})=1-Pr(H_{0})}$${\displaystyle Pr({\text{find }}H_{1}|H_{0})}$${\displaystyle Pr({\text{find }}H_{1}|H_{1})}$

さて、ベイズの定理によれば、統計的研究の結果が真であるという条件付きで、実際に真である事後確率は ではなく、 ${\displaystyle H_{1}}$${\displaystyle H_{1}}$${\displaystyle 1-Pr({\text{find }}H_{1}|H_{0})=0.95}$

$${\displaystyle Pr(H_{1}|{\text{ find }}H_{1})={\frac {Pr({\text{ find }}H_{1}|H_{1})Pr(H_{1})}{Pr({\text{ find }}H_{1}|H_{0})Pr(H_{0})+Pr({\text{ find }}H_{1}|H_{1})Pr(H_{1})}}}$$

そして、統計調査を再現する確率は で、これも とは異なります。特に、有意水準が固定されている場合、 の再現確率は検出力とともに増加し、 の事前確率も増加します。 の事前確率が小さい場合、再現には高い検出力が必要になります。 $${\displaystyle Pr({\text{replication}}|{\text{ find }}H_{1})=Pr({\text{find }}H_{1}|H_{1})Pr(H_{1}|{\text{ find }}H_{1})+Pr({\text{find }}H_{1}|H_{0})Pr(H_{0}|{\text{ find }}H_{1})}$$${\displaystyle Pr(H_{1}|{\text{ find }}H_{1})}$${\displaystyle H_{1}}$${\displaystyle H_{1}}$

たとえば、帰無仮説の事前確率が であり、研究で肯定的な結果が見つかった場合、 の事後確率はであり、複製確率は です。 ${\displaystyle Pr(H_{0})=0.9}$${\displaystyle H_{1}}$${\displaystyle Pr(H_{1}|{\text{ find }}H_{1})=0.50}$${\displaystyle Pr({\text{replication}}|{\text{ find }}H_{1})=0.25}$

帰無仮説検定自体が不適切であり、特に社会心理学のような「ソフトサイエンス」においては不適切であると主張する人もいる。^{[160] [161]}

統計学者が繰り返し観察しているように^[162] 、社会心理学などの複雑なシステムでは、「帰無仮説は常に偽である」、または「すべては相関している」。もしそうだとすると、帰無仮説が棄却されなかったとしても、帰無仮説が真であることを示しているわけではなく、単にそれが偽陰性であったことを示しているだけであり、通常は検出力が低いためである。^[163]検出力が低いことは、社会心理学など、効果サイズが小さく、データの取得に費用がかかる分野で特によく見られる。^{[160] [164]}

さらに、帰無仮説が棄却された場合、それは実質的な対立仮説の証拠とはならない可能性がある。ソフトサイエンスでは、多くの仮説が2つの変数の相関を予測できる。したがって、「相関はない」という帰無仮説に反する証拠は、「相関がある」を同様に予測する多くの対立仮説の1つに対する証拠にはならない。フィッシャーは農学のためにNHSTを開発したが、帰無仮説を棄却することは対立仮説のよい証拠となるのが普通である。なぜなら、対立仮説はそれほど多くないからである。「肥料は役に立たない」という仮説を棄却することは、「肥料は役に立つ」という証拠となる。しかし心理学では、帰無仮説ごとに多くの対立仮説がある。^{[164] [165]}

特に、超感覚知覚に関する統計的研究が極めて低いp値で帰無仮説を棄却した場合（ダリル・ベムの場合のように）、それは対立仮説「ESPが存在する」を意味するものではない。実験設定において正確に測定された小さな（ESPではない）信号があった可能性の方がはるかに高い。^[166]

ポール・ミールは、統計的仮説検定は「ソフト」心理学（人格、社会など）では物理学とは異なる方法で使用されていると指摘した。物理学では、理論は定量的な予測を行い、その予測が統計的に測定された間隔内に収まるかどうかをチェックすることで検定される。ソフト心理学では、理論は方向性のある予測を行い、帰無仮説が正しい方向に棄却されるかどうかをチェックすることで検定される。その結果、実験技術の向上により、物理学では理論が反証される可能性が高くなるが、ソフト心理学では反証される可能性が低くなる。なぜなら、2つの変数は「粗悪係数」約0.30で相関しているため、帰無仮説は常に偽であるからである。最終的な効果は、反証されないままの理論が蓄積されるが、そのうちの1つが他の理論よりも優れているという経験的証拠はない。^{[23] [165]}

哲学者アレクサンダー・バードによると、特定の科学分野で再現率が低い理由として考えられるのは、検証された仮説の大部分が事前に偽であることである。^[167]この見方では、再現率の低さは質の高い科学と一致する可能性がある。関連して、ほとんどの発見が再現されるはずだという期待は誤ったものであり、バードによると、ベースレートの誤謬の一種である。バードの議論は次のように機能する。有意性検定の理想的な状況を想定すると、帰無仮説を誤って棄却する確率が 5% (つまり、タイプ I の誤り)、帰無仮説を正しく棄却する確率が 80% (つまり、検出力) であり、検証された仮説の大部分が偽である状況では、偽陽性の数が真陽性の数に比べて多くなると考えられる。^[167]たとえば、検証された仮説の 10% だけが実際に真である状況では、結果の 36% が偽陽性になると計算できる。^[k]

検証された仮説のほとんどが偽であることで再現率が低いことが説明できるという主張は、特定の分野での統計的検定の平均検出力が80%よりはるかに低い可能性があることを考慮すると、さらに関連性が増します。たとえば、心理学研究の平均検出力が34.1%から36.4%の間と推定される場合、偽陽性の割合は55.2%から57.6%の間の値に増加します。これは、スタンリーと同僚がこの分野の200のメタ分析を分析した際に示されました。^[15]偽陽性の割合が高いと、多くの研究結果が再現不可能になります。

バードは、調査対象の現象の複雑さ、理論が議論の余地のないことはめったにないという事実、理論と仮説の間の「推論距離」、仮説が簡単に生み出されるといった要因を考慮すると、特定の科学分野では、検証された仮説の大部分が事前に誤りであるという主張はもっともらしいかもしれないと指摘している。この点で、バードが例として挙げている分野は、臨床医学、遺伝・分子疫学、社会心理学である。理論が優れた経験的根拠を持ち、仮説が理論から簡単に導き出せる分野（実験物理学など）では、この状況は根本的に異なる。^[167]

文献の中で効果が誤って関連していると述べられている場合、これを再現によって検出できないと、そのような誤った事実が正当化されることになる。^[168]

2021年の研究では、再現できなかった研究結果を含む主要な一般向け、心理学、経済学のジャーナルの論文は、再現可能な研究論文よりも時間の経過とともに引用される傾向があることがわかりました。これは、これらの結果が驚くべきものであったり興味深いものであるためと考えられます。この傾向は、再現に失敗した論文の出版には影響されず、再現に失敗した論文が出版されると、元の研究を引用している論文のうち、再現の失敗に言及する論文はわずか12％になります。 ^{[169] [170]}さらに、専門家はどの研究が再現可能かを予測できるため、2021年の研究の著者であるマルタ・セラ・ガルシアとウリ・グニージーは、専門家は興味深い結果を出版するかどうかを決定する際に、より低い基準を適用していると結論付けています。^[170]

科学界では、再現実験の失敗により一般大衆が科学の信頼性を低下させる可能性があるという懸念が表明されている。^[171]この懸念を裏付ける研究は少ないが、ドイツで実施された全国調査では、75%以上のドイツ人が科学における再現実験の失敗について聞いたことがないことが明らかになった。^[172]また、この調査では、ほとんどのドイツ人が再現実験に対して肯定的な認識を持っていることも判明した。再現実験が不可能であることは科学が信頼できないことを示していると考える人はわずか18%であるのに対し、65%は再現実験は科学が品質管理を適用していることを示していると考えており、80%は誤りや訂正は科学の一部であることに同意している。^[172]

心理学の再現性危機が注目を集める中、プリンストン大学の心理学者スーザン・フィスクは、心理学批判者を、科学に対するいじめや弱体化と称して非難し、物議を醸した。^{[173] [174] [175] [176]}彼女は、これらの正体不明の「敵」を「方法論的テロリスト」や「自称データ警察」などと呼び、心理学批判は個人的に、またはジャーナルに連絡してのみ表明すべきだと述べた。^[173]コロンビア大学の統計学者で政治学者のアンドリュー・ゲルマンは、フィスクに対して、彼女は誤った統計の「死んだパラダイム」を容認する用意があり、誤りが指摘されても出版物を撤回することを拒否してきたと反応した。^[173]彼は、彼女の編集者としての在任期間は悲惨で、彼女が編集した出版された論文の多くが極めて脆弱な統計に基づいていることが判明したと付け加えた。フィスク自身が発表した論文の1つには、重大な統計的誤りと「不可能な」結論が含まれていた。^[173]

心理学の研究者の中には、再現危機は「信頼性革命」の基盤であると指摘する者もいる。信頼性革命では、心理学を評価する基準の変更には、透明性と公開性の重視、研究プロジェクトの事前登録、科学的主張の強度を高めるための証拠に対するより高い基準での研究の再現などが含まれる可能性がある。 ^[177]このような変更は個々の研究者の生産性を低下させる可能性があるが、この影響はデータの共有とより緊密な協力によって回避できる可能性がある。^[177]信頼性革命は研究環境にとって良いことかもしれない。^[178]

再現危機に焦点を当てることで、心理学では重要な発見を再検証する新たな取り組みが生まれました。^{[41] [179] 2013年の}社会心理学誌の特別版では、再現研究に焦点を当てました。^[13]

使用される統計的および実験的方法の標準化と（要求される）透明性が提案されている。^[180]実験の再現性には実験設定の慎重な文書化が不可欠であると考えられており、動物実験における動物の食事など、さまざまな変数が文書化および標準化されていない可能性がある。^[181]

ジョン・イオアニディスによる2016年の記事では、「なぜ臨床研究のほとんどが役に立たないのか」について詳しく述べています。^[182]イオアニディスは、医学研究が再び役に立つための特定のポイントを特徴づけ、いくつかの問題について説明し、改革を求めています。彼が挙げる一例は、主に「医師、研究者、またはスポンサーのニーズ」に対応する現在の慣行ではなく、医療が患者中心になる必要があるというものです（たとえば、患者中心の成果研究機関の形で）。

メタサイエンスとは、科学そのものを研究するために科学的方法論を使用することです。科学的研究の質を高めながら無駄を減らすことを目指しています。メタサイエンスは「研究の研究」や「科学の科学」としても知られており、研究方法を使用して研究がどのように行われ、どこに改善の余地があるかを研究します。メタサイエンスは研究のすべての分野に関係しており、「科学の鳥瞰図」と呼ばれています。^[183]​​ イオアニディスの言葉を借りれば、「科学は人類に起こった最高の出来事です...しかし、私たちはそれをさらに良くすることができます。」^[184]

危機の根源を特定し、それに対処するために、メタ研究が引き続き実施されています。危機に対処する方法には、科学的研究や臨床試験の事前登録、方法論や報告のガイドラインを発行するCONSORTやEQUATOR Networkなどの組織の設立などがあります。学術的インセンティブ システムの改革、ピア レビュープロセスの改善、統計の誤用削減、科学文献の偏りとの戦い、科学的プロセスの全体的な品質と効率の向上に向けた取り組みが続けられています。

実験方法の不十分な伝達が再現性危機の主因であり、実験設計と統計分析の報告を改善すれば状況は改善すると主張する著者もいる。これらの著者は、統計の考え方に関する科学界の幅広い文化的変化と、科学雑誌や資金提供団体からのより強制的な圧力の両方を訴える傾向がある。^[185]しかし、透明性と再現性の基準が定性的研究だけでなく定量的研究にも誤って適用される可能性があるという懸念も上がっている。^[186]

データのアクセシビリティ、複製、透明性に関する編集方針を導入したビジネス・経営学ジャーナルには、 Strategic Management Journal、Journal of International Business Studies、Management and Organization Reviewなどがある。^[93]

心理学における出版バイアスとデータドレッジングに関する懸念に応えて、140以上の心理学ジャーナルが結果ブラインド査読を採用している。このアプローチでは、研究は、その知見に基づいて研究が完了した後ではなく、研究が実施される前、実験デザインの方法論的厳密性、およびデータ収集または分析が行われる前の統計分析手法の理論的正当性に基づいて受け入れられる。^[187]この手順の初期の分析では、結果ブラインド研究の61％がヌル結果につながったと推定されているが、これは以前の研究では推定5％から20％であった。^[101]さらに、異なる国の複数の研究室で研究している研究者間の大規模な共同研究が、定期的にデータを公開してさまざまな研究者が評価できるようにすることが、心理学ではるかに一般的になっている。^[188]

科学出版では、再現性危機に対処するために事前登録レポートの使用が開始されている。 ^{[189] [190]}登録レポートの形式では、著者はデータ収集前に研究方法と分析の説明を提出する必要がある。方法と分析計画がピアレビューで精査されると、著者が提案されたプロトコルに従っているかどうかに基づいて、結果の出版が暫定的に保証される。登録レポートの目的の1つは、疑わしい研究慣行の実施につながる可能性のある重要な結果への出版バイアスを回避することです。もう1つの目的は、厳格な方法による研究の出版を奨励することです。

心理学雑誌は、研究の事前登録と効果サイズと信頼区間の報告を奨励している。 ^[191]編集長はまた、原稿の出版を許可する前に、小規模なサンプルサイズを使用した検査から驚くべき発見があった研究の再現を編集スタッフが求めるだろうと述べた。

「研究がどのくらいの頻度で繰り返されたか、そして元の研究結果が確認されているかどうかをチェックする簡単な方法」が必要であると示唆されている。^[169]研究または結果レベルでの再現性の分類と評価、および第三者による確認へのリンクの追加と評価は、査読者、科学雑誌、または新しいデジタルプラットフォームやツールと組み合わせて読者によって実施することができる。

多くの出版物では、統計的有意性を主張するためにp値がp  < 0.05であることが求められています。多数の科学者や数学者が署名した論文「統計的有意性の再定義」^{[192]では、「新しい発見の統計的有意性を定義する閾値が}p < 0.05 である分野において、 p < 0.005 への変更を提案します 。この簡単なステップにより、多くの分野で科学研究の再現性がすぐに改善されます。」と提案しています。その根拠は、「多くの科学分野で新しい発見を主張するための統計的証拠基準が単に低すぎることが、再現性がない主な原因です。「統計的に有意な」発見をp  < 0.05 と関連付けると、他の実験、手順、報告の問題がない場合でも、偽陽性の割合が高くなります。」^[192]

この呼びかけはその後、別の大規模なグループから批判を受けた。彼らは、閾値を「再定義」しても現在の問題は解決せず、むしろ新たな問題を引き起こすだけであり、最終的にはすべての閾値は一般的な慣習に従うのではなく、ケースバイケースで正当化される必要があると主張した。^[193] 2022年の追跡調査では、これらの競合する推奨事項の実際的な影響を調査した。両方の提案の引用率は高かったものの、研究者はp < 0.005の閾値またはケースバイケースの正当化アプローチのどちらも実際には限定的にしか実施されていないことを発見した。これは、著者らが「悪循環」と呼ぶものを明らかにし、科学者は標準的な慣行ではないという理由で推奨事項を拒否する一方で、少数の科学者がそれを採用するため推奨事項は標準的な慣行にならないという状況を明らかにした。^[194]

 統計学者は、有意性の基準として「 p < 0.05」を使用することは、一般に認識されているよりも弱い証拠を提供するという点で一致しているが、それについて何をすべきかについては一致していない。ベイズ法がp値に取って代わるべきであると主張する人もいる。これは、複雑であることと、多くのユーザーが確かなデータがない場合の事前分布の指定を信用していないことから、広範囲に行われていない。ベイズ論の議論の簡略版は、点帰無仮説の検定に基づいて、薬理学者のデイビッド・コルクホーンによって提案された。 [ ^{195] [196]}帰納的推論の論理的問題は、「p値の問題」（2016年）で議論された。^[197]

p値に依存する危険性は、たとえp = 0.001という観測値であっても、 必ずしも帰無仮説に反する強力な証拠とはならないことから生じます。^[196]対立仮説を支持する尤度比が帰無仮説に対して100に近いという事実にもかかわらず、仮説が信じ難く、実際の効果の事前確率が0.1である場合、p  = 0.001という観測値であっても8パーセントの偽陽性リスクが生じます。それでも5パーセントのレベルには達しません。

「有意」や「非有意」という用語は使用しないことが推奨された。^[196] p値と信頼区間は依然として指定されるべきであるが、偽陽性リスクの指標を伴うべきである。これを行う最良の方法は、5％などの特定のレベルの偽陽性リスクを達成するために信じる必要がある事前確率を計算することであると示唆された。計算はさまざまなコンピュータソフトウェアで行うことができる。^{[196] [198]物理学者}ロバート・マシューズが2001年に提案したこの逆ベイズアプローチは、^[199]事前確率がほとんどわからないという問題を回避する1つの方法です。

再現性の質を向上させるには、元の研究で使用されたものよりも大きなサンプルサイズが必要になることが多い。 ^[200]より大きなサンプルサイズが必要なのは、元の研究の小さなサンプルサイズに関連する出版バイアスと大きなサンプリング変動のために、出版された研究における効果サイズの推定値が誇張されることが多いためである。 ^{[201] [202] [203]さらに、}有意性閾値を使用すると、通常、効果が誇張される。これは、特に小さなサンプルサイズでは、最大の効果のみが有意になるためである。^[161]

一般的な統計的問題の一つは、過適合である。これは、研究者が多数の変数と少数のデータポイントに回帰モデルを当てはめた場合である。例えば、感情、性格、社会的認知に関する典型的なfMRI研究では、被験者は100人未満であるが、各被験者は10,000個のボクセルを持っている。この研究では、ボクセルを使用して自己申告のストレスなどの関心のある変数を予測するスパース線形回帰モデルを当てはめる。しかし、この研究では、当てはめられた同じデータに対するモデルのp値を報告する。統計における標準的なアプローチでは、データをトレーニングセットと検証セットに分割するが、被験者の獲得には費用がかかるため、抵抗される。^{[150] [204]}

一つの解決策としてクロスバリデーションが挙げられ、これによりモデルの検証が可能になると同時にデータセット全体をモデルフィッティングに使用できるようになる。^[205]

2016年7月、オランダ科学研究機構は、複製研究のために300万ユーロの資金を提供した。この資金は、既存データの再分析に基づく複製と、新しいデータの収集と分析による複製に充てられる。資金は社会科学、健康研究、ヘルスケアイノベーションの分野で利用可能である。^[206]

2013年、ローラ・アンド・ジョン・アーノルド財団は、オープンサイエンスセンターの設立に525万ドルの助成金を提供した。2017年までに、同財団はさらに1000万ドルの資金を提供した。^{[207]また、イオアニディスと医学者のスティーブン}・グッドマンが運営するスタンフォード大学のメタリサーチイノベーションセンターの設立にも資金を提供し、科学研究の改善方法を研究した。^{[207]また、医学者の}ベン・ゴールドエーカーが主導するAllTrialsイニシアチブにも資金を提供した。^[207]

MIT、スタンフォード大学、ワシントン大学での実験方法の授業に基づいて、心理学やその他の分野の方法論のコースでは、独自の研究よりも再現の試みに重点を置くべきだと示唆されている。^{[208] [209] [210]}このようなアプローチは、学生が科学的方法論を学ぶのに役立ち、科学的発見の再現可能性をテストする意味のある科学的発見の多数の独立した再現を提供するだろう。大学院生は卒業前に博士研究に関連するトピックについて高品質の再現の試みを発表することを義務付けるべきだと勧告する人もいる。^[211]

複製の試みが増加しているという懸念がありました。^{[212] [213] [214]}その結果、研究の無駄につながる可能性があります。^[215]今度は、複製の試みを体系的に追跡する必要が生じました。その結果、いくつかのデータベースが作成されました（例：^{[216] [217]}）。データベースは、心理学や言語聴覚療法などの分野を含む複製データベースを作成し、理論主導の研究を促進し、学術的および機関のリソースの使用を最適化しながら、科学への信頼を促進しています。^[218]

一部の教育機関では、学部生に最終学年でオリジナルの研究論文を提出することを義務付けています。ノルウェーのオスロ大学の心理学者ダニエル・キンタナは、学生に論文プロジェクトで複製研究を行うよう奨励するとともに、オープンサイエンスについて教えることを推奨しています。^[219]

研究者らは、再現性を半自動的にテストする方法を実証した。実験結果に関する記述は、2022年の時点では意味論的ではない遺伝子発現癌研究論文から抽出され、その後、ロボット科学者「イブ」によって再現された。 ^{[220] [221]}このアプローチの問題としては、多くの研究分野では実現可能ではない可能性があること、また、たとえ利用可能であったとしても、一部または多くの論文から十分な実験データが抽出されない可能性があることなどが挙げられる。

心理学者のダニエル・カーネマンは、心理学においては、発表された方法が曖昧すぎることが多いため、原著者が再現作業に関与すべきだと主張した。^{[222] [223]}心理学者のアンドリュー・ウィルソンなど他の研究者はこれに反対し、原著者が方法を詳細に記述すべきだと主張している。^[222] 2012年に心理学における再現率の調査が行われ、原著者と著者が重複している場合、再現研究における再現の成功率が高くなることが示された^[224]（著者が重複している研究の再現成功率は91.7%であるのに対し、著者が重複していない研究の再現成功率は64.6%）。

再現危機により、様々な大規模で協力的なコミュニティが形成され、文化、国、分野を超えて単一の質問に取り組むためにリソースを共有できるようになりました。^[225]焦点は再現にあり、効果が特定の文化を超えて一般化されることを確認し、効果が再現可能で本物であるかどうかを調査します。^[226]これにより、学際的な内部レビュー、複数の視点、研究室間の統一されたプロトコル、より大規模で多様なサンプルの募集が可能になります。^[226]研究者は、データ収集を調整したり、資金にアクセスできない可能性のある研究者によるデータ収集に資金を提供したりすることで協力し、サンプルサイズを大きくして結論の堅牢性を高めることができます。

心理学者のマーカス・R・ムナフォと疫学者のジョージ・デイビー・スミスは、ネイチャー誌に掲載された論文の中で、誤った考えを防ぐためには、研究は単なる複製ではなく三角測量を重視すべきだと主張している。彼らは次のように主張している。

複製だけでは、ある程度までしか到達できず、事態を悪化させる可能性もあります... [三角測量] とは、1 つの質問に対処するために複数のアプローチを戦略的に使用することです。各アプローチには、それぞれ無関係な仮定、長所、短所があります。異なる方法論間で一致する結果は、人為的結果である可能性が低くなります。... おそらく、複製がこれほど多くの関心を集めた理由の 1 つは、反証が科学事業の核心であるという、よく繰り返される考えです。この考えは、理論は決して証明できず、反証されるだけであるというカール ポッパーの 1950 年代の格言によって普及しました。しかし、実験の繰り返しを過度に重視すると、単一のアプローチに依存する発見について根拠のない確信感を与える可能性があります。... 科学哲学者はポッパー以降、進歩しています。科学者が実際にどのように働くかについてのより良い説明には、認識論者ピーター リプトンが1991 年に「最善の説明への推論」と呼んだものが含まれます。^[227]

因果関係の科学的・統計的モデルとして最も主流なのは線形モデルである。^[228]線形モデルは、精神的変数は互いに独立した安定した性質であると仮定している。言い換えれば、これらの変数は互いに影響を及ぼさないと予想される。その代わりに、モデルは変数が観察可能な結果に対して独立した線形効果を持つと仮定している。^[228]

社会科学者のセバスチャン・ワロットとダミアン・ケルティ・スティーブンは、線形モデルが常に適切であるとは限らないと主張している。^[228]代替モデルは、精神的変数が相互に依存していると仮定する複雑系モデルである。これらの変数は安定しているとは想定されておらず、むしろ相互作用し、それぞれの特定の状況に適応する。^[228]彼らは、複雑系モデルは心理学ではより適切であることが多く、複雑系モデルの方が適切な場合に線形モデルを使用すると、複製に失敗すると主張している。^[228]

...心理学は、心理学的証拠が明らかに再現を予測できないとしている測定や条件そのものにおいて、再現を期待しているのかもしれない。再現の失敗は、人間の行動が独立性の基準に適合しないという、不完全ではあるが広範囲にわたる失敗に明らかに織り込まれているのかもしれない... ^[228]

複製は、元の研究結果を確認するための科学の進歩にとって不可欠です。しかし、複製だけでは複製の危機を解決するのに十分ではありません。複製の取り組みは、元の研究結果を支持したり疑問視したりするだけでなく、元の研究結果を、より説明力のある修正されたより強力な理論に置き換えることも目指すべきです。したがって、このアプローチには、既存の理論の整理、すべての代替理論の比較、複製の取り組みをより生成的で理論構築に関与したものにすることが含まれます。^{[229] [230]}しかし、複製だけでは十分ではなく、結果が地理的、歴史的、社会的文脈にわたって一般化される程度を評価することが重要です。これは、いくつかの科学分野、特に実践者や政策立案者が重要な戦略的決定を導くために分析を行う上で重要です。再現可能で複製可能な研究結果は、歴史的および地理的文脈を超えた一般化の最良の予測因子であり、社会科学では、特定の期間と場所の結果が、個人に普遍的に存在するものについて意味のある影響を与えることができることを示しています。^[231]

オープンデータ、オープンソースソフトウェア、オープンソースハードウェアはすべて、元のデータ分析の検証という意味での再現性を実現するために不可欠です。プロプライエタリソフトウェアの使用、分析ソフトウェアの公開の欠如、オープンデータの欠如は、研究の複製を妨げます。研究で使用されるソフトウェアがオープンソースでない限り、異なるソフトウェアとハ​​ードウェア構成で結果を再現することは不可能です。^[232] CERNには、LHCの大規模実験での分析を保存するために必要なデータ、すべての関連情報、およびすべてのソフトウェアとツールを保存するためのオープンデータプロジェクトとCERN分析保存プロジェクトがあります。すべてのソフトウェアとデータとは別に、保存される分析資産には、分析ワークフロー、関連ソフトウェア、系統的不確実性、統計手順、分析を検索する意味のある方法、および出版物とバックアップ資料への参照を理解するためのメタデータが含まれます。^{[233] CERNソフトウェアはオープンソースであり、}素粒子物理学以外でも使用できます。また、現代の素粒子物理学におけるオープンサイエンスに使用される幅広いアプローチと戦略について、他の分野にいくつかのガイダンスが提供されています。^[234]

データ、プロトコル、および調査結果を保存し、一般の人々が評価できるオンラインリポジトリは、研究の完全性と再現性の向上を目指しています。このようなリポジトリの例には、Open Science Framework、Registry of Research Data Repositories、Psychfiledrawer.orgなどがあります。Open Science Frameworkなどのサイトでは、科学者を奨励するために、オープンサイエンスの実践を使用するためのバッジを提供しています。しかし、分析のためにデータとコードを提供する可能性が高いのは、おそらく最も洗練された研究者であるという懸念があります。^[235] Ioannidisは、「最も細心の注意を払って洗練され、方法に精通し、注意深い研究者は、これらのエラーがいかに無視できるものであっても、エラーを探す再分析者による批判や評判の攻撃を受けやすくなるというパラドックスが生じる可能性がある」と示唆しました。^[235]

• 基本料金の誤り
• ブラックスワン理論
• 相関関係は因果関係を意味するものではない
• データドレッジ
• 衰退効果
• 推定統計
• 探索的データ分析
• 拡張無視
• 反証可能性
• 無効な科学
• 統計の誤用
• 自然主義
• 観察者のバイアス
• p値
• 帰納法の問題
• サンプリングバイアス
• 選択バイアス
• 統計的仮説検定
• 斉一説