発表された研究結果のほとんどが誤りである理由

「発表された研究結果のほとんどが誤りである理由」は、スタンフォード大学医学部の教授であるジョン・イオアニディスが2005年に執筆し、PLOS Medicineに掲載されたエッセイである。^{[ 1 ]}これはメタサイエンスの分野の基礎となるものと考えられている。

イオアニディス氏は論文の中で、発表された医学研究論文の大部分ではないにしても、多くの論文には再現不可能な結果が含まれていると主張した。簡単に言えば、この論文では、科学者は仮説検定を用いて科学的発見が有意であるかどうかを判断していると述べている。統計的有意性は確率の観点から定式化され、そのp値はスクリーニングメカニズムとして科学文献に報告される。イオアニディス氏は、人々がこれらのテストを実施し報告する方法についての仮定を立て、発表された研究結果のほとんどが偽陽性である可能性が高いことを示す統計モデルを構築した。

科学研究方法論の改革を提言する論文の一般的な論点は好評だったものの、イオアニディス氏は自身のモデルの妥当性や、科学的発見の大部分が誤りであるという主張について批判を受けた。論文に対する反応からは、イオアニディス氏が提示したよりも低い偽陽性率と偽陰性率が示唆されている。

ある科学分野において、結果が真である既知のベースライン確率が存在すると仮定します。$\displaystyle \mathbb {P} ({\text{真}})}$研究を実施すると、肯定的な結果が得られる確率は${\displaystyle \mathbb {P} (+)}$これら2つの要因を考慮して、条件付き確率を計算したい。${\displaystyle \mathbb {P} ({\text{真}}\mid +)}$これは陽性予測値（PPV）として知られています。ベイズの定理を用いると、 PPVは次のように計算できます。$${\displaystyle \mathbb {P} ({\text{True}}\mid +)={(1-\beta )\mathbb {P} ({\text{True}}) \over {(1-\beta )\mathbb {P} ({\text{True}})+\alpha \left[1-\mathbb {P} ({\text{True}})\right]}}}$$どこ${\displaystyle \alpha }$は第一種過誤率（偽陽性）であり、${\displaystyle \beta }$はタイプIIエラー率（偽陰性）であり、統計的検出力は${\displaystyle 1-\beta }$ほとんどの科学研究では、${\displaystyle \alpha =0.05}$そして${\displaystyle \beta =0.2}$仮定すると${\displaystyle \mathbb {P} ({\text{True}})=0.1}$特定の科学分野の場合、異なる値に対してPPVを計算することができます。${\displaystyle \alpha }$そして${\displaystyle \beta }$:

しかし、ベイズの定理から導き出されたPPVの単純な公式は、研究デザインや報告におけるバイアスを考慮していません。研究者のバイアスがなければ、発表された研究結果の中には発表されなかったものもあるでしょう。${\displaystyle u\in [0,1]}$ある分析結果が研究者の偏りによってのみ公表された確率を とします。すると、PPV はより一般的な式で与えられます。$${\displaystyle \mathbb {P} ({\text{True}}\mid +)={\left[1-(1-u)\beta \right]\mathbb {P} ({\text{True}}) \over {\left[1-(1-u)\beta \right]\mathbb {P} ({\text{True}})+\left[(1-u)\alpha +u\right]\left[1-\mathbb {P} ({\text{True}})\right]}}}$$バイアスの導入はPPVを低下させる傾向があり、研究のバイアスが最大化される極端なケースでは、${\displaystyle \mathbb {P} ({\text{True}}\mid +)=\mathbb {P} ({\text{True}})}$たとえ研究がベンチマーク要件を満たしていても${\displaystyle \alpha }$そして${\displaystyle \beta }$バイアスがなく、肯定的な結果を報告する論文が間違っている確率は依然として 36% あります。真の結果の基本確率が低い場合、PPV も低くなります。さらに、多くの科学分野における研究の平均統計的検出力がベンチマーク レベル 0.8 をはるかに下回っているという強力な証拠があります。^{[ 2 ] [ 3 ] [ 4 ]}

バイアス、統計的検出力の低さ、そして真の仮説の数が少ないという現実を踏まえると、イオアニディスは、様々な科学分野における研究の大部分は、誤った結果を報告している可能性が高いと結論付けている。

論文中の極端な主張に対する懐疑的な見方にもかかわらず、イオアニディスのより広範な議論と警告は多くの研究者に受け入れられている。^{[ 7 ]}メタサイエンスの発展と科学的再現性の危機の認識は、論文の信頼性を高め、科学研究における方法論的改革を求める声につながった。^{[ 8 ] [ 9 ]}

統計学者のグッドマンとグリーンランドは、解説や技術的な回答の中で、イオアニディスのモデルにいくつかの弱点があることを指摘した。^{[ 10 ] [ 11 ]} イオアニディスが「ほとんどの研究結果の主張は誤りである」ことや「ほとんどの研究結果はほとんどの研究設計とほとんどの分野で誤りである」[強調追加]と「証明した」という劇的で誇張された表現を用いたことは否定されたが、彼らはイオアニディスの論文の結論と提言には同意した。

生物統計学者のイェーガーとリークは、このモデルは経験的データではなく、正当化できるが恣意的な仮定に基づいているとして批判し、独自の調査を行った結果、生物医学研究における偽陽性率はイオアニディスが主張した50%以上ではなく、約14%と推定されることが分かった。^{[ 12 ]}彼らの論文は、他の統計学者による詳細な支持的批判とともに、2014年のBiostatistics誌の特別号に掲載された。リークは、合意の要点を次のようにまとめた。科学的に偽発見率について話すときはデータを提示する必要がある。科学的に偽発見率を推定するためのさまざまな枠組みがある。「発表された研究のほとんどが偽である可能性はかなり低い」が、それは「ほとんど」と「偽」の定義によって異なる可能性がある。^{[ 13 ]}

統計学者のウルリッヒ・シマックは、いくつかの科学分野で報告されている偽発見率は、有意でない結果がほとんど報告されないため、実際の発見率ではないと指摘し、モデルの経験的根拠の重要性を強調した。イオアニディスの理論モデルはこの点を考慮していないが、未発表の有意でない結果の数を推定する統計的手法（「z曲線」）を2つの例に適用すると、偽陽性率は8%から17%の間であり、50%を超えることはない。^{[ 14 ]}

これらの弱点にもかかわらず、イオアニディスが論じる問題と提言については概ね合意が得られているが、彼の口調は「劇的」で「驚くほど誤解を招く」と評されており、人々が科学に対して不必要に懐疑的または冷笑的になる危険性がある。^{[ 10 ] [ 15 ]}

この研究の永続的な影響は、臨床医学や生物医学研究における偽陽性率の高さの根本的な要因に対する認識と、ジャーナルや科学者によるそれらを軽減するための努力である。イオアニディスは2016年にこれらの要因を次のように改めて述べた。^{[ 16 ]}

• 単独の研究者は小規模なサンプルサイズに限定される
• 検証する仮説の事前登録は不要です。
• 事後的に最もP値の高い仮説を選別する
• P < 0.05のみを必要とする
• 複製なし
• データ共有なし

• カーネギーメロン大学統計学ジャーナルクラブ：「発表された研究結果のほとんどが誤りである理由」の要約と議論
• 経済学への応用：J.ブラッドフォード・デロング、ケビン・ラング「すべての経済仮説は誤りなのか？」政治経済学ジャーナル100（6）：1257-1272、1992年
• 社会科学への応用: Hardwicke, Tom E.; Wallach, Joshua D.; Kidwell, Mallory C.; Bendixen, Theiss; Crüwell Sophia and Ioannidis, John PA「社会科学における透明性と再現性に関連する研究実践の経験的評価（2014～2017年）」Royal Society Open Science. 7 : 190806, 2020.

• バークレー社会科学透明性イニシアチブによるYouTube動画、2016年、「発表された研究結果のほとんどが誤りである理由」（パートI、パートII、パートIII）
• ジョン・イオアニディス氏によるGoogleでの講演（2014年）「再現可能な研究：真実か虚偽か？」のYouTube動画