マルチバース分析

マルチバース分析は、単一の仮説に対して一連の妥当な代替モデルまたは統計的検定を指定して実行する科学的手法である。^[1]これは、「科学的プロセスでは、研究者は多数の一見些細だが重要な意思決定ポイントに直面し、それぞれが研究結果にばらつきをもたらす可能性がある」という問題に対処する手法である。^{[2]これは、}研究者の自由度^[3]または分岐路の庭としても知られる問題である。これは、研究結果の脆弱性または堅牢性を診断できるため、科学で起こっている信頼性と再現性の危機に対応して生まれた手法である。マルチバース分析は、心理学^[4]および神経科学の分野で使用されている。^[5]これはまた、異なるモデル仕様が同じ仮説の結果にどのように影響するかについて研究者が証拠を提供できるメタ分析の一形態であり、科学者に、より良い理論または因果モデルが必要な場所を指示することができる。

マルチバース分析では、多くの場合、あらゆる方向に向かう傾向のある多数の結果が生成されます。つまり、ほとんどの研究では、仮説に対する合意や特定の拒否は示されません。これまでのところ、その最大の効用は、代わりに、単一の研究の調査結果に基づく結論に反する証拠を提供したり、どのモデル仕様がより大きな、またはより堅牢な効果サイズをもたらす可能性が高いか低いか (またはそうでないか) に関する証拠を提供したりすることです。

単一の研究や統計モデルに反する証拠は、潜在的な偽陽性結果を特定するのに役立ちます。たとえば、今では悪名高い研究では、女性の名前のハリケーンは男性の名前のハリケーンよりも致命的であると結論付けられました。^[6]フォローアップ研究^[7]では、研究者は同じハリケーンデータを使用して何千ものモデルを実行しましたが、回帰モデルにさまざまな妥当な調整を加えました。すべての回帰係数の密度曲線をプロットすることで、元の研究の係数が極端な外れ値であることが示されました。

出生順序の影響に関する研究^[8]では、研究者らは、さまざまなモデル仕様に対するすべてのモデル結果のプロットを視覚的に検査できる仕様曲線を使用して、もっともらしいモデルのマルチバースを視覚化しました。研究者らは、その研究結果が出生順序と知能に関する以前の研究を裏付ける一方で、生活満足度やさまざまな性格特性への影響を否定する証拠を提供していることを示すことができました。