分岐パスの問題

分岐路の庭は、頻度主義的仮説検定における問題であり、研究者が自由度を多く残すことで、検定された仮説に対して意図せず偽陽性を生み出す可能性がある。データ浚渫などの、期待される結果や明らかに有意な結果のみを発表する漁獲遠征とは対照的に、これは、観察され処理されるデータによって情報提供される方法と分析の実装方法に関する一連の選択を通じて、1つの実験のみを実行する場合でも同様の効果を可能にする。^[1]

データ分析中に分岐する決定木を探索することは、かつては統計手法の不備の例として多重比較問題と一緒に分類されていました。しかし、ゲルマン氏とローケン氏は^[2]、ベストプラクティスを認識している研究者が単一の比較のみを行い、データを一度だけ評価することで、暗黙的にこのようなことが起こる可能性があることを実証しました。

誤りは、データの一部またはすべてを見た後、同様の根拠に基づく偽陽性を生じるのに十分な自由度で方法を選択できたにもかかわらず、分析が多重比較を含まないと信じることである。自由度には、主効果または相互作用の選択、データ除外の方法、異なる研究を組み合わせるかどうか、データ分析の方法などが含まれる。

マルチバース分析は、データを分析する際に利用できる分析パスの多様さを認識するアプローチです。この概念は、単一のデータセットで実行できる可能性のある分析の多様さを表す比喩的な「分岐パスの庭」に触発されています。マルチバース分析では、研究者は分析の選択肢を体系的に変更して、同じ生データから得られる可能性のある結果の範囲を探ります。^{[3] [4] [5]}これには、データの包含/除外基準、変数の変換、外れ値の処理、統計モデル、仮説検定などの変数を変更して、異なる分析決定を与えられた場合に得られた可能性のある結果の範囲を生成することが含まれます。

マルチバース分析の主な利点は次のとおりです。

• 透明性。さまざまな分析の選択が結果に与える影響をオープンに議論することで、分析プロセスの透明性が高まります。
• 堅牢性。さまざまな分析シナリオで結論がどのように変化するかを調べることで、研究者は調査結果の堅牢性を評価できます。結論が多くの妥当な分析で当てはまる場合、その結論はより堅牢であり、恣意的な意思決定の結果である可能性が低いと考えられます。
• 重要な決定の特定。どの分析決定が結果に最も強く影響するかを特定し、研究者が将来の研究でより情報に基づいた方法論的選択を行えるよう導きます。

^{このアプローチは、心理学、 [4]}神経科学、^[5]経済学、社会科学など、研究結果がデータ分析の方法に敏感な分野で価値があります。マルチバース分析は、同じデータセットから異なる分析の選択がどのように異なる結論につながるかを明らかにすることで、再現性と複製可能性に関連する問題を軽減することを目的としています。したがって、データ分析のより微妙な理解を促し、科学研究の完全性と信頼性を促進します。

マルチバース解析と密接に関連する概念としては、仕様曲線解析^[6]と効果の振動の評価^{[7]がある。}

• 統計的仮説検定
• 研究者の自由度