統計的結論の妥当性

統計的結論の妥当性は、データに基づく変数間の関係についての結論が正しいか「合理的」であるかの度合いです。これは、変数の関係についての統計的結論が正しいかどうかだけに関するものでしたが、現在では、定量的、統計的、および定性的データを使用した「合理的な」結論へと移行する動きがあります。^[1]基本的に、タイプ I (差異または相関関係がないのに差異または相関関係を見つける) とタイプ II (差異または相関関係があるのに差異または相関関係がないと判断する) の 2 種類のエラーが発生する可能性があります。統計的結論の妥当性は、これらのタイプのエラーが発生しやすくなる研究の質に関係します。統計的結論の妥当性には、適切なサンプリング手順、適切な統計テスト、および信頼性の高い測定手順の使用を保証することが含まれます。^[2]^[3]^[4]

一般的な脅威

統計的結論の妥当性に対する最も一般的な脅威は次のとおりです。

統計的検出力が低い

検出力は、帰無仮説が偽であるときにそれを正しく棄却する確率です(タイプ II の誤り率の逆数)。検出力が低い実験では、帰無仮説を誤って棄却できない可能性が高くなります。つまり、タイプ II の誤りを犯し、効果があるのに (原因と結果の間に実際の共変動があるなど) 検出可能な効果がないという結論を出す可能性が高くなります。検出力が低いのは、他の要因 (効果サイズが小さい、グループのばらつきが大きい、尺度が信頼できないなど) を考慮すると、研究のサンプルサイズが小さすぎる場合です。

検定統計量の仮定に違反

ほとんどの統計的検定 (特に推論統計) には、仮説を検定するのに適した分析を行うためのデータに関する仮定が含まれています。統計的検定の仮定に違反すると、因果関係について誤った推論につながる可能性があります。検定の堅牢性は、違反に対する検定の感度を示します。仮定に違反すると、検定でタイプ I またはタイプ II のエラーが発生する可能性が高くなったり低くなったりすることがあります。

浚渫とエラー率の問題

各仮説検定には、タイプ I の誤り (アルファ率) のリスクが伴います。研究者がデータを検索または「掘り起こし」、多くの異なる仮説を検定して有意な効果を見つけると、タイプ I の誤り率が高くなります。研究者がデータを繰り返し検定すればするほど、タイプ I の誤りが観測され、関係の存在について誤った推論を行う可能性が高くなります。

測定の信頼性の低さ

従属変数および/または独立変数が確実に測定されない場合（つまり、測定誤差が大きい場合）、誤った結論が導き出される可能性があります。

範囲の制限

下限効果や上限効果、選択効果などの範囲の制限は、実験の検出力を低下させ、第2種の過誤の可能性を高めます。^[5]これは、変動性の減少によって相関が減衰（弱まる）するためです（たとえば、推定にスコア分散を使用するピアソンの積率相関係数の式を参照）。

研究対象単位の異質性

研究に参加する個人の異質性が高まると、結果の分散が増大したり、真の関係性が不明瞭になったりして、結果の解釈にも影響が及ぶ可能性があります (サンプリング誤差も参照)。これにより、ユニットの特性と因果関係の間の相互作用の可能性が不明瞭になります。

内部妥当性への脅威

研究調査の内部妥当性に影響を与える可能性のある効果は、結果に偏りをもたらし、到達した統計的結論の妥当性に影響を与える可能性があります。内部妥当性に対するこれらの脅威には、治療実施の信頼性の低さ（標準化の欠如）や、無関係な変数の制御の失敗が含まれます。

参照

参考文献

^ Cozby, Paul C. (2009).行動研究の方法（第10版）. ボストン: McGraw-Hill Higher Education.
^ Cohen, RJ; Swerdlik, ME (2004).心理テストと評価（第6版）シドニー：McGraw-Hill.
^ Cook, TD; Campbell, DT; Day, A. (1979).準実験: フィールド設定の設計と分析の問題. Houghton Mifflin .
^ Shadish, W.; Cook, TD; Campbell, DT (2006).一般化因果推論のための実験的および準実験的デザイン. Houghton Mifflin .
^ Sackett, PR; Lievens, F.; Berry, CM; Landers, RN (2007). 「範囲制限が予測子の相互相関に与える影響に関する注意点」.応用心理学ジャーナル. 92 (2): 538– 544. doi :10.1037/0021-9010.92.2.538. PMID 17371098.

[Cozby-1] Cozby, Paul C. (2009).行動研究の方法（第10版）. ボストン: McGraw-Hill Higher Education.

[Cohen-2] Cohen, RJ; Swerdlik, ME (2004).心理テストと評価（第6版）シドニー：McGraw-Hill.

[Cook-3] Cook, TD; Campbell, DT; Day, A. (1979).準実験: フィールド設定の設計と分析の問題. Houghton Mifflin .

[Shadish-4] Shadish, W.; Cook, TD; Campbell, DT (2006).一般化因果推論のための実験的および準実験的デザイン. Houghton Mifflin .

[Sackett-5] Sackett, PR; Lievens, F.; Berry, CM; Landers, RN (2007). 「範囲制限が予測子の相互相関に与える影響に関する注意点」.応用心理学ジャーナル. 92 (2): 538– 544. doi :10.1037/0021-9010.92.2.538. PMID 17371098.