内部妥当性

内部妥当性とは、特定の研究の文脈において、原因と結果についての主張を証拠がどの程度裏付けているかということです。これは科学的研究の最も重要な特性の 1 つであり、より一般的には証拠についての推論において重要な概念です。内部妥当性は、研究がその結果に対する別の説明 (通常は系統的誤差または「バイアス」の原因) をどの程度排除できるかによって決まります。これは、結果が他の文脈についての結論を正当化できる程度 (つまり、結果を一般化できる程度) である外部妥当性とは対照的です。内部妥当性と外部妥当性はどちらも、因果表記の定性的または定量的形式を使用して記述できます。

2つの変数間の因果関係が適切に実証されている場合、推論は内部妥当性を持っていると言われます。^{[1] [2]} 有効な因果推論は、次の3つの基準が満たされている場合に行うことができます。

1. 「原因」は時間的に「結果」に先行する（時間的先行性）。
2. 「原因」と「結果」は同時に発生する傾向がある（共変動）、そして
3. 観察された共変動（非偽性）に対するもっともらしい代替説明は存在しない。^[2]

科学的な実験の設定では、研究者はしばしば、ある変数（独立変数）の状態を変えて、それが2つ目の変数（従属変数）にどのような影響を与えるかを調べます。^[3]たとえば、研究者は、特定の薬の投与量を異なる人々のグループ間で操作して、それが健康にどのような影響を与えるかを調べることがあります。この例では、研究者は因果推論、つまり薬の異なる投与量が観察された変化や違いの原因である可能性があるとしたいと考えています。研究者が従属変数の観察された変化や違いを独立変数に自信を持って帰することができる場合（つまり、研究者がこれらの変数間の関連性を観察し、他の説明や競合する仮説を除外できる場合）、因果推論は内部的に妥当であると言われます。^[4]

しかし、多くの場合、従属変数に見られる 効果の大きさは、

• 独立変数の変化、
• 効果を測定し検出するために使用された機器と統計的手順の力、および
• 統計的手法の選択（統計的結論の妥当性を参照）。

むしろ、制御されていない（または制御できない）変数や状況の数によって、（a）発見された効果および/または（b）発見された効果の大きさについて、追加または代替の説明が生まれる可能性があります。したがって、内部妥当性はどちらか一方というよりも程度の問題であり、真の実験以外の研究デザインでも内部妥当性が高い結果が得られる可能性があるのはまさにこのためです。

高い内部妥当性を持つ推論を可能にするために、研究の設計中に予防措置を講じる必要がある場合があります。経験則として、独立変数を直接操作して得られた結論は、操作なしで観察された関連性に基づく結論よりも高い内部妥当性が得られます。

内部妥当性のみを考慮すると、高度に制御された真の実験設計 (つまり、ランダム選択、コントロール グループまたは実験グループへのランダム割り当て、信頼性の高い機器、信頼性の高い操作プロセス、および交絡因子に対する保護策) が科学研究の「ゴールド スタンダード」となる可能性があります。ただし、内部妥当性を高めるために使用する方法自体が、結果の一般化可能性または外部妥当性を制限することもあります。たとえば、動物園の動物の行動を研究すると、そのコンテキスト内で有効な因果推論を導きやすくなりますが、これらの推論は野生の動物の行動には一般化できない可能性があります。一般に、特定のプロセスを研究する研究室での典型的な実験では、自然界では通常そのプロセスに強く影響する多くの変数が除外される可能性があります。

内部妥当性に対するこれらの8つの脅威を思い出すには、次の 頭字語「THIS MESS」^{[5]を使用します。}

• テスト、
• 歴史、
• 楽器の変更、
• 平均に向かう統計的回帰、
• 成熟、
• 実験的死亡率、
• 選択、そして
• 選択インタラクション。

どの変数が最初に変化したかがわからない場合、どの変数が原因でどの変数が結果であるかを判断することが困難になる可能性があります。

因果推論の妥当性に対する主な脅威は交絡です。従属変数の変化は、むしろ操作変数に関連する第 3 の変数の変化に起因する可能性があります。偽の関係を排除できない場合、元の因果推論に対抗する仮説が開発される可能性があります。

選択バイアスとは、事前テストでグループ間に差異が存在し、それが独立変数と相互作用し、観察された結果に「影響」を与える可能性があるという問題を指します。研究者と参加者は、学習したものもあれば生まれつきのものもある、無数の特性を実験に持ち込みます。たとえば、性別、体重、髪、目、肌の色、性格、精神的能力、身体能力などですが、参加する意欲や意欲などの態度も含まれます。

研究調査の選択ステップで、被験者の数が不均等で、被験者に関連する変数が類似している場合、内部妥当性が脅かされます。たとえば、研究者が実験グループとコントロール グループの 2 つのテスト グループを作成したとします。両方のグループの被験者は、独立変数に関しては類似していませんが、被験者に関連する変数の 1 つ以上では類似しています。

自己選択は従属変数の解釈力にも悪影響を及ぼします。これは、特定の人口統計に属する個人が他の人口統計に属する個人よりも高い割合でテストに参加するオンライン調査でよく発生します。

研究/実験外の出来事、または従属変数の反復測定間の出来事は、実験手順に対する参加者の反応に影響を及ぼす可能性があります。多くの場合、これらは参加者の態度や行動に影響を及ぼす大規模な出来事 (自然災害、政変など) であり、従属測定の変化が独立変数によるものか、歴史的出来事によるものかを判断することが不可能になります。

被験者は、実験の進行中、あるいは測定の合間にも変化します。たとえば、幼い子供は成長し、成長に伴って集中力が変化することがあります。身体の成長などの恒久的な変化と疲労などの一時的な変化はどちらも「自然な」代替説明を提供します。したがって、被験者が独立変数に反応する方法が変化する可能性があります。そのため、研究の完了時に、研究者は食い違いの原因が時間によるものか独立変数によるものか判断できない場合があります。

参加者を繰り返し測定すると、偏りが生じる可能性があります。参加者は正解を覚えていたり、テストを受けていることを知っているように条件付けされている可能性があります。(同じまたは類似の) 知能テストを繰り返し受けると、通常はスコアが向上しますが、基礎となるスキルが完全に変化したと結論付ける代わりに、内部妥当性に対するこの脅威は、優れた競合仮説を提供します。

テストプロセス中に使用される機器によって、実験が変わることがあります。これは、観察者がより集中したり準備したり、無意識のうちに判断基準を変えたりしたことも意味します。これは、異なる時間に行われた自己報告の尺度でも問題になることがあります。この場合、遡及的な事前テストを使用することで、影響を軽減できます。機器の変更が発生すると、代替の説明がすぐに利用できるため、主要な結論の内部妥当性が影響を受けます。

このタイプのエラーは、テスト中に極端なスコア (平均から大きく離れたスコア) に基づいて被験者が選択された場合に発生します。たとえば、最も低い読解スコアの子供が読解コースの参加者として選択された場合、コース終了時の成績の向上は平均への回帰によるものであり、コースの効果によるものではない可能性があります。コース開始前に子供が再度テストされていた場合、いずれにしてもより良いスコアを獲得していた可能性があります。同様に、個々のスコアの極端な外れ値は、1 回のテストで捕捉される可能性が高くなりますが、テストを繰り返すと、より正規分布に進化する可能性があります。

このエラーは、最初から最後まで参加した参加者のみに基づいて推論を行った場合に発生します。ただし、参加者が完了前に研究から脱落している可能性があり、研究やプログラム、実験自体が原因である可能性もあります。たとえば、事後テストで喫煙をやめたグループ メンバーの割合は、禁煙トレーニング プログラムを受けたグループの方が対照グループよりもはるかに高いことがわかりました。ただし、実験グループでは 60% しかプログラムを完了していませんでした。この脱落が研究、独立変数の管理、機器のいずれかの特性と体系的に関連している場合、または脱落がグループ間の関連するバイアスにつながる場合、観察された差異を説明するさまざまな代替説明が可能です。

これは、被験者に関連する変数（髪の色、肌の色など）と時間に関連する変数（年齢、体格など）が相互作用するときに発生します。テスト間で 2 つのグループ間に不一致が生じた場合、その不一致は年齢カテゴリの年齢差によるものである可能性があります。

治療効果が治療群から対照群に広がると、実験群と対照群の間に差がないことが観察されることがあります。ただし、これは独立変数に効果がない、または従属変数と独立変数の間に関係がないことを意味するものではありません。

研究の結果、対照群の行動が変化する場合があります。たとえば、対照群のメンバーは、実験群の期待される優位性が示されないよう、さらに一生懸命働く場合があります。繰り返しますが、これは独立変数が効果を生まなかった、または従属変数と独立変数の間に関係がないことを意味するものではありません。逆に、従属変数の変化は、独立変数ではなく、士気が低下した対照群、あまり一生懸命働かない、またはやる気がないためにのみ影響を受ける可能性があります。

実験者バイアスは、実験を行っている個人が、無意識のうちにコントロール グループや実験グループのメンバーと異なる行動をとることで、結果に意図せず影響を与えた場合に発生します。実験者が参加者が属する条件を認識しない二重盲検研究設計を使用することで、実験者バイアスの可能性を排除できます。

内部妥当性が高い実験は、現実の生活とは無関係な現象や結果を生み出す可能性があり、相互内部妥当性の問題を引き起こす。^{[6] [7]}これは、研究者が実験結果を使用して理論を構築し、それらの理論を使用して理論検証実験を設計するときに発生する。実験と理論の相互フィードバックにより、人工的な実験室環境での現象と結果のみを説明し、現実の生活では説明しない理論につながる可能性がある。

• すべてのモデルは間違っている
• 構成妥当性
• コンテンツの妥当性
• 生態学的妥当性
• 外部妥当性
• 健全性
• 統計的結論の妥当性
• 統計モデルの検証
• 統計の妥当性

• 内部妥当性（社会調査方法）
• 内部妥当性