外部妥当性

外部妥当性とは、科学的研究の結論をその研究の文脈外に適用することの妥当性です。^[1]言い換えれば、研究結果が他の状況、人、刺激、時代に一般化または移植できる範囲のことです。^{[2] [3]}一般化可能性とは、事前に定義されたサンプルをより広い集団に適用できることを指し、移植可能性とは、1つのサンプルを別の対象集団に適用できることを指します。^[2]対照的に、内部妥当性とは、特定の研究の文脈 内で導き出された結論の妥当性です。

外部妥当性の数学的分析は、異質な集団間での一般化が可能かどうかの判断と、有効な一般化を生み出す統計的および計算的手法の考案に関係している。^[4]

外部妥当性を確立する際に、学者は研究の「範囲」を特定する傾向があります。これは、研究の理論や議論の適用性や限界を指します。^[2]これは、研究のサンプルと、サンプルが代表するより広い集団を定義することを意味します。^[2]

「外部妥当性への脅威とは、特定の研究の調査結果から一般化を行う際に誤りが生じる可能性があることを説明するものである。」^{[5]ほとんどの場合、1つの要因（つまり}独立変数）の効果が他の要因に依存する場合、一般化可能性は制限されます。したがって、外部妥当性へのすべての脅威は、統計的相互作用として説明できます。^[6]いくつかの例は次のとおりです。

• 適性と治療の相互作用: サンプルには独立変数と相互作用する特定の特徴があり、一般化が制限される場合があります。たとえば、心理療法の比較研究では、特定のサンプル (ボランティア、重度のうつ病、併存疾患なしなど) が使用されることがよくあります。心理療法がこれらのサンプル患者に効果的であることが判明した場合、非ボランティア、軽度のうつ病、または他の同時疾患を持つ患者にも効果があるでしょうか。そうでない場合、研究の外部妥当性は制限されます。
• 状況と治療の相互作用: 研究のすべての状況の詳細 (治療条件、時間、場所、照明、騒音、治療の管理、調査者、タイミング、測定の範囲と程度など) は、一般化の可能性を制限する可能性があります。
• 事前テストと治療の相互作用: 事前テストを実施しないと因果関係が見つからない場合、結果の一般性も制限されます。これは、事前テストによって人々が治療の操作に対してより敏感になるため、「感作」と呼ばれることもあります。

研究の外部妥当性は内部妥当性によって制限されることに注意してください。研究内で行われた因果推論が無効である場合、その推論を他のコンテキストに一般化することも無効になります。

クックとキャンベル^[7]は、ある集団に一般化することと、ある背景要因の異なるレベルによって定義されるサブ集団に一般化することの間に重要な区別を設けました。リンチは、歴史のスナップショット以外では意味のある集団に一般化することはほとんど不可能であると主張しましたが、ある原因が従属変数に与える影響が、ある背景要因が異なるサブ集団に一般化される程度をテストすることは可能です。そのためには、調査対象の治療効果が1つ以上の背景要因との相互作用によって調整されるかどうかをテストする必要があります。^{[6] [8]}

妥当性に対する脅威を列挙することは、研究者が不当な一般化を避けるのに役立つかもしれないが、それらの脅威の多くは、妥当な一般化を可能にするために、体系的な方法で無力化または中和することができる。具体的には、1 つの集団からの実験結果を「再処理」または「再調整」して、集団の違いを回避し、実験を実行できない 2 番目の集団で妥当な一般化を生み出すことができる。パールとベアインボイム^[4]は、一般化の問題を 2 つのカテゴリに分類した。(1) 妥当な再調整が可能な問題と、(2) 外部妥当性が理論的に不可能な問題である。グラフベースの因果推論計算を使用して、^[9]彼らは、問題インスタンスが妥当な一般化を可能にするための必要かつ十分な条件を導き出し、必要な再調整が存在する場合はいつでも自動的にそれを生成するアルゴリズムを考案した。^[10]これにより、外部妥当性の問題はグラフ理論の演習にまで縮小され、一部の哲学者は、問題は解決されたと結論付けた。^[11]

外部妥当性の問題の重要なバリエーションは、選択バイアス（サンプリング バイアスとも呼ばれる）を扱っています。選択バイアスとは、対象母集団の代表的でないサンプルに対して研究が実施されるときに生じるバイアスのことです。たとえば、大学生に対して臨床試験を実施する場合、年齢、教育、収入などの属性が一般的な学生とは大幅に異なる母集団全体に結果が一般化されるかどうかを研究者が知りたい場合があります。Bareinboim と Pearl のグラフ ベースの方法は、サンプル選択バイアスを回避できる条件を特定し、これらの条件が満たされると、母集団全体の平均因果効果の不偏推定値を作成します。不適切にサンプリングされた研究からの一般化と異なる母集団間の一般化の主な違いは、母集団間の格差は通常、年齢や民族などの既存の要因によって引き起こされるのに対し、選択バイアスは、患者が研究から脱落したり、負傷の重症度によって患者が選択されたなどの治療後の条件によって引き起こされることが多いという点にあります。選択が処理後の要因によって左右される場合、バイアスのない推定を保証するために非伝統的な再較正方法が必要であり、これらの方法は問題のグラフから容易に得られる。^{[12] [13]}

年齢が治療効果が個人によって異なる主な要因であると判断された場合、サンプルの学生と一般人口の年齢差により、その人口の平均治療効果の推定値が偏ることになります。しかし、このような偏りは、簡単な再重み付け手順で修正できます。学生のサブ人口における年齢固有の効果を取り、一般人口の年齢分布を使用してその平均を計算します。これにより、人口の平均治療効果の偏りのない推定値が得られます。一方、研究サンプルと一般人口を区別する関連要因自体が治療の影響を受ける場合は、別の再重み付けスキームを呼び出す必要があります。この要因をZと呼び、実験サンプルにおけるXのYに対するz固有の効果を再び平均しますが、今度はXのZに対する「因果効果」によって重み付けします。言い換えると、新しい重みは、治療X=x が人口全体に実施された場合にレベルZ=zに達するユニットの割合です。この介入確率は、Do計算^[14]を使用して記述されることが多く、一般集団を対象とした観察研究から推定できる場合もあります。 ${\displaystyle P(Z=z|do(X=x))}$

こうした性質の典型的な例は、Z が治療と結果の媒介因子である場合に生じる。例えば、治療はコレステロール低下薬で、Z はコレステロール値、Y は平均余命である。ここで、Z は治療の影響を受けると同時に、結果Yを決定する主要な要因でもある。実験研究のために選ばれた被験者は、一般集団の典型よりもコレステロール値が高い傾向があると仮定する。集団全体における生存に対する薬の平均的な効果を推定するために、まず実験研究におけるz固有の治療効果を計算し、次に重み関数として使用して平均化する。得られた推定値は、 ZとYが交絡している場合でも、つまりZとY の両方に影響を与える測定されていない共通因子がある場合でも、バイアスのないものとなる。^[15]${\displaystyle P(Z=z|do(X=x))}$

この重み付け方式や他の重み付け方式の妥当性を保証する正確な条件は、Bareinboim and Pearl (2016) ^[15]およびBareinboim et al. (2014 ^{) [13]で定式化されています。}

多くの研究や研究デザインでは、内部妥当性と外部妥当性の間にトレードオフがある場合があります。 ^{[16] [17] [18]}内部妥当性を高めようとすると、結果の一般化が制限される可能性があり、その逆も同様です。この状況により、多くの研究者が「生態学的に妥当な」実験を求めています。つまり、実験手順は「現実世界の」条件に似ている必要があります。彼らは、人工的に制御され制限された環境に焦点を当てた多くの実験室ベースの研究に生態学的妥当性が欠けていると批判しています。一部の研究者は、生態学的に妥当な研究デザインに基づく因果推論は、人工的に作り出された実験室環境で得られるものよりも高い一般化の可能性を可能にすることが多いという意味で、外部妥当性と生態学的妥当性は密接に関連していると考えています。ただし、これは、（生態学的妥当性に関する懸念に密接に関連している）特定の集団に一般化することと、特定の背景要因が異なるサブ集団に一般化することの違いに再び関係します。生態学的に妥当な研究環境で得られた結果の一部は、一般化が困難である場合があり、また、高度に管理された環境で得られた結果の一部は、ほぼ普遍的な外部妥当性を主張する場合があります。したがって、外部妥当性と生態学的妥当性は独立しており、研究は外部妥当性があっても生態学的妥当性がない可能性があり、その逆も同様です。

質的研究パラダイムでは、外部妥当性は移転可能性の概念に置き換えられています。移転可能性とは、研究結果を同様のパラメータ、集団、特性を持つ状況に移転できる能力のことです。^[19]

研究者は、実験は本質的に外部妥当性が低いと主張するのが一般的です。実験方法に従うと多くの欠点が生じる可能性があると主張する人もいます。状況を十分に制御して人々を無作為に条件に割り当て、外部変数の影響を排除することで、状況はいくぶん人工的になり、現実の生活から遠ざかる可能性があります。

問題となる一般化可能性には 2 種類あります。

1. 実験者が構築した状況を現実の状況に一般化できる程度（状況間の一般化可能性）^[3]と
2. 実験に参加した人々の結果を一般の人々に対してどの程度一般化できるか（人々間の一般化可能性）^[3]

しかし、これらの考慮事項は両方とも、研究された特定の状況とは異なるサブグループや、研究された回答者とは何らかの意味のある方法で異なる人々にわたる実験結果の一般化可能性を評価するという、おそらくより中心的なタスクではなく、特定の対象集団に一般化するというクックとキャンベルの概念に関係しています。^[7]

実験の批判者は、フィールド設定（または、少なくとも現実的な実験室設定）の使用と、回答者の真の確率サンプルの使用によって、外部妥当性を改善できると示唆している。しかし、状況や個人の背景要因が異なるサブグループ間の一般化を理解することが目的である場合、これらの対策は、一般的に考えられているような外部妥当性の向上には効果がない。研究者が気付いていない背景要因 X 治療相互作用が存在する場合（ありそうである）、これらの研究慣行は、外部妥当性の大幅な欠如を隠す可能性がある。産業心理学と組織心理学について執筆している Dipboye と Flanagan は、1 つのフィールド設定と 1 つの実験室設定から得られた知見が、2番目のフィールド設定に一般化される可能性は同等に低いという証拠があると指摘している。 ^[20]したがって、フィールド研究は本質的に外部妥当性が高いわけではなく、実験室研究は本質的に外部妥当性が低いわけではない。どちらの場合も、研究対象の特定の治療効果が、その研究で一定に保たれている背景要因の変化によって変化するかどうかによって決まる。研究が、治療と相互作用しない背景要因のレベルで「非現実的」である場合、外部妥当性には影響しません。実験が非現実的なレベルで背景要因を一定に保ち、その背景要因を変化させると治療×背景要因の強い相互作用が明らかになる場合にのみ、外部妥当性が脅かされます。^[6]

大学で行われる心理学実験の研究は、人工的な状況で行われ、現実の生活に一般化できないという批判を受けることが多い。^{[21] [22]} この問題を解決するために、社会心理学者は研究をできるだけ現実的にすることで結果の一般化可能性を高めようとしている。上で述べたように、これは特定の集団に一般化することを望んでいる。現実主義自体は、設定が何らかの形でより現実的になった場合、または研究参加者が異なる現実的な設定に置かれた場合に結果が変化するかどうかについて述べるのに役立たない。1つの設定のみがテストされた場合、設定間の一般化について述べることはできない。^{[6] [8]}

しかし、多くの著者は外部妥当性と現実性を混同しています。実験が現実的になる方法は複数あります。

1. 実験状況は日常生活で頻繁に起こる出来事と類似しており、多くの実験が明らかに非現実的であることは明らかです。
2. 多くの実験では、人々は日常生活ではほとんど遭遇しないような状況に置かれます。

これは、実験が現実の状況にどの程度似ているかを示すものであり、実験の日常的リアリズムと呼ばれます。^[21]

研究が心理的リアリティに富んでいること、つまり実験で引き起こされる心理的プロセスが日常生活で起こる心理的プロセスとどれほど類似しているかを確認することがより重要です。^[23]

人々が現実の出来事に夢中になっていると、心理的リアリティは高まります。これを実現するために、研究者は参加者にカバーストーリー、つまり研究の目的に関する偽の説明をすることがあります。しかし、実験者が参加者に実験の目的を告げると、そのような手順は心理的リアリティが低くなります。日常生活では、緊急事態がいつ発生するかは誰にもわかりませんし、人々はそれに対する対応を計画する時間もありません。つまり、引き起こされる心理的プロセスの種類は実際の緊急事態のものと大きく異なり、研究の心理的リアリティが低下します。^[3]

人は、自分がなぜそうするのか、あるいは実際に行動するまで何をするのかを必ずしも理解しているわけではありません。したがって、参加者に実験的な状況を説明し、通常の反応を求めると、実際に同じ状況にいる人々の行動と一致しない反応が返ってくる可能性があります。仮説的な状況で人々が何をするかについての予測に頼ることはできません。現実世界で起こるのと同じ心理的プロセスを引き起こす状況を構築して初めて、人々が実際に何をするかを知ることができます。

社会心理学者は、一般的に人々が社会的影響を受けやすい方法を研究しています。いくつかの実験では、社会的影響の興味深い意外な例が記録されており、他の人がそこにいるという単なる認識によって、人々が助け合う可能性が減るという例が示されています。

実験の結果が特定の集団の行動を反映したものであることを確実にする唯一の方法は、参加者がその集団から無作為に選ばれるようにすることです。実験のサンプルは、調査の場合のように無作為に選ぶことはできません。社会心理学の実験で無作為のサンプルを選ぶのは非現実的で費用がかかるからです。政治世論調査の一環として、電話でいくつかの質問に答えるよう無作為のサンプルを説得するのは十分に困難であり、そのような世論調査には何千ドルもの費用がかかります。さらに、どうにかして真に無作為のサンプルを募集できたとしても、実験的処置の効果には観察されない異質性がある可能性があります...処置は、一部のサブグループにはプラスの効果をもたらし、他のサブグループにはマイナスの効果をもたらす可能性があります。処置の平均で示される効果は、どのサブグループにも一般化できない可能性があります。^{[6] [24]}

多くの研究者は、人々が社会的影響を受けやすくなる基本的な心理的プロセスを研究することでこの問題に取り組んでおり、これらのプロセスは非常に基本的なものであるため普遍的に共有されていると仮定しています。一部の社会心理学的プロセスは文化によって異なるため、その場合は多様なサンプルの人々を研究する必要があります。^[25]

実験の外部妥当性を最終的にテストする方法は、複製、つまり、通常は異なる被験者集団または異なる設定で研究を再度実施することです。研究者は、同じ結果が得られるかどうかを確認するために、異なる方法を使用することがよくあります。

1 つの問題について多くの研究が行われた場合、結果はさまざまです。いくつかの研究では、傍観者の数が援助行動に影響を与えることがわかっていますが、いくつかの研究ではそうではありません。このことを理解するために、 2 つ以上の研究の結果を平均して、独立変数の効果が信頼できるかどうかを確認するメタ分析と呼ばれる統計手法があります。メタ分析は基本的に、多くの研究の結果にわたる発見が偶然によるものか、独立変数によるものかの確率を示します。独立変数が 20 件の研究のうち 1 件の研究でのみ影響を与えることが判明した場合、メタ分析では、その 1 件の研究は例外であり、平均して独立変数は従属変数に影響を与えていないことがわかります。独立変数がほとんどの研究で影響を与えている場合、メタ分析では、平均して従属変数に影響を与えることがわかります。

実験室に限定されない、信頼できる現象が存在する可能性がある。例えば、傍観者の数を増やすと、子供、大学生、将来の牧師など、多くの種類の人々に対する援助行動が抑制されることがわかっている。^[25]イスラエルで、^[26]米国の小さな町と大都市で、^[27]心理学の研究室、街の通り、地下鉄の電車などのさまざまな環境で、^[28]発作、潜在的な火災、喧嘩、事故などのさまざまな種類の緊急事態で、^[29]タイヤがパンクするなどのそれほど深刻ではないイベントでも抑制されることがわかっている。^[30]これらの再現の多くは、人々が実験が行われていることを知り得ないような実際の環境で行われている。

心理学の実験を行う際、内部妥当性と外部妥当性の間には常にトレードオフがあると考える人もいます。

1. 状況を十分にコントロールして、結果に無関係な変数が影響を及ぼさないようにし、人々をランダムに条件に割り当てること、そして
2. 結果が日常生活に一般化できることを保証します。

研究者の中には、外部妥当性を高めるにはフィールド実験を行うのが良い方法だと考えている人もいる。フィールド実験では、人々の行動は実験室の外、自然な環境で研究される。フィールド実験は、現実の環境で行われる点を除けば、実験室実験と設計は同じである。フィールド実験の参加者は、自分が経験する出来事が実は実験であることに気づいていない。このような実験は現実の世界で行われ、典型的な大学生のサンプルよりも多様な実在の人々が対象なので、外部妥当性は高いと主張する人もいる。しかし、現実の世界の設定は大きく異なるため、ある現実の世界の設定で得られた知見が別の現実の世界の設定に一般化できるかどうかはわからない。^[20]

内部妥当性も外部妥当性も、単一の実験では捉えられません。社会心理学者はまず内部妥当性を選択し、人々をランダムに異なる条件に割り当て、すべての無関係な変数を制御する実験室実験を行います。他の社会心理学者は、制御よりも外部妥当性を好み、研究のほとんどをフィールド調査で実施し、両方を行う人も多くいます。これらを合わせると、両方のタイプの研究は完璧な実験の要件を満たしています。研究者は、複製を通じて、与えられた研究課題を最大限の内部妥当性と外部妥当性で研究することができます。^[31]

• 構成妥当性
• コンテンツの妥当性
• 統計的結論の妥当性
• 転移学習