妥当性（統計）

妥当性とは、概念、結論、または測定が十分に根拠づけられ、現実世界に正確に対応している可能性が高い程度を指します。 ^{[1] [2]}「妥当」という単語は、ラテン語のvalidus（強い）に由来しています。測定ツール（教育におけるテストなど）の妥当性とは、そのツールが測定すると主張するものを測定できる程度です。^[3]妥当性は、以下でより詳しく説明するさまざまな種類の証拠（表面妥当性、構成妥当性など）の集合の強さに基づいています。

心理測定学では、妥当性はテスト妥当性と呼ばれる特別な用途がある。「証拠と理論がテストスコアの解釈を支持する程度」（「テストの提案された使用法に伴う」）。^[4]

科学的妥当性の概念は、統計的尺度の観点から現実の性質を扱うものであり、したがって、測定の問題であると同時に認識論的かつ哲学的な問題であるというのが、一般に認められている。論理学におけるこの用語の使用はより狭義で、議論の前提と結論の関係に関連している。論理学において、妥当性とは、前提が真であれば結論の真実性が必然的に導かれるという議論の特性を指す。議論が妥当であれば、つまり議論が妥当であり、その前提が真であれば、議論の結論は真実である。対照的に、「科学的または統計的妥当性」は、必然的に真実を保持する演繹的主張ではなく、未決定のまま真または偽のままである帰納的主張である。これが、「科学的または統計的妥当性」が、本質的に強いか弱いかのいずれかであると限定される主張である理由であり、決して必然的でも確実に真実でもない。これにより、「科学的または統計的妥当性」の主張は、実際のところ事実が何を意味するのかという解釈に委ねられることになります。

妥当性は、どのような種類のテストを使用するかを決定するのに役立つだけでなく、研究者が倫理的かつ費用対効果の高い方法を使用しているだけでなく、問題のアイデアや構成を実際に測定する方法を使用していることを確認するのに役立つため重要です。

評価の妥当性^[5]とは、測定対象をどの程度測定しているかということです。これは、測定結果が非常に一貫性のあるものである程度である信頼性とは異なります。妥当性の範囲内では、信頼性の場合のように測定結果が常に類似している必要はありません。ただし、測定が信頼できるからといって、必ずしも有効であるとは限りません。たとえば、5 ポンドずれている体重計は信頼できますが、有効ではありません。テストは、信頼性がなければ有効ではありません。妥当性は、測定が測定対象を測定できるかどうかにも依存しており、他の何かを測定できるわけではありません。^[6]妥当性 (信頼性に似ています) は相対的な概念であり、すべてか無かという考え方ではありません。妥当性にはさまざまな種類があります。

構成妥当性とは、構成の操作化（例えば、理論から開発された実践的なテスト）が理論によって定義された構成を測定する程度を指す。それは他のすべてのタイプの妥当性を包含する。例えば、テストが知能を測定する程度は構成妥当性の問題である。知能の測定は、とりわけ、測定が関連すべきもの（収束妥当性）と関連し、関連すべきでないものと関連していない（判別妥当性）ことを前提としている。^[7]

構成妥当性の証拠には、構成の解釈に対する経験的および理論的裏付けが含まれます。このような証拠には、異なるテスト項目に対する応答間の関係を含むテストの内部構造の統計分析が含まれます。また、テストと他の構成の尺度との関係も含まれます。現在理解されているように、構成妥当性は、テストが測定するように設計されている構成の実質的な理論に対する裏付けとは区別されません。したがって、構成の因果的役割の側面を明らかにするように設計された実験も、妥当性証拠の構築に貢献します。^[7]

内容妥当性は、非統計的なタイプの妥当性であり、「テストの内容を体系的に検査して、それが測定対象の行動領域の代表的なサンプルをカバーしているかどうかを判断する」ことを含みます (Anastasi & Urbina、1997、p. 114)。たとえば、IQ アンケートには、科学文献で議論されている知能のすべての領域をカバーする項目がありますか?

内容妥当性の証拠には、テストの内容が、構成概念に関連付けられた内容ドメインとどの程度一致するかが含まれます。たとえば、2 つの数字を加算する能力を測るテストには、さまざまな数字の組み合わせを含める必要があります。1 桁の数字のみ、または偶数のみのテストでは、内容ドメインを十分にカバーできません。内容関連の証拠には通常、テスト項目をテスト仕様に照らして評価する主題専門家 (SME) が含まれます。専門家は文化的な違いに注意する必要があります。たとえば、運転評価質問票をイングランドから採用する場合 (DBQ など)、専門家はイギリスでの右側通行を考慮する必要があります。いくつかの研究では、これが有効な質問票を作成するために非常に重要であることがわかりました。^[8]質問票を最終的に実施する前に、研究者は各構成概念または変数に対する項目の妥当性を確認し、SME の意見に基づいて測定機器を修正する必要があります。

テストには、どの項目を含めるかを慎重に選択することで、内容妥当性が組み込まれます (Anastasi & Urbina, 1997)。項目は、主題領域の徹底的な調査を通じて作成されたテスト仕様に準拠するように選択されます。Foxcroft、Paterson、le Roux & Herbst (2004、p. 49) ^{[9] は}、専門家のパネルを使用してテスト仕様と項目の選択をレビューすることで、テストの内容妥当性を改善できると述べています。専門家は項目をレビューし、項目が行動領域の代表的なサンプルをカバーしているかどうかについてコメントすることができます。

表面的妥当性は、テストが特定の基準を測定しているように見えるかどうかの推定値です。テストが実際にそのドメインの現象を測定していることを保証するものではありません。測定の妥当性は高いかもしれませんが、テストが測定しているものを測定していないように見える場合、表面的妥当性は低くなります。実際、テストが偽造 (詐称) される可能性がある場合、表面的妥当性が低いとテストの妥当性が高くなる可能性があります。表面的妥当性が低いほど、より正直な回答が得られる可能性があることを考慮すると、測定を実施するときに表面的妥当性が低いように見せることが重要になる場合があります。

表面的妥当性は内容的妥当性と非常に密接に関係しています。内容的妥当性は、テストが特定の基準のすべての領域を評価しているかどうかを想定する理論的根拠に依存しますが (たとえば、加算スキルを評価することは数学的スキルの適切な尺度になりますか? この質問に答えるには、数学的スキルにどのような種類の算術スキルが含まれるかを知る必要があります)、表面的妥当性は、テストが適切な尺度であるかどうかに関係します。この判断はテストの「表面」に基づいて行われるため、素人でも判断できます。

表面的な妥当性は出発点であるが、いかなる目的においてもおそらく妥当であると想定されるべきではない。なぜなら「専門家」は以前にも間違っていたからだ。魔女狩りの鉄槌は、2人の「専門家」が「魔術の検出」において自ら想像した能力以外には結論を裏付ける根拠がなかったが、何万人もの男女を「魔女」として非難し火あぶりにするための「テスト」として使われた。^[10]

基準妥当性の証拠には、テストと、構成概念の代表として採用された基準変数 (または変数群) との相関関係が含まれます。言い換えると、テストを、すでに有効とされている他の尺度または結果 (基準) と比較します。たとえば、従業員選抜テストは、職務遂行能力の尺度 (基準) に対して検証されることが多く、IQ テストは、学業成績の尺度 (基準) に対して検証されることが多いです。

テスト データと基準データが同時に収集される場合、これは同時妥当性の証拠と呼ばれます。テスト データが、後の時点で収集される基準データを予測するために最初に収集される場合、これは予測妥当性の証拠と呼ばれます。

同時妥当性は、操作化が同時に測定された同じ構成の他の尺度と相関する度合いを指します。尺度を同じタイプの別の尺度と比較すると、それらは関連している (または相関している) ことになります。選抜テストの例に戻ると、これは、テストが現在の従業員に実施され、その後、パフォーマンス レビューのスコアと相関していることを意味します。

予測妥当性とは、操作化が将来のある時点で測定される同じ構成の他の尺度を予測 (または相関) できる程度を指します。再び、選考テストの例では、これは、応募者にテストを実施し、応募者全員が採用され、後で彼らのパフォーマンスがレビューされ、その後、2 つの尺度のスコアが相関されることを意味します。

これは、測定によって測定対象と他のものとの関係が予測される場合でもあり、他のものが将来起こるかどうかを予測します。事前予測と事後実際の結果の間に高い相関関係があることが、有効性の最も強力な証拠となります。

実験研究計画の妥当性は科学的方法の基本的な部分であり、^[2]研究倫理の問題でもあります。妥当な計画がなければ、妥当な科学的結論を導き出すことはできません。

統計的結論の妥当性は、データに基づく変数間の関係についての結論が正しいか「合理的」であるかの度合いです。これは、変数の関係についての統計的結論が正しいかどうかだけに関するものとして始まりましたが、現在では、定量的、統計的、定性的データを使用した「合理的な」結論へと移行する動きがあります。^[11]

統計的結論の妥当性には、適切なサンプリング手順、適切な統計的検定、信頼性の高い測定手順の使用を保証することが含まれます。^[12]このタイプの妥当性は変数間に見られる関係性のみに関係するため、その関係性は単なる相関関係である可能性があります。

内部妥当性は、使用される尺度、研究環境、および研究全体の設計に基づいて、因果関係 (原因と結果など)に関する結論をどの程度導き出せるかを帰納的に推定するものです。独立変数が従属変数に与える影響を高度に制御された条件下で研究する優れた実験手法では、通常、たとえば単一ケース設計よりも高い内部妥当性が得られます。

8 種類の交絡変数が内部妥当性 (つまり因果関係を分離する試み) を妨げる可能性があります。

1. 履歴、実験変数に加えて、最初の測定と2番目の測定の間に発生した特定のイベント
2. 成熟とは、時間の経過に応じて参加者内で起こるプロセス（特定のイベントに限らない）。例：年をとる、空腹になる、疲れる、など。
3. テスト、テストを受けることによる 2 回目のテストのスコアへの影響。
4. 計測機器、測定ツールの校正の変更、または観察者や採点者の変更により、得られた測定値に変化が生じる可能性があります。
5. 統計的回帰。極端なスコアに基づいてグループが選択された場合に機能します。
6. 選択、比較グループの回答者の差別的選択から生じるバイアス。
7. 実験的死亡率、つまり比較グループからの回答者の差異損失。
8. 選択と成熟の相互作用など（例：複数群の準実験デザイン）

外部妥当性は、研究の（内部的に妥当な）結果が、他のケース、たとえば異なる人、場所、時間にも当てはまるとみなせる程度に関係します。言い換えれば、調査結果が妥当に一般化できるかどうかということです。同じ研究調査を他のケースで実施した場合、同じ結果が得られるでしょうか。

この点における主な要因は、研究サンプル（研究参加者など）が関連する側面において一般人口を代表しているかどうかです。外部妥当性を危険にさらすその他の要因は次のとおりです。

1. テストの反応的または相互作用的な効果、事前テストは事後テストのスコアを上げる可能性がある
2. 選択バイアスと実験変数の相互作用効果。
3. 実験的配置の反応効果。非実験的設定で実験変数にさらされている人々に対する実験変数の効果についての一般化を妨げるもの。
4. 多重治療干渉、つまり以前の治療の効果が消去されない場合。

生態学的妥当性は、研究結果を研究環境外の現実の状況にどの程度適用できるかというものです。この問題は外部妥当性と密接に関連していますが、実験結果が現実世界で観察できるものをどの程度反映しているかという問題も対象としています (生態学 = 生物とその環境の相互作用に関する科学)。生態学的妥当性を得るには、研究の方法、材料、設定が調査対象の現実の状況に近いものでなければなりません。

生態学的妥当性は、実験と観察の問題に部分的に関連しています。通常、科学には、観察 (受動的) と実験 (能動的) の 2 つの研究領域があります。実験設計の目的は因果関係をテストし、A が B を引き起こすか、B が A を引き起こすかを推測することです。しかし、倫理的または方法論的制約により、実験を実施できない場合があります (例: 孤立は子供の認知機能にどのような影響を与えるか)。その場合でも研究はできますが、因果関係ではなく相関関係です。結論として言えるのは、A は B と同時に発生するということだけです。どちらの手法にも長所と短所があります。

一見すると、内部妥当性と外部妥当性は互いに矛盾しているように見えます。実験設計を得るには、すべての干渉変数を制御する必要があります。そのため、多くの場合、実験室環境で実験を行います。内部妥当性は得られますが (干渉変数を一定に保つことで干渉変数を排除します)、人工的な実験室環境を確立するため、生態学的妥当性または外部妥当性は失われます。一方、観察研究では、干渉変数を制御することはできませんが (内部妥当性が低い)、行動が通常発生する自然 (生態学的) 環境で測定できます。ただし、そうすることで、内部妥当性が犠牲になります。

しかしながら、内部妥当性と外部妥当性の一見矛盾する点は、表面的なものである。特定の研究の結果が他の人、場所、または時代に一般化できるかどうかという疑問は、帰納主義的な研究戦略に従う場合にのみ生じる。研究の目的が演繹的に理論をテストすることである場合、研究の厳密さを損なう可能性のある要因、つまり内部妥当性への脅威のみを懸念する。言い換えれば、研究調査に対する外部妥当性と内部妥当性の関連性は、研究の目的によって決まる。さらに、研究目的と妥当性の懸念を混同すると、相互内部妥当性の問題につながる可能性があり、理論は人工的な実験室環境での現象のみを説明でき、現実の世界は説明できない。^{[13] [14]}

精神医学においては、診断カテゴリー自体の妥当性を評価するという特別な問題がある。この点に関しては、次のことが言える: ^[15]

• 内容妥当性は症状や診断基準を参照する場合があります。
• 同時妥当性は、さまざまな相関関係やマーカー、場合によっては治療への反応によって定義される可能性があります。
• 予測妥当性は主に時間の経過に伴う診断の安定性を指す。
• 弁別妥当性には他の障害との境界設定が含まれる場合がある。

ロビンズとグーズは1970年に、精神医学的診断の妥当性を確立するための正式な基準となるものを提唱した。彼らは5つの基準を挙げた。^[15]

• 明確な臨床的特徴（症状プロファイル、人口統計学的特徴、典型的な誘因を含む）
• 臨床検査（心理検査、放射線検査、死後検査を含む）
• 他の疾患との区別（除外基準による）
• 特徴的な経過を示す追跡調査（診断の安定性の証拠を含む）
• 家族集積を示す家族研究

これらは、その後 DSM および ICD 分類システムの基礎となった Feighner 基準および研究診断基準に組み込まれました。

ケンドラーは1980年に次のように区別した。^[15]

• 先行因子の検証（家族集積、病前性格、誘発因子）
• 同時検証（心理テストを含む）
• 予測検証因子（時間の経過に伴う診断の一貫性、再発率と回復率、治療への反応）

ナンシー・アンドレアセン（1995）は、分子遺伝学と分子生物学、神経化学、神経解剖学、神経生理学、認知神経科学など、症状と診断を神経基質に結び付ける可能性のあるいくつかの追加の検証因子を挙げている。^[15]

ケンデルとジャブリンスキー（2003）は妥当性と有用性を区別することの重要性を強調し、症候群によって定義された診断カテゴリーは、他の障害と区別する自然な境界を持つ個別の実体であることが示された場合にのみ有効であるとみなされるべきだと主張した。^[15]

ケンドラー (2006) は、検証基準が有用であるためには、真の障害である症候群のほとんどを検証できるほど感度が高く、真の障害ではない症候群のほとんどを無効にできるほど特異性もなければならないと強調した。これに基づいて、彼はロビンズとグーズの「家族内での遺伝」という基準は、ほとんどの人間の心理的および身体的特徴が該当するため、特異性が不十分であると主張している。たとえば、「身長 6 フィート以上、赤毛、大きな鼻」の組み合わせからなる任意の症候群は、「家族内での遺伝」であり「遺伝性」であることが判明するが、これはそれが障害である証拠と見なされるべきではない。ケンドラーはさらに、精神疾患の「本質主義的」遺伝子モデル、および遺伝子発見の結果としてのみ「自然をその節々で切り分ける」ことによってカテゴリカルな精神医学的診断を検証できるという希望は、信じがたいと示唆している。^[16]

米国連邦裁判所システムでは、証拠の妥当性と信頼性はドーバート基準を使用して評価されます。Daubert v. Merrell Dow Pharmaceuticalsを参照してください。PerriとLichtenwald（2010）は、不法殺人有罪判決の分析において、信頼性と妥当性の幅広いトピックについての議論の出発点を提供しています。^[17]

• Cronbach, LJ; Meehl, PE (1955)、「心理テストにおける構成妥当性」、Psychological Bulletin、52 (4): 281–302、doi :10.1037/h0040957、hdl : 11299 /184279 、PMID  13245896、S2CID  5312179
• Rupp, AA; Pant, HA (2007)、「妥当性理論」、Salkind, Neil J. (編)、Encyclopedia of Measurement and Statistics、SAGE Publishing

Wikiversityには妥当性に関する学習リソースがあります