テストの妥当性とは、テスト(化学テスト、物理テスト、学力テストなど)が測定しようとしているものをどれだけ正確に測定しているかを示すものです。心理テストや教育テストの分野では、「妥当性とは、テストの提案された使用法に伴うテストスコアの解釈を証拠と理論がどれだけ裏付けているか」を指します。[ 1 ]古典的なモデルでは、この概念をさまざまな「妥当性」(内容妥当性、基準妥当性、構成概念妥当性など)に分けていますが、[ 2 ]現在主流の見解は、妥当性は単一の統一的な構成概念であるというものです。[ 3 ]
妥当性は、テスト結果に与えられる意味に関わるため、一般的に心理学および教育テストにおいて最も重要な問題と考えられています[ 4 ] 。 [ 3 ]多くの教科書では妥当性を静的な構成概念として提示していますが[ 5 ]、心理学および教育テストを作成するための最初の推奨事項が発表されて以来、さまざまな妥当性モデルが進化してきました[ 6 ] 。これらのモデルは、2つの主要なグループに分類できます。いくつかのタイプの妥当性を含む古典的モデルと、妥当性を単一の構成概念として提示する現代的モデルです。現代的モデルは、古典的な「妥当性」を、妥当性の「側面」[ 3 ]または妥当性を支持する証拠の「タイプ」[ 1 ]のいずれかに再編成します。
テストの妥当性は、測定の一貫性を指す信頼性と混同されがちです。十分な信頼性は妥当性の前提条件ですが、高い信頼性があるからといって、必ずしも測定が妥当であるとは限りません。
第二次世界大戦以前から心理学者や教育者は妥当性のいくつかの側面を認識していましたが、妥当性を確立する方法は、一般的にテストの得点と既知の基準との相関関係に限られていました。 [ 7 ]リー・クロンバックの指導の下、1954 年の心理テストと診断技術に関する技術的勧告[ 6 ]は、妥当性を (a)同時妥当性、(b)予測妥当性、(c)内容妥当性、(d)構成概念妥当性の 4 つの部分に分けることで、妥当性の範囲を明確化し、拡大しようと試みました。クロンバックとミールのその後の出版物[ 8 ]は、予測妥当性と同時妥当性を「基準指向」にまとめ、それが最終的に基準妥当性となりました。
その後の40年間、クロンバック自身[ 9 ]を含む多くの理論家が、この3in1の妥当性モデルに不満を表明した[ 10 ] [ 11 ] [ 12 ]。彼らの議論は、サミュエル・メシックが1995年に発表した論文で頂点に達し、妥当性を6つの「側面」からなる単一の構成概念として記述した[ 3 ] 。彼の見解では、テストの得点から行われるさまざまな推論には、異なる種類の証拠が必要になるかもしれないが、異なる妥当性は必要ない。
1999年の教育および心理検査の基準[ 1 ]は、メシックのモデルを大部分成文化した。この基準は、メシックの各側面を取り入れた5種類の妥当性裏付け証拠について説明しており、古典的なモデルの内容妥当性、基準妥当性、構成概念妥当性については一切言及していない。
1999年の基準[ 1 ]によれば、妥当性検証とは、テスト開発者やテスト利用者が提案するスコアの解釈に「確固たる科学的根拠」を与えるための証拠を収集するプロセスである。したがって、妥当性検証は、提案された解釈の範囲と側面(多次元尺度の場合)を定義するフレームワークから始まる。このフレームワークには、解釈と当該テストを結びつける合理的な正当化も含まれる。
妥当性研究者は、解釈が妥当であるためには満たされなければならない一連の命題を列挙する。あるいは逆に、解釈の妥当性を脅かす可能性のある問題点のリストを作成することもある。いずれの場合も、研究者は、解釈の命題(あるいは解釈の妥当性に対する脅威)を支持または疑問視するために、独自の経験的研究、メタ分析、既存文献のレビュー、あるいは問題点の論理分析といった証拠を収集する。証拠の量よりも質が重視される。
いかなる検査結果の解釈においても、複数の命題が真である必要がある場合があり(あるいは、その妥当性に対する一連の脅威のいずれかによって疑問視される可能性がある)。一つの命題を裏付ける強力な証拠があったとしても、他の命題を裏付ける必要性が軽減されるわけではない。
解釈の妥当性を裏付ける(あるいは疑問を呈する)証拠は、以下の5つのカテゴリーのいずれかに分類できる。
それぞれの種類の証拠を収集するための手法は、問題となっている解釈に必要な命題を裏付ける、あるいは疑問を投げかける情報が得られる場合にのみ用いられるべきである。
それぞれの証拠は最終的に妥当性論拠に組み込まれる。この論拠は、検査、その実施手順、あるいは解釈の根拠となる理論的構成概念の改訂を求める場合がある。検査、および/または検査結果の解釈が何らかの形で改訂された場合、新たな妥当性検証プロセスによって、新しいバージョンを裏付ける証拠を収集する必要がある。