基準設定研究とは、 テストを 主催する組織がテストの合格基準点を決定するために実施する公式な研究調査のことです。米国では、特に重要な評価において、法的に正当性を確保し、 教育心理検査基準を 満たすためには、合格基準点を恣意的に決定することはできず、経験的に正当化されなければなりません。例えば、合格基準点を単に正答率70%と決めることはできません。代わりに、受験者の分類（例えば、有能か無能か）を最もよく区別できるスコアを決定するための研究が行われます。このような研究には、特に心理測定学のバックグラウンドを持つ多くの専門家が関与し、かなりのリソースが必要となります。そのため、基準設定研究は通常の教室での状況には適していませんが、教育のあらゆる段階で基準設定が行われており、複数の方法が存在します。
基準設定のための調査は通常、テストの主要な利害関係者を代表する5～15名の専門家からなるフォーカスグループを用いて実施されます。例えば、教育テストの合格基準点を設定する場合、専門家はテストを受ける生徒の能力を熟知している教師などが挙げられます。
標準設定研究の種類 標準設定研究は、項目中心と個人中心の 2 つのカテゴリに分類されます。項目中心の方法の例としては、Angoff、Ebel、Nedelsky [ 1 ]
項目中心の研究は、基準参照テスト と規範参照テスト に関連している。
項目中心の研究 アンゴフ法 [ 2 ] 過信 バイアスなどの決定バイアス の影響を受けます。他のより客観的なデータソースとの較正が望ましいです。この方法にはいくつかのバリエーションがあります。修正アンゴフ法 （項目中心）：一般的に、主題専門家はアンゴフ法について説明を受け、パフォーマンスレベルを念頭に置いてテストを受けることができます。次に、主題専門家は、各質問について、境界線上の合格者または「最低限許容できる」参加者のうち、その質問に正解すると予想される割合の推定値を提供するよう求められます。推定値は通常、p値形式です（例：項目1の場合0.6：境界線上の合格者の60%がこの質問に正解する）。通常、複数のラウンドが実施され、主題専門家は、さまざまな種類の情報（例：各質問に対する実際の参加者のパフォーマンス情報、他の主題専門家の推定値など）に基づいて推定値を修正することができます。その後、カットスコアの最終決定が行われます（例：推定値を平均するか、中央値を取ることによって）。これは、評定者間信頼性 やBeuk妥協などの二次結果とともにレポートに文書化されることがよくあります。通常、これらの計算にはソフトウェアプログラムが使用されます。[ 3 ] 二分法修正アンゴフ法 （項目中心）：二分法修正アンゴフ法では、難易度レベルの統計（通常はp値）を使用する代わりに、専門家は各質問に対して単純に0/1を提供するよう求められます（「0」は、許容範囲ぎりぎりの参加者が質問を間違える場合、「1」は、許容範囲ぎりぎりの参加者が項目を正解する場合）。ネデルスキー法 （項目中心型）：専門家は、各設問ごとに、回答がぎりぎりのレベルの参加者がどの選択肢を不正解として除外できるかを判断します。この方法は、一般的に多肢選択式問題にのみ使用されます。ブックマーク方式 （項目中心）：テスト項目（または代表的な項目のサブセット）は、難易度（例：IRT応答確率値）に基づいて、易しいものから難しいものへと順に並べられます。専門家は、「順序付けられた項目冊子」に「ブックマーク」を配置し、パフォーマンスレベルの閾値に達した生徒が、ブックマークより前の項目に対して指定された応答確率値以上の可能性で正しく回答し（ブックマークより後の項目に対しては、その値よりも低い可能性で正しく回答する）ことが期待されるようにします。例えば、応答確率が 0.67 (RP67) の場合、SME は、パフォーマンス レベルの閾値にいる受験者がブックマークより前の項目で少なくとも 2/3 の成功確率を持ち、ブックマークより後の項目で 2/3 未満の成功確率を持つようにブックマークを配置します。この方法は、単一のテストで複数のカット スコアを設定することに関して効率的であると考えられており、複数の項目タイプ (多肢選択式、構成応答など) で構成されるテストで使用できます。[ 4 ] [ 5 ] [ 6 ] 項目記述子（ID）マッチング [ 7 ] 認知的複雑性 と認知的負荷 が低いと仮定される、つまり、誤りやすい確率判断は必要ない[ 8 ] [ 9 ]
個人中心の研究 有能な候補者を区別する項目ではなく、個人中心の研究では、受験者自身を評価します。これはより適切に思えるかもしれませんが、受験者は項目リストのように拘束された集団ではないため、多くの場合、より困難です。たとえば、新しい内容に関する新しいテストが作成されたとします（情報技術の テストではよくあることです）。そのテストは、ベータサンプルと呼ばれる初期サンプルに実施され、同時に職業特性に関する調査が行われます。テスト実施機関は、テストのスコアと、スキル、学歴、経験などの重要な統計との関係を分析および評価できます。カットオフスコアは、「合格」と「不合格」の受験者を最もよく区別するスコアとして設定できます。
境界群法 （個人中心）：各パフォーマンスカテゴリーごとに説明文を作成します。中小企業は、テストの成績がパフォーマンス基準に近い（境界）参加者のリストを提出するよう求められます。これらの境界群に対してテストを実施し、テストの中央値をカットオフスコアとして使用します。この方法は、ほぼすべての質問形式（例：多肢選択式 、複数回答式、記述式 など）に適用できます。対照群法 （個人中心）：中小企業は、パフォーマンスカテゴリーの説明に従って、クラスの参加者を分類するよう求められます。分類されたすべての参加者にテストが実施され、各分類グループのテストスコア分布が比較されます。対照群の分布が交差する点が、カットオフスコアとなります。この方法は、ほぼすべての質問形式（例：多肢選択式、複数回答式、記述式など）に適用できます。
参考文献 ↑ Nedelsky, L. (1954). 客観テストの絶対的評価基準。教育心理測定、14、3–19。 ↑ Zieky, MJ (2001). So much has changed: how the setting of cutscores has evolved since the 1980s. In Cizek, GJ (Ed.), Setting Performance Standards , p. 19-52. Mahwah, NJ: Lawrence Erlbaum Associates. ↑ アセスメント・システムズ・コーポレーション：アンゴフ分析ツール（無料ソフトウェア）。https ://assess.com/angoff-analysis-tool/ ↑ Lewis, DM、Mitzel, HC、Green, DR (1996 年 6 月)。標準設定: ブックマーク アプローチ。DR Green (議長)、「行動アンカリングを利用した IRT ベースの標準設定手順」。1996 年州教育長協議会全国大規模評価会議 (アリゾナ州フェニックス) で発表された論文。 ↑ Mitzel, HC、Lewis, DM、Patz, RJ、Green, DR (2000)。ブックマーク手順：基準設定に関する認知的な視点。『パフォーマンス基準の設定：概念、方法、および視点』（GJ Cizek 編）所収の章。Mahwah, NJ: Lawrence Erlbaum Associates。 ↑ Lewis, DM、Mitzel, HC、Mercado, RL、および Schulz, EM (2012)。ブックマーク標準設定手順。パフォーマンス標準の設定：基礎、方法、および革新第 2 版 (GJ Cizek 編) の章。Mahwah, NJ: Lawrence Erlbaum Associates。 ↑ Ferrara, S., & Lewis, D. (2012). アイテム記述子 (ID) マッチング法。GJ Cizek (編)『パフォーマンス基準の設定: 基礎、方法、および革新』（第 2 版、pp. 255-282）。 ↑ Nickerson, RS (2005). 認知と偶然：確率的推論の心理学。マワ、ニュージャージー州：ローレンス・アールバウム・アソシエイツ。 ↑ マーフィー、GL（2002）。概念の大百科。マサチューセッツ州ケンブリッジ：MIT出版。 