コンピュータ適応型テスト

コンピュータ適応型テスト（CAT ）は、受験者の能力レベルに適応するコンピュータベースのテストの一種です。このため、テーラードテストとも呼ばれています。言い換えれば、これはコンピュータ管理型テストの一種であり、次に実施される項目または項目セットは、実施された最新の項目に対する受験者の回答の正確さによって決まります。^[1]

CAT は、以前の質問から受験者についてわかっていることに基づいて、試験の精度を最大化するために、質問を次々に選択します。^[2]受験者の観点から見ると、試験の難易度は受験者の能力レベルに合わせて調整されるようです。たとえば、受験者が中程度の難易度の項目で良い成績を収めた場合、より難しい問題が提示されます。または、悪い成績を収めた場合は、より簡単な問題が提示されます。ほぼすべての人が経験したことがある静的テスト、つまりすべての受験者に固定された一連の項目が課されるテストと比較すると、コンピュータ適応型テストでは、同等の正確なスコアを得るために必要なテスト項目が少なくなります。^[2]

基本的なコンピュータ適応型テスト法は、以下のステップからなる反復 アルゴリズムである。 ^[3]

1. 受験者の現在の能力の推定に基づいて、利用可能な項目のプールから最適な項目が検索されます。
2. 選択された項目が受験者に提示され、受験者は正解か不正解で回答する。
3. 能力推定値は、以前のすべての回答に基づいて更新されます
4. 終了基準が満たされるまでステップ1～3を繰り返す

最初の問題を実施する前に受験者について何もわかっていないため、アルゴリズムは通常、最初の問題として中程度または中程度に簡単な難易度の問題を選択することから始まります。^{[引用が必要]}

適応的な実施の結果、受験者によって受けるテストは全く異なります。^[4] 受験者は通常異なるテストを受けますが、能力スコアは互いに比較可能です（つまり、古典的なテスト理論を使用して設計されたテストではよくあることですが、同じテストを受けたかのように）。異なる項目セット間で公平なスコアを計算できる心理測定技術は、項目反応理論（IRT）です。IRTは、難易度自体ではなく情報に基づいて通常選択される最適な項目を選択するための推奨される方法論でもあります。 ^[3]

統一公認会計士試験では、多段階テスト（MST）またはCASTと呼ばれる関連手法が使用されています。MSTは、以下に説明するように、CATの欠点のいくつかを回避または軽減します。^[5]

CAT は 1970 年代から存在しており、現在ではそれを利用した評価が数多くあります。

• 大学院経営学入学試験
• NWEAの MAP テスト
• SAT（米国外で2023年に開始、米国で2024年に開始）^[6]
• 国家資格試験委員会
• 軍事職業適性検査

さらに、現在実施中のCAT試験のリストは、国際コンピュータ適応型テスト協会^[7]に掲載されており、現在実施中のCAT研究プログラムのリストと、公開されているCAT研究のほぼ包括的な参考文献も掲載されています。

適応型テストは、ほとんどの受験者に対して均一で正確なスコアを提供することができます。^[3]対照的に、標準的な固定テストは、中程度の能力の受験者に対してはほぼ常に最高の精度を提供し、極端なテストスコアの受験者に対しては精度がどんどん低下します。^[要出典]

適応型テストは、通常、固定形式テストよりも50% 短縮しても、高い精度を維持できます。 ^[2]これは、受験者の時間の節約につながります。受験者は、難しすぎる問題や簡単すぎる問題に時間を無駄にすることはありません。さらに、テスト機関も時間の節約から恩恵を受けます。受験者の着席時間のコストが大幅に削減されます。ただし、CAT の開発には、標準的な固定形式のテストよりもはるかに多くの費用がかかるため、CAT テスト プログラムが経済的に実を結ぶには、大規模な人口が必要です。^[要出典]

大規模な対象集団は、一般的に科学研究に基づく分野で展示できます。これらの側面での CAT テストは、障害や病気の早期発見に使用できます。これらの分野での CAT テストの成長は、過去 10 年間で大幅に増加しました。かつては医療施設や研究所では受け入れられませんでしたが、CAT テストは診断の範囲で推奨されています。^{[引用が必要]}

他のコンピュータベースのテストと同様に、適応型テストではテスト後すぐに結果が表示される場合があります。^{[引用が必要]}

適応型テストでは、項目選択アルゴリズムにもよりますが、受験者は通常、全受験者に単一の項目セットが与えられるのではなく、異なる項目セットを受け取るため、一部の項目の露出が減少する可能性があります。ただし、他の項目（つまり、テストの開始時にほとんどの受験者に提示される中程度または中程度/簡単な項目）の露出は増加する可能性があります。^[3]

CAT で最初に直面する問題は、項目プールの調整です。項目の特性をモデル化するために (たとえば、最適な項目を選択するために)、テストのすべての項目を、相当な規模のサンプルに事前に実施し、分析する必要があります。これを実現するには、新しい項目を試験の運用項目に混ぜる必要があります (回答は記録されますが、受験者のスコアには影響しません)。これは、「パイロット テスト」、「事前テスト」、または「シーディング」と呼ばれます。^[3] これにより、ロジスティック、倫理、およびセキュリティの問題が発生します。たとえば、まったく新しい、見たことのない項目で運用適応型テストを実施することは不可能です。^[8] すべての項目は、安定した項目統計を取得するために十分なサンプルで事前テストする必要があります。このサンプルは、1,000 人の受験者が必要になる場合があります。^[8]各プログラムは、テストの何パーセントを採点されないパイロット テスト項目で構成できるかを合理的に決定する必要があります。^[要出典]

適応型テストには、いくつかの項目の過剰使用を防ぐ露出制御アルゴリズムがありますが、 ^[3] 能力に応じて条件付けされた露出は制御されないことが多く、簡単に 1 に近くなります。つまり、同じ能力を持つ人々にとって、いくつかの項目がテストで非常に一般的になることはよくあります。項目を共有するグループは機能的能力レベルが似ている可能性が高いため、これはセキュリティ上の重大な懸念事項です。実際、完全にランダム化された試験は最も安全です (ただし、最も効率が悪いです)。^[要出典]

過去の問題を復習することは一般的に禁止されています。適応型テストでは、間違った答えをした後、より簡単な問題を出題する傾向があります。賢明な受験者であれば、そのような手がかりを使って間違った答えを見つけ出し、訂正できると言われています。あるいは、受験者にわざと間違った答えを選ぶように指導し、どんどん簡単なテストに導くこともできます。適応型テストを騙して、最も簡単な試験を作成した後、受験者は問題を復習して正しく答えることができ、非常に高いスコアを獲得できる可能性があります。受験者は、復習ができないことに不満を言うことがよくあります。^[9]

CAT の開発は高度であるため、いくつかの前提条件があります。^[10] IRT キャリブレーションに必要な大規模なサンプル サイズ (通常は数百人の受験者) が必要です。新しい項目を瞬時に選択するには、項目をリアルタイムで採点できる必要があります。妥当性の文書を提供するには、IRT キャリブレーションと CAT シミュレーション研究の経験がある心理測定学者が必要です。最後に、真の IRT ベースの CAT を実行できるソフトウェア システムが利用可能である必要があります。^[要出典]

時間制限のあるCATでは、受験者が各テスト項目に費やせる時間を正確に見積もったり、時間制限のあるテストセクションを完了するペースかどうかを判断することは不可能です。そのため、受験者は、セクションの早い段階で提示される難しい問題に時間をかけすぎたために、時間切れ時にテストされていない分野の習熟度を正確に測定するのに十分な数の問題を解けなかったためにペナルティを受ける可能性があります。^[11]時間制限のないCATは、その後の指導を導く形成的評価には優れたツールですが、時間制限のあるCATは、仕事や教育プログラムへの適性を測定するために使用される重要な総括的評価には適していません。^[要出典]

CATを構築するには5つの技術的要素が必要です（以下はWeiss & Kingsbury, 1984 ^[2]より抜粋）。このリストには、項目の事前テストや実地でのリリースなどの実際的な問題は含まれていません。

1. 調整されたアイテムプール
2. 出発点または入門レベル
3. アイテム選択アルゴリズム
4. 採点手順
5. 終了基準

CAT が選択できる項目のプールを用意する必要があります。^[2]このような項目は、従来の方法 (つまり、手動で) または自動項目生成によって作成できます。プールは、残りの 4 つのコンポーネントの基礎として使用される心理測定モデルで調整する必要があります。通常、心理測定モデルとして項目反応理論が採用されています。 ^[2]項目反応理論が人気がある理由の 1 つは、人物と項目を同じ測定基準 (ギリシャ文字のシータで示される) に配置するため、項目選択の問題に役立つことです (以下を参照)。^[要出典]

CAT では、試験の特定の時点までの受験者の成績に基づいて問題が選択されます。しかし、問題がまったく出題されていない場合、CAT は受験者の能力を具体的に推定することはできません。そのため、受験者の能力を推定するための別の初期設定が必要です。受験者に関する以前の情報がわかっている場合は、それを使用できますが^[2]、CAT は受験者の能力が平均的であると想定することが多く、そのため最初の問題は中程度の難易度になることがよくあります。^{[引用が必要]}

前述のように、項目反応理論では受験者と項目を同じ基準で扱います。したがって、CAT が受験者の能力を推定できれば、その推定に最も適した項目を選択できます。^[8]技術的には、これはその時点で最も多くの情報を持つ項目を選択することによって行われます。 ^[2] 情報は、項目の識別パラメータ、条件付き分散、疑似推測パラメータ (使用されている場合) の関数です。^[要出典]

項目が実施された後、CAT は受験者の能力レベルの推定値を更新します。受験者が項目に正しく回答した場合、CAT は受験者の能力をいくらか高く推定する可能性があり、逆の場合も同様です。これは、項目応答理論の項目応答関数を使用して受験者の能力の尤度関数を取得することによって行われます。これには、最大尤度推定とベイズ推定と呼ばれる 2 つの方法があります。後者は、受験者の能力の事前分布を前提とし、事後期待値と事後最大という 2 つの一般的な推定値があります。最大尤度は、一様 ( f (x)=1) 事前分布が想定される場合、ベイズ最大事後推定値に相当します。^[8]最大尤度は漸近的に偏りがありませんが、混合されていない (すべて正解または不正解) 応答ベクトルのシータ推定値を提供することはできません。その場合は、ベイズ法を一時的に使用する必要があります。^[2]

CATアルゴリズムは、項目を繰り返し実施し、受験者の能力の推定値を更新するように設計されています。これは、CAT に終了基準が組み込まれていない限り、項目プールがなくなるまで続きます。多くの場合、受験者の測定の標準誤差が特定のユーザー指定値を下回ったときにテストが終了します。そのため、上記のように、受験者のスコアが均一に正確、つまり「等精度」になるという利点があります。^[2]テストの目的が異なる場合、たとえば、テストが受験者の能力の正確な推定値を取得するのではなく、受験者がテストに「合格」するか「不合格」するかを判断することだけを目的として設計されている場合など、他の終了基準が存在します。^{[2] [12]}

多くの場合、テストの目的は、受験者を相互に排他的で網羅的な 2 つ以上のカテゴリに分類することです。これには、2 つの分類が「合格」と「不合格」である一般的な「習熟度テスト」が含まれますが、「不十分」、「基本」、「上級」レベルの知識または能力など、3 つ以上の分類がある状況も含まれます。この記事で説明する「項目レベル適応型」CAT は、「合格/不合格」ではないテスト、または適切なフィードバックを提供することが非常に重要な合格/不合格テストに最適です。合格/不合格 CAT (コンピュータ分類テスト (CCT)とも呼ばれます) には、いくつかの変更が必要です。^[12]合格点に非常に近い実際のスコアを持つ受験者の場合、コンピュータ分類テストは長いテストになりますが、合格点よりはるかに高いまたは低い実際のスコアを持つ受験者の場合、試験は最も短くなります。^{[引用が必要]}

たとえば、能力の点推定値を提供するのではなく、受験者をカテゴリに分類する新しい終了基準と採点アルゴリズムを適用する必要があります。これには、主に 2 つの方法論があります。2 つのうちより有名なのは、逐次確率比検定(SPRT) です。^{[13] [14]}これは、受験者の分類問題を、受験者の能力がカットスコアより上の特定のポイントか、カットスコアより下の別の特定のポイントに等しいという仮説検定として定式化します。これは、概念的に適切な複合仮説定式^[15]ではなく、ポイント仮説定式であることに注意してください。複合仮説定式は、受験者の能力がカットスコアより上の領域か、カットスコアより下の領域にあるというものです。^[要出典]

信頼区間アプローチも使用され、各項目が実施された後、アルゴリズムは受験者の真のスコアが合格点を上回るか下回るかの確率を決定します。^{[16] [17]}たとえば、アルゴリズムは、真のスコアの 95%信頼区間に合格点が含まれなくなるまで続行される場合があります。その時点では、適応型テストの基礎となる心理測定モデルが受験者とテストに適合していると仮定すると、合否の決定はすでに 95% 正確であるため、それ以上の項目は必要ありません。このアプローチは、もともと「適応型マスタリーテスト」と呼ばれていましたが^[16]、2 つ以上のカットスコアの非適応型項目選択および分類状況に適用できます (一般的なマスタリーテストには 1 つのカットスコアがあります)。^[17]

実務上、アルゴリズムは一般に、テストの長さの最小値と最大値（または実施時間の最小値と最大値）を持つようにプログラムされています。そうしないと、カットスコアに非常に近い能力を持つ受験者に対して、アルゴリズムが決定を下すことなく、バンク内のすべての項目が実施される可能性があります。^{[引用が必要]}

使用される項目選択アルゴリズムは終了基準によって異なります。カットスコアで情報を最大化することは、尤度比で使用される確率の差を最大化するため、SPRTに適しています。^[18]能力推定値で情報を最大化することは、測定の条件付き標準誤差を最小化し、分類に必要な信頼区間の幅を狭めるため、信頼区間アプローチに適しています。^[17]

ETS の研究者マーサ・ストッキングは、ほとんどの適応型テストは実際にはほとんど適応型テスト(BAT) ではないと皮肉っています。なぜなら、実際には項目の選択に多くの制約が課されるからです。たとえば、CAT 試験は通常、内容仕様を満たす必要があります。^[3]言語試験では、類推、空欄補充、同義語の項目タイプを同数で構成する必要がある場合があります。CAT には通常、何らかの項目露出制約があります。 ^[3]最も有益な項目が過度に露出されるのを防ぐためです。また、一部のテストでは、項目の登場人物の性別や名前から暗示される民族性など、項目の表面的な特徴のバランスをとる試みがなされています。したがって、CAT 試験では、選択できる項目が頻繁に制約され、一部の試験では制約がかなり大きく、適切な項目を見つけるために複雑な検索戦略 (例:線形計画法) が必要になる場合があります。^[要出典]

項目の露出を制御する簡単な方法は、「ランダムメスク」または階層法です。テストの各時点で最も有益な項目を選択するのではなく、アルゴリズムは次に有益な 5 項目または 10 項目から次の項目をランダムに選択します。これはテスト全体を通して使用することも、最初にのみ使用することもできます。^[3]もう 1 つの方法は、Sympson-Hetter 法です。^[19]この方法では、U(0,1) からランダムな数値が抽出され、テスト ユーザーが各項目に対して決定したk _iパラメーターと比較されます。ランダムな数値がk _iより大きい場合、次に有益な項目が考慮されます。^[3]

ウィム・ファン・デル・リンデンとその同僚^{[20]は、項目選択の一環として}シャドウテスト全体を作成するという、シャドウテストと呼ばれる代替アプローチを開発しました。シャドウテストから項目を選択すると、適応型テストが選択基準を満たすのに役立ちます（特定の項目に最適な選択ではなく）。^[要出典]

多次元コンピュータ適応型テスト (MCAT) では、一連の項目が与えられると、学生の推定能力に応じてバンクから項目を選択し、個別化されたテストが行​​われます。MCAT は、以前に回答した項目の順序を使用して、複数の同時試験能力 (単一の能力を評価するコンピュータ適応型テスト (CAT) とは異なります) に基づいて、テストの精度を最大化することを目指します (Piton-Gonçalves & Aluisio、2012)。^{[引用が必要]}

• ベイズ知識追跡
• 電子評価（コンピュータベーステストとも呼ばれる） - 評価における情報技術の使用
• コンピュータ分類テスト
• 教育技術 – 学習と指導を改善するために教育にテクノロジーを活用する
• リニアオンザフライテスト
• NIH ツールボックス

• Drasgow, F., & Olson-Buchanan, JB (編) (1999)。コンピュータ化された評価における革新。ヒルズデール、ニュージャージー州: Erlbaum。
• ピトン・ゴンサルベス、J.アルイーシオ、SM (2015)。 「Teste Adaptativo Computadrizado MultiDimension com propósitos educacionais: principios e metodos」。Ensaio: 教育と政治の公開。23 (87): 389–414。土井：10.1590/S0104-40362015000100016。
• Piton-Gonçalves, J. & Aluísio, SM (2012). 教育目的の多次元コンピュータ適応型テストのアーキテクチャ。ACM、ニューヨーク、ニューヨーク、米国、17-24。doi :10.1145 / 2382636.2382644
• ピトン・ゴンサルベス、J. (2020)。精巣の適応性: uma aplicação metodológica.メタ: Avaliação 12(36):665–688 doi :10.22347/2175-2753v12i36.2735
• Van der Linden, WJ、Glas, CAW (編) (2000)。コンピュータ適応型テスト: 理論と実践。ボストン、マサチューセッツ州: Kluwer。
• Wainer, H. (編). (2000). コンピュータ適応型テスト: 入門書 (第 2 版). マホワ、ニュージャージー: ELawrence Erlbaum Associates.
• ワイス、DJ（編）（1983）。テストの新しい地平：潜在特性理論とコンピュータ適応型テスト（pp. 237-254）。ニューヨーク：アカデミックプレス。

• 「最初の適応型テスト: ビネーの IQ テスト」、国際コンピュータ適応型テスト協会 (IACAT)
• 「適応型テストとパフォーマンス分析」、Procedia Computer Science、先進コンピューティング技術とアプリケーションに関する国際会議 (ICACTA)
• サンズ、ウィリアム A. (編); ウォーターズ、ブライアン K. (編); マクブライド、ジェームズ R. (編)、コンピュータ適応型テスト: 調査から運用まで、ワシントン DC、米国: アメリカ心理学会。(1997)。xvii 292 pp. doi :10.1037/10244-000
• Zara, Anthony R (1999)。「コンピューター適応型テストを使用した看護師資格取得能力の評価：これまでの経緯と今後の展望」。健康科学教育の進歩。4 (1): 39–48。doi : 10.1023 /A:1009866321381。PMID  12386434。S2CID 27771858  。

• 国際コンピュータ適応型テスト協会 2009-12-03ウェイバックマシンにアーカイブ
• Concerto: オープンソース CAT プラットフォーム
• FastTest: 無料版が利用可能な CAT プラットフォーム
• CAT Central デイビッド・J・ワイス著
• コンピュータ適応型テスト (CAT) に関するよくある質問。2005 年 4 月 15 日閲覧。
• Lawrence L. Rudner によるオンラインのインタラクティブなコンピュータ適応型テスト チュートリアル。1998 年 11 月。2005 年 4 月 15 日に取得。
• 特集：多段階テスト入門。教育における応用測定、19（3）。
• コンピュータ適応型テスト –教育リソース情報センターのテスト測定と評価に関する情報センター、ワシントン DCより