アイテムの自動生成

自動項目生成（AIG）または自動項目生成は、心理測定学とコンピュータプログラミングを結び付けるプロセスです。コンピュータアルゴリズムを使用して、心理テストの基本的な構成要素であるテスト項目を自動的に作成します。この方法は、1960年代にJohn R. Bormuth ^[1]によって初めて説明されましたが、最近まで開発されていませんでした。AIGは2段階のプロセスを使用します。まず、テストの専門家が項目モデルと呼ばれるテンプレートを作成します。次に、テスト項目を生成するためのコンピュータアルゴリズムが開発されます。^[2]そのため、テストの専門家が個々の項目を作成する代わりに、コンピュータアルゴリズムが親項目モデルの小さなセットから項目のファミリーを生成します。^{[3] [4] [5]}最近では、GPTファミリーなどの大規模言語モデルを含むニューラルネットワークが、項目の自動生成に効果的に使用されています。^{[6] [7]}

心理テストでは、テスト項目に対する受験者の反応から、さまざまな人間特性の客観的な測定データが提供されます。^[8]心理テストや教育テストで測定される特性には、学力、学校の成績、知能、意欲などがあり、これらのテストは、個人または個人のグループに重大な影響を与える決定を下すために頻繁に使用されます。テストの妥当性などの測定品質基準を達成することは、心理学者や教育者にとって最も重要な目標の1つです。^[9] AIGは、コンピューター化されたテストによって多数のテスト項目の必要性が高まっている現代の環境において、テストの品質を経済的に維持および改善するために使用できるテスト開発アプローチです。^[5]

AIGは標準化されたテストの作成コストを削減します。^[10]アルゴリズムは、人間のテスト専門家よりも一定時間内に多くの項目を生成できるためです。並列テストフォームを迅速かつ簡単に作成できるため、さまざまな受験者に同じレベルの複雑さや難易度の異なるテスト項目のグループを提示でき、テストのセキュリティが向上します。^[3]コンピューター適応型テストと組み合わせると、AIGは新しい項目を生成したり、テストの実施中に受験者の能力に基づいて次に実施する既に生成された項目を選択したりできます。AIGはまた、幅広い難易度、より少ない構成の項目を作成し、プロトタイプ項目モデルをより体系的に定義することで項目の比較可能性を高めることが期待されています。^{[3] [11] [12]}

テスト開発（AIGを含む）は、認知理論に基づいている場合、充実させることができます。特定の理論から取られた認知プロセスは、その構築中に項目の特徴と一致することがよくあります。この目的は、項目の難易度（以下、β）などの特定の心理測定パラメータを事前に決定することです。項目パラメータに大きく影響し、項目に特定の認知要件を提供する構造要素をラジカル^{[11]とします。項目モデルの1つ以上のラジカルを操作して、異なるパラメータ（例：} β ）レベルを持つ親項目モデルを作成できます。その後、各親は、Irvine ^[11]が偶発要素と呼ぶ他の要素を操作することで、独自のファミリーを成長させることができます。偶発要素は、同じファミリー内で項目ごとにランダムに変化する表面特徴です。ラジカルの構造が同じで、偶発要素のみが異なる項目は、通常、同型^[13]またはクローンと呼ばれます。^{[14] [15]}項目のクローニングには2種類ある。一方では、項目モデルは1つ以上の空きスペースを持つ項目で構成され、各スペースを可能性のリストから選択した要素で埋めることでクローニングが行われる。他方では、項目モデルは、例えば空間能力テストのオブジェクトの角度を変えるなどの変換を導入することでクローニングされた完全な項目である可能性がある。^[16]これらの項目の表面特性の変化は、被験者の反応に大きな影響を与えないはずである。これが、偶発的な要因が同型群の項目パラメータにわずかな違いしか生じないと考えられる理由である。^[3]

多数のアイテムジェネレーターが客観的な検証テストを受けています。

MathGenは数学の達成度をテストするための問題を生成するプログラムです。2018年にJournal of Educational Measurementに発表された論文で、著者のエムブレットソンとキングストンは、生成された問題の定性的および心理測定的特性を評価するために広範な定性的レビューと実証的な試行を行い、生成された問題は成功しており、同じ問題構造から生成された問題は予測可能な心理測定特性を持っているという結論に達しました。^{[17] [18]}

^{計算モデルRachman-Jun 2015 [19]}の助けを借りて開発された旋律識別テストが、2017年の試験の参加者に実施されました。PM Harrisonらによって収集されたデータによると、結果は高い妥当性と信頼性を示しています。^[20]

フェレイラとバックホフ・エスクデロ^[21]は、彼らが開発したGenerExというプログラムを使用して、教育スキルの一般的なテストである基礎能力試験（Excoba）の2つの並行バージョンを作成しました。次に、作成されたテストの内部構造と心理測定学的同等性を研究しました。心理測定学的品質の実証結果は全体的に良好であり、テストと項目は複数の心理測定指標によって測定されるように一貫しています。

Gierlと彼の同僚^{[22] [23] [24] [25]は、} Item Generator（IGOR ^[26]）と呼ばれるAIGプログラムを使用して、医学知識をテストする多肢選択式問題を作成した。IGORで生成された問題は、手動で設計された問題と比較しても、優れた心理測定特性を示した。

Arendasy、Sommer、Mayr ^[27]は、AIGを使用してドイツ語と英語の言語流暢性をテストするための言語項目を作成し、それぞれドイツ語と英語を話す参加者に実施しました。コンピューターで生成された項目は、許容できる心理測定特性を示しました。これら2つのグループに実施された項目セットは、言語間のパフォーマンスの比較を容易にする共通言語間アンカー項目セットに基づいていました。

Holling、Bertling、Zeuch ^[28]は確率論を用いて、予想される難易度を持つ数学の文章題を自動生成した。彼らはRasch ^{[29]モデルの適合を達成し、項目の難易度は線形ロジスティック検定モデル（LLTM [30]}）とランダム効果LLTMによって説明できた。Holling、Blank、Kuchenbäcker、Kuhn ^{[31] は}統計的文章題を用いて同様の研究を行ったが、AIGは使用しなかった。Arendasyと彼の同僚^{[32] [33] は}、自動生成された代数文章題に関する研究を発表し、AIGの品質管理フレームワークが項目の測定品質にどのように影響するかを検討した。

アイテムメーカー（IMak）は、 Rプログラミング言語で書かれた図形類推項目をプロットするためのプログラムです。IMakで生成された23項目の心理測定特性は満足のいくものであり、ルール生成に基づく項目の難易度は線形ロジスティックテストモデル（LLTM）によって予測できました。^[3]

MazeGenはRでコード化された別のプログラムで、迷路を自動生成します。18の迷路の心理測定特性は、Raschモデルの適合や迷路の難易度のLLTM予測など、最適であることがわかりました。^[34]

GeomGen は図形マトリックスを生成するプログラムです。^[35]図形マトリックス項目の反応除去戦略に関連する測定バイアスの原因を特定した研究では、気を散らすものの顕著性が反応除去戦略の追求に有利に働き、この知識を AIG に組み込むことでそのような項目の構成妥当性を改善できると結論付けられました。^[36]同じグループは AIG を使用して、心的回転に関連する差異的項目機能(DIF) と性差を研究しました。彼らは以前の研究で性差 DIF を示した項目設計機能を操作し、性差の効果サイズの推定値は、特定の項目設計機能に関連する可能性のあるさまざまな種類の性差 DIF の存在によって損なわれることを示しました。^{[37] [38]}

アレンダシーは、自動的に生成された視空間推論項目について、項目反応理論（IRT）を使用して特定された心理測定品質の違反の可能性についても研究した。この目的のために、彼は2つのプログラム、すなわち、すでに述べたGeomGen ^[35]とEndless Loop Generator（EsGen）を紹介した。彼は、IRTの原理を項目生成中に組み込むことができるため、GeomGenの方がAIGに適していると結論付けた。^[39] GeomGenを使用した並行研究プロジェクトで、アレンダシーとゾマー^[40]は、項目の知覚的構成の変動が、能力レベルに応じて回答者のパフォーマンスに影響を与える可能性があり、それがいくつかの心理測定品質指標に影響を及ぼしていることを発見した。これらの結果から、彼らは一般に図形マトリックス項目の一次元性仮定に疑問を投げかけた。

MatrixDeveloper ^[41]は、25個の4x4正方行列項目を自動的に生成するために使用されました。これらの項目は169人の被験者に実施されました。研究結果によると、これらの項目はRaschモデルによく適合しており、ルールベースの生成により項目の難易度を説明できます。^[42]

最初のアイテムマトリックスジェネレーターはEmbretsonによって設計され^{[43] [14]}、EmbretsonとReiseによって示されているように、彼女が自動的に生成したアイテムは優れた心理測定特性を示しました。^[44]彼女はまた、適切なオンラインアイテム生成モデルを提案しました。