Loading article…
付加価値モデリング（付加価値測定、付加価値分析、付加価値評価とも呼ばれる）は、生徒の現在のテストの成績を、同じ生徒の前学年の成績や同じ学年の他の生徒の成績と比較することで、特定の年度における教師の貢献を測定する教師評価方法です。このように、付加価値モデリングは、特定の年度に各教師が提供する貢献、つまり付加価値を分離し、他の教師のパフォーマンス指標と比較することを目指します。VAMは、過去の成績や収入などの潜在的に交絡するコンテキスト変数を考慮せずに、生徒の達成度スコアや獲得スコアを単純に比較するよりも公平であると考えられています。このアプローチを使用して、校長または学校全体による付加価値を推定することもできます。
批評家は、個々の教師を評価するためのテストの使用は科学的に検証されておらず、結果の多くは偶然や外部の補習など教師が制御できない状況によるものだと述べている。[1] しかし、研究によると、教師の付加価値で測定される教師の有効性の違いは、生徒への小さな経済的影響に関連していることが示されている。[2]
方法
研究者は、学生の過去のテストの点数に関する統計的プロセスを使用して、学生の将来のテストの点数を予測します。これは、学生の点数が毎年、過去数年とほぼ同じであると仮定した場合です。次に、学生の実際の点数が予測された点数と比較されます。予測された点数と実際の点数に差がある場合、それは学生の生来の能力や社会経済的状況によるものではなく、教師と学校によるものと想定されます。
このように、付加価値モデリングは、生徒の一般的な知能、貧困、親の関与 など、生徒のテストの成績に強く影響することが知られている教師の制御外の要因から教師の貢献を切り離そうとします。
これらすべての個別の結果を集約することで、統計学者は、特定の教師が生徒の成績をどの程度向上させたかを、一般的な教師が生徒の成績をどの程度向上させたかと比較して判断できます。
統計学者は、階層線形モデリングを使用して、特定の学校の特定の教室の特定の生徒のスコアを予測します。この予測は、すべての生徒の集計結果に基づいています。各生徒の予測スコアでは、生徒レベル (過去の成績、社会経済的地位、人種/民族など)、教師レベル (資格、経験年数、最高学位、教育実践、教材、カリキュラムなど)、および学校レベル (規模、種類、設定など) の変数が考慮される場合があります。どの変数が含まれるかは、モデルによって異なります。
用途
2010年現在、シカゴ公立学校、ニューヨーク市教育局、コロンビア特別区公立学校[アップデート]など、全米のいくつかの学区がこのシステムを採用している。ランキングは、教師の定着率やボーナス支給の決定に使用され、また、教師研修から最も恩恵を受ける教師を特定するためのツールとしても使用されている。[1] Race to the Topや、教師のパフォーマンスを評価するためのより良い方法を提唱するその他のプログラムの下で、学区は教室での教師の観察の補足として付加価値モデリングに注目してきた。[1]
ルイジアナ州議会議員フランク・A・ホフマンは、優秀な教師に報奨を与え、効果的な教育方法を特定する手段として、また他の教師よりも劣っていると特定された教師に追加の専門能力開発を提供する手段として、州の公立学校で付加価値モデリング技術の使用を認可する法案を提出した。ルイジアナ州教師連盟の反対にもかかわらず、この法案は2010年5月26日にルイジアナ州上院を通過し、ボビー・ジンダル知事 によって直ちに法律として署名された。[3]
専門家は、付加価値モデリングを意思決定の唯一の決定要因として使用することを推奨していません。[4] 代わりに、多面的な評価プログラムにおける重要な要素として使用することを推奨しています。[5]
制限事項
標準参照評価システムでは、教師のパフォーマンスは、選択された比較グループの他の教師の結果と比較されます。したがって、このモデルを使用して、教師が一般的な教師よりも優れているか、劣っているか、または同じかを推測することは可能ですが、このモデルを使用して、特定のパフォーマンス レベルが望ましいかどうかを判断することはできません。
各生徒の予想スコアは主に前年度の生徒の実際のスコアから導き出されるため、このモデルを使用して幼稚園や 1 年生の教師を評価するのは困難です。一部の研究では、このモデルを 3 年生以上の教師に限定しています。
学校は、新入生の以前の学校からの成績を入手できない場合や、一部のテストが比較不可能なため、成績が役に立たない場合があります。生徒の入れ替わりが激しい学校では、このモデルを適用するのに十分なデータを収集することが難しい場合があります。生徒が年度の途中で学校を変更する場合、その年度の進歩は、最終の教師だけに起因するものではありません。
付加価値スコアは、言語よりも数学のほうが教師の影響に敏感です。[4] これは、読解力と言語能力のテストが適切に作成されていないために広く使用されているためか、教師が言語発達に及ぼす影響が最終的に少ないためかもしれません。[4] 生徒は言語スキルをさまざまな情報源、特に家族から学びますが、数学スキルは主に学校で学びます。
スコアは年ごと、クラスごとに多少のばらつきがあります。このばらつきは、メジャーリーグ ベースボールなどの他の分野のパフォーマンス測定に似ており、教師のパフォーマンスの実際の自然なばらつきを反映している可能性があります。[4] このばらつきがあるため、スコアは多数の生徒 (通常 50 人以上) から算出すると最も正確になります。その結果、このモデルを使用して新任教師を評価することは困難です。特に小学校では、20 人の生徒しか教えていない可能性があるためです。1 つの教室に基づくランキングでは、約 65% の確率で教師を正しく分類できる可能性があります。10 年間のデータが利用できる場合は、この数値は 88% に上昇します。[6]さらに、信頼区間が広い ため、この方法は、教師を中央値よりわずかに上またはわずかに下に評価するかどうかを判断するなど、多かれ少なかれ典型的な業績を上げている教師の間で細かい区別をしようとするよりも、常に上位または下位 10% に入る教師を特定する場合に最も信頼性があります。[6]
付加価値スコアは、生徒が教師にランダムに割り当てられることを前提としています。実際には、生徒が教師や学校にランダムに割り当てられることはめったにありません。カリフォルニア大学バークレー校の経済学者で教授のジェシー・M・ロススタイン博士によると、「生徒を教師にランダムに割り当てないと、教師の因果効果の付加価値推定にバイアスがかかる可能性があります。」[7] 付加価値尺度の使用に伴うバイアスの可能性の問題は、最近かなりの研究の対象となっており、他の研究者は、付加価値尺度は教師の有効性の優れた推定値を提供するという結論に達しています。たとえば、効果的な教育の尺度プロジェクトの最近の研究[8]や、ハーバード大学のラージ・チェッティ教授とその同僚による付加価値尺度と将来の収入の関係の分析を参照してください。[9]
研究
生徒の学習成果に基づいて教師の有効性を判断するというアイデアは、 1971年にエリック・ハヌシェク[11]によって研究文献に初めて導入されました。ハヌシェクは現在、カリフォルニア州スタンフォード大学にあるアメリカの公共政策シンクタンクである保守派[12] [13] [14]フーバー研究所の上級研究員です。その後、ハーバード大学のリチャード・マーネインらによって分析されました。 [15] このアプローチは、学校内の教師の有効性のばらつきを評価するためにさまざまな分析で使用されており、推定では、教師間の生徒の学習ペースに大きな一貫した違いがあることが示されています。[16]
SASのシニア リサーチ マネージャーで統計学者のウィリアム サンダースは、ノースカロライナ州とテネシー州の学区向けに付加価値モデルを開発し、この概念を学校運営に導入しました。この手法は、1990 年代にテネシー州の学校プログラムの教師評価ツールとして最初に作成され、2002 年に落ちこぼれゼロ法が可決されたことで使用が拡大しました。サンダースは自身の経験と研究に基づき、「厳密で堅牢な方法を使用し、それを安全策で囲めば、非常に効果的な教師と平均的な教師、効果のない教師を確実に区別できる」と主張しました。[1]
ランド研究所がニューヨークのカーネギー研究所のために作成した2003年の研究では、付加価値モデリングは「教師と学校の影響を、家族背景などの非教育的要因の強力な影響から切り離す可能性を秘めている」と述べており、このようなモデルを使用すると教師のスコアに大きなばらつきがあることが研究で示されており、そのばらつきが個々の教師のパフォーマンスに関連していることが実証されれば、付加価値モデリングは教師のパフォーマンスを評価し、報奨を与えるための効果的なツールになる可能性があるとしている。[17]
ロサンゼルス・タイムズ紙は、同市の学校での同プログラムの使用について報道し、付加価値モデリングシステムによって算出された、学区内の6,000人の小学校教師のスコアを提供する検索可能なウェブサイトを作成した。米国教育長官 アーネ・ダンカンは、同紙の教師スコアに関する報道を、透明性の向上のモデルとして称賛したが、よりオープンにすることは「プライバシー、公平性、教師への敬意」に関する懸念とバランスを取る必要があると指摘した。[1] 2011年2月、国立教育政策センター（NEPC）のデレク・ブリッグスとベン・ドミンゲは、ロサンゼルス統一学区の同じデータセットを再分析したレポートを発表し、タイムズ紙に掲載された結果を再現しようとしたが、以前の研究に重大な限界があることを発見し、「ロサンゼルス・タイムズ紙が2010年8月の教師の有効性レポートで依拠した研究は、公表されたランキングを裏付けるには明らかに不十分であった」と結論付けた。[18]
ビル＆メリンダ・ゲイツ財団は、効果的な指導の測定プログラムを通じて、付加価値モデリングに関する複数年にわたる研究を後援している。2010年12月に発表された初期結果によると、付加価値モデリングと、教室の管理や厳しい課題で生徒を挑発するなど、いくつかの重要な教師の特性に関する生徒の認識の両方が、効果的な教師を正しく特定していることがわかった。 [4]生徒の評価に関する研究は、ロナルド・ファーガソン氏 によって行われた。この研究ではまた、テストに合わせて教える教師は、カリキュラム全体の深い概念的理解を促す教師に比べて、効果がはるかに低く、付加価値モデリングのスコアが大幅に低いことも明らかになった。 [4]しかし、カリフォルニア大学バークレー校の経済学者で教授のジェシー・ロススタイン氏が行ったMETレポートの結果の再分析では、これらの解釈の一部に異議を唱えている。[19]ロススタインは、報告書の分析は結論を支持するものではなく、「正しく解釈すれば、教員評価に対する付加価値ベースのアプローチを正当化するのではなく、むしろ弱体化させる」と主張している。[20] しかし、METプロジェクトの最近の研究では、付加価値アプローチの使用が正当化されている。[8]
校長とリーダー
付加価値モデリングの一般的な考え方は、校長や学校リーダーも対象にしている。学校リーダーの重要性については逸話的な議論がかなりあるが、彼らが生徒の成果に与える影響についての体系的な研究はほとんど行われていない。テキサスでの最近の分析では、校長が交代した後、学校の生徒の成績の向上がどのように変化するかを見ることで、リーダーの有効性に関する証拠が示されている。校長の有効性を測定するこの成果ベースのアプローチは、教師の評価に適用されてきた付加価値モデリングと非常によく似ている。テキサスでの初期の研究では、校長が生徒の成績に非常に大きな影響を与えることがわかっている。[21] 控えめな推定では、効果的な学校リーダーは学校のすべての生徒の成績を向上させ、その大きさは平均して各学年の生徒の2か月分の追加の学習効果に等しいことが示されている。これらの効果は、少なくとも部分的には、優秀な教師の選抜と確保に対する校長の影響を通じてもたらされる。しかし、効果のない校長は学校の成績に同様に大きな悪影響を及ぼしており、評価の問題は教師にとってと同様に学校のリーダーシップに関しても重要であることを示唆している。
批判と懸念
2010 年 8 月に経済政策研究所が発表した報告書では、「アメリカの公立学校は、教師の体系的な育成と評価が不十分である」と認識しているが、標準テストの成績を測定ツールとして使用しても、成績の向上にはつながらないという懸念が表明されている。EPI の報告書では、標準テストのスコアに基づく成績の測定は、「教師が教室で実際に何をしているか、それが生徒の学習にどのように貢献しているかをより正確に把握する」ために考慮すべき多くの要素の 1 つであると推奨されている。この研究では、付加価値モデリングは、教育方法と学校全体の成績をより適切に測定できる、教師を比較するより公平な手段であるが、生徒のテストのスコアは「重要な人事決定」を行う手段としては十分に信頼できるものではないと主張している。[22]
経済政策研究所の研究チームを率いたエドワード・ハーテルは、「トップを目指す競争」プログラムの一環として推進されている方法論は「教師や校長を評価する目的でまだ十分に研究されていない生徒の成績向上の尺度に重点を置きすぎている」と述べ、付加価値モデリングの技術はより徹底的に評価する必要があり、「綿密に研究されたパイロットプロジェクト」でのみ使用すべきだとしている。[1]
教育政策研究者のジェラルド・ブレイシー氏はさらに、教師とテストの点数の短期的な変化との相関関係は、実際の教育の質とは無関係である可能性があると主張した。したがって、「個々の教師について因果関係を推論することはできない。せいぜい、追加の専門的能力開発が必要な教師を特定するための第一歩に過ぎない」[23]
アメリカ統計学会は2014年4月8日、教育評価における付加価値モデルの使用を批判する声明を発表したが、そのようなモデルの有用性は否定していない。ASAは、入力データの限界、モデルに含まれていない要因の影響、および年ごとのランキングの不安定さにつながる大きな標準誤差を理由に挙げた。[24]
ジョン・ユーイングはアメリカ数学会の報告書の中で、教育評価における付加価値モデルの使用は「数学的脅迫」や「修辞的武器」の一種であると批判した。ユーイングは入力データの問題やモデルに含まれていない要因の影響を挙げた。[25]
代替案
教師評価にはいくつかの代替手段が導入されています。
- 学生による評価: 有効な質問をすれば、4年生の学生でも効果的な教師を正確に見分けることができます。[4]大学では コース評価は一般的ですが、教師を雇用するか解雇するかの決定において、ほとんど重要視されません。[要出典]
- 教室外活動：教師の評価には、通常、スタッフ研修イベントへの参加が含まれます。例えば、修士号を取得した教師は、学生の成績には影響がないにもかかわらず、ほとんどの場合、より高い給与を受け取ります。[26]
ほとんどの専門家は、教師の有効性を評価するために複数の尺度を使用することを推奨しています。[27]
参照
参考文献
- ^ abcdef ディロン、サム。「教師の成績評価法が戦いを呼ぶ」2017年5月18日にWayback Machineにアーカイブ、ニューヨークタイムズ、2010年8月31日。2010年9月1日にアクセス。
- ^ 生徒が1年間に多くの教師に指導を受ける場合、正確な推定値を計算することも複雑になります。Eric Hanushek、「教師の評価: 優れた教師の価値はいくらか?」2017年7月23日にWayback Machineでアーカイブ。Education Next 11、第3号 (2011年夏)。; Raj Chetty、John N. Friedman、Jonah E. Rockoff、「教師の影響の測定 II 2017年3月28日にWayback Machineでアーカイブ: 教師の付加価値と成人期の生徒の成果」、American Economic Review、第104巻、第9号、2014年9月、2633～2679ページ。
- ^ スタッフ。「付加価値評価法案が法律に」Wayback Machineで2020年4月14日にアーカイブ、ルイジアナ州教師連盟週刊立法ダイジェスト、2010年5月28日。2010年9月1日にアクセス。
- ^ abcdefg 「 教授法を学ぶ：効果的な教授法の測定プログラムの初期結果」ビル＆メリンダ・ゲイツ財団（報告書）。2010年12月。2010年12月16日時点のオリジナルよりアーカイブ。 2010年12月15日閲覧– The Los Angeles Times経由。
- Jason Felch (2010 年 12 月 11 日)。「研究は教師の有効性の「付加価値」分析を裏付ける」。ロサンゼルス タイムズ。2010 年 12 月 11 日時点のオリジナルからアーカイブ。2010年12 月 15 日閲覧。
- ^ Scherrer, Jimmy (2011). 「付加価値モデリングを用いた教育の測定：不完全な万能薬」. NASSP Bulletin . 95 (2): 122–140. doi :10.1177/0192636511410052. S2CID 145460616.
- ^ ab Otterman, Sharon (2010年12月26日). 「教師の評価向上に向けた取り組みでハードルが浮上」ニューヨーク・タイムズ。2018年11月28日時点のオリジナルよりアーカイブ。 2017年2月25日閲覧。
- ^ Rothstein, Jesse M. (2010 年 2 月). 「教育生産における教師の質: 追跡、減衰、および生徒の達成度」(PDF) . Quarterly Journal of Economics . 2013 年 7 月 20 日のオリジナル(PDF)からアーカイブ。2013年 12 月 7 日閲覧。
- ^ ab Thomas J. Kane、Daniel F. McCaffrey、Trey Miller、および Douglas O. Staiger、「効果的な教師を特定できましたか? ランダム割り当てを使用した効果的な指導の測定の検証」MET プロジェクト: ビル & メリンダ ゲイツ財団 (2013 年 1 月)
- ^ Chetty, Raj ; Friedman, John N.; Rockoff, Jonah. 「教師の影響の測定 I: 教師の付加価値推定値の偏りの評価」。アメリカ経済評論。アメリカ経済学会。2017 年 8 月 30 日時点のオリジナルよりアーカイブ。2017年 9 月 17 日閲覧。
- ^ グリーン、エリザベス (2014)。より良い教師を育てる: 教育の仕組み(そしてそれをすべての人に教える方法)。WWノートン アンド カンパニー。pp. 40–44。ISBN 978-0-393-08159-6
より良い教師を育成します
。 - ^ Eric A. Hanushek、「教師の特性と生徒の成績の向上：マイクロデータによる推定」、American Economic Review、61(2)、1971年5月、280-288頁。Eric A. Hanushek、「児童の量と質のトレードオフ」、Wayback Machineで2013年12月12日にアーカイブ、Journal of Political Economy、100(1)、1992年2月、84-117頁。
- ^ リンゼイ、レオン（1983年6月2日）。「スタンフォードの保守系シンクタンクが攻撃を受けている」。クリスチャン・サイエンス・モニター。2016年3月5日時点のオリジナルよりアーカイブ。 2013年8月30日閲覧。
- ^ de Lama, George (1993年3月3日). 「共和党が権力を失って、保守派シンクタンクは静かな場所になった」シカゴ・トリビューン。2013年12月12日時点のオリジナルよりアーカイブ。 2013年8月30日閲覧。
- ^ 「シンクタンクのフーバータワーが50周年」デイリーニュースオブロサンゼルス。1991年7月19日。2013年12月12日時点のオリジナルよりアーカイブ。2013年8月30日閲覧。
- ^ Richard J. Murnane、「学校資源が都心部の児童の学習に与える影響」、Ballinger。
- ^ Eric A. Hanushek および Steven G. Rivkin、「教師の質の付加価値尺度の使用に関する一般化」、Wayback Machineに 2013-12-12 にアーカイブ、American Economic Review 、100(2)、2010 年 5 月、 pp . 267–271。doi :10.1257/aer.100.2.267
- ^ McCaffrey, Daniel F.; Lockwood, JR; Koretz, Daniel M.; Hamilton, Laura S. 「教師の責任に関する付加価値モデルの評価」Wayback Machineに 2011-04-15 にアーカイブ、RAND Corporation、2003 年。2010 年 9 月 1 日にアクセス。
- ^ Briggs, D. および Domingue, B. 「Due Diligence and the Evaluation of Teachers」Wayback Machineに 2011-02-11 にアーカイブ、National Education Policy Center、2011 年。2011 年 4 月 3 日にアクセス。
- ^ Rothstein, R. 「Review of Learning About Teaching」Wayback Machineに2019年8月15日にアーカイブ、National Education Policy Center、2010年12月。
- ^ 「『付加価値』を宣伝するゲイツ報告書は誤った結論に達した | 国立教育政策センター」 Nepc.colorado.edu 2011-01-13。2014-01-03 時点のオリジナルよりアーカイブ。2014-01-13閲覧。
- ^ Gregory Branch、Eric Hanushek、Steven G. Rivkin、「School Leaders Matter: Measuring the impact of effective prisoners」、Wayback Machineに2012年10月28日にアーカイブ、Education Next 13(1)、2013年冬。
- ^ Baker, Eva L. ; Barton, Paul E.; Darling-Hammond, Linda ; Haertel, Edward; Ladd, Hellen F.; Linn, Robert L. ; Ravitch, Diane ; Rothstein, Richard; Shavelson, Richard J.; Shepard, Lorrie A. 「教師を評価するために生徒のテストスコアを使用することに関する問題」Wayback Machineに 2010-10-07 にアーカイブ、Economic Policy Institute、2010 年 8 月 29 日。2010 年 9 月 1 日にアクセス。
- ^ Bracey, Gerald、「Value Subtracted: A "Debate" with William Sanders」、2013年6月14日アーカイブ、Wayback Machine、HuffPost、2007年5月1日。2012年9月17日にアクセス。
- ^ アメリカ統計協会、「教育評価における付加価値モデルの使用に関する ASA の声明」Wayback Machineで2014 年 4 月 8 日にアーカイブ。2017 年 8 月 4 日にアクセス。
- ^ Ewing, John、「数学的威嚇：データによる駆動」、Wayback Machineで 2017-08-05 にアーカイブ、アメリカ数学会の通知、58:5、2011 年 5 月。2017 年 8 月 4 日にアクセス
- ^ハリス、ダグラス・N.、サス、ティム・R. (2011)。「教師の研修、 教師の質、生徒の成績」。公共経済ジャーナル。95 (7–8): 798–812。CiteSeerX 10.1.1.567.1794。doi :10.1016/ j.jpubeco.2010.11.009。
- ^ Patricia H. Hinchey (2010 年 12 月)。「教師の評価を正しく行う: 政策立案者が研究から学べること」NEPC 政策概要。2011 年 7 月 27 日時点のオリジナルよりアーカイブ。2011年 4 月 18 日閲覧。
外部リンク
- ロサンゼルス教師評価データベースとロサンゼルスタイムズのニュース記事