研究評価演習

研究評価運動 （RAE ）は、英国の4つの高等教育資金協議会（HEFCE、SHEFC、HEFCW、DELNI）の委託を受けて、英国の高等教育機関が行う研究の質を評価するために約5年ごとに実施される運動である。各主題領域（または評価単位）からのRAE提出物は、主題専門家の査読委員会によってランク付けされる。このランキングは、各高等教育機関が国立資金協議会から受け取る質重視の研究資金（QR）の配分を通知するために使用される。以前のRAEは1986年、1989年、1992年、1996年、2001年に実施された。最新の結果は2008年12月に公表された。 ^[1]これは2014年に研究優秀性枠組み（REF）に置き換えられた。

さまざまなメディアが、2008 年の RAE の結果に基づいて、機関と分野のランキング表を作成しました。方法論が異なれば、ランキングは類似しますが、同一ではありません。

英国における高等教育研究の評価は、1986年にマーガレット・サッチャー政権下で初めて実施された。これは、ケンブリッジ大学の数学者ピーター・スウィナートン・ダイアーが委員長を務める大学助成委員会によって実施された。この評価の目的は、厳しい予算制限の時代に英国の大学への資金配分を決定することだった。委員会は、大学内の37の分野（「コストセンター」）からの研究声明と、選ばれた5つの研究成果の提出を受けた。委員会は「傑出」、「平均以上」、「平均」、「平均以下」という品質ランキングを発表した。大学に割り当てられた研究資金（「品質関連」資金と呼ばれる）は、分野の品質評価によって左右された。スウィナートン・ダイアーによれば、その目的は、予算が減少する時代に資金配分の透明性の尺度を確立することだった。^[2]

その後の研究評価は、1989年に大学資金協議会によって「研究選択性演習」という名で実施された。大学側が「全力」の提出を許可されていないという苦情に応えて、スウィナートン・ダイアーはスタッフ1人につき2つの研究成果の提出を許可した。評価は152の主題領域（「評価単位」）に拡大された。ロジャー・ブラウンとヘレン・カラッソによると、研究関連資金の約40％のみが提出物の評価に基づいて配分された。残りはスタッフと学生の数と研究助成金収入に基づいて配分された。^[2]

1992 年、大学と専門学校の区別は廃止された。大学資金協議会は、 HEFCEなどの地域別資金協議会に置き換えられた。HEFCE の政策ディレクターである Behram Bekhradnia は、研究評価は「より強力かつ厳格」になる必要があるという結論に達した。これが 1992 年に研究評価演習の導入につながった。1992 年の演習の結果は、歯科外科研究所によって法廷で異議が申し立てられ、裁判官は、このシステムはより透明化する必要があると警告した。その後の演習における評価パネルは、評価基準と作業方法についてより明確にする必要があった。1996 年には、質よりも量が評価されているという批判を考慮して、量に基づく評価がすべて削除された。^[2]

1992 年の試験では、評価のために提出された職員は、特定の日付 (「調査日」) までに職に就いていなければならないと規定された。これは、異動した職員が依然として評価にカウントされているという批判に対抗するためであった。このため、調査日前に他の大学が優秀な職員を「引き抜く」という現象が生じた。2001 年の試験では、サイクルの途中で機関を異動した職員の功績は、2 つの機関で共有できた。2008 年の試験では、これは廃止された。^[2]

2008 年の評価では、大きな変化ももたらされました。分野全体 (「評価単位」) に単一の評価を与える代わりに、各研究成果に評価が与えられました。これは、大規模な部門が「非常に長いテール」の劣った研究を隠しても高い評価を受けられること、逆に、評価の低い部門の優秀なスタッフが十分な資金を受け取れないという批判に対抗するために行われました。したがって、評価単位の単一の評価は、各品質カテゴリに対する各部門の研究の割合を示す「品質プロファイル」に置き換えられました。^[2]

2008 年の RAE では、4 段階の品質スケールが使用され、各ユニットに対して単一の総合的な品質スコアではなくプロファイルが返されました。研究成果、研究環境、評価指標の評価に基づく品質レベルは、次のように定義されます。

各評価単位には、4 つの品質レベルのそれぞれを満たす研究、または分類されていない研究の割合を示す、5 列のヒストグラムである 品質プロファイルが与えられました。

1992 年、1996 年、2001 年には、各評価に次の説明が使用されました。

これらの評価は、フランス語や化学などの「評価単位」に適用されており、多くの場合、大学の学部とほぼ同等です。評価単位の結果を集計して、大学の研究能力に関するさまざまな非公式のランキング表が作成されています。^[要出典] RAE に基づいて大学のランキング表を作成するのは、量と質の両方が重要な要素であるため、問題があります。

RAE の評価プロセスは、研究成果の質 (通常は学術雑誌や会議の議事録に掲載された論文)、研究環境、評価の指標に重点を置いています。各テーマのパネルは、一般的なガイドラインの範囲内で詳細なルールを決定します。RAE 2008 では、機関は、選出されたフルタイムのスタッフ 1 人につき、2001 年 1 月から 2007 年 12 月までに発表された 4 つの研究成果を提出するよう求められます。^[3]

以前の評価に対する批判や雇用法の発展に応えて、2008 年の RAE では、パートタイム労働者や、プロセスに含めるのに十分な勤続年数に達した新人を考慮に入れるようさらに強化されています。

RAE には批判がないわけではない。さまざまなバージョンで、研究者、管理者、政策立案者の間で意見が分かれている。^[4]批判の中には、英国のフルタイム研究者の大半が有期雇用されているという理由で、その論文が明確に無視されているという点がある。RAE 2008 ガイドラインによると、ほとんどの研究アシスタントは「研究活動スタッフとして記載される資格がない」。^[5]有期雇用契約の研究者による論文は、その論文が RAE の対象となるスタッフの功績と認められない限り、評価演習から除外される。評価対象のスタッフが論文にわずかな貢献しかしていない場合でも、これは適用される。^[6]反対の現象も当てはまり、主に教育活動を担当してきた講師など、無期雇用契約の非研究活動スタッフも、研究成果を出すよう雇用先の大学からより強い契約上の圧力を受けている。もう一つの問題は、専門家パネルが研究成果の質を評価するのに必要な専門知識を備えているかどうか疑わしいということである。なぜなら、専門家は専門分野から外れるとすぐにパフォーマンスが大幅に低下するからである。^[7]

1996年以来、現在はUCUに統合されているAUTは、研究評価演習に反対する政策を維持している。^[8] AUTの見解では、

RAE は英国の高等教育制度に壊滅的な影響を及ぼし、優れた研究実績と健全な学生募集を誇る学部の閉鎖につながっています。また、雇用の喪失、差別的慣行、職員の広範な士気低下、資金の過度な集中による研究機会の縮小、教育と研究の関係の悪化などを引き起こしています。

英国の資金提供機関が委託した2003年の公式研究評価レビュー「ロバーツ報告書」 ^[9]は、そのような批判に一部応えて、研究評価の変更を勧告した。

庶民院科学技術特別委員会はロバーツ報告書を検討し、より楽観的な見解を示し、^[10]「RAEは肯定的な効果をもたらした。RAEは大学に研究管理を促し、資金が研究の卓越性分野に向けられるようにした」と主張し、「大学の研究業績は著しく向上した」と結論付けた。しかし、「現在の形態のRAEは時代遅れになった」と主張し、主にロバーツの勧告に基づいたRAEの改革を提案した。

2006年度予算では、2008年の実施後にQR資金の将来の配分を通知するための指標システムが開発されることが発表されました^[11]。高等教育部門との最初の協議の後、高等教育資金審議会は科学、技術、工学、医学の科目について指標に基づく評価システムを導入すると思われます。数学、統計、芸術、人文科学、社会学の科目についてはピアレビューのプロセスが残ると思われます。

HEFCEは、2008年のRAEに続いて導入された 、研究優秀性枠組み（REF）^[12]として知られる新しい一連の取り決めを開発しました。

• ブラウン、ロジャー、カラッソ、ヘレン（2013）「全ては売り物？英国高等教育の市場化」、ラウトレッジ、ISBN 978-0-415-80980-1

• 2008 年のリーグ テーブルへのリンク (The Independent)
• 2008 年リーグ テーブルへのリンク (Research Fortnight)
• 2008 年リーグ テーブルへのリンク (ガーディアン)
• 2001 RAE 機関ランキング (ガーディアン)
• 2008年演習の公式RAEウェブサイト
• 2001 年の演習に関するアーカイブされた RAE ウェブサイト