国際学生評価プログラム

国際標準化評価のデータは、教育システム内または教育システム間の因果関係の研究に役立つ可能性がある。^{[ 4 ]}モンスは、大規模な国際評価によって生成されたデータベースにより、数学や読解の学習条件から制度的自律性や入学方針に至るまでのテーマについて、前例のない規模で教育システムの目録と比較を行うことが可能になったと指摘している^{[注1 ] 。 [ 9 ]}これらのデータにより、教育パフォーマンス指標の比較統計分析に使用できる類型を開発することができ、それによってさまざまな政策選択の結果を特定することができる。また、教育に関する新たな知識も生み出している。PISAの結果は、生徒を職業コースや学術コースに早期に振り分けるといった、深く根付いた教育慣行に疑問を投げかけている。^{[ 10 ]}

バロッソとデ・カルヴァーリョは、PISAが教育における学術研究と公共政策の政治領域を結びつける共通の参照点を提供し、教育と公共政策の領域からのさまざまな知識の流れの間の仲介役として機能していることを発見した。^{[ 11 ]}しかし、比較評価からの主要な発見は研究コミュニティで広く共有されているものの^{[ 4 ]、}それらが生み出す知識は必ずしも政府の改革アジェンダに合致するとは限らず、これが評価データの不適切な使用につながることがある。

新たな研究によると、国際的な標準化評価が国家評価の方針と実践に影響を与えていることが示唆されています。PISAは、評価、査定、カリキュラム基準、パフォーマンス目標に関する国家政策と実践に統合されています。その評価フレームワークとツールは、国家評価を改善するためのベストプラクティスモデルとして使用されています。多くの国が、改訂された国家基準とカリキュラムにPISAのような能力を明示的に組み込み、強調しています。また、PISAデータを使用して国家データを補完し、国際的なベンチマークと比較して国家の結果を検証している国もあります。^{[ 10 ]}

PISAは、さまざまな方法で各国の教育政策の選択に影響を与える可能性があります。PISAのような国際的な評価への参加は、生徒の就学率の向上や教育改革など、重要な教育政策の変更や成果と関連付けられています。^{[ 6 ]}しかし、批判者たちは、参加によって留年率の増加やカリキュラムの狭小化などの望ましくない結果が生じる可能性があると主張しています。^{[ 7 ]} PISAの影響は、特定の国の状況によっても異なる可能性があります。^{[ 12 ]}

参加国の大半の政策立案者は、PISAをシステムのパフォーマンスを示す重要な指標と見なしている。PISAレポートは政策上の問題を明確にし、国家政策議論の議題を設定することができる。政策立案者は、PISAをシステムのパフォーマンスと経時的な変化を国際的にベンチマークするための有効かつ信頼できる手段として受け入れているようだ。ほとんどの国は、PISAの平均スコアを上回るか、平均と同等か、平均を下回るかに関わらず、PISAレポートに対応して政策改革を開始している。^{[ 10 ]}

これに対し、各国の教育制度への影響は大きく異なっている。例えば、ドイツでは、最初のPISA調査の結果が、いわゆる「PISAショック」を引き起こした。これは、それまで受け入れられていた教育政策への疑問を招いたものであり、地域ごとの政策の違いが厳重に守られていたこの国では、最終的にすべての州が共通の国家基準を導入し、その遵守を確実にするための制度化された構造を導入することに合意するに至った。^{[ 13 ]}一方、ドイツと似たような状況にあったハンガリーでは、PISAの結果は教育政策に大きな変化をもたらしていない。^{[ 14 ]}

多くの国が相対順位または絶対PISAスコアに基づいて国家目標を設定しているため、PISA評価は、国際的な教育監視機関および政策主体としての（非選出の）委託機関であるOECDの影響力を高めており、これは国際レベルから国家レベルへの重要な「政策移転」を意味します。特にPISAは「国家教育政策の方向性に影響力のある規範的効果」を持っています。^{[ 10 ]}このように、国際標準化評価の使用は、国家システムのパフォーマンスに対する国際的、外部的説明責任への移行につながったと主張されています。レイは、教育システムの客観的な第三者診断として描かれているPISA調査は、実際には教育問題に関する特定の方向性を促進する役割を果たしていると主張しています。^{[ 4 ]}

国家政策関係者は、PISAで高成績を収めた国々を「論争の的となっている国家政策論争の中で、自らの意図する改革課題を正当化し、正当化するのに役立つ」ために参照する。[15] PISAデータは、「ベルギーのフランス語共同体のように、異なる政策選択肢間の既存の対立やライバル関係をめぐる長年の議論を煽るために利用される」ことがある。^{[ 16 ]このような}場合、PISA評価データは選択的に使用される。政府は、公の場では、国別ランキングなどのPISA調査の表面的な特徴のみを使用し、より詳細な分析は使用しないことが多い。レイ（2010:145、グレガー、2008を引用）は、政策立案者が他の理由で導入された政策を正当化するためにデータを選択的に参照するため、PISA評価の実際の結果が無視されることが多いと指摘している。^{[ 17 ]}

さらに、PISAの国際比較は、データ自体とは何の関係もない改革を正当化するために利用されることがあります。例えば、ポルトガルでは、PISAのデータが教師の評価に関する新しい取り決めを正当化するために利用されました（評価やデータ自体によって正当化されていない推論に基づいています）。また、PISAのデータは、生徒の留年問題に関する政府の議論にも利用されました（研究によると、留年は生徒の成績向上にはつながりません）。^{[ 18 ]}フィンランドでは、同国のPISAの結果（他国では優秀とみなされている）が、大臣によって「才能のある」生徒のための新しい政策を推進するために利用されました。^{[ 19 ]}このような利用や解釈は、通常、質的な詳細な研究や、定量的および定性的な方法を組み合わせた縦断的調査によるより徹底的な調査を必要とするPISAデータに基づいて正当に根拠づけることができない因果関係を前提としていることが多く、政治家はしばしば資金提供を渋ります。^{[ 20 ]}

近年の数十年間で、PISAや同様の評価の利用範囲は拡大し、生徒の学習を評価することから、「教育領域（従来の役割）と政治領域を結びつける」ことへと広がっている。^{[ 21 ]}これは、PISAデータが、それに基づいて行われる主要な政策決定の重みに耐えられるほど十分に強固なものかどうかという疑問を提起する。ブレイクスピアによれば、PISAデータは「国家／連邦教育システムの主要目標をますます形成、定義、評価するようになっている」からである。^{[ 10 ]}これは、PISAテストを設定する人々（例えば、評価する内容と評価しない内容を選択する人々）が、教育論争の条件を設定し、世界中の多くの国で教育改革の方向性を定める上で、相当な権力を持っていることを意味する。^{[ 10 ]}

PISAの調査対象者は、評価期間開始時点で15歳3ヶ月から16歳2ヶ月の生徒です。学年は考慮されません。学校に通う生徒のみが対象で、自宅学習者は対象外です。ただし、PISA 2006では、いくつかの国が学年別の生徒サンプルも使用しました。これにより、年齢と学年がどのように相互作用するかを研究することが可能になりました。

OECDの要件を満たすためには、各国は少なくとも5,000人の生徒を対象としたサンプル調査を実施しなければならない。アイスランドやルクセンブルクのような年間生徒数が5,000人未満の小国では、同年代の全生徒を対象に調査が行われる。地域間の比較を可能にするため、一部の国では必要以上に大規模なサンプル調査を実施した。

各生徒は2時間のコンピュータベースのテストを受けます。テストの一部は多肢選択式で、一部はより詳細な回答を必要とします。評価資料は6時間半ありますが、すべての生徒がすべての部分でテストされるわけではありません。認知テストの後、参加生徒は、学習習慣、動機、家族などの背景に関するアンケートにさらに1時間近くかけて回答します。学校長は、学校の人口統計、資金などを説明するアンケートに記入します。2012年には、大規模なテストと評価の歴史上初めて、参加者は新しいタイプの問題、つまり新しい仮想デバイスの探索を必要とするインタラクティブな（複雑な）問題を提示されました。^{[ 24 ] [ 25 ]}

一部の国では、PISAはコンピュータ適応型テストの実験を開始した。

各国はPISAと、補完的な国内テストを組み合わせることが認められている。

ドイツではこれを非常に広範囲にわたって実施しています。国際テストの翌日、生徒はPISA-E（E=Ergänzung=補完）と呼ばれる国内テストを受けます。PISA-Eのテスト項目はPISAよりもTIMSSに近いものです。国際テストと国内テストの両方に参加するドイツ人生徒は約5,000人ですが、国内テストのみに参加する生徒はさらに45,000人います。この大規模なサンプルは、連邦州ごとの分析を可能にするために必要です。2006年の結果の解釈をめぐる対立の後、OECDはドイツに対し、国内テストに「PISA」ラベルを使用する権利を取り消す可能性があると警告しました。^{[ 26 ]}

From the beginning, PISA has been designed with one particular method of data analysis in mind. Since students work on different test booklets, raw scores must be 'scaled' to allow meaningful comparisons. Scores are thus scaled so that the OECD average in each domain (mathematics, reading, and science) is 500, and the standard deviation is 100.^[27] This is true only for the initial PISA cycle when the scale was first introduced, though, subsequent cycles are linked to the previous cycles through IRT scale linking methods.^[28]

This generation of proficiency estimates is done using a latent regression extension of the Rasch model, a model of item response theory (IRT), also known as conditioning model or population model. The proficiency estimates are provided in the form of so-called plausible values, which allow unbiased estimates of differences between groups. The latent regression, together with the use of a Gaussian prior probability distribution of student competencies allows estimation of the proficiency distributions of groups of participating students.^[29] The scaling and conditioning procedures are described in nearly identical terms in the Technical Reports of PISA 2000, 2003, 2006. NAEP and TIMSS use similar scaling methods.

The results of PISA 2022 were presented on 5 December 2023, which included data for around 700,000 participating students in 81 countries and economies, with Singapore emerging as the top performer in all categories.^[30]

Both Lebanon and the Chinese provinces/municipalities of Beijing, Shanghai, Jiangsu and Zhejiang participated this edition, but their results were not published as they were not able to fully collect data because of COVID restrictions.^[31]

ロシアによるウクライナへの全面侵攻のため、ウクライナの27地域のうち18地域しかデータが収集されなかったため、以下の地域については結果が代表的ではない：ドニプロペトロウシク州、ドネツク州、ハルキウ州、ルハンシク州、ザポリージャ州、ヘルソン州、ミコライウ州、クリミア自治共和国、セヴァストポリ市。^{[ 32 ]}

2012年のテストへの中国の参加は、上海、香港、マカオがそれぞれ独立した地域として参加することに限られていた。2012年、上海は2回目の参加となり、3科目すべてで再びトップの成績を収め、2009年のテストと比較して各科目のスコアも向上した。上海の数学のスコアは613点で、平均スコアを113点上回り、上海の生徒の成績は平均的な国の生徒より約3学年進んでいる。教育専門家は、この結果が中国の一般的な教育システムの質をどの程度反映しているかについて議論し、上海は中国の他の地域よりも裕福で教師の給与も高いことを指摘した。^{[ 43 ]}香港は読解と科学で2位、数学で3位となった。

PISA部門責任者兼コーディネーターのアンドレアス・シュライヒャー氏は、中国の農村部で実施されたPISAテストの結果がOECD平均に迫るものもあったと述べた。まだ公表されていないOECDの研究をさらに引用し、同氏は「我々は実際に中国の12省でPISAを実施した。非常に貧しい地域でさえ、OECD平均に近い成績が得られている」と述べた。 ^{[ 44 ]}シュライヒャー氏はまた、中国は学校へのアクセスを拡大し、丸暗記学習から脱却し^{[ 45 ]} 、丸暗記に基づく評価とより広範な評価の両方で好成績を収めていると考えている。^{[ 44 ]}

2018年に参加した中国の省は、北京、上海、江蘇、浙江でした。2015年に参加した省は、江蘇、広東、北京、上海でした。^{[ 46 ]} 2015年の北京・上海・江蘇・広東のコホートは、2015年に科学で中央値518点を獲得しましたが、2012年の上海のコホートは中央値580点を獲得しました。

PISAの批判者たちは、上海や他の中国の都市では、出稼ぎ労働者の子供たちのほとんどは市内の学校に9年生までしか通えず、戸籍制度の制限により高校進学のためには両親の故郷に戻らなければならないため、市内の高校生の構成が裕福な地元家庭に有利に偏っていると反論している。ニューヨーク・タイムズに掲載された上海の人口グラフは、そこに住む15歳児の数が急激に減少していることを示している。^{[ 47 ]}シュライヒャーによれば、上海の15歳児の27%は学校制度から除外されている（したがってテストからも除外されている）。その結果、PISAでテストを受けた上海の15歳児の割合は73%で、米国でテストを受けた89%よりも低かった。^{[ 48 ]} 2015年のテストの後、OECDは中国を含むいくつかの国の教育制度に関する詳細な研究を発表した。^{[ 49 ]}

2014年、当時教育省の英国議会担当政務次官であったリズ・トラスが上海の学校や教員養成センターへの事実調査訪問を主導した。^{[ 50 ]}英国は教育の質を向上させる方法を知るために中国の教師や学校との交流を増やした。2014年には、上海から60人の教師が英国に招かれ、指導方法を共有し、学習に苦労している生徒を支援し、他の教師の研修を支援した。^{[ 51 ]} 2016年には、英国は120人の中国人教師を招き、8,000校の補助金を受けている学校で中国式の指導法を採用する計画を立てた。^{[ 52 ]} 2019年までに、英国の16,000校の小学校のうち約5,000校が上海の指導法を採用した。^{[ 53 ]}中国の指導法を採用した後、英国の学校のPISAでの成績が向上した。^{[ 54 ] [ 55 ]}

最初のテストで上位にランクインしたフィンランドは、2012年には3科目すべてで成績を落としたものの、ヨーロッパ全体では依然として最高の成績を収め、科学では545点（5位）で最高、数学では519点（12位）で最低となり、他の4つのヨーロッパ諸国に成績で負けた。数学の成績は、テストの焦点が数学であった最後の年である2003年以来、25ポイントの低下となった。フィンランドの女子が数学で男子をわずかに上回ったのはこれが初めてである。また、フィンランド語を話す学校の生徒がスウェーデン語を話す学校の生徒よりも成績が良くなかったのもこれが初めてである。クリスタ・キウル元教育科学大臣は、全体的な成績の低下と、成績の低い生徒の数が7%から12%に増加したことについて懸念を表明した。^{[ 56 ]}

インドは2009年のテストには参加したが、2012年のPISAテストからは撤退した。インド政府は、PISAテストがインドの生徒にとって不公平であると理由に挙げている。^{[ 57 ]}インドは2009年のテストで73か国中72位だった。^{[ 58 ]} Indian Express紙は、「（教育省は）質問とインドの生徒の間には社会文化的乖離があると結論付けた。同省はOECDに書簡を送り、インドの『社会文化的環境』を考慮に入れる必要性を強調するだろう。インドの次のPISAサイクルへの参加はこれにかかっている」と報じた。^{[ 59 ]} Indian Express紙はまた、「70か国以上がPISAに参加していることを考えると、インドに例外が設けられるかどうかは不確かだ」とも指摘した。

インドは2012年、2015年、2018年のPISA調査には参加しなかった。^{[ 60 ]}

ケンドリヤ・ヴィディヤラヤ・サンガタン（KVS）委員会と、インドのナレンドラ・モディ首相が設置した教育担当次官グループは、インドがPISAに参加すべきだと勧告した。これを受けて、2017年2月、プラカシュ・ジャヴァデカール率いる人材開発省はボイコットを終了し、2020年からPISAに参加することを決定した。テスト問題と生徒の間の社会文化的乖離に対処するため、OECDはいくつかの問題を更新する予定であると報じられた。例えば、問題中の「アボカド」という単語は、マンゴーなど、より一般的なインドの果物に置き換えられる可能性がある。^{[ 61 ]}

インドは、COVID-19パンデミックによる混乱を理由に、2022年のPISAラウンドには参加しなかった。^{[ 62 ]}

2015年、OECDはマレーシアの結果が最大回答率を満たしていないと指摘した。^{[ 63 ]}野党政治家のオン・キアン・ミン氏は、教育省が裕福な学校の成績優秀な生徒を過剰にサンプリングしようとしたと述べた。^{[ 64 ] [ 65 ]}

スウェーデンの成績は、2012年のテストで3科目すべてで低下し、2006年と2009年の傾向が継続した。数学の成績が最も急激に低下し、2003年の509から2012年には478に低下した。読解力のスコアは、2000年の516から2012年には483に低下した。同国は3科目すべてでOECD平均を下回った。^{[ 66 ]}野党党首の社会民主党のステファン・ロベーンは、この状況を国家危機と表現した。^{[ 67 ]}教育担当の党報道官イブラヒム・バイランとともに、読解力の低下傾向が最も深刻であると指摘した。^{[ 67 ]}

2020年、スウェーデンの新聞Expressenは、スウェーデンがOECD基準に準拠せず、PISA 2018のスコアを水増ししていたことを明らかにした。マグナス・ヘンレクソン教授によると、外国生まれの生徒の多くがテストを受けていなかったという。^{[ 68 ]}

2012年のテストでは、2009年と同様に、結果は英国の平均をわずかに上回り、科学のランキングが最高位（20位）でした。^{[ 69 ]}イングランド、ウェールズ、スコットランド、北アイルランドも別々の地域として参加し、ウェールズは数学で65の国と経済の中で43位と最悪の結果を示しました。ウェールズの教育大臣ヒュー・ルイスは結果に失望を表明し、「即効性のある解決策はない」と述べましたが、過去数年間に実施されたいくつかの教育改革が次のテストでより良い結果をもたらすことを期待していると述べました。^{[ 70 ]}英国では、高得点者と低得点者の差が平均よりも大きかった。生徒の社会経済的背景を調整すると、公立学校と私立学校の間にはほとんど差がありませんでした。女子に有利な男女差は他のほとんどの国よりも小さく、ネイティブと移民の差も同様でした。^{[ 69 ]}

デイリー・テレグラフ紙に寄稿したアンブローズ・エヴァンス＝プリチャードは、英国の国際ランキングに過度に重点を置くことに警鐘を鳴らし、東アジアにおける学業成績への過度の注目が同地域の出生率低下の一因となっている可能性があり、それが将来の経済パフォーマンスに悪影響を及ぼす可能性があると主張した。これは、PISAのスコアが良好であっても、その影響を相殺することはできないだろう。^{[ 71 ]}

2013年、タイムズ・エデュケーショナル・サプリメント（TES）は、ウィリアム・スチュワートによる「PISAは根本的に欠陥があるのか​​？」という記事を掲載し、主要大学の統計学者によって提唱されたPISAの概念的基盤と方法に対する深刻な批判を詳述した。^{[ 72 ]}

記事の中で、ブリストル大学のハーヴェイ・ゴールドスタイン教授は、OECDが偏りの疑いのある質問を排除しようとすると、国間の重要な違いを「平準化」してしまう可能性があると述べている。「それは多くの重要な事柄を見落としている」と教授は警告する。「それらは単に議論の対象にならないだけだ。たまたま共通している事柄を見ていることになる。しかし、（それは）検討する価値があるのだろうか？PISAの結果は、各国に共通する何らかの基準を提供するものとして額面通りに受け止められている。しかし、それを細かく分析し始めると、すべてが崩れ去ってしまうと思う。」

クイーンズ大学ベルファスト校の数学者ヒュー・モリソン博士は、PISAの統計モデルには根本的に解決不可能な数学的誤りがあり、PISAのランキングは「無価値」になっていると述べた。^{[ 73 ]}ゴールドスタイン氏は、モリソン博士の異議は「重大な概念的誤り」ではないにしても「重要な技術的問題」を浮き彫りにしていると指摘した。しかし、ゴールドスタイン氏は、PISAは「不適切に使用されている」と警告し、その責任の一部は「PISA自体にある」と主張した。「PISAはできることに対して多くを語りすぎ、否定的または弱い側面を公表しない傾向があると思う」。モリソン教授とゴールドスタイン教授は、OECDの批判に対する反応に落胆を表明した。モリソン氏は、2004年にPISAに対する批判を初めて発表し、OECDの「上級職員」数名に個人的に質問した際、彼の指摘は「完全な沈黙」で迎えられ、未だに対処されていないと述べた。 「彼らの消極的な態度に驚きました」と彼はTESに語った。「それが私を疑わしく思わせるのです。」「ピサはこれらの問題の多くを頑なに無視しました」と彼は言う。「私はまだ心配しています。」^{[ 72 ]}

コペンハーゲン大学のスヴェンド・クライナー教授もこれに同意し、「PISAに関して皆が抱えている問題の一つは、結果を批判したり質問したりする人と議論したがらないことだ。彼らは私とは全く話したがらなかった。それは彼らが自分自身を弁護できないからだと確信している」と述べた。^{[ 72 ]}

2012年以降、いくつかの州は独立した組織としてPISAテストに参加している。州ごとの結果は2012年と2015年のデータのみが入手可能である。プエルトリコも2015年に独立した米国組織として参加した。

人種・民族別の米国におけるPISAの結果