Loading article…
基準に基づく教育における総合的採点または総合的採点とは、論文の全体的な質に基づいて採点する単純な採点構造を使用してエッセイを採点するアプローチです。 [1]このタイプの採点は、非還元主義的採点とも呼ばれ、[2]分析的採点とは対照的です。分析的採点では、より多くの要素を考慮して採点します。総合的採点は、教室での作業の評価にも使用できます。エラーを数えるのではなく、論文は総合的に判断され、多くの場合、アンカー ペーパーと比較して、ライティング基準を満たしているかどうかを評価します。[4]総合的採点は、2 つの基本的な点で、他の記述式ディスコースの採点方法と異なります。作文全体を扱い、文章のさまざまな部分に個別の値を割り当てません。また、2 人以上の評価者を使用し、最終スコアは各評価者の独立したスコアから算出されます。総合的採点は、「非分析的」、「全体的な質」、「一般的なメリット」、「一般的な印象」、「迅速な印象」など、他の名前でも呼ばれています。システムの価値と妥当性は議論の余地があるものの、文章の総合的な採点は現在でも広く応用されています。
意味
総合的採点では、2 人以上の評価者が独立して、作文サンプルに 1 つのスコアを割り当てます。評価の状況に応じて、スコアは異なります (例: 「78」、「合格」、「単位に値する」、「A レベルに値する」、「非常に優秀」) が、各評価は統一されている必要があります。評価者が作文の個別の側面 (構成、スタイル、推論、裏付けなど) を検討または採点するよう求められた場合、最終的な総合的スコアは、その最初の検討事項またはそれらのスコアから数学的に導き出されるわけではありません。評価者は最初にグループとして調整され、2 人以上の評価者が独立して、事前に決定された信頼性の範囲内で作文サンプルに最終スコアを割り当てることができます。最終スコアは、事前に設定された値のスケールに沿っており、採点者はそのスケールを一貫して適用しようとします。作文の最終スコアは、2 つ以上の独立した評価から導き出されます。総合的採点は、分析的採点と対比されることがよくあります。[5] [6] [7]
必要
科学、ビジネス、産業から法律、宗教、政治に至るまで、多くの給与所得者の職業で、長文の散文を書くことが求められてきました。[8] 長文の散文を書く能力は、教師、公務員、軍人に対する資格試験や認定試験の一部にもなっています。[9] [10]その結果、ライティングの指導は学校や、米国では大学における正式な教育の一部となっています。長文の散文を書く能力は、どのようにすれば最もよく評価できるでしょうか。散文の個々の部分は、「客観的」な短答式問題でテストできます。たとえば、正しいスペルや句読点などです。このような問題は、高い信頼性で採点されます。しかし、項目の質問は、首尾一貫した意味のある長文を書く能力や達成度をどの程度正確に評価できるでしょうか。候補者に長文の談話を書かせることでテストする方が、より妥当な評価方法のように思えます。しかし、この方法では信頼性の問題が生じます。文章の価値は、読者の間で、また評価の段階をまたいで、どの程度確実に判断できるでしょうか。教師や他の審査員は、その科目に関する知識と、文章の良し悪しを判断する能力を信頼しているが、この「鑑定力」[11]への信頼は長い間疑問視されてきた。同じくらい知識のある鑑定家が、同じエッセイに大きく異なる点数をつけることがわかっている。[12] [13] [14] [15]信頼性と妥当性の両方に配慮した総合的な採点は、文章力を判断するより優れた方法である。公平性に配慮すれば、採点結果にも焦点を当てることができる。[16]
モデル
分析的採点では基準ごとの判断が行われますが、総合的採点では生徒の成果を総合的に評価します。総合的採点では、学習者のパフォーマンスはひとつのものとして扱われ、いくつかの構成要素のパフォーマンスに縮小または分割することはできません。[17]ここでは、教師は生徒の回答の特定の側面だけでなく、全体の質も考慮する必要があります。[18]
総合的な評価は、満足のいくパフォーマンスと、単に適切または優れているパフォーマンスを区別することによって行われます。[2]
4種類のスコアリング
総合的なスコアリングにはさまざまな手順が試みられてきましたが、4つの形式が明確に区別された伝統を確立しています。[19]
プール評価者
プール評価者による採点では、通常、各文章サンプルに対して 3 ～ 5 人の独立した読者が採点する。採点者は共通の評価尺度に基づいて採点し、その尺度を示すサンプル ペーパー (「アンカー ペーパー」[20] ) を用意することもあるが、通常は最低限の共同トレーニングを受けている。採点者の得点は単純に合計または平均化され、サンプルの最終スコアとなる。英国では、プール評価者による総合採点が初めて実験的にテストされたのは 1934 年で、サンプルごとに 10 人の教師評価者が採用された。[21]これは、1939 年にデボンで 11 歳以上の試験問題で初めて実施され、エッセイごとに 4 人の教師が採用された。[22]米国では、その評価者の信頼性は 1961 年から 1966 年にかけて教育試験サービスによって検証された。[23]また、1963 年から 1992 年にかけて、エッセイごとに 3 ～ 5 人の評価者が採用され、教育試験サービスの英語作文テストで散発的に使用された。[24] 「プール評価者スコア」とほぼ同義語は「分配評価」である[25]
特性情報に基づく
特性情報に基づく採点では、採点者が採点ガイド（「ルーブリック」[26]または「チェックリスト」[27]とも呼ばれる）に従って採点するように訓練される。採点ガイドとは、グリッド形式で同じ数の達成レベルにスケールされた短いライティング基準のセットである。たとえば、1969年にニューヨーク市立大学が学生のライティングについて行った調査で使用された採点ガイドには、5つの基準（アイデア、構成、文の構造、言葉遣い、句読点/文法/スペル）と3つのレベル（優秀、平均、不合格）があった。[28]採点ガイドの根拠は、採点者がライティングの達成度の広がりに注意を払い、1つまたは2つに過度の影響を及ぼさないようにすること（「ハロー効果」）であると主張している。特性情報に基づく採点は、ディーデリッヒ尺度のように、採点者が各特性を他の特性とは独立して採点し、最終的な点数としてスコアを合計する分析採点方法に近い。[29]しかし、特性を考慮した総合的な採点法は本質的に総合的なものであり、評価者には単一の最終スコアを決定する前にすべての特性をある程度考慮することのみが求められます。
調整評価者
調整評価者採点では、一部の採点者は他の採点者よりも採点精度が高いと想定される。各論文は2人の採点者によって独立して読み上げられ、彼らの採点がある程度、通常は評価尺度で1ポイント以上異なる場合、論文は3人目の、より経験豊富な採点者に読まれる。3人目の採点者が多すぎる採点者は、採点セッション中に再訓練を受けることもあれば、採点者団から外されることもある。[30] [31]調整評価者による総合的な採点は、1943年にシカゴ大学カレッジの試験委員会によって初めて適用されたと考えられる。[32]今日、大規模な商業試験サービスでは、調整評価者採点が使用されることがある。この場合、エッセイの採点者の1人は訓練を受けた人間で、もう1人はGREテストなどのエッセイの自動採点用にプログラムされたコンピューターである。[33] [34]
単一評価者
単一評価者によるモニタリング採点では、評価者をグループとして訓練し、詳細な採点方法を提供することができます。ただし、各ライティング サンプルは、モニターによる定期的なチェックでスコアが許容範囲外であると判断されない限り、1 人の評価者によってのみ採点され、通常は監督者によって再採点されます。「単一採点」または「サンプリング」と呼ばれるこの方法は、二重採点または多重採点よりも有効性が低いことが証明されているにもかかわらず、英国の学校試験では長い間標準となっています。[35] [36]米国では、TOEFLiBT のライティング セクションについて、[37]教育テスト サービスが現在、自動採点と認定された人間の評価者を組み合わせて使用しています。
歴史
イギリスでは、正式なプール採点者による総合採点法が1924年に提案され[38]、1934年から1935年に正式にテストされました。[39]この方法は、1939年にイギリスのデボン州地方試験局の11歳以上の試験に主任試験官RKロバートソンによって初めて適用され、10年間継続されました。[40]イギリスの他の地方試験局は1950年代から1960年代にかけてこのシステムを試し、その信頼性と妥当性はイギリスの研究者によって徹底的に研究されましたが、定着しませんでした。通常、教科の能力を示すために作成される学校の試験の複数の採点は、分析的な採点方式による単一の採点者による監視採点に大きく取って代わられました。[41] [42]
米国では、シカゴ大学カレッジのポール・B・ディーデリッヒが、1年目のライティングコースの単位取得のための総合試験として、ライティングサンプルの総合的な採点法を初めて応用しました。この方法は、コースの教師が採点者、試験委員会のメンバーが調整者となる、調整評価者採点法でした。[43] [44] 1956年頃、カレッジボードのAP試験は、英語の単位取得のためのエッセイを採点するための調整評価者総合システムを開始しました。採点は高校教師であり、彼らは評価システムを自分の学校に持ち帰りました。[45]教師の1人であるアルバート・ラビンは、1966年から1972年にかけて、カリフォルニア州マリン郡のサー・フランシス・ドレイク高校の9、10、11、12年生に同様の総合的な採点法を導入し、それらの年における学校でのライティングの進歩を示しました。[46] 1973年、カリフォルニア州立大学およびカレッジシステムの教師は、入学予定の学生が書いたエッセイを、英語作文の上級単位として採点するために、アドバンストプレースメント調整評価者システムを使用しました。[47]プール評価者による総合的な採点は、1950年に教育試験サービスによってテストされました（「全体論的」という用語を使用）。[48]これは、カレッジボードの1963年の英語作文テストで初めて適用されました。[49] 高等教育では、ジョージア州リージェンツテストプログラム（高校3年生向けの言語スキルテスト）で、1972年に早くも使用されました。[50]
アメリカでは、教育アカウンタビリティ運動に後押しされて、1975年から1990年にかけて総合的な採点法が急速に広まった。1980年には少なくとも24の州で学校の作文の評価が行われ、その大部分は総合的に評価された作文サンプルによるものだった。[51]高等教育では、ますます多くの大学が、単位取得、1年目の作文コースへの配置、作文コースの終了、3年生および学士号取得資格の取得に総合的な採点法を採用していた。作文教師も、生徒たちに総合的な採点法を指導し、お互いの作文を判断できるようにしていた。これは、全米作文プロジェクトで教えられている教育法である。[52]
20世紀最後の20年間から、総合的な採点法の使用はいくぶん減少した。ポートフォリオなど、学生のライティング能力を評価する他の、おそらくはより妥当な方法が普及し始めた。大学は、ライティングサンプルの採点をACTやETSなどのテスト機関に依頼する傾向が強まり、21世紀の最初の10年間までには、これらの機関はエッセイの自動採点で採点の一部を行っていた。しかし、人間によるエッセイの総合的な採点は、GED、TOEFL iBT、GRE General Testなどの大規模な商用テストで依然として適用されている。また、ワシントン州立大学など、一部の高等教育機関では、プレースメントや学術的進歩のために使用されている。 [53]しかし、ライティングコースへの入学およびプレースメントについては、ほとんどの大学が現在、 ACT、SAT、CLEP、国際バカロレアなどのテストでのライティングスキルの分析的採点に依存している。
検証
総合的な採点は、その結果によって検証されることが多い。採点者間の採点の一貫性、つまり「採点者の信頼性」は、少なくとも 8 つの異なる式によって計算されている。その中には、一致率、ピアソンの r 相関係数、スピアマン ブラウン式、クロンバックのアルファ、および 2 次加重カッパなどがある。[54] [55]採点コストは、採点者が作文サンプルの採点に費やす平均時間、3 回目の読み直しが必要なサンプルの割合、採点者への手当、セッション リーダーの給与、採点者への飲食物、機械によるコピー、部屋のレンタルなどの支出を測定することによって計算できる。特に大学入学のための標準テストなどの大きな影響がある用途では、採点の同時妥当性を推定する努力が時々なされる。たとえば、一般教育開発テスト (GED)の初期の研究では、アメリカ教育評議会が実験的な総合的なエッセイ採点と既存の多肢選択式採点を比較し、2 つの採点が多少異なるスキル セットを測定していることがわかった。[56]多くの場合、予測妥当性は、学校の生徒の総合的なスコアとその後の大学の授業での成績、通常は1学期目のGPA、1年目のライティングコースの終了時の成績、または生徒のライティング能力に対する教師の意見を比較することによって測定されます。これらの相関は通常、低から中程度です。[57]
批判
文章の総合的な採点法は、ほぼ当初から批判を集めていました。1970年代、1980年代以降、批判は増大しました。[58] [59] [60] [61]
- コスト。1980年代、試験の採点はすべて人間が行っていたが、有効で信頼性の高い文章サンプルの総合的な採点には項目の採点よりも時間がかかり、したがってコストもかかった。たとえば、1980～1981年のジョージア州立大学の試験プログラムでは、最初のエッセイ1つにつき0.75ドル、2番目のエッセイ1つにつき0.53ドルかかった。[62]その後、費用の面で、人間による総合的な論文採点は、機械採点の項目テストや機械評価のエッセイとさらに競合しなくなった。これらのコストは、人間による採点の半分から4分の1程度である。[63]
- 診断。総合的採点法に関する最も一般的な不満は、提供される診断情報の少なさである。「合格」のスコア、または 4 点、6 点、または 9 点のスケールで「3」のスコアは、学生、教師、または研究者にとって具体的な指針をほとんど提供しない。教育上の障壁となる試験では、総合的採点は、管理者が不合格の学生を見つけるのに役立つかもしれないが、教師がそれらの学生が 2 回目の受験で合格できるように支援するのにはほとんど役立たない。[64] [65]診断情報を増幅する必要性があったため、第 2 ラウンドの全国教育進歩評価 (1973-1974) で、州教育委員会は総合的採点法に加えて、作文サンプルの主要特性採点法を導入した。[66] 同じ理由から、ブリティッシュ カウンシルとケンブリッジ英語検定が運営する国際英語テスト システムでは、1985 年に「プロファイル採点法」を採用した。 [67]
- ルーブリック。いくつかのライティング特性をいくつかの達成レベルで均等に評価する事前設定されたチェックリストであるルーブリックは、単純すぎる、文化や発達の違いを考慮していない、誤った前提に基づいているなどの批判を受けてきた。大学の作文教師のグループにライティングの「評価基準」を尋ねたところ、5つや6つの基準ではなく、124の基準が挙げられた。[68]ルーブリックでは基準が互いに独立していると想定されているが、研究では、読者が1つまたは2つの基準に与えるスコアが、他の基準に与えるスコアに影響を与えることがわかっている（ハロー効果）。[69]また、事前設定された同等に評価される基準は、不均一で、普遍的ではなく、退行的である可能性のある若い成人のライターの発達には適合しない。[70] [71] [72]最も根本的な点として、標準化されたルーブリックは、事前に決定された言語の結果を提案するが、言語は決して決定されず、文脈から自由になることもない。ルーブリックは「複雑なシステムの結果を予測するための決定論的な公式」を使用している[73]。これは、大規模なテストの総括的なスコアや教室での形成的フィードバックに使用されるルーブリックに対して向けられた批判である。
- 脱文脈化。伝統的な全体的採点法では、文章の重要な文脈が消去される可能性がある。たとえば、異なるトピックや異なるジャンルの文章に対して、時間制限のある即興の草稿で応答する異なる筆者への影響などである。 [74]対照的修辞学の観点からは、筆者の重要な文化的違いも消去される可能性がある。たとえば、国際教育達成度評価協会の研究者が、フィンランド、韓国、米国の学生が書いたエッセイを評価する基準を作成しようとしたとき、「全体的採点はコミュニティの違いにより、最初から失敗するだろう」とわかった。[75]全体的採点法、特に評価者の信頼性を高めるために厳しく管理された評価者のトレーニングを伴う特性情報に基づく採点法では、採点者の生態も無視される可能性がある。採点システムは、押し付けられたコンセンサスによって自然な読書反応から人為的に追い出された読者の集団を作り出す。[76] [77]このような懸念から、オハイオ大学、ルイビル大学、ワシントン州立大学などの教育機関は、過去の授業で書いたエッセイのポートフォリオを使って学生のライティング能力を評価するようになりました。[78]
- 公平性。作文の総合的な採点は、客観的なテストよりも少数派や第二言語の書き手にとって公平であると擁護されてきたが、[79] [80]総合的な採点にも公平性に関する問題があることを示す証拠も集められている。低所得の受験者にとってコーチングは手頃ではなかった。[81]アフリカ系アメリカ人の学生は、フロリダ州の CLAST テストのエッセイ部分でより多くの問題を抱えていた。[82] CUNY ライティング評価テストのエッセイのプロンプトは「内容的に公平で文化に左右されない」ものではなく、ヒスパニック系やその他の第二言語の書き手にとってより多くの問題を引き起こした。[83]教育テストサービスは、テストの公平性について長年懸念を示してきたが、[84] [85] 現在、総合的な採点の不公平な結果に関する研究は、おそらく専門家の直感に遅れをとっており、それらの結果を文書化するために、より判別的な統計分析を適用する必要があると思われる。[86]
総合的な評価を使用するプロジェクト
多くの教育機関では、卒業要件の一部として学生の文章を評価する際に総合的な採点法を採用しています。[3]例としては次のようなものがあります。
- 国家教育達成証明書はニュージーランドの卒業証明書であり、総合的な評価に基づいて採点されます。[87]
- アメリカ合衆国では、大学院入学資格試験（GRE）は総合的な評価を採用している。[88]
参考文献
- ^ Nordquist, Richard (2017年3月7日). 「What Is Holistic Grading?」. ThoughtCo . 2018年12月11日閲覧。
- ^ abビショップ、アラン; クレメンツ、MA（ケン）; カイテル＝クライト、クリスティン ;キルパトリック、ジェレミー; ラボルド、コレット（2012）。国際数学教育ハンドブック。ドルドレヒト：シュプリンガーサイエンス＆ビジネスメディア。pp. 354–355。ISBN 978-94-010-7155-0。
- ^ ab 「用語を理解する: 全体的、分析的、および単一ポイントのルーブリック」。Cult of Pedagogy。2014年5月1日。 2018年12月11日閲覧。
- ^ 「Holistic Scoring in More Detail」. writing.colostate.edu . 2018年12月11日閲覧。
- ^ Cooper, CR (1977)。「ライティングの総合的評価」。CR Cooper および L. Odell (編)、『ライティングの評価: 記述、測定、判断』、3-31 ページ。イリノイ州アーバナ: 全米英語教員協会。
- ^ Myers, M. (1980). 「ライティング評価と総合的な採点の手順」イリノイ州アーバナ：全米英語教育協議会。
- ^ White, EM (1986).ライティングの指導と評価：生徒の成績の理解、評価、改善における最近の進歩サンフランシスコ：Jossey-Bass Publishers。
- ^ Oliveri, ME, McCulla, L. (2019). 職場における英語コミュニケーションの評価と改善のための職業ネットワークデータベースの使用（研究報告書番号 RR-19-2）。プリンストン、ニュージャージー：教育テストサービス。
- ^ Ballard, PB (1923). The New Examinerロンドン: ロンドン大学出版局。
- ^ Elliot, N. (2005). On a Scale: A Social History of Writing Assessment in America . ニューヨーク: Peter Lang.
- ^ Weir, CJ, Vidakovic, I., Galaczi, ED (2013).測定された構成概念: 1913-2012 年のケンブリッジ英語検定試験の歴史。ケンブリッジ、イギリス: ケンブリッジ大学出版局
- ^ エッジワース、FY (1988)。「試験の統計」。王立統計学会誌51 :599-635。
- ^ エッジワース、FY (1890)。「競争試験における偶然の要素」。王立統計学会誌 53 : 460-475, 644-663。
- ^ Starch, D., Elliott, EC「高校の成績評価の信頼性」School Review 20 : 254-259 。
- ^ Thomas, CW, et al. (1931). 『英語による試験の検討：大学入学試験委員会への報告書』 ケンブリッジ、マサチューセッツ州：ハーバード大学出版局。
- ^ Slomp, D., Corrigan, J., Sugimoto, T. (2014). 「大規模なライティング評価を評価する際に結果的妥当性証拠を使用するためのフレームワーク」英語教育研究、48(3): 276-302。
- ^ Joughin, Gordon (2008).高等教育における評価、学習、判断。Cham: Springer Science & Business Media。p. 48。ISBN 978-1-4020-8904-6。
- ^ フランク、オロフ（2017）。倫理教育における評価：宗教教育における国家試験の事例。シャム、スイス：シュプリンガー。p.72。ISBN 978-3-319-50768-2。
- ^ 以下の名前は、Haswell, R., & Elliot, N. (2019). Early Holistic Scoring of Writing: A Theory, a History, a Reflection . Logan, UT: Utah State University Press, pp. 24-25 から引用したものです。
- ^ Coffman, W. (1971). 「英語のエッセイ試験の評価の信頼性について」英語教育研究 5 (1):24-36。
- ^ Hartog, PJ, Rhodes, EC, Burt, CL (1936)。『試験官の採点：独立試験官と試験委員会による試験問題への採点の比較、口頭試問に関するセクション付き』ロンドン：マクミラン。
- ^ ワイズマン、S.（1949）。「文法学校選抜における英語作文の採点」英国教育心理学誌 19（3）：200-209。
- ^ Godshalk, FI, Swineford, F., Coffman, WE (1966).ライティング能力の測定ニューヨーク: 大学入学試験委員会.
- ^ エリオット（2005年、158-165頁。
- ^ Whithaus, C. (2010). 「分散評価」、WPA-CompPile 研究書誌、第 3 号。WPA-CompPile 書誌
- ^ Eley, EG (1956). 「言語芸術のテスト」現代言語ジャーナル 40 (6): 310-315。
- ^ Scriven, M. (1974)。「製品、プロデューサー、および提案の評価のためのチェックリスト」WJ Popham (編)、教育における評価: 現在のアプリケーション、7-33。カリフォルニア州バークレー: McCutchan Publishing Co.
- ^ Bossone, RM (1969).ニューヨーク市立大学コミュニティカレッジの補習英語コース受講生のライティング問題。ニューヨーク：CUNY特別プログラム研究評価ユニット。ERIC文書複製サービス、ED 028 778
- ^ Diederich, PB (1966). 「ライティング能力の成長を測定する方法」English Journal 55 (4): 435-449.
- ^ ホワイト（1985）、23-26ページ。
- ^ ハスウェルとエリオット（2019）、99-109ページ
- ^ Diederich, PB (1946). 「ライティングスキルの測定」スクールレビュー54(10):584-592.
- ^ Deane, P., Williams, F., Weng, V., Trapani, CS (2013). 「Automated Essay Scoring in Innovative Assessments of Writing from Sources」. Journal of Writing Assessment 6 (2013). 2022年1月10日閲覧。
- ^ Educational Testing Service。e-rater スコアリング エンジンに関するよくある質問。2021 年 1 月 9 日閲覧。
- ^ Weir、Vidakovic、Galaczi、p.201。
- ^ 資格・試験局 (2014)。二重採点研究レビュー、p. 10。コベントリー：Ofqual。
- ^ 「TOEFL iBTテストライティングセクション」www.ets.org . Educational Testing Service . 2022年2月25日閲覧。
- ^ ボイド、W. (1924)。作文、スペリング、算数における測定装置。ロンドン：ハラン。
- ^ Hartog, PJ, Rhodes, EC、およびBurt, CL (1946)。
- ^ ワイズマン、S.
- ^ Brooks, V. (1980)。エッセイ採点の信頼性の向上：英語作文に特に関連した文献の調査。中等教育修了証書研究プロジェクト報告書 5。レスター：レスター大学。
- ^ Hamp-Lyons, L. (2016). 「総合的な採点法に別れを告げるか？」Assessing Writing 27 : A1-A2; 29 : A1-A5。
- ^ Diederich, PB (1946). 「ライティングスキルの測定」スクールレビュー 54 (10):584-592.
- ^ ハスウェルとエリオット、99-109ページ
- ^ Fuess, CM (1950). The College Board: Its First Fifty Years . ニューヨーク: Columbia University Press.
- ^ ハスウェルとエリオット、160-163ページ。
- ^ White, E.、カリフォルニア州立大学・カレッジ英語協議会、Friedrich, G.、Burbank, R.、Cowell, W. 共著 (1973)。比較と対照: 1973 年カリフォルニア州立大学・カレッジ英語同等性試験。ロサンゼルス、カリフォルニア州: カリフォルニア州立大学・カレッジ学長室。ERIC 文書複製サービス、ED 114 825。
- ^ Coward, AF (1952). 「英語作文の採点方法2つの比較」教育研究ジャーナル46(2):81-93。
- ^ エリオット（2005）、158-165頁。
- ^ Rentz, RR (1984). 「ライティングによるライティングのテスト」教育測定：問題と実践 3 (4): 4.
- ^ McCready, M., および Melton, VS (1983)。「州全体のプログラムにおけるライティング評価の課題」。全米ライティングテストネットワークのノート 2 : 18、22。2022年1月9日閲覧。
- ^ National Writing Project. (2017). National Writing Project が高品質のライティング評価サービスを提供。2022 年 1 月 9 日閲覧。
- ^ 「University Writing Portfolio」. writingprogram.wsu.edu . ワシントン州立大学. 2022年2月25日閲覧。
- ^ Cherry, RD、および Meyer, PR (1993)。「総合的採点における信頼性の問題」MM Williamson および BA Huot 著『ライティング評価における総合的採点の検証: 理論的および実証的基礎』pp. 109-141。Cresskill、NJ: Hampton Press。
- ^ Williamson, D. M, Xi, X, Breyer, FJ (2012)「自動採点の評価と使用のためのフレームワーク」教育測定：問題と実践31（1）：2-13。
- ^ Swartz, R., Patience, WM, Whitney, DR (1985). GEDライティングスキルテストへのエッセイの追加：信頼性と妥当性の問題。GEDテストサービス調査研究第7号。一般教育テストサービス：ワシントンDC 2022年1月10日閲覧。
- ^ Hayes, JR, Hatch, JA, Silk, CM (2000)。「総合評価はライティング能力を予測するか？総合的に採点されたライティング課題における生徒の成績の一貫性の推定」Written Communication 17 (1): 3-26。[1] Wiseman (1949)、p. 206。
- ^ メロン、JC (1972)。「[全国教育進歩評価報告書3および5の]レビュー」英語教育研究 6 (1):86-105。
- ^ Gray, JR, Ruth, LR (編)ライティング課題の特性: 総合的評価のための代替手順の研究。国立教育研究所最終報告書、NIE-G-80-0034。カリフォルニア州バークレー: カリフォルニア大学バークレー校。ERIC文書複製サービス、ED 230 576。2022年1月12日閲覧。
- ^ Charney, D. (1984). 「総合的な採点法を用いたライティング評価の妥当性：批判的概観」英語教育研究 18 (1):65-83。
- ^ Purves, AC (1984). 「作文の採点のための国際的に有効な方式の探求」大学作文とコミュニケーション35(4):426-438。
- ^ Hudson, SA、Veal, LR (1981)。ライティングの直接的および間接的な測定に関する実証的調査：1980～1981 年ジョージア州能力基準教育ライティング評価プロジェクトの報告書。ERIC文書複製サービス、ED 205 993。
- ^ Topol, B., Olson, J., Roeber, E. (2014). 「価格設定研究: 学生のエッセイの機械採点」. Getting Smart . 2022年1月20日閲覧。
- ^ バロン、JB (1984)。「コネチカット州におけるライティング評価：識別に対する全体論的視点と指導に対する分析的視点」教育測定：問題と実践 3（1）：27-28、38。
- ^ Elliot, N., Plata, M., Zelhart, PF (1990).ライティングの総合的評価のためのプログラム開発ハンドブック.メリーランド州ランハム: University Press of America.
- ^ Mullis, IVS (1967). 「ライティング課題の採点のための主要特性システム」。州教育委員会：コロラド州デンバー。ERIC文書複製サービス、ED 202 761。2022年1月12日閲覧。
- ^ Hamp-Lyons, L. (1987). 「総合的な採点から特定の学術的文章のプロファイル採点へ」。国立テストネットワーク 7のノート(7)。2022年1月12日閲覧。
- ^ Broad, B. (2003).私たちが本当に大切にしていること: ライティングの指導と評価におけるルーブリックを超えてユタ州ローガン: ユタ州立大学出版局。
- ^ Freedman, SW (1979). 「生徒のエッセイの特徴が教師の評価に及ぼす影響」教育心理学ジャーナル 73 (3): 328-338.
- ^ フェルドマン、DH（1980）。認知発達における普遍性を超えて。ノーウッド、ニュージャージー：エイブレックス。
- ^ Bever, TG (編) (1982).精神発達における退行：基本現象と理論。ヒルズデール、ニュージャージー：Erlbaum。
- ^ Knoblauch, CH, Brannon, L. (1984).修辞の伝統とライティングの指導. アッパーモンクレア、ニュージャージー州: ボイントン/クック。
- ^ Wilson, M. (2018)、「ライティング評価の再考：スケールからストーリーへ」、p. xx。ニューハンプシャー州ポーツマス：ハイネマン。
- ^ グレイとルース（1982年）。
- ^ Wesdorp, H., Bauer, BA, Purves, AC (1982). 「作文の採点の概念化に向けて」.教育評価 5 (3):299-315.
- ^ Gere, AR (1980). 「作文：評価理論に向けて」College English 42 (1): 44-58.
- ^ Raymond, JC (1982). 「ライティングの評価について私たちが知らないこと」. College Composition and Communication 33 (4): 399-403.
- ^ Belanoff, P., Dickson, M., 編 (1991). Portfolios: Process and Product . ポーツマス、ニューハンプシャー州: Boyton/Cook Publishers.
- ^ White, EM, Thomas, LL (1981). 「カリフォルニア州立大学およびカレッジにおける人種的マイノリティとライティングスキルの評価」College English 43 (3): pp. 276-283.
- ^ Shaefer, R., Rankin, D. (1985)、「州全体の教師認定モデル」。全米テストネットワークのライティングに関するメモ5:5-6。2022年1月12日閲覧。
- ^ Fallows, J. (1980). テストと「優秀な人材」：大学入試委員会はどれほど公平か?アトランティック誌 245 (2): 37-48.
- ^ Rubin, SJ (1982). 「フロリダ州大学レベルの学術スキルプロジェクト：州全体でのコミュニケーションスキルのテスト」。ライティングに関する全国テストネットワークのノート1（5）：18。 2022年1月12日閲覧。
- ^ Ruiz, A., Diaz, D. (1983). 「ライティング評価とESL学生」。National Testing NetworkのNotes from the Writing 3 :5。2022年1月12日閲覧。
- ^ Breland, H., Ironson, GH (1976). 「DeFunisの再考: 代替入学戦略の比較分析」.教育測定ジャーナル13 (1): 89-99.
- ^ Breland, HM (1977). 「標準筆記英語テストのグループ比較」 ERIC Document Reproduction Service ED 146 228. 2022年1月12日閲覧。
- ^ Poe, M., Elliot, N. (2019). 「公平性の証拠: ライティング評価における25年間の研究」. Assessing Writing 42 : 100418. 2022年1月10日閲覧。
- ^ 「NCEA外部評価：成績評価」www.nzqa.govt.nz 。 2018年12月11日閲覧。
- ^ 「GRE一般試験の採点方法（受験者向け）」www.ets.org 。 2018年12月11日閲覧。