Loading article…
プログラム評価とは、プロジェクト、政策、プログラムに関する質問、特にそれらの有効性と効率性についての質問に答えるために情報を収集、分析、使用する体系的な方法です[1]。
公共部門と民間部門の両方、およびボランティア部門では、利害関係者は、法律または憲章に基づいて評価を要求されるか、または資金提供、実施、投票、受領、または反対しているプログラムが約束された効果を生み出しているかどうかを知りたい場合があります。ある程度、プログラム評価は、経済的資産やその他の資産の支出に対する公正な収益に関する従来の費用便益分析に該当します。ただし、社会的成果は市場成果よりも評価が複雑になる可能性があり、異なるスキルセットが必要です。考慮事項には、参加者1人あたりのプログラム費用、プログラムの影響、プログラムを改善する方法、より良い代替案があるかどうか、予期しない結果があるかどうか、プログラムの目標が適切で有用かどうかなどがあります。[2]評価者はこれらの質問に答えるのに役立ちます。評価を評価者と利害関係者の共同プロジェクトにすることがベストプラクティスです。[3]
プログラム評価者には、さまざまな肩書きが付けられており、時には無計画に付けられることもありますが、確立された用法がいくつかあります。仕事でプログラム評価のスキルやテクニックを定期的に使用する人は、プログラム アナリストと呼ばれます。管理アシスタントや秘書業務とプログラム評価を組み合わせた役職の人は、プログラム アシスタント、プログラム クラーク (英国)、プログラム サポート スペシャリスト、またはプログラム アソシエイトと呼ばれます。さらに、より低レベルのプロジェクト管理業務も担当する役職の人は、プログラムコーディネーターと呼ばれます。
評価のプロセスは比較的最近の現象であると考えられています。しかし、計画された社会評価は紀元前2200年まで遡ることが記録されています。[4]評価は、ケネディ政権とジョンソン政権に関連する偉大な社会社会プログラム の期間中、1960年代に米国で特に重要になりました。[5] [6]社会プログラムに莫大な金額が投資されましたが、これらの投資の影響はほとんど知られていませんでした。[引用が必要]
プログラム評価には、社会調査の量的手法と質的手法の両方が含まれる。プログラム評価を行う人々は、社会学、心理学、経済学、社会福祉学、さらには政策分析として知られる同様の方法論を学んだ公共政策や行政学などの政治学の分野など、さまざまなバックグラウンドを持つ。一部の大学では、特に大学院レベルでプログラム評価の特別なトレーニングプログラムを用意しており、プログラム評価スキルが不足している学部の科目を学んだ人を対象としている。[7]
評価の実施
プログラム評価は、プログラムの存続期間中に複数の段階で実施されることがあります。各段階では、評価者が回答すべきさまざまな質問が生じ、それに応じてさまざまな評価アプローチが必要になります。Rossi、Lipsey、Freeman (2004) は、これらのさまざまな段階で適切と思われる次のような評価方法を提案しています。
- プログラムの必要性の評価
- プログラム設計とロジック/理論の評価
- プログラムがどのように実施されているかの評価 (つまり、計画どおりに実施されているか? プログラムのプロセスは、可能な成果を最大化しているか?)
- プログラムの成果または影響の評価（つまり、実際に達成されたこと）
- プログラムのコストと効率の評価
ニーズの評価
ニーズ評価では、プログラムの対象とする人口を調査し、プログラムで概念化されたニーズが実際に人口に存在するかどうか、それが実際に問題であるかどうか、そしてもしそうなら、どのように対処するのが最善かを確認します。これには、プログラムが対処しようとしている実際の問題を特定して診断すること、問題の影響を受けるのは誰または何か、問題はどの程度広がっているか、問題によって引き起こされる測定可能な影響は何かなどが含まれます。たとえば、ホームレスの軽減を目的とした住宅プログラムの場合、プログラム評価者は、特定の地理的領域に何人のホームレスがいるか、彼らの人口統計はどのようなものかを調べたい場合があります。Rossi、Lipsey、Freeman (2004) は、介入の必要性を適切に評価せずに介入を行うことに対して警告しています。必要性が存在しなかったり、誤解されていたりすると、多額の資金が無駄になる可能性があるからです。
ニーズ評価には、評価者が社会的ニーズを記述し診断するために使用するプロセスまたは方法が含まれます[8] これは評価者にとって不可欠です。なぜなら、評価者はプログラムが効果的かどうかを判断する必要があり、問題/ニーズが何であるかを特定しなければこれを行うことができないからです。ニーズ評価を行わないプログラムは、実際にはそもそもニーズがなかったにもかかわらず、問題/ニーズを根絶したという幻想を抱く可能性があります。ニーズ評価には、プログラムを開発して実装する前に、調査とコミュニティの利害関係者およびプロジェクトの恩恵を受ける人々との定期的な協議が含まれます。したがって、ボトムアップのアプローチである必要があります。この方法では、プロセスによってコミュニティがニーズの特定に関与し、潜在的な障壁を特定する機会が得られるため、潜在的な問題を早期に認識できます。
したがって、プログラム評価者の重要な仕事は次のようになります。まず、問題が何であるかを正確に定義します。[8]評価者はまず問題/ニーズを特定する必要があります。これは、潜在的な問題の影響を受けるコミュニティ、問題に対処して解決するために取り組んでいるエージェント/アクター、資金提供者など、考えられるすべての利害関係者を協力的に含めることで最も効果的に行うことができます。プロセスの早い段階で賛同を得ることで、後になって反発や誤解、不完全な情報が生じる可能性を減らすことができます。
第二に、問題の範囲を評価する。[8] 問題が何であるかを明確に特定したら、評価者は次に問題の範囲を評価する必要がある。評価者は「どこに」そして「どれくらい大きい」という質問に答える必要がある。評価者は問題がどこにあり、どれくらい大きいのかを解明する必要がある。問題が存在することを指摘することは、それがどこにあり、どれくらい蔓延しているかを特定するよりもはるかに簡単である。Rossi、Lipsey、Freeman (2004) は、次のような例を挙げている。虐待を受けた子供を何人か特定することは、児童虐待が存在することを説得するのに十分な証拠となるかもしれない。しかし、それが何人の子供に影響を与え、地理的および社会的にどこにあるのかを示すには、虐待を受けた子供、加害者の特徴、および問題が問題の政治権力全体に及ぼす影響についての知識が必要になる。
児童虐待は公の場での行為ではないことを考慮すると、これは難しいことかもしれない。また、報告されていないケースなどの要因により、私的な行為の割合を推定することは通常不可能であることも念頭に置いておく必要がある。この場合、評価者は複数のソースからのデータを使用し、発生率を推定するためにさまざまなアプローチを適用する必要がある。答えなければならない質問があと 2 つある: [9] 評価者は、「どのように」と「何を」という質問にも答える必要がある[9]「どのように」という質問では、評価者はニーズにどのように対処するかを決定する必要がある。ニーズを特定し、コミュニティに精通した後、評価者はパフォーマンス分析を実施して、プログラムで提案された計画が実際にニーズを排除できるかどうかを特定する必要がある。「何を」という質問では、評価者はタスク分析を実施して、最適なパフォーマンス方法を見つける必要がある。たとえば、職務遂行基準が組織によって設定されているかどうか、またはタスクを実行する際に政府の規則を考慮する必要があるかどうかなどである。[9]
第三に、介入の対象を定義して特定し、その集団のサービスニーズの性質を正確に記述します[8] 対象集団が何であるかを知ることが重要です。対象集団は個人、グループ、コミュニティなどです。対象集団には、危険にさらされている集団、支援を必要としている集団、需要のある集団の3つの単位があります[8]
- リスクのある人口: リスクを発症する可能性が高い人々です。例: 避妊プログラムのリスクのある人口は、出産可能年齢の女性です。
- 支援を必要とする人々: プログラムが対処しようとしている症状を持つ人々です。たとえば、HIV 陽性の人々に ARV を提供することを目的としたプログラムを必要とする人々は、HIV 陽性の人々です。
- 需要のある人口: ニーズがあることに同意し、プログラムが提供するものに参加する意思のある、支援を必要とする人口の一部。たとえば、HIV 陽性者全員が ARV の服用を希望するわけではありません。
対象者が何であるかを特定できれば、適切な境界を設定するのに役立ち、介入が対象集団に正しく対応し、適用可能になる< [8]
ニーズ評価には4つのステップがある。[10]
- 「ギャップ」分析を実行する
- 評価者は、現在の状況と望ましい状況または必要な状況を比較する必要があります。 2 つの状況の違いまたはギャップは、プログラムの必要性、目的、目標を特定するのに役立ちます。
- 優先順位と重要性を特定する
- 上記の最初のステップでは、評価者は、トレーニングと開発、組織開発など、潜在的にニーズに対応できるいくつかの介入を特定しているはずです。次に、プログラムの目標と制約に対する重要性の観点から、これらを検討する必要があります。これは、費用対効果 (プログラムの予算を考慮し、費用対効果の比率を評価する)、経営陣の圧力 (経営陣が解決策を期待しているかどうか)、および対象者 (多くの主要人物が関与しているかどうか) などの要素を考慮して行う必要があります。
- パフォーマンスの問題や機会の原因を特定する
- ニーズの優先順位が決まったら、次のステップは、対処が必要な特定の問題領域を特定することです。また、介入を実施する人々のスキルも評価します。
- 可能な解決策と成長の機会を特定する
- 介入が実施された場合と実施されなかった場合の結果を比較します。
そもそも問題が何であったかがわからなければプログラムの有効性を評価することはできないため、ニーズ分析はプログラムを評価する上で非常に重要なステップです。
プログラム理論の評価
プログラム理論は、ロジックモデル、ナレッジマップ[11] 、またはインパクトパスウェイ[12]とも呼ばれ、プログラムの設計方法に暗黙的に含まれている、プログラムの行動が意図する結果をどのように達成するかについての仮定です。この「ロジックモデル」は、プログラムを実行する人々によって明示的に述べられることはなく、単に想定されているだけであることが多いため、評価者はプログラムスタッフからプログラムが目的を達成する方法を正確に引き出し、このロジックが妥当かどうかを評価する必要があります。たとえば、HIV予防プログラムでは、HIV/AIDSの感染、リスク、安全な性行為について人々を教育することで、より安全な性行為が実践されるようになると想定される場合があります。しかし、南アフリカでの研究では、教育と知識の向上にもかかわらず、人々は依然として安全な性行為を実践していないことがますます明らかになっています。[13]したがって、人々にコンドームを使用させるための手段として教育に頼るプログラムのロジックは間違っている可能性があります。このため、この分野で行われた研究を読むことが重要です。このロジックを解明することで、プログラムの意図しない、または予期せぬ結果（良い結果と悪い結果の両方）が明らかになることもあります。プログラム理論は、影響評価をテストするための仮説を推進します。ロジックモデルを開発することで、プログラムが実際に何をすべきか、どのようにすべきかについて、プログラムスタッフと利害関係者の間で共通の理解を構築することもできますが、これは欠けていることが多いです（参加型影響経路分析を参照）。もちろん、プログラムの背後にあるロジックモデルを引き出そうとする過程で、評価者がそのようなモデルが不完全に開発されているか、内部的に矛盾しているか、（最悪の場合）本質的に存在しないことに気付く可能性もあります。これは評価の有効性を明らかに制限しますが、必ずしもプログラムを削減または排除するわけではありません。[14]
ロジックモデルを作成することは、特に評価の準備をする場合に、プログラムの重要な側面を視覚化するのに役立つ素晴らしい方法です。評価者は、さまざまな利害関係者からの意見を取り入れてロジックモデルを作成する必要があります。ロジックモデルには、リソースまたは入力、アクティビティ、出力、短期的成果、長期的成果という 5 つの主要なコンポーネントがあります[15] ロジックモデルを作成すると、問題、問題に対処するために現在使用されているリソースと能力、およびプログラムからの測定可能な成果を明確にするのに役立ちます。全体的な短期および長期の目標に関連してプログラムのさまざまなコンポーネントを見ると、潜在的な不一致が明らかになります。実際のロジックモデルを作成することは、すべての利害関係者にとって問題の定義、包括的な目標、プログラムの能力と出力を明確にするのに役立つため、特に重要です。[15]
Rossi、Lipsey、Freeman（2004）は、プログラム理論を評価するために使用できる4つのアプローチと手順を提案しています。[8]これらのアプローチについては以下で説明します。
- 社会的ニーズに関連した評価[8]
これには、プログラム理論を、プログラムが対象とする対象集団のニーズと関連付けて評価することが含まれます。プログラム理論が対象集団のニーズに対応できない場合、たとえプログラムが適切に実施されたとしても効果がありません。[8]
- 論理と妥当性の評価[8]
この形式の評価では、専門家の審査員団に、プログラムの設計に内在する仮定と期待の論理と妥当性を批判的に審査するよう依頼します。[8]この審査プロセスは、プログラム設計に関する特定の問題に対処するために、構造化されておらず、オープンエンドです。Rutman (1980)、Smith (1989)、Wholly (1994) は、審査プロセスを支援するために、以下に挙げる質問を提案しました。[8]
- プログラムの目標と目的は明確に定義されていますか?
- プログラムの目標と目的は実現可能でしょうか?
- プログラム理論で想定されている変化のプロセスは実現可能でしょうか?
- 対象集団のメンバーを特定し、彼らにサービスを提供して、完了までそのサービスを維持するための手順は、明確に定義され、十分ですか?
- プログラムの構成要素、活動、機能は適切に定義され、十分ですか?
- プログラムとそのさまざまな活動に割り当てられたリソースは適切ですか?
- 研究と実践の比較による評価[8]
この形式の評価では、プログラム理論のさまざまな要素を評価するために、研究文献や既存の実践から情報を得る必要があります。評価者は、プログラム理論が、同様の概念を持つプログラムの研究証拠や実践経験と一致しているかどうかを評価できます。[8]
- 予備観察による評価[8]
このアプローチでは、プログラム理論とプログラム自体の一致に関する現実確認を提供するため、評価プロセスに直接的な観察を組み込むことが含まれる。[8]観察は、成果の達成可能性、対象集団の状況、プログラム活動と支援リソースの妥当性に焦点を当てることができる。[8]
プログラム理論が健全であることを保証するために、プログラム理論のさまざまな形式の評価を実施できます。
Wright と Wallis (2019) は、理論の構造に基づいてプログラム理論を評価するための追加の手法について説明しました。統合命題分析 (IPA) として知られるこのアプローチは、理論の構造 (意味とデータに加えて) が優れている場合、理論が期待どおりに機能する可能性が高くなることを発見した研究の流れに基づいています。IPA では、まず命題 (因果関係の記述) を特定し、それらの命題の視覚的な図を作成します。次に、研究者は概念の数と概念間の因果関係 (図の円と矢印) を調べて、理論の構造に反映された理解の広さと深さを測定します。広さの尺度は概念の数です。これは、実際のプログラムには多くの相互接続された部分が含まれており、したがって、より多くの概念を示す理論は、プログラムの理解の広さが大きいことを示すという考えに基づいています。深さは、複数の他の概念の結果である概念の割合です。これは、現実世界のプログラムでは、物事には複数の原因があるという考えに基づいています。したがって、理論内の複数の他の概念の結果である概念は、その概念の理解度が高いことを示し、理解度の高い概念の割合が高い理論は、プログラムの理解度が高いことを示します。
実装の評価
プロセス分析は、プログラムが何をすべきかという理論を超えて、プログラムがどのように実施されているかを評価する。この評価は、プログラムの成功に不可欠であると特定されたコンポーネントが実施されているかどうかを判定する。評価は、対象集団に到達しているか、人々が意図されたサービスを受けているか、スタッフが十分な資格を有しているかを判断する。プロセス評価は、プログラムが効果的に実施されているかどうかを評価するために繰り返し測定を使用できる継続的なプロセスである。この問題は、特に教育や公共政策などの分野で多くのイノベーションがかなり複雑な一連の行動から成り立っているため、特に重要である。たとえば、プロセス評価は公衆衛生研究に使用できる。[16]これらの要素の多くは、他の要素の事前の正しい実施に依存しており、事前の実施が正しく行われていない場合は失敗する。これは、 1980 年代にGene V. Glassおよびその他多くの人々によって決定的に実証された。不正確または効果のない実施は、質の低いイノベーションの正しい実施によって生じるのと同じ種類の中立的または否定的な結果をもたらすため、評価研究では実施プロセス自体を評価することが不可欠である。[17]そうでなければ、優れた革新的なアイデアが、実際には設計どおりに実行されなかっただけなのに、誤って効果がないと見なされる可能性がある。
影響（有効性）の評価
影響評価では、プログラムの因果関係を判断します。これには、プログラムが意図した成果、つまりプログラム成果を達成したかどうかを測定しようとすることが含まれます。
プログラムの成果
成果とは、プログラムによって変化したと期待される対象集団または社会状況の状態である。[8] プログラムの成果は、対象集団または社会状況の観察された特性であり、プログラムのものではない。したがって、成果の概念は、必ずしもプログラムの目標が実際に変化したこと、またはプログラムが何らかの形で目標の変化を引き起こしたことを意味するわけではない。[8]
成果には成果レベルと成果変化の2種類があり、プログラム効果とも関連している。[8]
- 結果レベルとは、ある時点での結果の状態を指します。
- 結果の変化とは、異なる時点での結果レベルの差を指します。
- プログラム効果とは、他の要因の影響ではなく、プログラムにのみ起因する結果の変化の部分を指します。
プログラムの成果の測定
成果測定とは、結果として定義された状況を、その状況の変化や違いに応じて体系的に変化する観察可能な指標によって表すことである。[8]成果測定は、プログラムが意図した成果をどの程度達成したかを体系的に評価する方法である。[18] Mouton (2009) によると、プログラムの影響を測定するということは、蓄積された差別化された近接効果と出現効果を実証または推定することを意味し、その一部は意図されておらず、したがって予見できないものである可能性がある。[19]
成果測定は、プログラムが効果的かどうかを理解するのに役立ちます。さらに、プログラムに対する理解を深めるのに役立ちます。しかし、この取り組みを行う最も重要な理由は、サービスを受ける人々に対する取り組みの影響を理解することです。[19]収集された情報を使用して、どの活動を継続して構築するか、プログラムの有効性を向上させるためにどの活動を変更する必要があるかを判断できます。
これには、プログラムの効果を測定し、プログラムとさまざまな結果との因果関係を見つけるために、高度な統計手法を使用することが含まれます。
効率性の評価
最後に、費用便益分析または費用効率分析は、プログラムの効率性を評価する。評価者は比較のためにプログラムの便益と費用を概説する。効率的なプログラムは費用便益比が低くなる。効率性には、静的効率性と動的効率性の2種類がある。静的効率性は最小のコストで目的を達成することに関係し、動的効率性は継続的な改善に関係する。 [20]
因果関係の特定
おそらく評価の最も難しい部分は、プログラム自体が対象集団に観察される変化を引き起こしているかどうかを判断することです。プログラム外部のイベントまたはプロセスが、観察された結果の本当の原因である可能性があります (または、予測された結果の実際の防止である可能性があります)。
因果関係を特定することは困難です。その主な理由の1つは自己選択バイアスです。[21]人々は自分自身でプログラムに参加することを選択します。たとえば、職業訓練プログラムでは、参加することを決める人もいれば、参加しない人もいます。参加する人と参加しない人は重要な点で異なる場合があります。彼らは仕事を見つける決意が固かったり、より良いサポートリソースを持っていたりするかもしれません。これらの特性が、実際には職業訓練プログラムではなく、雇用の増加という観察された結果を引き起こしている可能性があります。
ランダム割り当てで実施された評価は、因果関係についてより強い推論を行うことができます。プログラムに参加するか参加しないかをランダムに割り当てると、自己選択バイアスが軽減または排除されます。したがって、参加したグループと参加しなかったグループを比較しやすくなります。
ただし、ほとんどのプログラムではランダム割り当てを使用できないため、因果関係を判定することはできません。それでも、影響分析は有用な情報を提供します。たとえば、プログラムの結果を説明できます。したがって、評価では、プログラムに参加した人は参加しなかった人よりも特定の結果を経験する可能性が高いことを説明できます。
プログラムがかなり大きく、十分なデータがある場合は、統計分析を使用して、たとえば他の原因は考えにくいことを示すことにより、プログラムの妥当性を証明できます。
信頼性、妥当性、感度
プログラム評価に使用される手段（テスト、アンケートなど）が可能な限り信頼性、妥当性、感度が高いことを確認することが重要です。Rossi ら (2004、p. 222) によると、[8]「不適切に選択された、または不適切に考案された尺度は、誤解を招く推定値を生み出し、影響評価の価値を完全に損なう可能性があります。結果尺度が有効で、信頼性が高く、適切な感度である場合のみ、影響評価は信頼できるとみなされます。」
信頼性
測定機器の信頼性とは、「同じものを測定するために繰り返し使用したときに、測定機器が同じ結果を生み出す程度」です（Rossi et al., 2004, p. 218）。[8]測定機器の信頼性が高いほど、統計的検出力が高まり、結果の信頼性が高まります。測定機器が信頼できない場合、プログラムの実際の効果が薄れて不明瞭になり、「実際よりも効果が低いように見える」可能性があります（Rossi et al., 2004, p. 219）。[8]したがって、評価が可能な限り信頼できることを確認することが重要です。
有効
測定機器の妥当性とは、「測定対象をどの程度測定できるか」である（Rossi et al., 2004, p. 219）。[8]この概念は正確に測定することが難しい場合がある。評価で一般的に使用される場合、機器は利害関係者（利害関係者には、たとえば資金提供者、プログラム管理者などが含まれる）によって有効であると認められた場合に有効であるとみなされる。
感度
評価プロセスの主な目的は、プログラムが是正しようとしている社会問題に効果があるかどうかを測定することです。したがって、測定機器はこれらの潜在的な変化を識別できるほど感度が高くなければなりません (Rossi et al., 2004)。[8]プログラムが影響を与える可能性のない結果を測定する項目が含まれている場合、または機器がグループ設定ではなく個人に適用するために元々開発されていた場合 (たとえば、標準化された心理学的尺度)、測定機器は感度が低い可能性があります (Rossi et al., 2004)。[8]これらの要因は「ノイズ」となり、プログラムが及ぼした可能性のある効果を不明瞭にする可能性があります。
信頼性、妥当性、感度の基準を十分に満たす評価だけが、信頼できる評価と言える。評価結果が広範囲に及ぶ可能性があるため、信頼できる評価を行うのは評価者の義務である。プログラムが目的を達成していることを示すことができない信用できない評価は、実際には前向きな変化を生み出しているにもかかわらず、プログラムが目的を達成していることを示すことができないため、プログラムが不当に資金を失う原因となる可能性がある。[不適切な統合? ]
プログラム評価フレームワークへのステップ
疾病対策センター（CDC）は、完全なプログラム評価を行うための6つのステップを説明しています。説明されているステップは、利害関係者の関与、プログラムの説明、評価設計の焦点、信頼できる証拠の収集、結論の正当化、そして教訓の活用と共有の確保です。[22] これらのステップは、評価の継続的なプロセスを表すサイクルフレームワークで実行できます。
集団的影響の評価
ここで述べたプログラム評価プロセスはほとんどのプログラムに適していますが、集合的影響（CI）モデルを使用するような非常に複雑な非線形の取り組みでは、動的な評価アプローチが必要です。集合的影響とは、「さまざまなセクターの重要な関係者のグループが、特定の社会問題を解決するための共通の課題に取り組むこと」[23]であり、通常は3つの段階があり、それぞれに推奨される評価アプローチが異なります。
- 初期段階: CI 参加者は、実行可能な戦略を模索し、行動計画を策定しています。不確実性が特徴です。
推奨される評価アプローチ: CIパートナーがイニシアチブとその開発の背景を理解するのに役立つ開発評価: [24]「開発評価には、イノベーターがシステムの変更をもたらそうとする際に、複雑で動的なシステムで何が出現しているかについてのリアルタイムのフィードバックが含まれます。」[25]
- 中期段階: CI パートナーは合意した戦略を実行します。一部の結果は予測しやすくなります。
推奨される評価アプローチ：進捗状況を洗練し改善するための形成的評価と、新たな要素が出現したときにそれを探求するための継続的な開発評価。形成的評価には、「出現した特性や予期しない結果に対応するためにプロセスを注意深く監視する」ことが含まれます。[26]
- 後期段階: 活動は安定し、形成段階は終了します。経験により、どの活動が効果的であるかに関する知識が得られます。
推奨される評価アプローチ：総括的評価では、「プロジェクトが何を達成したか、それがどのように、なぜ達成されたかをよりよく理解するために、定量的および定性的な方法の両方を使用します。」[27]
プログラム評価の計画
プログラム評価の計画は、評価の焦点を絞ること、情報を収集すること、情報を使用すること、評価を管理することの4つの部分に分けることができます。[28]プログラム評価では、評価の目的、どのような質問をする必要があるか、収集した情報で何を行うかについて検討します。検討すべき重要な質問は次のとおりです。
- 何を評価するのでしょうか?
- この評価の目的は何ですか?
- この評価は誰が使用しますか? どのように使用しますか?
- この評価はどのような質問に答えようとしているのでしょうか?
- 質問に答えるにはどのような情報が必要ですか?
- 評価はいつ必要ですか? どのようなリソースが必要ですか?
- 必要なデータをどのように収集するのでしょうか?
- データはどのように分析されますか?
- 実装のタイムラインは何ですか?
方法論上の制約と課題
低予算アプローチ
「低予算評価アプローチ」は、限られた予算、限られたデータへのアクセスや利用可能性、限られたターンアラウンドタイムで評価を行う評価者が、方法論的に厳密な効果的な評価を実施できるようにするために考案された (Bamberger、Rugh、Church & Fort、2004)。[29]このアプローチは、予算、時間的制約、限られたデータ利用可能性という困難な状況下で、より迅速かつ経済的な評価プロセスに対する継続的な高まるニーズに応えてきた。しかし、利用可能な最高水準を達成する評価を設計することが常に可能であるとは限らない。多くのプログラムでは、設計や予算に評価手順が組み込まれていない。したがって、多くの評価プロセスはプログラムがすでに開始されるまで開始されず、その結果、評価者にとって時間、予算、またはデータの制約が生じ、評価の信頼性、妥当性、または感度に影響を与える可能性がある。> 低予算アプローチは、これらの制約下で可能な限り最大限の方法論的厳密性を達成するのに役立つ。
予算の制約
多くの場合、プログラムは予算の制約に直面します。これは、ほとんどのオリジナル プロジェクトに評価を実施するための予算が含まれていないためです (Bamberger 他、2004)。したがって、評価には自動的に、厳密な評価には不十分な少額の予算が割り当てられることになります。予算の制約により、最も適切な方法論的手段を効果的に適用することが難しい場合があります。これらの制約は、結果的に、評価を行うために利用できる時間に影響を与える可能性があります (Bamberger 他、2004)。[29]予算の制約は、評価設計を簡素化し、サンプル サイズを見直し、経済的なデータ収集方法 (ボランティアによるデータ収集、調査の短縮、フォーカス グループと主要情報提供者の使用など) を模索するか、信頼できる二次データを探すことで対処できます (Bamberger 他、2004)。[29]
時間的制約
評価者が直面する可能性のある最大の時間的制約は、研究期間に比べて評価に与えられる時間が限られている場合、または適切な計画のための時間が十分に与えられていない場合、プロジェクトがすでに進行中のときに評価を行うよう評価者が呼び出された場合である。時間的制約は、評価者がプログラムが位置する地域や国に精通していない場合に特に問題となる（Bamberger et al., 2004）。[29]時間的制約は、上記の予算制約の項に挙げた方法、および限られた時間内で効果的なデータ収集と分析を確実に行うための慎重な計画によって対処することができる。
データの制約
評価がプログラムの後半で開始された場合、介入開始前の対象グループの状態に関するベースラインデータがない可能性があります（Bamberger et al., 2004）。[29]データ制約のもう1つの考えられる原因は、データがプログラムスタッフによって収集され、体系的な報告バイアスまたは不十分な記録管理基準が含まれており、結果としてほとんど役に立たない場合です（Bamberger et al., 2004）。[29]データ制約のもう1つの原因は、対象グループにアクセスしてデータを収集することが困難な場合（ホームレスの人々、麻薬中毒者、移民労働者など）に発生する可能性があります（Bamberger et al., 2004）。[29]データ制約は、二次データからベースラインデータを再構築するか、複数の方法を使用することで対処できます。定性的データと定量的データの組み合わせなどの複数の方法は、三角測量によって妥当性を高め、時間と費用を節約できます。さらに、これらの制約は、慎重な計画とプログラム関係者との協議によって対処できます。評価の前にクライアントのニーズを明確に特定して理解することで、信頼性を維持しながら、評価プロセスのコストと時間を合理化して削減できます。
全体として、時間、金銭、データの制約は、評価の妥当性、信頼性、移転可能性にマイナスの影響を与える可能性があります。 シューストリング アプローチは、コストと時間を削減し、ベースライン データを再構築し、既存の制約下で最大限の品質を確保する方法を特定することで、評価者が上記の制限を修正できるようにするために作成されました (Bamberger 他、2004)。
5段階アプローチ
5段階評価アプローチは、シューストリング評価アプローチの基礎となる戦略をさらに発展させたものである。[30] これはもともと、コミュニティベースのプログラムを評価する代替方法としてジェイコブス（1988）によって開発され、米国マサチューセッツ州の州全体の児童・家族プログラムに適用された。[31] 5段階評価アプローチは、プログラム自体の特性や、各評価コンテキストに固有の特定のリソースや制約に、評価をより正確に一致させるための概念的枠組みとして提案されている。[30]言い換えれば、5段階評価アプローチは、各評価コンテキストの特定のニーズに合わせて評価を調整しようとするものである。
初期の段階（1-3）では記述的かつプロセス指向の情報が生成され、後期段階（4-5）ではプログラムの短期的および長期的な効果の両方が決定されます。[32] 5つのレベルは次のように構成されています。
- ティア1：ニーズ評価（事前実装と呼ばれることもある）[33]
- レベル2: 監視と説明責任
- レベル3: 品質レビューとプログラムの明確化（理解と改善とも呼ばれる）[34]
- レベル4: 成果を達成する
- レベル5: 影響力を確立する
各層では、目的が特定され、その層の特定された目的を達成するための対応するタスクも特定されます。[34]たとえば、最初の層であるニーズ評価の目的は、コミュニティにおけるプログラムのニーズを文書化することです。その層のタスクは、すべての関連する利害関係者と協力してコミュニティのニーズと資産を評価することです。[34]
各層は連続的に使用できるように構成されており、前の層で収集された情報は、より上の層のタスクに必要となるが、評価の流動的な性質も考慮されている。[32]したがって、後の層から前の層に戻ったり、2つの層で同時に作業したりすることが可能となっている。[34]ただし、プログラム評価者は、プログラムは適切なレベルで評価されなければならないことに留意する必要がある。[33]
5段階アプローチは、コミュニティと参加者のエンパワーメントを重視する家族支援プログラムに有効であると言われています。これは、すべての関係者を巻き込んだ参加型アプローチを奨励し、この反省のプロセスを通じてエンパワーメントが達成されるためです。[31]
言語と文化がもたらす方法論上の課題
このセクションの目的は、開発途上国でプログラム評価を実施する際に評価者が直面する可能性のある方法論上の課題とジレンマのいくつかに注目することです。多くの開発途上国では、評価の主なスポンサーは先進国の援助機関であり、これらの機関は、説明責任とリソースの管理を維持し、プログラムの成功または失敗の証拠を作成するために、定期的な評価レポートを必要としています。[35] しかし、評価プログラムを実施しようとすると、評価者が直面するハードルや課題は多く、その適用対象となる文脈内で開発されていない技術やシステムを利用しようとします。[36] 問題のいくつかには、文化、態度、言語、政治プロセスの違いが含まれます。[36] [37]
エブット（1998、p. 416）は文化を「社会に浸透し、人々の社会的行動に影響を与える、明文化された期待、価値観、規範、規則、法律、人工物、儀式、行動の集合体」と定義しています。[37]文化は、データ収集、評価プログラムの実施、評価結果の分析と理解など、評価プロセスの多くの側面に影響を与える可能性があります。 [37] 特に、アンケートや半構造化インタビューなど、データ収集に伝統的に使用される手段は、異なる文化的背景で開発されたものである場合、文化の違いに敏感である必要があります。[38 ] 評価者が測定しようとしている構成の理解と意味は、評価者とサンプル母集団の間で共有されない可能性があるため、概念の転移は重要な概念です。これは、評価者が実行するデータ収集の品質、およびデータによって生成される分析と結果に影響を与えるためです。[38]
言語は文化と密接に結びついているため、評価プロセスでも重要な役割を果たします。[38] 言語は、評価者がアクセスしようとしている概念を伝える上で大きな障壁となる可能性があり、翻訳が必要になることがよくあります。[37] 翻訳には、意味の喪失や翻訳者による意味の誇張や強調など、さまざまな問題があります。[37] たとえば、文脈特有の用語は、同じ重みや意味を持つように別の言語に翻訳されない可能性があります。 特に、データ収集ツールでは意味を考慮する必要があります。特定の文脈では敏感ではないと見なされる可能性のある主題が、評価が行われている文脈では敏感であることが判明する可能性があるためです。[38] したがって、評価者は、データ収集ツールを管理する際に、語彙の等価性と概念の等価性という2つの重要な概念を考慮する必要があります。[38] 語彙の等価性は、2つの言語で同じ単語を使用して質問をどのように表現するかという質問をします。これは達成するのが難しい作業であり、逆翻訳などの技術の使用は評価者の助けになるかもしれないが、意味の完全な移転にはつながらないかもしれない。[38] これは次の点、概念の等価性につながる。概念が一つの文化から別の文化に明確に移転することは一般的ではない。[38] 適切なテストとパイロットテストを受けていないデータ収集機器は、機器によって測定される概念が異なる意味を帯び、機器が信頼できず無効になる可能性があるため、有用でない結果をもたらす可能性がある。[38]
したがって、開発途上国でプログラム評価を実施しようとする場合、評価者は文化や言語の違いによって生じる方法論上の課題を考慮する必要があることがわかります。
利用実績
評価結果の従来の利用法には、説得的利用、直接的（道具的）利用、概念的利用の 3 つがあります。
説得力のある活用
説得的利用とは、評価結果を利用して、聴衆に議題を支持するか反対するかを説得することです。「説得者」が評価を実施した人物と同一人物でない限り、この形式の利用は評価者にとってあまり興味深いものではありません。なぜなら、評価者は将来の説得の試みを予見できないことが多いからです。[8]
直接的な（道具的な）利用
評価者は、プログラムの構造やプロセスの改善に直接影響を与える結果を出すために、評価をカスタマイズすることがよくあります。たとえば、新しい教育介入の評価では、生徒の成績が向上していないことを示す結果が出る場合があります。これは、介入に健全な理論的背景がないためか、介入が当初の目的どおりに実施されていないためである可能性があります。評価の結果により、介入の作成者が設計図に戻って介入のコア構造を再構築したり、実施プロセスを変更したりするきっかけになることが期待されます。[8]
概念的利用
しかし、評価結果がプログラムの再構築に直接的な影響を与えないとしても、プログラムが解決しようとしている問題を人々に認識させるために使用できる可能性があります。新しい教育介入の評価の例に戻ると、その結果は、学生の学習障害に影響を与える可能性のあるさまざまな障壁について教育者と学生に知らせるためにも使用できます。この新しい情報によって、これらの障壁に関する多くの研究が開始される可能性があります。[8]
利用率に影響を与える変数
評価結果の有用性に影響を与えると思われる条件は5つある。すなわち、関連性、評価者と結果の利用者との間のコミュニケーション、利用者による情報処理、結果の妥当性、利用者の関与や支持の程度である。[8]
利用率を最大化するためのガイドライン
Rossi et al. (2004, p. 416)から直接引用: [8]
- 評価者は意思決定者の認知スタイルを理解しなければならない
- 評価結果は必要なときにタイムリーに提供されなければならない
- 評価は利害関係者のプログラムへのコミットメントを尊重しなければならない
- 利用と普及の計画は評価設計の一部であるべきである
- 評価には利用状況の評価も含まれるべきである
内部プログラム評価者と外部プログラム評価者
プログラムを評価する評価者の選択は、評価プロセスと同様に重要であると考えられます。評価者は、内部評価者（実行されるプログラムに関係する人物）または外部評価者（プログラムの実行/実施のどの部分にも関係しない人物）です。（監督サービス部門、2004 年）。以下は、監督サービス部門（2004 年）から引用した内部評価者と外部評価者の利点と欠点の簡単な要約です。内部評価者と外部評価者の利点と欠点のより包括的なリストについては、（監督サービス部門、2004 年）を参照してください。
内部評価者
利点
- プログラムに関する全体的な知識がより豊富で、プログラムに関する非公式な知識を持っている可能性がある
- スタッフとすでに親しいので脅威が少ない
- コストが低い
デメリット
- 客観性が低いかもしれない
- プログラムの他の活動に気を取られ、評価に十分な注意を払わない可能性がある
- 評価者として十分な訓練を受けていない可能性があります。
外部評価者
利点
- プロセスの客観性を高め、プロセスを観察し批評するための新たな視点や異なる角度を提供する
- 評価により多くの時間と注意を払うことができる可能性がある
- より高度な専門知識と評価力があるかもしれない
デメリット
- 契約、監視、交渉などにコストがかかり、時間がかかる可能性があります。
- プログラムスタッフに馴染みがなく、評価されることに不安を感じる可能性がある
- 組織のポリシーやプログラムに影響する特定の制約についてよく知らない場合があります。
3つのパラダイム
実証主義者
ポッター（2006）[39]は、プログラム評価における3つの広範なパラダイムを特定し、説明しています。最初の、そしておそらく最も一般的なのは、実証主義アプローチです。このアプローチでは、評価は、主に定量的な証拠を必要とする、プログラムに「客観的」で、観察可能で測定可能な側面がある場合にのみ行われます。実証主義アプローチには、ニーズ評価、プログラム理論の評価、プログラムプロセスの評価、影響評価、効率評価などの評価の側面が含まれます（ロッシ、リプシー、フリーマン、2004）。[40] 実証主義アプローチの詳細な例として、カリフォルニア州公共政策研究所が実施した「カリフォルニア州のコミュニティカレッジの学術プログラムの評価」という報告書があります。この報告書では、評価者が測定可能な活動（つまり、入学データ）を調査し、因子分析などの定量的な評価を行っています。[41]
解釈的
ポッター (2006) が特定した 2 番目のパラダイムは解釈的アプローチであり、評価者がすべての利害関係者の視点、経験、期待を理解することが不可欠であると主張されています。これにより、利害関係者が持つさまざまな意味とニーズをより深く理解できるようになります。これは、プログラムのメリットや価値を判断する前に不可欠です。評価者がプログラムと接触するのは多くの場合、長期間に及ぶため、標準化された方法はないものの、観察、インタビュー、フォーカス グループが一般的に使用されます。世界銀行が委託したレポートでは、定性的および定量的手法を統合して、1 つの方法だけでは得られない洞察を得られる可能性のある 8 つのアプローチについて詳しく説明しています。[42]
批判的解放的
ポッター (2006) は、プログラム評価に対する批判的解放的アプローチも特定しています。これは主に、社会変革を目的としたアクション リサーチに基づいています。このタイプのアプローチは、はるかにイデオロギー的であり、評価者側の社会活動主義の度合いがより高い場合が多くあります。このアプローチは、質的評価や参加型評価に適しています。ポッターは、このタイプの評価は、社会の権力構造に批判的に焦点を当て、参加とエンパワーメントを重視しているため、特に開発途上国で役立つ可能性があると主張しています。
プログラム評価で用いられるパラダイムが実証主義的、解釈的、批判的解放的のいずれであっても、評価は特定の社会政治的文脈で行われることを認識することが不可欠である。評価は真空中で行われるものではなく、すべての評価は、それを意識しているかどうかに関わらず、社会政治的要因の影響を受ける。この種の評価プロセスから得られる評価と結果は、特定のイデオロギー的、社会的、政治的アジェンダに有利にも不利にも使用される可能性があることを認識することが重要である (Weiss, 1999)。[43] これは、リソースが限られており、特定のプロジェクトを他のプロジェクトよりも優先させるために組織間で競争がある時代には特に当てはまる (Louw, 1999)。[44]
エンパワーメント評価
エンパワーメント評価は、評価の概念、手法、および結果を利用して、特定の対象集団/プログラム参加者を対象とした特定のプログラムの改善と自己決定を促進します。[45]エンパワーメント評価は、対象プログラムに変化をもたらすことにプログラム参加者を関与させることを目的とした価値志向です。エンパワーメント評価の主な焦点の 1 つは、評価プロセスの実施にプログラム参加者を組み込むことです。このプロセスの後には、多くの場合、プログラムに対する何らかの批判的考察が続きます。このような場合、外部/部外者の評価者はプログラム参加者のコンサルタント/コーチ/ファシリテーターとして機能し、参加者の視点からプログラムを理解しようとします。参加者の視点を明確に理解すると、適切な手順と戦略を考案し (参加者の貴重な意見を取り入れて)、望ましい結果を達成するために実行することができます。
フェッターマン（2002）[45]によると、エンパワーメント評価には3つのステップがあります。
- ミッションの確立
- 在庫確認
- 将来に向けた計画
ミッションの確立
最初のステップでは、評価者がプログラムの参加者とスタッフ メンバー (プログラム) にプログラムの使命を定義するよう求めます。評価者は、このような関係者を集めてプログラムの使命を考案し、話し合うように依頼することで、このステップを実行することもできます。このアプローチの背後にある論理は、プログラムの使命が実際には何であるかに関して、各関係者に異なる見解がある可能性があることを示すことです。
在庫確認
2 番目のステップである現状把握は、2 つの重要なタスクから構成されます。最初のタスクは、プログラム参加者とプログラム スタッフが、プログラムの機能に不可欠な現在の主要アクティビティのリストを作成することです。2 番目のタスクは、特定された主要アクティビティの評価、つまり優先順位付けに関するものです。たとえば、各パーティ メンバーは、各主要アクティビティを 1 から 10 のスケールで評価するように求められます (10 が最も重要で、1 が最も重要でない)。このタスク中の評価者の役割は、主要アクティビティに関する共通の意味と理解のベースラインを確立するために、メンバー間のインタラクティブなディスカッションを促進することです。さらに、主要アクティビティのいくつかを検討する際に、関連ドキュメント (財務レポートやカリキュラム情報など) をディスカッションに持ち込むこともできます。
将来に向けた計画
主要活動に優先順位を付けた後、次のステップは将来の計画を立てることです。ここで評価者は、プログラム参加者とプログラムスタッフに、リストされた主要活動に関連してプログラムをどのように改善したいかを尋ねます。目的は、作成されたミッション (ステップ 1) がストックテイク (ステップ 2) を導き、それが将来の計画 (ステップ 3) の基礎となる一貫性の糸口を作ることです。したがって、将来の計画では、特定の目標が関連する主要活動と整合されます。これに加えて、プログラム参加者とプログラムスタッフが、特定の目標に向けた進捗状況を監視できる証拠 (測定可能な指標) の可能な形式を特定することも重要です。目標は、プログラムの活動、人材、リソース、および能力の範囲に関連している必要があります。つまり、策定された目標は現実的である必要があります。
エンパワーメント評価のこれらの3つのステップは、プログラムをより効果的に、そして対象者のニーズにもっと応えて実行する可能性を生み出します。熟練した評価者によって促進されるプロセスとしてのエンパワーメント評価は、参加者に批判的に考え、プログラムについて振り返る「新しい」方法を提供することで、参加者を装備し、エンパワーメントします。さらに、プログラムの参加者とスタッフが、集団行動を通じてプログラムの変更をもたらす能力を自ら認識できるようにします。[46]
変革パラダイム
変革的パラダイムは、評価に社会正義を取り入れる上で不可欠です。この分野の第一人者であるドナ・メルテンスは、変革的パラダイムは「社会正義と人権を促進するために、主に疎外されたグループの視点に焦点を当て、混合手法を通じて体系的な権力構造を調査する」と述べています。[47]変革的パラダイムは、歴史的に評価で脇に追いやられてきた疎外されたグループが、評価における社会正義と人権を主張するために学者と協力し始めた後に生まれました。変革的パラダイムは、評価プロセスに多くの異なるパラダイムとレンズを導入し、評価プロセスを絶えず疑問視することにつながります。
アメリカ評価協会と全米ソーシャルワーカー協会はどちらも、評価を行う際に文化的適応能力を持つことの倫理的義務に注意を喚起している。評価における文化的適応能力は、評価が行われる文化的背景を積極的に認識し、理解し、評価する体系的な対応調査、評価活動の認識論を枠組みにまとめ、明確に表現する調査、文化的かつ文脈的に適切な方法論を採用する調査、そして、利害関係者が作成した解釈手段を使用して結果に到達し、その結果をさらに活用する調査と広く定義できる。[48] 多くの保健および評価のリーダーは、文化的適応能力は単純なチェックリストで判断できるものではなく、時間とともに発達する特性であると注意深く指摘している。評価における文化的適応能力の根底にあるのは、調査対象のコミュニティに対する真の敬意と、異なる文化的背景、慣行、思考のパラダイムを深く理解しようとするオープンさである。これには、異なる文化的背景を捉えるための創造性と柔軟性、および評価の文脈に存在する権力格差に対する高い意識が含まれる。重要なスキルには、違いを超えて信頼関係を築く能力、コミュニティのメンバーの信頼を得る能力、自己を振り返り自分の偏見を認識する能力などが含まれます。[49]
パラダイム
パラダイムである 価値論、存在論、認識論、方法論 は、評価における社会正義の実践を反映しています。これらの例は、人権における包摂と平等を促進することによって、社会の不平等と不正義に対処することに重点を置いています。
価値論（価値観と価値判断）
変革的パラダイムの価値的仮定は、4つの主要な原則に基づいています。[47]
- 文化を尊重することの重要性
- 社会正義の推進
- 人権の促進
- 不平等への取り組み
オントロジー（現実）
現実に対する見方の違いは、多様な価値観や人生経験によって決まります。そして、これらの価値観や人生経験は、障害、性別、性的アイデンティティ、宗教、人種/民族、国籍、政党、所得水準、年齢、言語、移民または難民の地位などの特性に基づく特権へのアクセスの違いと関連していることが多いです。[47]
認識論（知識）
知識は権力と特権の文脈の中で構築され、どのバージョンの知識に特権が与えられるかによって結果が左右されます。[47] 「知識は社会的、歴史的に複雑な文化的文脈の中に位置づけられています」[50]
方法論（体系的調査）
方法論的決定は、プロセスと調査結果を活用して社会正義を高めるための最適なアプローチを決定すること、現状維持を支える体系的な力と変化を可能にする力を特定すること、評価者と利害関係者の間の批判的かつ反省的な関係の必要性を認識することを目的としている。[47]
レンズ
社会正義に基づいて活動する上で、不正義を経験した人々の視点から世界を見ることができることが不可欠です。批判的人種理論、フェミニスト理論、クィア/LGBTQ 理論は、疎外されたグループに正義をもたらすことについて他の人々がどう考えるべきかを考える枠組みです。これらの視点は、不平等に対処する際に各理論を優先する機会を生み出します。
批判的人種理論
批判的人種理論（CRT）は、人種や民族に基づく不平等に焦点を当てた批判理論の延長です。ダニエル・ソロルサノは、CRTの役割は、人種差別の差別的かつ抑圧的な現状が続くことを許す社会の体系的な側面を調査し、可視化するための枠組みを提供することであると説明しています。[51]
フェミニスト理論
フェミニスト理論の本質は、「女性やその他の抑圧された集団へのアクセスを拒否し、女性を無視したり軽視したりしてきた個人や組織の慣行を明らかにすること」である[52]
クィア/LGBTQ理論
クィア/LGBTQ理論家は、性的指向の少数派に対する権力と差別という点で社会に浸透している異性愛主義的偏見に疑問を投げかけている。LGBTQの地位を取り巻く問題はデリケートな問題であるため、評価者はそのような個人のアイデンティティを保護する安全な方法を認識し、より公正な社会を実現するために差別的な慣行が明らかにされるようにする必要がある。[47]
政府の要件
連邦予算の赤字を鑑みて、オバマ政権は政府支出に「証拠に基づくアプローチ」を適用し、厳格なプログラム評価方法を導入した。大統領の2011年度予算では、教育省や米国国際開発庁（USAID）などの政府機関の19の政府プログラム評価に予算を割り当てた。省庁間のグループは、効果的な評価ネットワークを構築し、ベストプラクティスを活用することで、透明性と説明責任を高めるという目標を達成している。[53]疾病管理予防センター（CDC） が発表した公衆衛生プログラムの評価を実施するための6段階のフレームワークは、当初、米国における政府プログラムのプログラム評価に重点を置いた。フレームワークは以下のとおりである。
- ステークホルダーの関与
- プログラムについて説明してください。
- 評価に焦点を当てます。
- 信頼できる証拠を集めます。
- 結論を正当化する。
- 確実に活用し、学んだ教訓を共有します。
2019年1月、証拠に基づく政策立案の基盤となる法律により、最高評価責任者の任命など、連邦機関に対する新たな要件が導入されました。この法律の実施に関して行政管理予算局が発行したガイダンスでは、機関が戦略的および運用上の成果を改善するために回答したい具体的な質問を含む、複数年にわたる学習アジェンダを作成することが求められています。[54]機関はまた、学習アジェンダの質問に対処するために機関が実施する予定の特定の評価をまとめた年次評価計画を完成させる必要があります。
評価の種類
プログラム評価にはさまざまなアプローチがあり、それぞれ目的が異なります。
- 利用重視の評価
- CIPP評価モデル
- 形成的評価
- 総括的評価
- 発達評価
- 原則重視の評価
- 理論に基づく評価
- 現実主義に基づく評価
CIPP評価モデル
CIPPモデルの歴史
CIPP評価モデルは、1960年代にダニエル・スタッフルビームとその同僚によって開発されました。CIPPは、コンテキスト、インプット、プロセス、および製品の頭文字をとったものです。CIPPは、プログラムの価値を判断する際にコンテキスト、インプット、プロセス、および製品の評価を必要とする評価モデルです。CIPPは、意思決定に焦点を当てた評価アプローチであり、プログラムの管理と運用のための情報の体系的な提供を重視しています。[55]
CIPPモデル
CIPPフレームワークは、評価とプログラムの意思決定を結び付ける手段として開発された。計画、構造化、実施、決定の検討と修正のサイクルに基づいて、プログラムの意思決定のための分析的かつ合理的な基盤を提供することを目的としており、それぞれのサイクルは、文脈、入力、プロセス、製品の評価という評価のさまざまな側面を通して検討される。[55]
CIPPモデルは、プログラムの段階や活動中に、評価を意思決定者のニーズに直接関連付けようとする試みである。[55]スタッフルビームのコンテキスト、インプット、プロセス、成果物（CIPP）評価モデルは、サービスラーニングプロジェクトの構想、設計、実装、評価を体系的に導き、継続的な改善のためにプロジェクトの有効性のフィードバックと判断を提供するフレームワークとして推奨されている。[55]
CIPP評価の4つの側面
これらの側面とは、コンテキスト、入力、プロセス、および製品です。CIPP 評価のこれら 4 つの側面は、意思決定者が次の 4 つの基本的な質問に答えるのに役立ちます。
- 私たちは何をすべきでしょうか?
これには、目標、優先事項、目的を決定するために、ニーズ評価データを収集して分析することが含まれます。たとえば、識字プログラムのコンテキスト評価には、識字プログラムの既存の目的、識字達成度テストのスコア、スタッフの懸念（一般的なものおよび特定のもの）、識字政策と計画、コミュニティの懸念、認識、態度、ニーズの分析が含まれる場合があります。[55]
- どうすればいいでしょうか？
これには、新しい目標と目的を達成するために必要な手順とリソースが含まれ、成功した外部プログラムと資料の特定や情報収集も含まれる可能性があります。[55]
- 計画通りに進んでいますか？
これにより、意思決定者はプログラムがどの程度うまく実施されているかに関する情報を得ることができます。プログラムを継続的に監視することで、意思決定者は、プログラムが計画やガイドラインにどの程度従っているか、対立が生じているかどうか、スタッフのサポートと士気、材料の長所と短所、提供と予算の問題などについて知ることができます。[55]
- プログラムは機能しましたか?
実際の成果を測定し、それを予測された成果と比較することで、意思決定者はプログラムを継続するか、修正するか、あるいは完全に中止するかをより適切に判断できるようになります。これが製品評価の本質です。[55]
評価のさまざまな段階でCIPPを使用する
評価ガイドとしてのCIPP モデルでは、評価者がさまざまな段階でプログラムを評価できます。具体的には、プログラム開始前に評価者がニーズを評価できるように支援し、プログラム終了時にプログラムが効果があったかどうかを評価できます。
CIPP モデルでは、評価者はプログラムの開始時に形成的な質問をすることができ、その後、プログラムのすべての側面について総括的な質問をすることで、プログラムの影響の評価をサポートします。
- コンテキスト: 何を行う必要がありますか? vs. 重要なニーズは解決されましたか?
- 入力: どのように実行する必要がありますか? 対 防御可能な設計が採用されましたか?
- プロセス: 実行されていますか? 対 デザインは適切に実行されましたか?
- 製品: 成功しているか? 対 努力は成功したか?
参照
参考文献
- ^ 児童家族局（2010）プログラム管理者の評価ガイド。第2章：プログラム評価とは何か？
- ^ Shackman, Gene. プログラム評価とは何か: 初心者向けガイド (レポート)。グローバル社会変革研究プロジェクト。SSRN 3060080 。
- ^ 「強力な評価を実施するためのヒント」。プログラム評価。CDC – プログラム評価担当副ディレクター室。2012年4 月 8 日閲覧。
- ^ Shadish, WR; Cook, TD; Leviton, LC (1991).プログラム評価の基礎: 実践の理論。ニューベリーパーク、カリフォルニア州: Sage。
- ^ 「米国労働省 – DOL の略史 – ニューフロンティアと偉大なる社会の時代、1961-1969」. dol.gov.
- ^ 国立公文書館、行政管理予算局の記録（1995年）51.8.8 プログラム評価局の記録
- ^ アメリカ評価協会の大学プログラムのリスト。
- ^ abcdefghijklmnopqrstu vwxyz aa ab ac ad ae af Rossi, P. Lipsey, MW, & Freeman, HE (2004).評価: 体系的アプローチ(第 7 版). サウザンドオークス、カリフォルニア州: Sage.
- ^ abc Barbazette, J. (2006). ニーズ評価とは何か? (PDF) (レポート).
- ^ Rouda, RH; Kusy, ME (1995). 「ニーズ評価：最初のステップ」
- ^ Wright, B. & Wallis, SE (2019).応用研究とプログラム評価のための実践的マッピング。SAGE Publications。
- ^ 疾病管理予防センター。公衆衛生におけるプログラム評価の枠組み。MMWR 1999;48(No. RR-11)。
- ^ Van der Riet, M. (2009)。「文脈の生成：活動理論を用いたHIVとAIDSに対する行動変化の理解」未発表博士論文。クワズール・ナタール大学、ピーターマリッツバーグ。
- ^ Eveland, JD. (1986)「中小企業のイノベーション研究プログラム: 問題解決の糸口」D. Gray、T. Solomon、W. Hetzner (編)、技術革新: 新しいパートナーシップの戦略アムステルダム: North-Holland
- ^ ab McLaughlin, JA, & Jordan, GB (1999). ロジックモデル: プログラムのパフォーマンスストーリーを伝えるツール。評価とプログラム計画、22(1), 65-72。
- ^ マシュー・マクラフリン; ジェド・ダフ; レイチェル・サザーランド; エリザベス・キャンベル; ルーク・ウォルフェンデン; ジョン・ウィガーズ (2020年12月). 「青少年のための学校全体の身体活動プログラムの拡大版のハイブリッド実施有効性試験の混合方法プロセス評価のプロトコル: みんなの身体活動4 (PA4E1)」. Trials . 21 (1): 268. doi : 10.1186/s13063-020-4187-5 . ISSN 1745-6215. PMC 7077014 . PMID 32183902.
- ^ Eveland, JD (1986)「普及、技術移転、実装：変化についての考えと議論」。ナレッジ。8(2):303-322。
- ^ 仲介者育成シリーズ。成果の測定。Dare Mighty Things, INC。
- ^ ab Mouton, J (2009). 「複雑な社会的介入の影響の評価」.行政ジャーナル. 44 : 849–865.
- ^ Shahab, Sina; Clinch, J Peter; O'Neill, Eoin (2017年7月21日). 「インパクトベースの計画評価：政策分析の規範的基準の進化」（PDF） .環境と計画B：都市分析と都市科学. 46 (3): 534–550. doi :10.1177/2399808317720446. hdl : 10197/9594 . S2CID 54510005.
- ^ Delbert Charles Miller、Neil J. Salkind (2002) Handbook of Research Design & Social Measurement。第 6 版、改訂。SAGE 発行。
- ^ 疾病予防管理センター。「評価フレームワーク」。CDC 。 2012年9月20日閲覧。
- ^ Kania, John; Kramer, Mark. 「Collective Impact」。スタンフォード社会イノベーションレビュー。スタンフォード大学慈善活動および市民社会センター。 2014年9月19日閲覧。
- ^ Preskill, Hallie; Parkhurst, Marcie; Juster, Jennifer Splansky. 「集団的影響の評価ガイド」(PDF) . www.fsg.org . FSG, Inc . 2014-09-19に閲覧。[永久リンク切れ ]
- ^ パットン、マイケル。「評価のアプローチとテクニック」。評価者協会。ジョージ・ワシントン大学。 2014年9月19日閲覧。
- ^ 「形成的評価」。コミュニティ持続可能性エンゲージメント評価ツールボックス。 2014年9月19日閲覧。
- ^ 「総括的評価」。コミュニティ持続可能性エンゲージメント評価ツールボックス。 2014年9月19日閲覧。
- ^ Taylor-Powell, Ellen; Steele, Sarah; Douglah, Mohammad. 「プログラム評価の計画」（PDF）。ウィスコンシン大学エクステンション。 2014年9月20日閲覧。
- ^ abcdefg Bamberger, M. (2004). 「Shoestring Evaluation: 予算、時間、データの制約下での影響評価の設計」American Journal of Evaluation . 25 : 5–37. doi :10.1177/109821400402500102. S2CID 14153993.
- ^ ab Jacobs, FH (2003). 「子どもと家族のプログラム評価：複雑性を楽しむことを学ぶ」.応用発達科学. 7 (2): 62–75. doi :10.1207/S1532480XADS0702_3. S2CID 143280950.
- ^ ab Weiss, HB, & Greene, JC (1992). 家族支援・教育プログラムと評価のためのエンパワーメントパートナーシップ。Family Science Review, 5(1,2): 131-148.
- ^ ab 「評価への5段階アプローチ」。全米子育て教育ネットワーク（nd）。2012年10月24日時点のオリジナルよりアーカイブ。2012年9月18日閲覧。
- ^ ab Bailey, SJ; Deen, MY (2002). 「エクステンション教員およびスタッフにプログラム評価を導入するためのフレームワーク」Journal of Extension 。 2012年9月18日閲覧。
- ^ abcd 「プログラム評価への5段階アプローチ」（PDF）。ag.arizona.edu 。 2012年9月18日閲覧。
- ^ Bamberger, M. (2000). 「国際開発プログラムの評価: 最前線からの視点」アメリカ評価ジャーナル21 (1): 95–102. doi :10.1177 / 109821400002100108. S2CID 19811028.
- ^ ab Smith, T. (1990). 「第三世界諸国における政策評価：いくつかの問題と課題」.アジア行政ジャーナル. 12 : 55–68. doi :10.1080/02598272.1990.10800228.
- ^ abcde Ebbutt, D. (1998). 「発展途上国におけるプロジェクトの評価：文化的および方法論的問題」.国際教育開発ジャーナル. 18 (5): 415–424. doi :10.1016/S0738-0593(98)00038-8.
- ^ abcdefgh ブルマー、M.; ワーウィック、D. (1993).発展途上国における社会調査：第三世界の調査と国勢調査。ロンドン：ラウトレッジ。ISBN 978-0-471-10352-3。
- ^ Potter, C. (2006). プログラム評価。M. Terre Blanche、K. Durrheim、D. Painter (編)、『研究の実践：社会科学への応用方法（第2版）』（pp. 410-428）。ケープタウン：UCTプレス。
- ^ Rossi, P., Lipsey, MW, & Freeman, HE (2004).評価: 体系的アプローチ(第 7 版). サウザンドオークス: セージ。
- ^ ギル、アンドリュー。「カリフォルニア州のコミュニティカレッジにおける学術プログラムの評価」。PPIC。
- ^ ウールコック、マイケル。「プログラム評価における定性的アプローチと定量的アプローチの統合」（PDF） 。 2011年9月21日閲覧。
- ^ Weiss, CH (1999). 研究と政策の連携: 社会科学研究はどの程度の影響力を持つのか? 世界社会科学レポート、pp. 194-205。
- ^ Louw, J. (1999). 評価を通じて実践を改善する。D. Donald、A. Dawes、J. Louw (編)、子ども時代の逆境への対処(pp. 60-73)。ケープタウン: David Philip。
- ^ ab Fetterman, DM (2002). 「エンパワーメント評価: 実践コミュニティと学習文化の構築」. American Journal of Community Psychology . 30 (1): 81–102. doi :10.1023/a:1014324218388. PMID 11928779. S2CID 34403672.
- ^ フェッターマン、DM (2005)。エンパワーメント評価原則の実践：コミットメントレベルの評価。DM フェッターマンと A. ヴァンダースマン (編)、エンパワーメント評価原則の実践(pp.27-41)。ニューヨーク：ギルフォード プレス
- ^ abcdef Mertens, D および Wilson, A. (2012)。プログラム評価の理論と実践: 包括的ガイド。ニューヨーク、ニューヨーク: ギルフォード プレス。pp. 168–180。
{{cite book}}: CS1 maint: multiple names: authors list (link) - ^ SenGupta, S., Hopson, R., Thompson-Robinson, M. (2004).評価における文化的コンピテンス：概要。評価の新方向、102。pp.5–19。
{{cite book}}: CS1 maint: multiple names: authors list (link) - ^ Endo, T., Joh, T., & Yu, H. (2003).現場からの声: 多文化評価における健康評価リーダーオークランド、カリフォルニア州: Policy Research Associates. p. 5.
{{cite book}}: CS1 maint: multiple names: authors list (link) - ^ Mertens, D., Yamashita, M. (2010).アメリカ評価協会のトピック別関心グループのミッションステートメント: 評価における混合手法。ワシントン DC。p. 48。
{{cite book}}: CS1 maint: location missing publisher (link) CS1 maint: multiple names: authors list (link) - ^ ソロルサノ、D. (1997)。「傷つけるイメージと言葉：批判的人種理論、人種的ステレオタイプ化、教師教育」。教師教育季刊誌。24 ：5-19。
- ^ Brabeck, M. & Brabeck, K. (2009).研究倫理に関するフェミニストの視点. サウザンドオークス、カリフォルニア州: Sage. p. 39.
{{cite book}}: CS1 maint: multiple names: authors list (link) - ^ 「プログラム評価」(PDF)。行政管理予算局。 2011年9月20日閲覧–国立公文書館経由。
- ^ 「2018年証拠に基づく政策立案の基盤に関する法律の第1フェーズの実施：学習アジェンダ、人員、計画ガイダンス」（PDF）。行政管理予算局。2019年7月10日。
- ^ abcdefgh Robinson, B. (2002).CIPP は、段落や製品や節の頭字語がなかった初期の段階から形成されました。CIPP による評価アプローチ。Collit プロジェクト: Bernadette からの背景メモ
さらに読む
- Borland, J., & Tseng, YP (2011). 社会プログラムの評価の実践入門 Parity, 24(7), 8.
- ジョン・ブールメティス、フィリス・ダトウィン著『評価のABC』（2005年）
- クック、トーマス D. およびキャンベル、ドナルド T.準実験: フィールド設定の設計と分析(1979)
- カイドゥコフ、ダニル; タサロフ、キリル; シェペティナ、エカテリーナ; チュエワ、エカテリーナ (2016)。ロシア連邦の国家プログラムの効率性を高めるための方法論的アプローチの改善 // ロモノーソフモスクワ国立大学科学会議「効果的な管理」、ポリグラフサービス、モスクワ、pp. 65–73
- プレスキル、ハリー、パークハースト、マーシー、ジャスター、ジェニファー・スプランスキー。「集団的影響の評価ガイド」（2014 年）
- プログラム マネージャーの評価ガイド、第 2 版、計画、研究、評価局、児童家族局。* リブリン、アリス M.社会活動のための体系的思考(1971)
- ロッシ、ピーター H.、フリーマン、ハワード A.、リプシー、マーク W.。評価。体系的アプローチ(1999)
- サックマン、エドワード A.評価研究：公共サービスと社会活動プログラムにおける原則と実践（1967）
- ワイス、キャロル H. 評価研究: プログラムの効果を評価する方法(1972)
- Wholey Joseph S、Hatry Harry P、Newcomer Kathryn E、他 (2010)。実践的プログラム評価ハンドブック第3版。サンフランシスコ：Jossey- Bass。ISBN 978-0-470-52247-9。
外部リンク
- 児童家族局プログラム マネージャーの評価ガイド。評価についての説明には、評価する理由、評価とは何かに関する章が含まれます。
- BetterEvaluation BetterEvaluation: 評価を向上させるための情報共有
- アメリカ評価協会 組織、リンクサイト、電子メールディスカッションリスト、コンサルタントなどの評価リソースへのリンクが含まれています
- カナダ評価協会 サービス、専門能力開発、リソース、組織、地域支部などの評価情報へのリンクが含まれています
- CDC の 6 ステップ フレームワーク。こちらでも参照できます。米国疾病管理予防センター。公衆衛生におけるプログラム評価のフレームワーク。MMWR 1999;48(No. RR-11)。ステップ セクションにロジック モデルの説明が含まれています。
- 研究デザインと社会測定ハンドブック。Delbert Charles Miller、Neil J. Salkind (2002) 第 6 版、改訂版。SAGE 発行。
- EvalPartners (EvalYouth) 国際評価ネットワークとトレーニングツール
- EvaluationWiki - EvaluationWiki の使命は、評価の科学と実践に携わるすべての人に、最新の情報とリソースの概要を無料で提供することです。EvaluationWiki は、非営利の評価リソース研究所によって提供されています。
- プログラム評価と社会調査方法に関する無料リソース これは、プログラム評価、方法、オンライン ガイド、マニュアル、評価方法に関する書籍、および評価に関連する無料ソフトウェアに関するリソースへの入り口です。
- イノベーション ネットワーク 計画と評価のツールとノウハウの共有に取り組む非営利団体。非営利団体と資金提供者向けにオンライン ツール、コンサルティング、トレーニングを提供しています。
- 評価および評価リソースへのリンク センター、コミュニティ構築、評価に関する教育とトレーニング、財団、インディアナ州政府および組織、収集されたリンク...、ロジック モデル、パフォーマンス評価および電子ポートフォリオ、政治および民間のグループまたは企業、専門団体、組織および出版物、パーデュー大学、米国政府、著者およびトピックによる出版物の Web 検索、および Vivisimo トピック メタ検索など、さまざまなトピックに関するリソースへのリンクのリスト。
- メイン州議会のプログラム評価および政府説明責任局。方法論、評価結果、推奨事項、行動計画を含むいくつかの詳細なレポートへのリンクを備えた、政府のプログラム評価局の優れた例です。
- National Legslative Program Evaluation Society には、米国のプログラム評価および/またはパフォーマンス監査を担当する州の事務所へのリンクが含まれています。
- 4-H 青少年育成プログラム[ permanent dead link ]これは教育ウェブサイトであり、プログラムを評価したいという人を支援します。
- プログラム評価と成果管理 - アーバン研究所
- プログラム評価とは何か: 初心者向けガイド ジーン・シャックマン