評価

一般的な用法では、評価とは、一連の基準によって管理される基準を使用して、主題のメリット、価値、重要性を体系的に決定および査定することです。評価は、組織、プログラム、設計、プロジェクト、またはその他の介入またはイニシアチブを支援し、目的、実現可能な概念/提案、または代替案を評価して意思決定を支援したり、完了したそのようなアクションの目的と目標および結果に関する達成度または価値を生み出したりするのに役立ちます。 ^[1]

評価の主な目的は、過去または既存の取り組みについての洞察を得ることに加え、反省を可能にし、将来の変化の特定を支援することです。^[2]評価は、数か月間の期間の開始など、幅広い人間の活動における関心対象を特徴付け、評価するためによく使用されます 。

評価とは、提案や結果の予測される影響や実際の影響を構造的に解釈し、意味づけることです。評価では、当初の目的、予測されていたこと、達成されたこと、そしてそれがどのように達成されたかを検討します。したがって、評価は形成的なもの、つまり、提案、プロジェクト、組織の価値や有効性を向上させる目的で、概念や提案、プロジェクト、組織の開発中に行われる評価です。また、完了したアクションやプロジェクト、組織から後の時点や状況で教訓を引き出す総括的なものでもあります。 ^[3]

評価は本質的に理論に基づいたアプローチであり（明示的であるかどうかにかかわらず）、その結果、評価の特定の定義は、そのコンテキスト（評価プロセス自体の理論、ニーズ、目的、方法論）に合わせて調整されることになります。そうは言っても、評価は次のように定義されています。

• プログラムの設計、実施、改善、または成果を評価するために科学的手法を体系的、厳格、かつ綿密に適用すること。これはリソース集約型のプロセスであり、専門知識、労力、時間、かなりの予算などのリソースを頻繁に必要とします^[4]
• 「サービスまたはその構成要素が定められた目標をどの程度達成しているかを、可能な限り客観的な方法で批判的に評価すること」（セント・レジャーとワーズワース・ベル）。^{[5] [検証失敗]}この定義の焦点は、客観的な知識を獲得し、事前に決定された外部概念を科学的または定量的に測定することにあります。
• 「ある対象物の価値とメリットを評価できるよう、一部の聴衆を支援するために設計された研究」（Stufflebeam）。^{[5] [検証失敗]}この定義では、プログラムの結果と価値に関する事実と価値判断に焦点が当てられています。

プログラム評価の主な目的は、「判断を下すことによってプログラムの質を決定すること」である可能性がある（Marthe Hurteau、Sylvain Houle、Stéphanie Mongiat、2009 年）。^[6]別の見方では、「プロジェクト、評価者、その他の利害関係者（資金提供者を含む）は、それぞれが「メリット」の定義が異なる可能性があるため、プロジェクトを評価する最善の方法について、潜在的に異なる考えを持っている可能性があります。したがって、問題の核心は、何が価値があるかを定義することです。」^[5] この観点から、評価は「議論の余地のある用語」です。「評価者」は評価という用語を、プログラムの査定または調査を説明するために使用しますが、他の人は評価を応用研究と同義であると単純に理解しています。

評価目的を考慮すると、2つの機能があります。形成的評価は、製品またはプロセスを改善するための情報を提供します。総括的評価は、製品またはプロセスの採用を決定するための短期的な有効性または長期的な影響に関する情報を提供します。^[7]

すべての評価が同じ目的を果たすわけではなく、一部の評価は測定可能なプログラム成果や評価結果のみに焦点を当てるのではなく、監視機能を果たすため、評価の種類の完全なリストをまとめることは困難です。^[5]これは、評価が統一された理論的枠組みの一部ではなく、^[8]管理および組織理論、政策分析、教育、社会学、社会人類学、社会変革など、多くの分野に依存しているためです。^[9]

しかし、一連の方法論的仮定に厳密に従うことで、評価の分野が主流の聴衆に受け入れられやすくなるかもしれないが、この順守は、プログラムが直面する無数の問題に対処するための新しい戦略を評価者が開発することを妨げる方向に働くだろう。^[9]評価対象者（クライアント）によって使用される評価レポートは少数であると主張されている（Data、2006）。^[6]この正当化の1つは、「評価結果が異議を唱えられたり、利用が失敗したりするのは、利害関係者やクライアントが推論が弱い、または根拠が説得力がないと判断したためである」ということである（Fournier and Smith、1993）。^[6]この状況の原因としては、評価者が評価対象者と一連の共通目標を確立できなかった、または過度に野心的な目標を設定したこと、評価目標とプロセス内で個人とプログラムの文化的違いを妥協して組み入れなかったことが考えられる。^[5]これらの問題はいずれも評価の定義が欠如していることによるものではなく、むしろ評価者が評価についての先入観や定義を顧客に押し付けようとしていることに起因している。評価が十分に活用されていない主な理由は、おそらく^{[誰によるのか? ]}、顧客のニーズに合わせた評価の調整が不十分であること、つまり、顧客のニーズではなく評価とは何かという定義済みの考え(または定義)によるものである(House, 1980)。^[6]評価の標準的な方法論を開発するには、代理人と委託者、プライバシー、利害関係者の定義、有限責任、および資金をより賢明に使用できるかどうかなどの倫理に関する質問をし、その結果を述べる適切な方法を見つける必要がある。

関心のあるトピックに応じて、評価プロセスの 品質と厳密さをレビューする専門家グループが存在します。

プログラムやプロジェクトを、それらが実行される状況における価値と影響に関して評価することは、倫理的に難しい場合があります。評価者は、外部評価に抵抗する複雑で文化特有のシステムに遭遇する場合があります。さらに、プロジェクト組織やその他の利害関係者が特定の評価結果に投資している場合もあります。最後に、評価者自身が「利益相反 (COI)」の問題に遭遇したり、特定の評価を裏付ける調査結果を提示するよう干渉や圧力を受けたりする場合があります。

雇用組織によって決定される一般的な職業上の行動規範は、通常、行動基準の3つの広範な側面をカバーし、同僚間の関係（多様性とプライバシーの尊重など）、運用上の問題（正当な能力、文書の正確さ、リソースの適切な使用）、および利益相反（縁故主義、贈り物の受け取り、その他の種類のえこひいき）を含む。^[10]しかし、独自の倫理的課題の管理に活用できる、評価者の役割に特有の特定のガイドラインが必要である。教育評価基準に関する合同委員会は、プログラム、人事、および学生の評価の基準を策定した。 合同委員会の基準は、有用性、実現可能性、妥当性、および正確性の4つのセクションに分かれている。 さまざまなヨーロッパの機関も、合同委員会によって作成された基準と多かれ少なかれ関連する独自の基準を作成している。 これらは、体系的な調査、評価者の能力と誠実さ、人々への尊重、および一般および公共の福祉への配慮に基づいて価値判断を行うことに関するガイドラインを提供している。^[11]

アメリカ評価協会は、評価者のための指導原則を作成しました。^[12]これらの原則の順序は優先順位を意味するものではなく、優先順位は状況と評価者の役割によって異なります。原則は次のとおりです。

• 体系的な調査：評価者は、評価対象について体系的かつデータに基づいた調査を実施します。これには、評価結果の信頼性を高める指標の妥当な選択を含む質の高いデータ収集が必要です。 ^[13]評価結果は、それが証拠に基づいており、信頼性と妥当性が実証されている場合に信頼性があります。これは、評価の目的と一致し、信頼できるデータを提供する方法論の選択にも関係します。さらに、評価結果の有用性は、評価によって得られた情報が包括的かつタイムリーであり、ステークホルダーに最大限の利益と使用を提供するのに役立つようにするために重要です。^[10]
• 能力：評価者は利害関係者に対して適切なパフォーマンスを提供する。そのためには、評価チームが適切な能力の組み合わせで構成され、評価プロセスに多様で適切な専門知識が利用可能であり、評価者が能力の範囲内で作業する必要がある。^[10]
• 誠実性/正直性: 評価者は、評価プロセス全体の誠実性と正直性を確保します。この原則の重要な要素は、評価における偏見の排除であり、これは公平性、独立性、透明性という 3 つの原則によって強調されます。

独立性は、評価の結論が他の当事者から影響を受けたり圧力を受けたりしないように判断の独立性を維持し、評価者が特定の結論に利害関係を持たないように利益相反を回避することで達成されます。利益相反は、評価の資金が評価の結論に利害関係を持つ特定の団体によって提供される場合に特に問題となり、これは評価者の独立性を損なう可能性があると見なされます。評価者が評価する必要がある機関やプロジェクトに精通していることは認められていますが、独立性には、プロジェクトの計画や実施に関与していないことが求められます。プロジェクトとの利益や関係が述べられている場合は、利益相反を宣言する必要があります。判断の独立性は、たとえば、プロジェクトの資金提供者が評価を修正して、結果が証明できるよりもプロジェクトがより効果的であるように見せたい場合など、評価者にかかるあらゆる圧力に対して維持される必要があります。^[10]

公平性は、プロジェクトやプログラムの長所と短所を公正かつ徹底的に評価する調査結果に関係します。これには、関係するすべての利害関係者から適切な意見を取り入れ、偏見なく、調査結果と推奨事項の間に透明性、釣り合い、説得力のあるつながりを持たせて調査結果を提示する必要があります。したがって、評価者は、調査結果を証拠に限定する必要があります。公平性を保証するメカニズムは、外部レビューと内部レビューです。このようなレビューは、重要な（コストまたは感度の観点から判断される）評価に必要です。レビューは、作業の質と、調査結果と推奨事項の間に実証可能なつながりがどの程度提供されているかに基づいて行われます。^[10]

透明性を確保するには、利害関係者が評価の理由、評価の基準、評価結果が適用される目的を認識する必要があります。評価文書へのアクセスは、評価結果が読みやすく、評価方法、アプローチ、情報源、発生したコストが明確に説明されていることで容易になります。^[10]

• 人々の尊重：評価者は、回答者、プログラム参加者、顧客、およびやり取りするその他の利害関係者の安全、尊厳、自尊心を尊重する。これは、評価結果の影響を受ける人々に関して特に重要である。 ^[13]人々の保護には、評価に関与する人々からインフォームドコンセントを得ること、機密を保持すること、プログラム評価に対して機密情報を提供する可能性のある人々の身元が保護されることが含まれる。^[14]評価者は、評価またはプログラム活動の影響を受ける人々の慣習や信念を尊重することが倫理的に求められる。そのような尊重を示す例としては、服装規定などの地元の慣習を尊重すること、人々のプライバシーを尊重すること、他の人の時間に対する要求を最小限に抑えることなどがあげられる。^[10]利害関係者が評価結果に異議を唱えたい場合は、評価組織の現地事務所を通じてそのようなプロセスを促進する必要があり、苦情や質問を提出する手順はアクセスしやすく明確にしておく必要がある。
• 一般および公共の福祉に対する責任：評価者は、一般および公共の福祉に関連する可能性のある利益と価値観の多様性を明確にし、考慮する。評価文書は、より広範な一般の人々にアクセスしやすくし、議論やフィードバックを可能にする必要がある。^[10]

さらに、IMFや世界銀行などの国際機関は独立した評価機能を持っています。国連のさまざまな基金、プログラム、機関は、独立、半独立、自己評価機能が混在しており、システム全体の国連評価グループ（UNEG）^[13]として組織され、機能を強化し、評価に関する国連の規範と基準を確立するために協力しています。OECD-DAC内にも評価グループがあり、開発評価基準の改善に取り組んでいます。^[15]主要な多国籍開発銀行（MDB）の独立した評価ユニットも、評価協力グループ^[16]を設立し 、MDBの有効性と説明責任を高めるために評価の使用を強化し、MDBの評価から教訓を共有し、評価の調和と協力を促進しています。

「評価」という言葉は、人によってさまざまな意味合いを持ち、このプロセスに関連する問題を引き起こします。たとえば、どのような種類の評価を実施すべきか、評価プロセスが必要な理由、そして、より深い知識と認識を得るために評価をプログラムにどのように統合するかなどです。また、評価プロセスにはさまざまな要素が内在しており、たとえば、プログラム内の影響について批判的に調査するには、プログラムに関する関連情報を収集して分析する必要があります。

マイケル・クイン・パットンは、評価手順は次のような方向に向けられるべきであるという概念を提唱しました。

• 活動
• 特徴
• 成果
• プログラムに関する判断
• 効果を高めるために、
• 情報に基づいたプログラミングの決定

2003 年にトムソンとホフマンが評価の別の観点に基づいて作成した評価プロセスでは、プログラムが予測不可能または不健全な場合など、プロセスが適切ではないとみなされる状況に遭遇する可能性があります。これには、一貫したルーチンが欠如している場合や、関係者がプログラムの目的について合意に達していない場合が含まれます。さらに、影響力のある人物または管理者が、関連する重要な中心的問題を評価に組み込むことを拒否している場合も考えられます。

評価作業の考え方、設計、実施には、概念的に異なる複数の方法があります。現在使用されている評価アプローチの多くは、重要な問題の解決に真にユニークな貢献をしますが、既存のアプローチを何らかの形で改良するものもあります。

^{ハウス[17]}とスタッフルビームとウェブスター^[18]による2つの評価アプローチの分類は、それぞれの独自の重要な基本原則に基づいて、管理可能な数のアプローチに組み合わせることができます。^{[説明が必要]}

ハウスは、すべての主要な評価アプローチは、自由民主主義という共通のイデオロギーに基づいていると考えている。このイデオロギーの重要な原則には、選択の自由、個人の独自性、客観性に基づいた経験的調査などがある。また、彼は、それらはすべて主観主義倫理に基づいていると主張している。主観主義倫理では、倫理的行動は個人またはグループの主観的または直観的な経験に基づいている。主観主義倫理の1つの形態は功利主義であり、社会全体の幸福の単一の明確な解釈を最大化することによって「善」が決定される。主観主義倫理のもう1つの形態は直観主義/多元主義であり、そこでは「善」の単一の解釈は想定されておらず、そのような解釈は明示的に述べられたり正当化されたりする必要はない。

これらの倫理的立場には、対応する認識論、つまり知識を得るための哲学がある。客観主義的認識論は功利主義倫理と関連しており、一般に、公開された方法やデータを通じて外部的に検証できる（主観的合意）知識を獲得するために使用される。主観主義的認識論は直観主義/多元主義倫理と関連しており、既存の個人的知識だけでなく、公開されている（明示的）または公開されていない（暗黙的）経験に基づいて新しい知識を獲得するために使用される。次に、ハウスは各認識論的アプローチを 2 つの主要な政治的観点に分類する。第 1 に、アプローチは、管理者や専門家の利益に焦点を当てたエリートの観点を取ることも、消費者や参加型アプローチに焦点を当てた大衆の観点を取ることもできる。

スタッフルビームとウェブスターは、価値と倫理的配慮の役割に対する方向性に応じて、アプローチを 3 つのグループのいずれかに分類しています。政治的方向性は、実際の価値や価値がどうなるかに関係なく、対象に対する肯定的または否定的な見方を促進します。彼らはこれを疑似評価と呼んでいます。質問方向性には、対象の価値に具体的に関連する回答を提供する場合と提供しない場合があるアプローチが含まれます。彼らはこれを 準評価 と呼んでいます。価値方向性には、対象の価値を判断することを主な目的とするアプローチが含まれます。彼らはこれを 真の評価 と呼んでいます。

上記の概念を同時に考慮すると、認識論、主要な観点（ハウスによる）、および方向性の観点から、15の評価アプローチを特定できます。^[18]政治的に管理された研究と広報研究という2つの疑似評価アプローチが示されています。これらは、エリートの観点からの客観主義的認識論に基づいています。6つの準評価アプローチは、客観主義的認識論を使用しています。そのうち5つ（実験研究、管理情報システム、テストプログラム、目的に基づく研究、およびコンテンツ分析）は、エリートの視点を取り入れています。説明責任は、大衆の視点を取り入れています。7つの真の評価アプローチが含まれています。意思決定指向と政策研究の2つのアプローチは、エリートの視点からの客観主義的認識論に基づいています。消費者指向の研究は、大衆の視点からの客観主義的認識論に基づいています。認定/認証と鑑定研究の2つのアプローチは、エリートの視点からの主観主義的認識論に基づいています。最後に、敵対的研究とクライアント中心研究は、大衆の観点からの主観主義的認識論に基づいています。

次の表は、各アプローチを 4 つの属性(オーガナイザー、目的、長所、短所)の観点からまとめたものです。オーガナイザーは、研究を組織するために専門家が使用する主な考慮事項またはヒントを表します。目的は、非常に一般的なレベルでの研究の望ましい結果を表します。長所と短所は、特定の研究にアプローチを使用するかどうかを決定するときに考慮すべきその他の属性を表します。次の説明は、グループ化されたアプローチ間の違いを強調しています。

政治的に管理された研究と広報研究は、エリートの視点からの客観主義的認識論に基づいています。 ^{[説明が必要]}これらのアプローチは両方とも、オブジェクトに関する価値解釈を誤って伝えようとしますが、その機能は異なります。政治的に管理された研究を通じて得られた情報は、保有者の特別な利益を満たすために公開または保留されますが、広報情報は、実際の状況に関係なく、オブジェクトの肯定的なイメージを作成します。実際のシナリオでは両方の研究が適用されていますが、これらのアプローチはどちらも受け入れられる評価方法ではありません。

これら 5 つのアプローチは、グループとして、規律ある調査アプローチの非常に評価の高い集合体です。これらは準評価アプローチと見なされます。特定の研究は、価値の問題に対処せずに知識の問題にのみ正当に焦点を当てることができるためです。このような研究は、定義上、評価ではありません。これらのアプローチは、評価を行わずに特徴付けを行うことができますが、特定の研究では両方を行うことができます。これらのアプローチはそれぞれ、意図された目的を十分に果たします。これらは、客観主義の理想に近づく程度に応じて大まかに説明します。

• 実験的研究は、変数間の因果関係を判断するための最良の方法です。これを評価方法として使用する場合の潜在的な問題は、その高度に制御され様式化された方法論では、ほとんどの人間サービス プログラムの動的に変化するニーズに十分に対応できない可能性があることです。
• 管理情報システム(MIS) は、複雑なプログラムの動的な動作に関する詳細な情報を提供できます。ただし、この情報は、通常、定期的に入手できる、容易に定量化できるデータに限定されます。
• テストプログラムは、学校に通ったことのある人、軍隊に所属したことのある人、または大企業で働いたことがある人なら誰でもよく知っているものです。これらのプログラムは、個人またはグループを、いくつかの科目領域で選択された基準や、パフォーマンスの一連の基準と比較するのに適しています。ただし、テスト対象者のパフォーマンスのみに焦点を当てているため、教えられている内容や期待される内容を十分にサンプリングできない可能性があります。
• 目標ベースのアプローチでは、成果を事前に指定された目標に関連付け、その達成レベルについて判断できるようにします。目標は、重要であることが証明されていないことが多く、または、対象の価値を判断するための根拠を提供するには焦点が狭すぎる成果に焦点を当てています。
• 内容分析は準評価アプローチです。内容分析の判断は価値表明に基づく必要がないためです。代わりに、知識に基づくことができます。このような内容分析は評価ではありません。一方、内容分析の判断が価値に基づく場合、そのような研究は評価です。

• 説明責任は、製品やサービスの品質を向上させる結果を正確に報告することを目的としているため、関係者に人気があります、強引に実施されると、すぐに実践者と消費者を敵に回す可能性があります。

• 意思決定指向の研究は、意思決定とそれを擁護するための知識基盤を提供することを目的としています。このアプローチでは通常、評価者と意思決定者との緊密な協力が必要となり、不正や偏見の影響を受けやすくなります。
• 政策研究は、競合する政策の潜在的なコストと利点を特定し評価することで、幅広い問題に関する一般的な指針と方向性を提供します。欠点は、これらの研究が参加者の政治的動機による行動によって改ざんされたり破壊されたりする可能性があることです。

• 消費者志向の研究は、一般的なニーズと価値観、そして包括的な範囲の影響に基づいて、商品やサービスの相対的なメリットを判断するために使用されます。ただし、このアプローチは必ずしも専門家の作業改善に役立つわけではなく、これを適切に行うには非常に優秀で信頼できる評価者が必要です。

• 認定/認証プログラムは、組織、プログラム、および人員の自己学習とピアレビューに基づいています。資格のある個人の洞察、経験、専門知識を活用し、確立されたガイドラインを使用して、申請者が特定の機能を実行することを承認するかどうかを決定します。ただし、パフォーマンスベースの基準が使用されない限り、結果や効果の測定に関して、申請者の属性と申請者が実行するプロセスが過度に強調されることがよくあります。
• 鑑定家による研究では、評価対象を熟知している個人の非常に洗練されたスキルを利用して、評価対象を批判的に特徴づけ、評価します。このアプローチは、他の人がプログラムを新たな観点から見るのに役立ちますが、資格があり、偏見のない鑑定家を見つけるのは困難です。

• 対立アプローチは、準法的手続きを通じて論争の的となっている問題の賛否両論を引き出すことに重点を置いています。これは、問題に対するさまざまな視点をバランスよく提示するのに役立ちますが、「勝者」と「敗者」が生まれた場合、その後の協力を妨げ、対立する当事者間の敵意を高める可能性もあります。

• クライアント中心の研究では、特定の状況における研究従事者やその他のクライアントの特定の懸念や問題に対処します。これらの研究は、さまざまな観点から関連する活動や価値を理解するのに役立ちます。ただし、この応答的なアプローチは、外部からの信頼性の低下や、研究に参加した人々に対する好意的な偏見につながる可能性があります。

評価の方法論は多様です。方法は定性的または定量的であり、ケーススタディ、調査研究、統計分析、モデル構築などが含まれます。

• モニタリングと評価は、政府、国際機関、NGOが現在または過去の活動を評価するために使用するプロセスです。
• 評価とは、評価の一環として特定の情報を収集し分析するプロセスである。
• 能力評価は、教師が標準テスト以外の方法で生徒の能力を判断する手段です。
• 教育評価とは、教育現場で特に行われる評価である。
• ジル・ドゥルーズが価値判断に反対した内在的評価
• パフォーマンス評価は言語テストの分野における用語であり、能力評価とは対照的である。
• プログラム評価は本質的に、プログラムが「機能する」かどうかを判断するための一連の哲学と技術である。
• 研修評価のためのドナルド・カークパトリックの評価モデル
• 評価
• 効率的に更新可能なニューラルネットワークニューラルネットワークベースの評価関数
• メートル法の固定

• 評価と評価のリソースへのリンク - さまざまなトピックに関するリソースへのリンクのリスト
• 用語集
• 評価ポータル リンク集 評価ジャーナル、普及、プロジェクト、協会、ハウツーテキスト、書籍などに関する情報を含む評価リンク集
• 評価と社会調査の方法に関する無料リソース
• 開発プログラムとプロジェクトの監視と評価の紹介と議論
• プログラム評価の基本ガイド、ジーン・シャックマン
• BetterEvaluation - 評価を適切に実施、管理、使用する方法についての情報が無料で入手できる Web サイトおよびリソース ライブラリ。