プログラムプロセスの監視

プログラム プロセス モニタリングは、プログラムまたは介入のプロセスを評価することです。プロセス モニタリングは、プログラムの全体的な評価に該当します。プログラム評価には、社会プログラムに関する質問に体系的に回答することが含まれます。社会プログラムの例としては、学校給食プログラム、コミュニティでの職業訓練、コミュニティ ヘルスケア施設の外来サービスなどがあります。社会プログラムに関する質問は、特定のプログラムが有効かどうかを判断したいプログラム スポンサー、開発者、政策立案者、さらには納税者からも寄せられます。 ^[1]具体的には、社会プログラムの目的には、プログラムの長所と短所の特定、プログラムの影響の評価、追加リソースの必要性の正当化、プログラムへの攻撃への対応などがあります。^[1]

評価は、プログラムのニーズ、入力、および結果を測定することに加えて、プログラムのプロセスも監視します。^{[1] [2]} (p. 171)によると、プログラム プロセスの監視は、「プログラムが意図したとおりに、または適切な基準に従って実行されているかどうかを評価する、プログラムのパフォーマンスの重要な側面を体系的かつ継続的に文書化することです。」したがって、プログラム プロセスの監視には、プログラムがどの程度うまく実行されているかを示す、プログラム プロセスの特定の側面を体系的かつ継続的に監視する方法が含まれます。これらの活動は、継続的な評価によってプログラムのパフォーマンスに関する定期的なフィードバックが可能になるため、プログラムの効果的な管理に役立ちます。 [ ^2]

経営情報システム（MIS）は、評価者がプログラムのパフォーマンスを監視するためによく使用するツールです。MISは、プログラムによって日常的に提供されるサービス、サービスを提供したスタッフ、提供された治療、プログラムに関連するコストに関するデータをまとめたものです。多くの評価者は、プログラムのプロセスを監視する際にMISを主要なデータソースとして使用します。これは、MISに評価に必要なプログラムに関するすべての関連情報が含まれているためです。^[2]

監視プロセスの一部を構成する具体的な活動は、監視の対象となる消費者グループの観点から適切な情報を生成することを目的としています。 ^[2]以下では、3つの主要な消費者グループについて説明します。

外部からの資金援助があるため、プログラムマネージャーは資金提供者やプログラムスポンサーに、プログラムの実施、遭遇した問題、その対処方法について定期的に情報を提供する必要があります。プログラムマネージャーは、プログラムの成功または失敗につながるプログラムの実行方法に責任を負います。^[2]

管理の観点から見ると、プロセス監視はプログラムの進行状況を把握するだけでなく、プログラムが期待通りに機能するように是正措置を講じることも目的としています。この場合、予期しない問題に対処する方法を見つけるために、プログラムのパイロットテスト中にプロセス監視を行うことができます。管理指向の監視は、プログラムのパフォーマンスに関する情報や、計画された介入が対象集団に到達しているかどうかを取得するために、すでに開発されたプログラムでも行うことができます。^[2]

プログラムの成果を評価するには、評価者はまず介入の実施を評価するためにプロセスを監視しなければならない。その理由は、多くのプログラムの失敗はプログラムの実施の失敗によるものであるためである。したがって、計画された成果が達成されたかどうかを判断するには、評価者は介入がどのように実施されたかを評価する必要がある。^[2]

プログラム プロセス評価は、サービス利用とプログラム編成の観点からプログラムがどのように機能しているかを評価することです。サービス利用では、対象集団に対する意図されたサービスという観点からプログラムの範囲を調べ、プログラム編成では、提供されるサービスが実際にプログラムに規定されているサービスであるかどうかを調べます。

^[3] (p. 136)によると、多くのプログラム プロジェクトの目的は、プロジェクトのサービスやメリットが、地理的、経済的、人口統計学的特性によって定義された特定の対象集団に確実に届くようにすることです。プログラム プロセスのモニタリングで重要なのは、対象者が計画で意図されたプログラム サービスを実際に受けているかどうかを判断することです。これは、行動の変化、指示の受け入れ、新しい手順の学習を伴う自発的なプログラムでは特に重要です。^[2]

カバレッジとは、プログラムが意図した対象集団にどの程度到達するかを指しますが、バイアスとは、プログラムが対象集団のサブグループにどの程度不均等に到達しているかを指します^[2] (p. 200)。すべてのプログラムの目的は完全なカバレッジですが、完全なカバレッジを達成している社会プログラムはごくわずかであり、バイアスが問題となります。

偏見の原因としては、次のようなものがあります。

• 自己選択：あるグループが他のグループよりも頻繁に参加すること。
• プログラムの行動：一部のサブグループに有利に働き、他のサブグループを拒否する。
• クリーミング：最も成功する可能性の高いターゲットを選択すること。^[2]

一部のプログラムでは、対象者をはるかに超える人数がプログラムに加わり、過剰カバーが発生することがあります (給食計画など)。プログラムの性質によっては、過剰カバーはコストがかかり、問題となる場合があります (社会補助金など)。しかし、ほとんどのプログラムは、対象者の募集や維持方法に偏りがあるため、または潜在的な顧客がプログラムを知らない、使用できない、または拒否するため、高い対象者参加率を達成できません。^[2] (p. 185)。

過剰カバーと不足カバーはプログラム実施における基本的な懸念事項であり、サービス利用への影響の程度を確かめるために測定および監視されるべきである。効率的なサービス利用には、プログラムが可能な限り多くの人々を必要とし、必要としない人々にはごく少数の人々にサービスを提供しなければならない。この取り組みの欠点は、人々がプロジェクトの資格を得るために情報を歪曲する可能性があることである。^{[3] [2]は、}プログラムが適切な対象集団にサービスを提供している程度を評価するために使用できる3つの情報源を特定した。

• プログラム記録;
• プログラム参加者へのアンケート調査
• コミュニティ調査。

バイアスを評価するには、次のような質問をすることができます。資格のある人は全員プログラムに参加していますか？脱落者はいますか？脱落率はどれくらいですか？不参加または脱落の原因は何ですか？これらの質問への回答から得られる情報は、対象者のニーズに合わせてプログラムの有効性、価値、および変更の可能性を判断する上で貴重です。^[2]バイアスを評価するには、「カバレッジの測定と監視」で述べたのと同じデータ収集方法を使用できます。