永續學院|台經月刊|【專題探索】績效評估1 如何運用「過程式評估」提升計畫執行品質

 

台經月刊

 

【專題探索】績效評估1 如何運用「過程式評估」提升計畫執行品質

許楓靈  (2021/07/09)    《台經月刊第44卷第7期》

作為對外展現一定期間施政成果的重要溝通工具及科學證據基礎,「績效評估」已成為各國政府施政管理的顯學。從計畫生命週期來看,績效評估可分成事前目標設定、事中執行監控、事後效益評估等不同階段,因其管理本質之差異,在實務上,分屬計畫形成評估、計畫執行管考、計畫成果評定等不同範疇。在當代績效管理重視課責的前提下,績效評估已經由過去重視「投入」控制,轉變為強調「成果」的測量,我國政府對重大研發計畫之管理,亦較重視計畫結束後之成效評估(outcome evaluation)。

然而,強調事後評估,亦引發不同觀點或實務上挑戰,例如:只評估計畫的影響,缺乏以整體脈絡了解計畫如何組織和執行,使得對於計畫如何導致目前結果產生錯誤解釋;所需評估資料在計畫結束後,隨著計畫辦公室的停止運作,使得成效資料無法完善蒐集等限制。因此,近年Mat Duerden和Peter A. Witt等學者認為,可以運用「過程式評估」(process evaluation),或所謂「執行評估」(implementation evaluation),來補足對計畫整體執行全貌的觀察與協助了解計畫執行的品質,例如:一項計畫採取了哪些具體措施去解決預設問題?這些措施是否、如何、為何引起作用?以及釐清計畫執行過程中面臨哪些資源面、管理面、工作設計、培訓面等相關問題。

過程式評估尚包含下列優點:了解計畫是否被正確的執行,使研究人員更準確地解釋計畫規劃與執行成果間的關聯(Durlak, 1998; Gresham, Gansle, 1993; Moncher, Prinz, 1991);協助執行者掌握最佳操作和計畫組成,促進成功經驗的準確複製(Backer, Liberman, Kuehnel, 1986);洞察計畫運作方式及其成功或失敗的原因(Chen, 1998; Domitrovich, Greenberg, 2000);協助研究人員準確描述計畫過程和成果,進而準確識別和傳播計畫相關的訊息(Domitrovich, Greenberg, 2000; Dusenbury et al., 2003)等。

綜言之,計畫執行期間之過程評估與結束後的成果評估一樣重要,有助在投入資源評估成果效益前,先確定計畫是否被確實地執行,俾及時回饋計畫改良,使管理者獲得更多決策訊息及提早蒐集相關評估資料,以避免計畫結束後因缺乏評估資料,導致無法有效推動成效評估。為補足我國現行計畫績效評估制度著重事後成效評估之可能限制,協助計畫於執行期間及時預警、發現問題並及早介入協調解決,本文將先探究過程式評估執行步驟、評估工具類型、應用時機,以及國內外之實際研究案例,藉以回頭檢視我國計畫績效評估制度之可能缺口,最後綜整提出對我國計畫管理制度之精進建議。

 

過程式評估要項及規劃步驟

過程式評估目的,無論是作為計畫執行過程的調整,避免執行偏離原先規劃方向之「形成式用途」(formative uses),或是用以判斷計畫是否對參與者造成影響,以利計畫結束後回饋修正之「綜整式用途」(summarize uses),其評估內容概分六項:執行精確度/品質(fidelity/quality)、活動項目實際提供給參與者之比例/完整度(does delivered/completeness)、參與者之參與程度/使用度(does received/exposure)、觸及度/參與者比例(reach/participation rate)、招募及吸引更多計畫參與者(recruitment)、直接或間接影響計畫執行成果之環境面向(context)等,並透過6個流程步驟,依次進行過程式評估方法規劃(圖1)。

過程式評估計畫執行品質績效管理同儕審查門徑創新管理系統計畫管考跨部會計畫評估工具政策執行計畫管理

分享:


 

聯絡我們

104 台北市中山區德惠街16-8號7樓
電話:總機 +886 (2) 2586-5000
傳真 +886 (2) 2586-8855
E-mail:bussiness@tier.org.tw