1、2012/8/311成效導向邏輯模式成效導向邏輯模式之方案設計與管理之方案設計與管理王嘉蕙2012/8/312參考資料中華社會福利聯合勸募協會、鄭怡世(2010),成效導向的方案規劃與評估,巨流圖書公司。趙佳音、中華社會福利聯合勸募協會合譯(2010),邏輯模式發展指南,巨流圖書公司。高迪理譯(2009),服務方案之設計與管理,揚智文化。趙善如譯(1999),社會服務方案績效的評量方法與技術,亞太圖書。羅國英、張紉譯(2007),方案評估-方法及案例討論,雙葉書廊。中華社會福利聯合勸募協會成效評量講師群講義。11/30/2011成效評量的重要性2012/8/313責信時代來臨了!經費補助緊縮績
2、效責任,如何服務方案成效不彰,為什麼要持續給予資助?對經費贊助者負責服務對象的滿意度 對服務的對象負責 對服務提供者專業的責信42012/8/312012/8/31 成效評量是為了:發現服務對象是否達到預期效益改進方案對外說明方案的效益獲取有助於決策與計畫的相關知識探討非預期的正面成效Measuring Program Outcomes.United Way of America.1996.為何要做成效評量為何要做成效評量?52012/8/31成效評量發現的結果在組織內部運用改善方案品質改善方案管理支持計畫爭取合理經費預算探討訓練需要Measuring Program Outcomes.Uni
3、ted Way of America.1996.62012/8/31成效評量發現的結果在組織外部運用推廣方案給潛在案主召募職員,董理監事會和志工尋找合作夥伴提昇共公共形象維持及增加經費來源Measuring Program Outcomes.United Way of America.1996.72012/8/31何謂成效導向邏輯模式82012/8/31邏輯模式的定義 是一種系統化與視覺化的方法 表達經營方案所持有的資源、計畫的活動與希望達成的改變或成效之間關係的認知問題或議題問題或議題社區需求社區需求策策 略略假設假設/前提前提影響因素影響因素希望得到的結果希望得到的結果(output,ou
4、tcome,and impact)12345692012/8/31為何使用邏輯模式 邏輯模式有助於方案成功設計、實施、評估 邏輯模式強化方案實施 發展方案邏輯模式需要簡單的圖像及直接的方法 邏輯模式可反映團體的程序及共識 和方案一樣,邏輯模式也可能隨時間而改變102012/8/31邏輯模式可以回答三個關鍵問題嗎?(方案服務對象是誰?要處理什麼問題與情況?方案能解決與改變什麼問題?)成效是否連結方案活動?成效是否對服務對象有助益?這個方案能夠產生初期成效嗎?長期成效對服務對象來說,是否在長期成效中獲得有效的幫助這個方案能夠有長期的成效改善服務對象的地位、狀況、生 活品質嗎?這一系列的成效有合理嗎
5、?這一系列的成效是否充分描述方案的信念?邏輯模式的問題?112012/8/31讓邏輯貫通方案讓邏輯貫通方案釐清方案理論釐清方案理論1.問題與議題說明2.社區需求3.預期效益4.影響因素5.策略6.假設呈現方案的進展呈現方案的進展1.Outputs 成果2.Outcomes 成效3.Impact 影響4.Activities 活動/服務5.Resources 資源方案評量問題與指標方案評量問題與指標1.Focus Area 服務焦點2.Audience 方案相關人士3.Questions 問題4.Information Use 資訊使用5.Indicators 指標6.Technical Ass
6、istance 技術支援以案主為核心,認識外部環境與以案主為核心,認識外部環境與問題需求等探討與分析能力問題需求等探討與分析能力理論基礎的運用理論基礎的運用與與問題干預策略的發展問題干預策略的發展邏輯性地邏輯性地規劃與執行方案計畫規劃與執行方案計畫善用資料蒐集工具善用資料蒐集工具評估與分析能力評估與分析能力溝通與公共關係的策略溝通與公共關係的策略12122012/8/31ProgramLogicmodel理論型式理論型式Theory type成效形式成效形式Outcome type服務型式服務型式 activities type規劃與設計規劃與設計經費申請書經費申請書執行執行評估評估溝通與行銷
7、溝通與行銷如何呈現機構說要做的事情預計要做的事預計要做的事 Planned work 所以所以 預計要做的事情是根據理論基礎規劃的管理機制管理機制成果報告成果報告或或其他媒介媒體其他媒介媒體我我們們想想要要做做的的我們目前為止做的我們目前為止做的開始開始因為因為 你想做的事的假設基礎和影響因素成立的話預期成效預期成效根據這個理論基礎應該應該產生的結果13132012/8/31邏輯模式發展邏輯模式發展方案計畫方案計畫描述方案欲解決的問題或欲提出的議題具體說明社區需求為何要發展此方案描述出如果方案開始執行,所希望得到的結果、或對未來的願景(短、中、長程)問題或議題問題或議題社區需求社區需求列出認為
8、可以協助達成方案目標的各項策略策策 略略說明為何這些策略在社區中會發揮功效及如何發揮功效假設假設/前提前提列出認為可能影響方案的個項因素影響因素影響因素希望得到的結果希望得到的結果(output,outcome,and impact)12345614方案理論基礎與假設 先釐清誰在經歷甚麼問題 我們是以甚麼觀點與角度來看待這個群體所面臨的問題 理論基礎與假設是構思方案後續一系列行動的基礎152012/8/3115邏輯模式單元介紹2012/8/3116162012/8/31邏輯模式各單元目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案
9、成效評量成效評量問題界定問題界定與與需求評估需求評估1717問題界定問題界定現有的社會問題中,機構所關注的議題為何?是誰來判定這個情境為問題?能否用資料或具體的現象來界定問題?問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量問題界定問題界定與與需求評估需求評估2012/8/3118問題問題界定界定u是誰面臨什麼樣的問題情境?(目標人口群)u有多少人處於這樣的問題情境中?u針對這個問題情境我們可以處理那個範圍?u這個範圍的問題現況為何?(釐清方案的理論基礎與假設)u問題的本質及成因
10、是什麼?u曾有過那些解決方案?其成效各為如何?找尋有關此問題情境的數據資料作為依據 全國性的數據資料 地方性的數據資料 不見得可以找到精確的數據,有時需要用推估 的方式來獲得2012/8/3119看待問題的觀點所關懷的所關懷的對象對象問題問題看待問題看待問題的觀點的觀點期待期待請說明你或你的組織所觀察到需要協助的群體請以一段話描述這個群體正在經歷甚麼問題請以一段話說明你或你的組織以甚麼觀點看待這個群體所面臨的問題請以一段話說明你或你的組織認為如何處理這樣的問題社區中新移民社區中新移民家庭的學齡前家庭的學齡前兒童兒童語言語言/識字能識字能力較同年齡的力較同年齡的兒童來的低落兒童來的低落主要照顧者
11、無主要照顧者無法提供適當的法提供適當的中文化學習資中文化學習資源源增加新移民家增加新移民家庭主要照顧者庭主要照顧者中文化的學習中文化的學習資源資源2012/8/3120需求評估需求評估v方案預期服務的範圍(地理區域、人口群)為何?v該服務範圍的社區或族群有何特性?v方案服務的執行所希望解決的是哪些具體問題?v其中受到上述問題影響所及的是哪些人?在哪些方面受到影響?v該項問題與需求迫切性的具體實證為何?問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量問題界定問題界定與與需求評估需求
12、評估2012/8/3121需求評估的方法需求評估的方法v運用次級資料推估 v運用現有機構服務的統計資料 v透過相關文獻資料的分析與整理v社區需求調查v現有資源盤點 v舉辦公聽會蒐集資料 問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量問題界定問題界定與與需求評估需求評估2012/8/3122需求評估的重點了解受問題困擾的目標群體及其特性將這些目標群體的問題轉化為需求將這些資訊轉化為服務內容目標人口群需要什麼?需求量為何?現有的供需比例為何?現有資源的運用情形為何?考量組織的使命、
13、專長與優勢2012/8/3123尋找資料的相關資源 政府網站 內政部社會司、兒童局 內政部統計處 勞委會職業訓練局 行政院主計處統計專區 國家圖書館政府資訊網 相關文獻 圖書:國家圖書館館藏目錄查詢系統、全國文獻傳遞服務系統 博碩士論文:台灣博碩士論文知識加值系統 政府委託研究報告:內政部研考資訊系統 期刊論文:台灣期刊論文索引系統2012/8/312425試將方案中問題的界定與需求評估轉化成文字敘述填寫於下面各欄位中問題界定需求評估資料蒐集工作表單一:問題界定與需求評估2012/8/3126目標樹使命(Mission)方案A 方案B(Program)方案C 目標目標(Goal)目標2目的2
14、目的目的1(Objective)問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量目標及目的目標及目的的的設定設定2012/8/3127目標(Goal)定義:機構主要關心的社會議題,希望對 某一特定族群所造成的最終影響。進行目標設定時,要注意:v機構所關心的社會議題 v主要被服務的目標人口群 v方案最終希望達到的影響或理想 v達成目標所使用的策略v短、中、長期目標間須有邏輯的關係 問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運
15、作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量目標及目的目標及目的的的設定設定2012/8/3128範例青少年順利從學校畢業青少年學業成績獲得改善青少年能按時完成家庭作業青少年能夠運用學到的好習慣讀書青少年學到良好的讀書習慣2012/8/3129目的(Objective)定義定義:在特定的時間內,預期達到的明確在特定的時間內,預期達到的明確 成果,進行目的設定時,要注意成果,進行目的設定時,要注意:v完成時間、期限完成時間、期限 v欲達成可測量的具體成果欲達成可測量的具體成果 v達成目標的測量方式達成目標的測量方式 問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設
16、定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量目標及目的目標及目的的的設定設定2012/8/3130目的設定時的思考面向 時間架構時間架構 方案時間表方案時間表 方案的服務對象方案的服務對象 應明確指出方案希望服務對象所產生的改變應明確指出方案希望服務對象所產生的改變 欲達成明確、可測量的具體成果欲達成明確、可測量的具體成果 測量目的是否達成的方法測量目的是否達成的方法 測量的方法測量的方法2012/8/3131檢視目標與目的的設計目標是否明確陳述預期改變的是哪些人口群?目標是否明確陳述預期改變這些人口群的哪些具體問題?目的陳述中是否有表
17、明欲達成目的的特定日期或是什麼期限內完成?目的是否明確表達測量方式?以及測量的標準為何?我們所設定的目的是否有回應到方案所呈現的問題以及需求評估?我們所設定的目標是否有回應到機構所關心的社會議題?2012/8/3132試將方案中目標及目的的設定轉化成文字敘述目標 目的工作表單二:目標與目的的設定工作表單二:目標與目的的設定2012/8/3133資源投入資源投入(Input)(Input)問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量資源資源投入投入定義:方案計劃當中藉以產生或持
18、服務 的資源,用於支持方案內容所進 行的相關活動。2012/8/3134資源投入面向 服務對象服務對象 服務對象的資格服務對象的資格 服務對象人數服務對象人數 人力資源人力資源 專業工作人員的資格與人數專業工作人員的資格與人數 兼職工作人員的資格與人數兼職工作人員的資格與人數 志工的資格與人數志工的資格與人數 工作工作loading 知識與技術知識與技術2012/8/3135資源投入面向 物質資源物質資源 硬體設施硬體設施 法定設施標準法定設施標準 可近性可近性 設備設備 合作夥伴合作夥伴 經費經費2012/8/3136預算編列 編列預算的目的:控制、管理與規劃編列預算的目的:控制、管理與規劃
19、 預算編列的注意事項預算編列的注意事項 呼應服務內容呼應服務內容 詳讀補助詳讀補助/招標單位的經費補助標準表招標單位的經費補助標準表 經費標列要合理,切勿浮編與誇大經費標列要合理,切勿浮編與誇大 收支平衡收支平衡 預算科目需以一般會計原則為準預算科目需以一般會計原則為準 區分經常門與資本門區分經常門與資本門2012/8/3137試將方案中資源投入轉化成文字敘述填寫於下面各欄位中服務對象(優勢或特性)人力資源物質資源1.經費2.設施3.設備工作表單三:資源投入工作表單三:資源投入2012/8/3138運作過程(運作過程(ProcessProcess)定義:服務提供的過程。包括:1.服務的定義 2
20、.服務策略 3.服務工作項目 4.服務流程 5.服務時間規劃 問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量運作運作過程過程2012/8/3139服務定義 以簡單扼要的一兩句話,對所欲提供的服以簡單扼要的一兩句話,對所欲提供的服務加以描述界定務加以描述界定 將解決服務對象問題與需求所需的一系列將解決服務對象問題與需求所需的一系列服務活動,從一個較大的範圍簡化成一個服務活動,從一個較大的範圍簡化成一個較小且特定的重點較小且特定的重點 使各界對提供的服務有共同的了解使各界對提供的服
21、務有共同的了解2012/8/3140服務項目 服務的各項活動服務的各項活動 活動內容須扣緊與解決服務對象的問題與活動內容須扣緊與解決服務對象的問題與需求需求 各項活動的執行者、時間、怎麼作與如何各項活動的執行者、時間、怎麼作與如何進行進行 與社區網絡的關係與社區網絡的關係2012/8/3141服務流程圖與表單 流程圖可讓我們了解服務運作內容與過程流程圖可讓我們了解服務運作內容與過程 服務表單可協助我們紀錄服務內容、過程服務表單可協助我們紀錄服務內容、過程 服務表單可依服務流程的步驟來設計服務表單可依服務流程的步驟來設計 服務表單可依方案規畫者預蒐集的資料來服務表單可依方案規畫者預蒐集的資料來設
22、計設計 切勿將服務表單作為服務流水帳,為了評切勿將服務表單作為服務流水帳,為了評鑑而寫、為了寫而寫鑑而寫、為了寫而寫2012/8/3142檢視運作過程的設計服務的定義陳述清楚明確服務的定義陳述清楚明確明確描述運作過程服務工作項目如何進行明確描述運作過程服務工作項目如何進行具體陳述服務所提供之處遇方法具體陳述服務所提供之處遇方法運作過程之規劃與問題陳述及目的一致運作過程之規劃與問題陳述及目的一致設計的理由充分且合理設計的理由充分且合理活動時間適當合宜且資源的運用在可行的範圍活動時間適當合宜且資源的運用在可行的範圍綜觀運作過程,是否有銜接以及邏輯關係綜觀運作過程,是否有銜接以及邏輯關係2012/8
23、/3143試將方案中運作過程轉化成文字敘述工作表單四:設計運作過程工作表單四:設計運作過程2012/8/312012/8/3144產出產出(Output)(Output)問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量服務服務產出產出定義:方案活動的產物、服務使用者 所接受的服務。2012/8/3145檢視產出的設計基於方案設定之目的,透過何種服務活動的組合提供,才能代表完成整個服務過程?服務活動的組合最低數量及品質應各為何?才能達到預期目標產生可測量的結果?測量服務數量前,明確
24、界定測量指標之服務單位?規劃資料蒐集的系統,包括表單與電腦資訊系統2012/8/3146工作表單五產出試將方案中產出轉化成文字敘述2012/8/3147何謂成效何謂成效(Outcome)?(Outcome)?一個方案預期目標的具體達成程度,以及展現在具體事實上的各種可觀察與可測量的改變或參與者的受益情形。服務方案服務方案成效評量成效評量問題界定問題界定與與需求評估需求評估目標及目的目標及目的的的設定設定服務設計服務設計資源資源投入投入運作運作過程過程服務服務產出產出服務方案服務方案成效評量成效評量2012/8/3148成效評量outcome measurement 焦點放在處遇的結果上,特別是
25、處遇是否會產生預期的成效,並且去確認方案的成果目標被達成的程度。成果評量須依賴清楚和明確的目標,這些目標是基於期望的效果,焦點擺在服務使用者狀況的改變上,例如:知識、技巧、態度、行為或能力。2012/8/3149第三階段第三階段:蒐集資料,改善方案成效評量:成效評量:三個階段三個階段第一階段第一階段:規劃成效評量;發展邏輯模式第二階段第二階段:選擇成效:確認指標與影響因素2132012/8/3150成效評量的步驟規劃成效評量發展邏輯模式選擇成效確認指標與影響因素蒐集資料,改善方案2012/8/3151規劃成效評量 決策者的支持:方案評因為會動用到組織的資源,是以必須獲得決策者的支持。確認方案:
26、成效評所要評的方案到底為何 形成工作團隊:成效評是由一個團隊執評工作。確定工作時限:成效評估可能無限期評下去,必須有所規劃,限定出明確的時間執並完成效評。釐清與者的職責:針對團隊成員的職責一一釐清,以提昇工作效。2012/8/3152成效類別成效類別服務成效服務成效短期中期長期知識知識態度態度技巧技巧學習學習行為行為能力能力狀況狀況地位地位2012/8/3153發展成效邏輯模式發展成效邏輯模式為本方案投入的資源為本方案投入的資源 例如:例如:經費 專職人力與時間 志工人數與時數 設備設施 器材及工具 方案規範與限制方案規範與限制 例如:例如:法律 辦法與規定 經費贊助者要求 運用投入資源,以運
27、用投入資源,以方案宗旨為目標所方案宗旨為目標所進行的相關活動進行的相關活動 例如:例如:提供遊民食宿 提供就業訓練 教育社會大眾有關兒童保護的觀念:如何辨認受虐兒童的傷痕 為青少年少女安排大哥大姊陪伴成長 方案直接成果方案直接成果 例如:例如:授課班數與時數 提供諮商服務時數 提供教材份數 服務提供的總時數 方案服務人數 方案進行中與進行後案方案進行中與進行後案主或參與者的受益情形主或參與者的受益情形 例如:例如:獲取新知識 增進新技能態度價值觀改變 行為的改善 狀況的改善 社經地位的提昇 2012/8/3154Input 投入資源投入資源Activities 方案活動方案活動Outputs
28、服務產出服務產出Initial Outcomes初期成效初期成效IntermediateOutcomes 中期成效中期成效Long-term outcomes長期成效長期成效2012/8/3155邏輯模式圖範例2012/8/3156第一步驟:第一步驟:選擇要測量的成效選擇要測量的成效第二步驟:確認指標第二步驟:確認指標第三步驟:確認影響因素第三步驟:確認影響因素 第二階段:第二階段:選擇成效;確認指標及影響因素選擇成效;確認指標及影響因素2012/8/3157選擇具有以下條件的成效:n該成效與方案服務的結果有 邏輯關係n與特定的方案活動有關n能回應方案關切的問題n代表有意義的幫助或改變n能夠有
29、效地傳達方案的效益選擇要測量的成效選擇要測量的成效 2012/8/3158成效選擇表成效成效意義性意義性責信責信可測性可測性可行性可行性總總計計列出四個列出四個在這方案在這方案邏輯模式邏輯模式中的成效。中的成效。評估此成評估此成效對此方效對此方案的意義案的意義(從(從1-31-3分,分,3 3分分代表最具代表最具意義性)意義性)評估此成評估此成效對於此效對於此方案責信方案責信展現的程展現的程度(從度(從1-31-3分,分,3 3分代分代表最具可表最具可說明性)說明性)評估此成評估此成效能被測效能被測量的程度量的程度(從(從1-31-3分,分,3 3分分代表最容代表最容易被測量)易被測量)考量每
30、一考量每一個成效評個成效評量所需的量所需的時間、資時間、資源和互利源和互利(從(從1-31-3分,分,3 3分分代表最具代表最具可行性)可行性)2012/8/3159指標是:p可觀察也可測量的p能夠導出方案的成功p描述成效發生時的情形p夠明確,能使不同的人 看到時得到相同結論p能夠以合理的成本、時間、人力來測量 確認指標確認指標 2-72012/8/3160指標的類型指標的類型:課輔家教課輔家教2-9成效類型成效類型成效成效指標指標知識學生知道好的學習習慣*的學生,可以指出至少五種有效學習的讀書方法行為學生準時完成家庭作業*的學生,在老師指派作業後能準時繳交 改善的情況學生有好的學習成就*的學
31、生,能得到A或B的成績並繼續保持。*得到C或更差成績的學生,可以在完成方案後,改善他們的成績2012/8/3161變數:p服務對象p環境p方案 步驟三:確認影響因素步驟三:確認影響因素 2-102012/8/3162成效評量成效評量 :第三階段第三階段3-1第一階段:第一階段:規劃成效評量,發 展邏輯模式第二階段:第二階段:選擇成效:確認指標與影響因素第三階段:第三階段:蒐集資料,改善方案2012/8/3163第一步驟第一步驟設計資料蒐集方法第二步驟第二步驟資料蒐集第三步驟第三步驟組織並彙整資料第四步驟第四步驟分析和呈現資料第五步驟第五步驟運用資料改進方案,你的行動計畫 第三階段第三階段 :蒐
32、集資料蒐集資料 ;改善方案改善方案3-3UseAnalyzeOrganizeCollectDesign2012/8/3164成效:成效:指標指標/影響因素影響因素HOW(方法和工(方法和工具)具)WHOWHENWHERE程序(程序(Procedures)方案預期達到成效,你所要觀察或測量的指標?你如何得到資料?你所使用的方法和工具是什麼?誰負責提供資料?誰負責收集資料?什麼時候要收集資料在方案中的那個時機點以及頻率、次數?在什麼地方收集資料是在服務對象的家中、透過電話等?成效評量規劃表成效評量規劃表2012/8/3165成效導向邏輯模式的計畫書架構 計畫名稱、計畫書摘要、邏輯模式 計畫書的前言、緣起 處境分析、問題界定、需求評估 計畫的目標與目的 活動或服務、投入資源 評估計畫 預算表、進度表與分工表 附件2012/8/3166謝謝聆聽謝謝聆聽敬請指教敬請指教