1、第一节第一节 社会服务项目评估的内涵社会服务项目评估的内涵一、社会服务项目评估的含义一、社会服务项目评估的含义 社会服务项目评估是评估活动的一种类型,是针对社会服务项目而进行的评估,是用科学的研究方法对社会服务项目的设计、策划、实施和效果等方面进行的测度、诊断和评价的活动。社会服务项目评估的具体对象具体对象是社会服务项目的计划、实施过程及结果。社会工作者为了有效开展服务而进行的评估,包括对服务对象需求的评估,对于服务方案的评估及选择,以及对社会工作过程的评估。对已开展的社会服务进行的评估,是对社会服务结果、效果和影响的评价。社会服务评估过程评估结果评估二、社会服务项目评估的基本架构二、社会服务
2、项目评估的基本架构(一)评估主体1.社会工作者或社会服务机构。2.相关上级和第三方评估。(二)评估对象社会服务项目(三)评估目标1.评价社会服务项目目标的实现程度、专业服务效果及项目资金的使用情况;2.总结社会服务经验,提炼社会工作服务技巧,提升社会工作服务水平;3.作为社会服务项目结项的依据,同时也是为项目购买方确定项目执行方继续承担相关社会工作服务项目提供依据。(四)(四)评估方法评估方法 1.要获得有关评估对象的信息,评估方法由信息载体信息载体和信息信息内容内容组成。信息载体是指用什么形式去获取信息,比如,问卷、访谈对话、服务对象举止都可能承载某些信息。信息内容指上述言语、符号包含的评估
3、所需的意义。2.评估方法要与评估对象的特质相符合。比如,在对老人服务项目进行评估时,评估方法(包括具体提问方式和内容)就应该考虑到老人回答问题的便利。如果接受服务的老人不喜欢和不接受某种评估方式,他们就无法合适地表达想法、感受和意见,这就会影响评估的有效性。三、社会服务项目评估的主要功能三、社会服务项目评估的主要功能(一)促进社会服务的发展(二)社会交代向有关方面证明自己的效果及效率。(三)服务提供者的自我发展(四)促进社会工作学科的发展第二节第二节 社会服务项目评估的一般过程社会服务项目评估的一般过程 准备阶段、实施阶段、撰写评估报告一、准备阶段一、准备阶段(一)接受委托和明确评估目的(一)
4、接受委托和明确评估目的(二)明确评估焦点和问题(二)明确评估焦点和问题社会服务项目评估的五个焦点(1)服务对象需求(2)项目的理论与设计(3)项目过程(4)项目结果(5)项目效率书P83 表4-1 常见的评估问题类型与形式服务对象的需求是什么?服务或项目是否能满足服务对象的需求?服务或项目的目标是什么?是否已实现?服务或项目的实际实施过程如何?是否按计划进行?服务或项目的结果或效果如何?服务或项目的效率或投入一产出比如何?服务或项目还需要延续,或者改善吗?(三)制订评估计划(三)制订评估计划1.提出评估研究策略。2.进行评估设计。3.确定时间进度与经费预算等问题。(四)签订评估协议(四)签订评
5、估协议书P85 拓展阅读4-1 委托评估协议书二、实施阶段二、实施阶段(一)进入现场(一)进入现场 1.建立信任关系与项目各方建立信任关系,获取资料 2.重估评估计划和文献回顾进一步了解项目信息,重估自己在开始准备阶段中确立的评估计划。通过文献回顾对于项目理论有更清楚的认识,选择更加合适的评估测量工具。(二)搜集和分析资料(二)搜集和分析资料 选取资料搜集对象(抽样)明确资料搜集方法 确定资料分析方法三、撰写评估报告三、撰写评估报告 1.评估报告结构拓展阅读拓展阅读4-2 4-2 评估报告的结构评估报告的结构1.标题。一般包含被评估项目名称以及评估的焦点(需求评估、项目理论评估、过程评估、成果
6、评估、效率评估,或者综合性评估)。2.导言。一般介绍项目评估的背景、原因以及目标,陈述评估问题。一些评估报告的导言还会简要介绍整篇评估报告的结构。3.评估方法。介绍评估采用的设计方法以及具体步骤,包括资料搜集和分析方法等方面。4.评估发现。详细陈述评估的发现:需求评估报告的重点是描述服务对象的需求,项目理论评估报告的重点是项目理论的检验结果,过程评估报告的重点是对项目实施过程的描述和分析,成果评估报告的重点是对项目成果进行描述和判断,效率评估报告的重点是对项目效率进行描述和判断。5.结论与建议。对评估发现进行总结,并据此提出相关对策建议。6.参考文献。罗列评估中所参考的各项文献名称。7.附录。
7、一些评估报告还可以将评估中涉及的重要文献、评估工具等内容作为报告的附录。三、撰写评估报告三、撰写评估报告拓展阅读拓展阅读4 4-3 3 评估报告评价标准评估报告评价标准1.评估目的和问题是否陈述清楚?2.评估设计是否合理?是否与评估目的和所要回答的评估问题相匹配?3.评估过程是否已经做了详细描述?4.搜集的资料是否充足和可信?对资料的分析是否准确?5.评估发现是否基于所搜集和分析的资料?6.评估结论是否基于评估发现?7.对策建议是否基于评估?是否合理并具有针对性和可操作性?8.在评估研究中是否参考了必要文献并在文献参考部分将文献名列出?2.评估报告评价标准三、撰写评估报告三、撰写评估报告3.报
8、告评审评审方法:评审方法:p 同伴咨询,即将评估报告交给同行专家评阅。这些专家会检查评估方法是否科学,并依据评估报告中的方法和资料推演结论是否可以接受;p 成员检查,即将评估报告所涉及的资料交给项目各方(尤其是服务对象和项目执行方)确认。这可以在一定程度上检查资料的准确性以及评估者对资料的解释是否与资料提供者的原意相符。第三节第三节 社会服务项目的过程评估社会服务项目的过程评估一、过程评估的内涵一、过程评估的内涵(一)基本概念(一)基本概念 过程评估,又叫形成性评估过程评估,又叫形成性评估,是在服务提供者项目执行过程中开展的一种评估活动。它通过对服务活动过程或项目实施过程及形式的评估,了解服务
9、提供或项目实施是如何进行的,服务或项目活动是否实现了预期目标,服务手法或项目执行方式对目标完成是否具有效能与效率,从而发现服务或项目执行过程的优点和缺点,以便制定解决问题的策略,帮助服务提供者和项目执行者复制计划或修订计划。(二)评估目标(二)评估目标说明公信力发展和完善服务计划帮助他人建立相关的服务或网络二、过程评估的工作步骤二、过程评估的工作步骤(一)确定评估时间 过程评估是一种进行式过程进行式过程,而不是某个时间点上的分析。时间点的选择非常重要。评估时间选择的考虑因素:一是能否提供初步评估报告给机构职员?二是评估研究的干预结果是短期的、中期的还是长期的?评估是否提供了最大的可能性让干预发
10、挥功效?(二)需要考虑的因素(二)需要考虑的因素 1.机构或服务的使命、目标、目的是否可行,是否有足够资源,是否具备专业知识背景。2.在机构的文件和报告、社会工作文献或者网络资源中包含了相同的信息,相关的机构服务或干预计划记载了多少相关信息。评估者最关心的两个关键问题是:先前机构的努力是否会产生很有用的模式,并可以在实务服务中进行复制;先前失败的案例是否能够给现在的评估提供足够的信息。3.机构是否有足够资源(如:职员的时间和专业)来配合评估,一些附带设备(如:所需物质、设备配置、硬件、软件)及这些系统提供支持的能力等。4.确定评估范围应该考虑三方面因素:一是应该将什么目标人群包括进来?二是是否
11、有服务人口过多效应?三是当事人在干预开始前的状态与当事人接受干预后的理想状态之间的差距是怎样的,干预如何缩小了这个差距?5.决策者、专业人士、当事人和其他相关参与人士的观点和看法。(三)提出研究问题(三)提出研究问题1.界定评估问题的范围界定评估问题的范围涉及服务或者项目的运作整个过程,包括:谁参与,做了什么,有多少服务内容,项目和服务的产出如何等.2.确定确定评估评估问题的问题的步骤步骤01全面了解利益相关人群的组成02针对某个具体项目活动,进行集思广益式的问题搜集03将发展出来的问题,按照不同利益相关人群来进行分类04确定探索哪些问题。(确定问题的重要程度P93)05确保探索的问题与项目的
12、逻辑框架、工作计划有内在逻辑关系。06人员分工(四)资料搜集(四)资料搜集u 现存资料:项目计划书、工作计划、年度总结、相关新闻报道、项目活动记录、项目通讯、内部会议记录、当事人个人记录等。u 第一手资料:通过问卷调查、焦点小组、访谈、实地观察等方式,针对项目的管理者、工作人员、受益人群、赞助方等而搜集的原始资料注:1.关于项目质量。关于项目质量。(会议记录、服务对象的记录、项目政策手册、项目日记、观察记录、媒体报道、立法报告、访谈等相关资料)2.关于项目运作。关于项目运作。(项目政策手册、项目日记、观察记录、当事人记录、访谈等方面的资料)3.关于项目开发的缘由。关于项目开发的缘由。(项目策划
13、的所有文件、各次会议纪要、理解备忘录、项目申请书、需求评估报告等方面的资料)(五)资料分析和报告(五)资料分析和报告(五)资料分析和报告(五)资料分析和报告(1)介绍:初步介绍评估的起因、目的和具体要求;(2)项目(服务计划)执行总结:介绍项目(服务计划)的目标、目的、逻辑框架、进展、已取得的成绩等;(3)评估过程:包括评估的人员构成、评估方法、评估的范围、评估的问题、评估的时间安排和行程等;(4)资料搜集:包括各种现存资料和一手资料搜集的过程;(5)结果发现:根据资料分析的结果,来回答评估问题;(6)建议和启发:对项目(服务计划)的运作进行评价,总结成功之处、不足之处、未来的改进方向,对其他
14、同类项目(服务计划)的启发;(7)参考文献;(8)附录:各种支持结论的依据。(六)评估者的态度(六)评估者的态度p 一是保持谦卑的态度;p 二是要保持耐性,没有立即受到重视时不要太灰心;p 三是重视评估问题的实用性,管理需要的是实用的协助而非纯理论;p 四是针对可评估的议题,不要在不可行的议题上浪费时间和资源;p 五是不做数据的奴隶,数据无须贪多而要有意义;p 六是报告要通俗易懂;p 七是开展自我评估;p 八是要有肯学习的心态。第四节第四节 社会服务项目的结果评估社会服务项目的结果评估结果指社会工作干预所带来的服务对象改变,结果评估就是以测量和判断此种改变为焦点的一种评估模式。一、结果评估的内
15、涵一、结果评估的内涵(一)结果的含义1.结果 即项目的结果就是发生在项目所覆盖的目标对象身上的改变。2.结果的生活质量观 以人为本的视角以人为本的视角。Martin和Kettner(1996)以服务对象为中心,提出了社会项目结果的服务对象服务对象“生活质量生活质量”观点,认为干预结果表现为促进了服务对象生活质量的变化。所谓生活质量变化,指向欲求的服务对象状况、地位、行为、功能、态度、情感或感知方向发展;或者反之,向非欲求的上述方向发展。(书P96 表4-3:服务对象生活质量变化举例)(二)结果评估(二)结果评估结果评估是以测量和判断社会工作干预结果为主要目的和内容的一种评估模式,具有自身的特征
16、和作用。1.结果评估的特征结果评估的特征(1)评估的焦点是社会服务干预的结果。(2)评估的内容是评鉴社会服务干预的结果。(3)结果评估可以是事后一次性的,也可以是多次和全程性的。作用:一结果评估是评价社会工作价值和有效性不可缺少的方法方法。二结果评估还是促进社会工作绩效管理的重要手段重要手段之一。三结果评估往往采取结果的生活质量观,把服务对象在知、行、意或一般幸福感等方面的改变视为社会工作项目或服务的结果结果。局限:一大多数的结果评估不能清晰地揭示引发服务或项目结果的因素及其与结果之间的因果关系,因而无法有效地考察项目理论,在完善项目理论设计方面发挥作用。二结果评估的内容一般不涉及项目活动过程
17、的描述,不能清晰地揭示项目过程对项目产出和结果的影响,无法在改善项目实施方面发挥作用。(一)计数法(一)计数法属于定类测量定类测量1.将结果状况进行二分:有/无2.分别计算人头数并以此来反映结果。(二)标准化测量法(二)标准化测量法 常见的是各类量表各类量表,由相关条目组成,一般需要服务对象、社会工作者或评估者依据这些条目分别进行评定,最后进行计算(常见的是计算总分)。(如罗森伯格自尊量表书P98)(三)功能水平量表(三)功能水平量表 由评估者根据项目的实际情况设计出来的一种对服务对象特定功能进行前后测量前后测量的评估工具。(四)服务对象满意度(四)服务对象满意度 服务对象对于社会干预结果的满意程度满意程度是测量其结果的一个重要方面。感谢您的聆听感谢您的聆听