1、第九章第九章 培训有效性评估培训有效性评估第一节第一节 培训有效性的概述培训有效性的概述一、培训有效性的主要概念和主要内容一、培训有效性的主要概念和主要内容v培训有效性是指公司和员工个人从培训中获培训有效性是指公司和员工个人从培训中获得的收益。对员工个人来说，收益意味着新得的收益。对员工个人来说，收益意味着新的知识和技能，对于公司来说包括销售的增的知识和技能，对于公司来说包括销售的增加，顾客满意度的增加等。加，顾客满意度的增加等。v培训有效性的定义为培训有效性的定义为“系统的收集必要的描系统的收集必要的描述性和判断性信息，以帮助作出决策、使用述性和判断性信息，以帮助作出决策、使用和修改培训项目
2、的决策和修改培训项目的决策”。二、培训有效性的目的二、培训有效性的目的v体现人力资源管理的效益性。通过有效性评体现人力资源管理的效益性。通过有效性评估，反映培训对组织的贡献，并以此体现人估，反映培训对组织的贡献，并以此体现人力资源部门或培训部门在组织中的重要作用。力资源部门或培训部门在组织中的重要作用。主要是从主要是从“成本中心成本中心”到到“利润中心利润中心”的转的转变。变。v决定继续进行或停止某个培训项目。决定继续进行或停止某个培训项目。v获得如何改进某个培训项目的信息获得如何改进某个培训项目的信息.v对参加者的知识、技能、态度的接受与更新对参加者的知识、技能、态度的接受与更新能力，综合素
3、质与潜在发展能力的评价。能力，综合素质与潜在发展能力的评价。三、培训有效性评估的战略点三、培训有效性评估的战略点 1、培训有效性评估的侧重点、培训有效性评估的侧重点帮助管理层检查培训效果1234567帮助培训师开发培训项目是一个为提供建议的评价过程1234567非判断性的，是为了陈述问题注重统计和科学化，进行客观测量1234567描述性，主观解释注意计划的过程，并有详细的安排1234567在过程中会随着重点的变化而变化预计培训项目对公司的价值1234567向培训部门提供反馈大样本，简单问题1234567小样本，深度访谈整个培训过程中的一部分1234567只是在对培训有疑虑是才做2、培训有效性评
4、估的两种形式、培训有效性评估的两种形式v过程评估。为了改进培训过程所作的评估，它的主过程评估。为了改进培训过程所作的评估，它的主要目的一是确保培训组织良好并顺利进行，而是保要目的一是确保培训组织良好并顺利进行，而是保证学员能从培训项目中有所收获并对项目满意。证学员能从培训项目中有所收获并对项目满意。v综合评估（结果评估）。评估的是学员在培训后的综合评估（结果评估）。评估的是学员在培训后的变化程度。变化程度。结合所学的绩效考核的知识思考一下培训有效性结合所学的绩效考核的知识思考一下培训有效性评估中的过程评估和综合评估各自起到了什么作用，评估中的过程评估和综合评估各自起到了什么作用，适合在哪种情景
5、下使用。适合在哪种情景下使用。四、培训有效性评估的过程四、培训有效性评估的过程第二节第二节 培训有效性评估模型培训有效性评估模型v一、五种评估模型简介一、五种评估模型简介v1柯克帕特里克的四层次评估模型柯克帕特里克的四层次评估模型(1959年年)v 柯氏模型是迄今为止国内外最著名、运用最广泛的模型。柯氏模型是迄今为止国内外最著名、运用最广泛的模型。柯克帕特里克从评估的深度和难度将培训效果分为四个递进柯克帕特里克从评估的深度和难度将培训效果分为四个递进的层次的层次反应反应(reaction)、学习学习(learning)、行为行为(behavior)、结果结果(results)。v2CIRO模型
6、（模型（1970年）年）v该模型由沃尔、伯德、雷克汉姆三位专家提出，它描述了四该模型由沃尔、伯德、雷克汉姆三位专家提出，它描述了四种基本的评估级别，即背景评估种基本的评估级别，即背景评估(Context evaluation)、投投入评估入评估(Input evaluation)、反应评估反应评估(Reaction evaluation)、产出评估产出评估(Output evaluation)。3Lawshe的满意效用比（的满意效用比（CVR Content Validity Ratio）模型（模型（1975年）年）v 满意效用比评估是先有一定的培训人员和老师以满意效用比评估是先有一定的培训人
7、员和老师以及刚完成培训的学员根据及刚完成培训的学员根据KSAO（知识、技术、能知识、技术、能力和其他人员特征）运用头脑风暴法进行指标体系力和其他人员特征）运用头脑风暴法进行指标体系的建立，然后运用专家打分法对的建立，然后运用专家打分法对KSAO指标体系进指标体系进行评估，根据统计得到的数据，运用行评估，根据统计得到的数据，运用CVR方法进行方法进行计算。计算。vCVR=（认为选定的认为选定的KSAO指标重要的专家数认指标重要的专家数认为选定的为选定的KSAO指标不重要的专家数）指标不重要的专家数）/参加评估的参加评估的专家总人数。专家总人数。4舍贝克和科恩提出的培训绩效评估的效用公式模型（舍贝
8、克和科恩提出的培训绩效评估的效用公式模型（1985年）年）v 培训效用培训效用=YDNTPDVNTCv YD培训对工作产生影响的年数；培训对工作产生影响的年数；v PD接受培训者和未接受培训者在工作上的差异；接受培训者和未接受培训者在工作上的差异；v NT接受培训的人数；接受培训的人数；v V价值，对工作成绩的货币计算；价值，对工作成绩的货币计算；v C为每一位成员培训所支出的费用。为每一位成员培训所支出的费用。v 舍贝克和科恩的效用公式将培训绩效评估用一个公式计算舍贝克和科恩的效用公式将培训绩效评估用一个公式计算定量的表示出来，但效用公式中的定量的表示出来，但效用公式中的YD、PD和和V都是
9、一些难都是一些难以确定的模糊变量，在企业的实际操作中仍难以把握，并且以确定的模糊变量，在企业的实际操作中仍难以把握，并且测算出来的数据都是企业整体的效益指标，评估结果难以对测算出来的数据都是企业整体的效益指标，评估结果难以对个人或团队有较大的促进作用。个人或团队有较大的促进作用。5菲力普斯的五级投资回报率菲力普斯的五级投资回报率(Five-Level R0I)模型（模型（1996年）年）v 该模型分为以下五级该模型分为以下五级评估反应和既定的活动、评估学评估反应和既定的活动、评估学习、评估在工作中的应用、评估业务结果、投资回报率。习、评估在工作中的应用、评估业务结果、投资回报率。v菲力普斯在柯
10、克帕特里克的四级评估模型基础上，增加了一菲力普斯在柯克帕特里克的四级评估模型基础上，增加了一个第五级评估，形成了一个五级投资回报率模型。该模型是个第五级评估，形成了一个五级投资回报率模型。该模型是对柯氏四级评估模型的一种增补，继承了柯氏模型层层递进对柯氏四级评估模型的一种增补，继承了柯氏模型层层递进的优点，同时，又从投资回报率的角度对培训项目进行评估，的优点，同时，又从投资回报率的角度对培训项目进行评估，将培训结果的货币价值以及培训项目的成本用百分比的形式将培训结果的货币价值以及培训项目的成本用百分比的形式表示，使评估结果量化性更强，更具说服力。但是，大多数表示，使评估结果量化性更强，更具说服
11、力。但是，大多数培训对企业净收益产生影响都需要一定的时间，其作用不可培训对企业净收益产生影响都需要一定的时间，其作用不可能是立竿见影的。因此，若用这种方法得出的投资回报率的能是立竿见影的。因此，若用这种方法得出的投资回报率的结果不理想，还要进行进一步的分析。投资回报率不高可能结果不理想，还要进行进一步的分析。投资回报率不高可能是培训的组织过程需要改进，更可能是外界环境发生了影响是培训的组织过程需要改进，更可能是外界环境发生了影响培训结果的变化，以及员工或企业的培训需求发生了变化。培训结果的变化，以及员工或企业的培训需求发生了变化。二、柯氏评估模型简介二、柯氏评估模型简介v1、柯氏评估模型的、柯
12、氏评估模型的4个层次：个层次：v反应：参与者对培训项目的评价，原因在于受训者反应：参与者对培训项目的评价，原因在于受训者的反映是培训设计需要考虑的重要因素。的反映是培训设计需要考虑的重要因素。v学习评估是测量原理、事实、技术和技能的获取程学习评估是测量原理、事实、技术和技能的获取程度。度。v行为改变是测量在培训项目中所学习的技能和知识行为改变是测量在培训项目中所学习的技能和知识的转化程度。的转化程度。v结果评估是在组织层面上的评估。结果评估是在组织层面上的评估。2、培训结果指标、培训结果指标v认知结果认知结果v技能结果技能结果v情感结果情感结果v结果结果v投资回报投资回报 明确培训结果指标与柯
13、氏模型中各层次的对应明确培训结果指标与柯氏模型中各层次的对应关系。关系。三、反应评估三、反应评估v需要注意学员的反应。因为无论教师怎样认真细致地备课，需要注意学员的反应。因为无论教师怎样认真细致地备课，只要学员对某些课题不感兴趣只要学员对某些课题不感兴趣,他们就不会认真地进行学习；他们就不会认真地进行学习；反应层评估是指受训人员对培训项目的看法，包括对材料、反应层评估是指受训人员对培训项目的看法，包括对材料、老师、设施、方法和内容等等的看法。老师、设施、方法和内容等等的看法。v反应层评估的主要方法是问卷调查。问卷调查是在培训项目反应层评估的主要方法是问卷调查。问卷调查是在培训项目结束时，收集受
14、训人员对于培训项目的效果和有用性的反应。结束时，收集受训人员对于培训项目的效果和有用性的反应。问题主要包括：问题主要包括：v对讲师培训技巧的反应对讲师培训技巧的反应v对课程内容的设计的反应对课程内容的设计的反应v对教材挑选及内容，质量的反应对教材挑选及内容，质量的反应v对课程组织的反应对课程组织的反应 v是否在将来的工作中，能够用到所培训的知识和技能是否在将来的工作中，能够用到所培训的知识和技能 反应评估的作用反应评估的作用v提供改进培训的建议和评价。区分是提供改进培训的建议和评价。区分是 v让学员感到培训讲师和组织者对他们意见的尊重让学员感到培训讲师和组织者对他们意见的尊重v提供对培训看法的
15、定量的信息，可以把这些信息反馈给管理提供对培训看法的定量的信息，可以把这些信息反馈给管理层层v所反馈的消息作为培训教师以后培训的绩效标准提供参考所反馈的消息作为培训教师以后培训的绩效标准提供参考 这一阶段的评估还未涉及培训的效果。学员是否能将学到这一阶段的评估还未涉及培训的效果。学员是否能将学到的知识技能应用到工作中去还不能确定。但这一阶段的评估的知识技能应用到工作中去还不能确定。但这一阶段的评估是必要的。培训参加者的兴趣，受到的激励，对培训的关注是必要的。培训参加者的兴趣，受到的激励，对培训的关注对任何培训项目都是重要的。同时，在对培训进行积极的回对任何培训项目都是重要的。同时，在对培训进行
16、积极的回顾与评价时，学员能够更好地总结他们所学习的内容。顾与评价时，学员能够更好地总结他们所学习的内容。四、学习评估四、学习评估v学习层评估是目前最常见、也是最常用到的一种评价方式，学习层评估是目前最常见、也是最常用到的一种评价方式，实际上要回答一个问题：实际上要回答一个问题：“参加者学到东西了吗？参加者学到东西了吗？”。也。也就是说学习评估需要检查学员所学的东西，包括知识，技能，就是说学习评估需要检查学员所学的东西，包括知识，技能，态度态度 等方面，是测量受训人员对原理、事实、技术和技能等方面，是测量受训人员对原理、事实、技术和技能的掌握程度。的掌握程度。v这种检查可能以考卷形式进行这种检查
17、可能以考卷形式进行,也可能是实际操作；通过笔也可能是实际操作；通过笔试、技能操练和工作模拟等来了解受训人员在培训前后，知试、技能操练和工作模拟等来了解受训人员在培训前后，知识以及技能的掌握方面有多大程度的提高。笔试是了解知识识以及技能的掌握方面有多大程度的提高。笔试是了解知识掌握程度的最直接的方法，而对一些技术工作，例如工厂里掌握程度的最直接的方法，而对一些技术工作，例如工厂里面的车工、钳工等，则可以通过绩效考核来掌握他们技术的面的车工、钳工等，则可以通过绩效考核来掌握他们技术的提高。提高。v强调对学习效果的评价，也有利于增强受训人员的学习动机。强调对学习效果的评价，也有利于增强受训人员的学习
18、动机。v这一评估的结果也可体现出讲师的工作是否是有效的。但此这一评估的结果也可体现出讲师的工作是否是有效的。但此时，仍无法确定参加培训的人员是否能将他们学到的知识与时，仍无法确定参加培训的人员是否能将他们学到的知识与技能应用到工作中去。技能应用到工作中去。五、行为评估五、行为评估v行为评估试图衡量学员行为改变或是工作表行为评估试图衡量学员行为改变或是工作表现的变化，实际上是评估现的变化，实际上是评估知识，技能，态度的知识，技能，态度的迁移水平。要回答一个问题：迁移水平。要回答一个问题：“人们在工作中使用人们在工作中使用了他们所学到的知识，技能和态度了吗？了他们所学到的知识，技能和态度了吗？”v
19、行为评估的特点主要表现在行为评估的特点主要表现在v1、学员行为改变是有一定条件的；、学员行为改变是有一定条件的；v2、很难以及何时会产生变化；、很难以及何时会产生变化；v3、行为的改变往往受到外部的影响。、行为的改变往往受到外部的影响。v如果学员在培训之后没有学以致用如果学员在培训之后没有学以致用,那么就说明培训对每个那么就说明培训对每个参加的人而言都是一种浪费；行为层的评估往往发生在培训参加的人而言都是一种浪费；行为层的评估往往发生在培训结束后的一段时间，由上级、同事或客户观察受训人员的行结束后的一段时间，由上级、同事或客户观察受训人员的行为在培训前后是否有差别，他们是否在工作中运用了培训中
20、为在培训前后是否有差别，他们是否在工作中运用了培训中学到的知识。这个层次的评估可以包括受训人员的主观感觉、学到的知识。这个层次的评估可以包括受训人员的主观感觉、下属和同事对其培训前后行为变化的对比，以及受训人员本下属和同事对其培训前后行为变化的对比，以及受训人员本人的自评。这种评价方法要求人力资源部门建立与职能部门人的自评。这种评价方法要求人力资源部门建立与职能部门的良好关系，以便不断获得员工的行为信息。培训的目的，的良好关系，以便不断获得员工的行为信息。培训的目的，就是要改变员工工作中的不正确操作或提高他们的工作效果，就是要改变员工工作中的不正确操作或提高他们的工作效果，因此，如果培训的结果
21、是员工的行为并没有发生太大的变化，因此，如果培训的结果是员工的行为并没有发生太大的变化，这也说明过去的培训是无效的。这也说明过去的培训是无效的。行为评估的意义行为评估的意义v从公司的角度说从公司的角度说v从管理层的角度说从管理层的角度说v从员工的角度说从员工的角度说六、结果评估六、结果评估v这一阶段的评估要考察的不在是受训者的情况，而这一阶段的评估要考察的不在是受训者的情况，而是从部门和组织的大范围内，了解因培训而带来的是从部门和组织的大范围内，了解因培训而带来的组织上的改变效果。既要回答组织上的改变效果。既要回答“培训为企业带来了培训为企业带来了什么影响？什么影响？”可能是经济上的，也可能是
22、精神上的。可能是经济上的，也可能是精神上的。如产品质量得到了改变，生产效率得到了提高，如产品质量得到了改变，生产效率得到了提高，客客户的投诉减少了等等。这一阶段评估的费用和时间，户的投诉减少了等等。这一阶段评估的费用和时间，难度都是最大的。但对企业的意义也是最重要的。难度都是最大的。但对企业的意义也是最重要的。结果评估的实施主要的阻力有两个方面：结果评估的实施主要的阻力有两个方面：v来自于培训师的阻力来自于培训师的阻力v信息收集的困难信息收集的困难表表 Kirkpatrick培训四级评估模型培训四级评估模型 评估级别主要内容 可以询问的问题 衡量方法 一级评估：反应层评估 观察学员的反应 受训
23、者喜欢该培训课程么?课程对自身有用否？对培训讲师及培训设施等有何意见？课堂反应是否积极主动？问卷、评估调查表填写，评估访谈 二级评估：学习层评估 检查学员的学习结果 受训者在培训项目中学到了什么?培训前后，受训者知识及技能方面有多大程度的提高？评估调查表填写，笔试、绩效考试，案例研究 三级评估：行为层评估 衡量培训前后的工作表现 受训者在学习的基础上有没有改变行为?受训者在工作中是否用到培训所学到的知识？由上级、同事、客户、下属进行绩效考核、测试、观察和绩效记录四级评估：结果层评估 衡量公司经营业绩的变化 行为的改变对组织的影响是不是积极的?组织是否因为培训而经营的更顺心更好？考察事故率、生产
24、率、流动率、士气 准确的评估培训的效果是一项很困难的工作。美国准确的评估培训的效果是一项很困难的工作。美国人力资源管理专家洛丝特对评估培训结果提供了一人力资源管理专家洛丝特对评估培训结果提供了一些简单而适用的建议，可以给我们一些有益的启示：些简单而适用的建议，可以给我们一些有益的启示：v1、请学习者在培训课程结束时填写评估表。、请学习者在培训课程结束时填写评估表。v2、培训开始让学习者谈谈他们希望学到什么。培、培训开始让学习者谈谈他们希望学到什么。培训结束时，让他们回顾自己提出的学习目标，并讨训结束时，让他们回顾自己提出的学习目标，并讨论究竟学到了什么。论究竟学到了什么。v3、不断提出问题，让
25、学习者阐述他们是如何理解、不断提出问题，让学习者阐述他们是如何理解概念的，并如何在工作中运用这些概念。概念的，并如何在工作中运用这些概念。v4、每讲完一个新技能或新概念就进行小测验，确、每讲完一个新技能或新概念就进行小测验，确保每个学习者都掌握了这部分内容。保每个学习者都掌握了这部分内容。v5、回顾学习结果，让学习者证明自己取得的学习、回顾学习结果，让学习者证明自己取得的学习成果。成果。v6、培训结束后，让学习者花、培训结束后，让学习者花5-10分钟时间写一写分钟时间写一写他们如何运用学习成果以及什么时候用。他们如何运用学习成果以及什么时候用。v7、观察员工的工作情况以及对新技能或新知识的、观
26、察员工的工作情况以及对新技能或新知识的使用情况。使用情况。v8、比较培训前后员工的表现。、比较培训前后员工的表现。v9、让学习者写下培训中哪些内容对他们的工作最、让学习者写下培训中哪些内容对他们的工作最有用，哪些内容最没用。有用，哪些内容最没用。v10、交给学习者一项工作任务，要求他们使用学到、交给学习者一项工作任务，要求他们使用学到的新知识和新技能。完成任务后，与每位学习者交的新知识和新技能。完成任务后，与每位学习者交谈他们的工作，指出他们的不足，并加强学习。谈他们的工作，指出他们的不足，并加强学习。第三节第三节 培训有效性评估的方案设计培训有效性评估的方案设计v一、影响一、影响培训有效性评
27、估效度的因素培训有效性评估效度的因素v1、培训有效性评估效度的含义、培训有效性评估效度的含义v2、培训有效性评估的影响因素、培训有效性评估的影响因素v内部效度：公司历史因素；结果测量的可靠性；学员自身的内部效度：公司历史因素；结果测量的可靠性；学员自身的因素。因素。v外部效度：学员样本、学员对培训前的测验的态度。外部效度：学员样本、学员对培训前的测验的态度。二、培训有效性评估的方案设计种类二、培训有效性评估的方案设计种类v培训有效性评估的设计种类从是否有对照组、是否培训有效性评估的设计种类从是否有对照组、是否进行培训前评估和培训后评估两个方面来考虑主要进行培训前评估和培训后评估两个方面来考虑主
28、要有以下一些方法：有以下一些方法：v1、仅有后测，无对照组的设计。仅在学员参加培仅有后测，无对照组的设计。仅在学员参加培训后对其进行测量；很难说学员所学到的东西是培训后对其进行测量；很难说学员所学到的东西是培训的效应。训的效应。v2 2、前测后测的设计。、前测后测的设计。v可以进行差异性检验，通过统计分析说明培训的效可以进行差异性检验，通过统计分析说明培训的效果；但是没有对照组，分析出来的差异可能不是由果；但是没有对照组，分析出来的差异可能不是由培训造成的。培训造成的。v3、后测对照组的设计。、后测对照组的设计。v在设计中增加了对照组，但是对培训组和对照组都在设计中增加了对照组，但是对培训组和
29、对照组都不进行培训前的测量。不进行培训前的测量。v两组指标上的差异被认为是培训的效果。两组指标上的差异被认为是培训的效果。v可以排除培训以外因素的干扰。可以排除培训以外因素的干扰。v对于学员以往的水平没有测量，无法判断培训组和对于学员以往的水平没有测量，无法判断培训组和对照组是否同质。对照组是否同质。4、前测后测、前测后测对照组的设计对照组的设计v采用对照组和培训组比较；对两组均进行前测和后测。采用对照组和培训组比较；对两组均进行前测和后测。v两组指标上的差异被认为是培训的效果。两组指标上的差异被认为是培训的效果。v可以排除培训以外因素的干扰。可以排除培训以外因素的干扰。v在研究设计中应用较多
30、，不仅用于评估单一培训的效果，也在研究设计中应用较多，不仅用于评估单一培训的效果，也可以用来衡量不同培训方式的效果。可以用来衡量不同培训方式的效果。培训前的工作态度培训后的工作态度培训组1前测1后测1对照组2前测2后测2培训效果(后测1后测2)（前测1前测2）5、所罗门四组设计、所罗门四组设计v这一设计实际上是上述等组前后测设计和等组后测这一设计实际上是上述等组前后测设计和等组后测设计的综合，是由所罗门设计的综合，是由所罗门(SolomonSolomon，1949)1949)首创，首创，故称为所罗门四组设计故称为所罗门四组设计(Solomon four group Solomon four g
31、roup designs)designs)，它将它将前几种设计结合起来，可以把干扰前几种设计结合起来，可以把干扰培训效果的其他因素的影响减少的最低。培训效果的其他因素的影响减少的最低。v其设计模式是：其设计模式是：v这种设计包含有两个培训组和两个对照组，四组这种设计包含有两个培训组和两个对照组，四组受试者均由随机方法选择而来。其中，有两个组受试者均由随机方法选择而来。其中，有两个组接受前测，两个组则无。实验处理后，四组均接接受前测，两个组则无。实验处理后，四组均接受后测。受后测。v实验效果的测定，可用相关样本或独立样本的实验效果的测定，可用相关样本或独立样本的Z Z检检验或验或t t检验检验(
32、N30N30用用Z Z检验，检验，N30N30用用t t检验检验)的方法，的方法，检验下列四种平均数的差异显著性：检验下列四种平均数的差异显著性：v第一组前测和后测平均数的差异第一组前测和后测平均数的差异(O O2 2-O-O1 1););v第一组和第二组后测平均数的差异第一组和第二组后测平均数的差异(O O2 2O O4 4););v第三组、第四组后测平均数的差异第三组、第四组后测平均数的差异(O O5 5O O6 6););v第一组、第二组前测平均数和第三组后测平均第一组、第二组前测平均数和第三组后测平均数的分别差异数的分别差异(O O5 5O O1 1或或O O5 5O O3 3)。v如
33、果上述四个差异的检验都获得一致性的效果，研究者将更如果上述四个差异的检验都获得一致性的效果，研究者将更有信心确定是实验处理产生了效果。因为这等于重复做了四有信心确定是实验处理产生了效果。因为这等于重复做了四次实验次实验(若以有前测和无前测比较，则等于重复做了二次实若以有前测和无前测比较，则等于重复做了二次实验验)。v有关前测经验的单独效果之检验，可比较第二组和第四组后有关前测经验的单独效果之检验，可比较第二组和第四组后测平均数的差异测平均数的差异(O O4 4O O6 6)。v这种设计对影响内在效度的八个因素均可控制，而且，可以这种设计对影响内在效度的八个因素均可控制，而且，可以控制和测量前测
34、的主要效果，可以控制和测量前测与实验处控制和测量前测的主要效果，可以控制和测量前测与实验处理间的交互作用效果理间的交互作用效果(通过第一组和第三组的比较通过第一组和第三组的比较)，可以测，可以测量量“成熟成熟”和和“历史历史”的综合影响效果的综合影响效果(根据第四组的后测根据第四组的后测平均数平均数O O6 6和第一、二组的个别前测平均数和第一、二组的个别前测平均数O O1 1、O O3 3的比较的比较)。v这种设计是最严谨控制的实验设计之一。但是，由于有四个这种设计是最严谨控制的实验设计之一。但是，由于有四个组，需要大量的样本，研究者须付出很大的代价，缺乏实用组，需要大量的样本，研究者须付出
35、很大的代价，缺乏实用性。因此，在一般的应用研究中，这种设计的应用并不广泛。性。因此，在一般的应用研究中，这种设计的应用并不广泛。6、时间序列设计、时间序列设计v时间序列设计是由库克和坎贝尔在他们著名的准实验设计时间序列设计是由库克和坎贝尔在他们著名的准实验设计中提出来的，基本上是借助多次重复测量的一种前测后测设中提出来的，基本上是借助多次重复测量的一种前测后测设计。这种设计的实质是对某个被试组或被试个体进行周期性计。这种设计的实质是对某个被试组或被试个体进行周期性的测量，比较被试接受实验处理前后的反应模型，以评估自的测量，比较被试接受实验处理前后的反应模型，以评估自变量作用的设计。变量作用的设
36、计。v根据被试组的设置情况，可分为简单中断时间序列设计和复根据被试组的设置情况，可分为简单中断时间序列设计和复合中断时间序列设计。合中断时间序列设计。v简单中断时间序列设计，是最基本的时间序列设计，基本上简单中断时间序列设计，是最基本的时间序列设计，基本上是一种单组前测后测设计。与其他种类前测后测设计的主要是一种单组前测后测设计。与其他种类前测后测设计的主要区别是没有比较组，并且不是仅有一次前测和后测，而是对区别是没有比较组，并且不是仅有一次前测和后测，而是对一个实验组或一个被试进行周期性的一系列前测和后测。一个实验组或一个被试进行周期性的一系列前测和后测。v“英国工业疲劳研究组英国工业疲劳研
37、究组”关于工作日由关于工作日由10小小时改为时改为8小时对提高生产效率影响的研究。时小时对提高生产效率影响的研究。时间间1919年年8月一直到月一直到1920年年8月。得出结论：月。得出结论：工作时间从工作时间从10小时降到小时降到8小时，提高了每小小时，提高了每小时的产量。时的产量。v虽得出以上结论还存在以下问题：虽得出以上结论还存在以下问题：可能不可能不管工作时间是否缩短都会出现生产率提高的管工作时间是否缩短都会出现生产率提高的现象。现象。除了每天工作时间长短的变化外，除了每天工作时间长短的变化外，可能还有其他变量影响到每小时的平均生产可能还有其他变量影响到每小时的平均生产量。量。数据的效
38、度有限。数据的效度有限。很可能产生很可能产生“霍霍桑效应桑效应”。v复合中断时间序列设计基本上是简单中断时间序列设计的延复合中断时间序列设计基本上是简单中断时间序列设计的延伸。它是在研究设计的过程中，增加一个没有接受过实验处伸。它是在研究设计的过程中，增加一个没有接受过实验处理的比较组，以提高中断时间序列设计的功能。增加一个控理的比较组，以提高中断时间序列设计的功能。增加一个控制组可以为结果的解释提供参考信息。制组可以为结果的解释提供参考信息。v在用时间序列设计对培训有效性进行评估时简单中断时间序在用时间序列设计对培训有效性进行评估时简单中断时间序列设计就是指没有对照组的状态下采用该方法；复合
39、中断时列设计就是指没有对照组的状态下采用该方法；复合中断时间序列设计就是指有对照组的状态下采用该方法，也就是多间序列设计就是指有对照组的状态下采用该方法，也就是多重时间序列设计。重时间序列设计。v时间序列设计比较适合学员人数少，难以进行统一分析的情时间序列设计比较适合学员人数少，难以进行统一分析的情况；况；v在较长时间内对员工进行考察，容易受到员工个人发展因素在较长时间内对员工进行考察，容易受到员工个人发展因素影响，所以研究时一般引入对照组；影响，所以研究时一般引入对照组；v多重时间序列设计用于评价那些比较容易观察到的培训结果多重时间序列设计用于评价那些比较容易观察到的培训结果指标。指标。时间
40、序列设计作用体现在可以帮助了解以下信息：时间序列设计作用体现在可以帮助了解以下信息：v水平变化和趋势变化水平变化和趋势变化v效果的持久性效果的持久性v效果显示的滞后性效果显示的滞后性v如果采用对照组，可以通过对照组的比较来确定培训的效果。如果采用对照组，可以通过对照组的比较来确定培训的效果。库克和坎贝尔提出了中断时间序列设计的一些缺点库克和坎贝尔提出了中断时间序列设计的一些缺点v许多处理并不是迅速实施的，它们逐渐散播到总体中。因此，许多处理并不是迅速实施的，它们逐渐散播到总体中。因此，处理后的因变量的任何变化可能缓慢得使人观察不到。处理后的因变量的任何变化可能缓慢得使人观察不到。v许多作用并非
41、是即时产生的，而是延滞性的，何时出现也无许多作用并非是即时产生的，而是延滞性的，何时出现也无法预期。法预期。v 时间序列设计的统计分析相当复杂。时间序列设计的统计分析相当复杂。v数据收集较难。数据收集较难。三、培训有效性评估中的基本统计分析三、培训有效性评估中的基本统计分析平均数差异检验平均数差异检验相关分析相关分析方差分析方差分析培训效果评估方案设计培训效果评估方案设计种类种类 评估方案需要组数过程（1）仅有后测，无对照组1 T X1（2）前测后测的设计1 X1 T X2（3）时间序列设计1 X1 X2 T X3X4（4）前测后测对照组设计 2（R）X1 T X3（R）X2 X4（5）时间序
42、列对照评估2（R）X1X2 T X5X6（R）X3X4 X7X8（6）后测对照组的设计2（R）T X1（R）X2（7）所罗门四组设计4（R）X1 T X3（R）X2 X4（R）T X5（R）X6 第四节第四节 培训有效性评估的经济价值分析培训有效性评估的经济价值分析v一、投资回报分析一、投资回报分析v（一）主要形式（一）主要形式v1、成本、成本有效性分析（非货币）有效性分析（非货币）v2、成本、成本收益分析（财务）：包括投资回报收益分析（财务）：包括投资回报分析（分析（ROI）（二）成本和收益的确定（二）成本和收益的确定1、培训成本的估计。、培训成本的估计。资源需要模型由奎因（资源需要模型由奎
43、因（Quinn）等人在等人在1996年提出，年提出，可以认为是培训成本矩阵。可以认为是培训成本矩阵。人员费用场地设施费用设备材料费用培训前（设计）1（a）1(b)1(c)培训中（实施）2（a）2(b)2(c)培训后（评估反馈）3（a）3(b)3(c)2、收益分析、收益分析收益分析的通常做法有：收益分析的通常做法有：v通过以往研究和培训记录，确定培训的收益；通过以往研究和培训记录，确定培训的收益；v在公司范围内进行小样本的测试；在公司范围内进行小样本的测试；v通过观察培训后绩效特别突出的员工，来分析培训的收益。通过观察培训后绩效特别突出的员工，来分析培训的收益。培训的投资回报培训的投资回报ROI
44、收益培训的成本收益培训的成本成本和收益数量化方法举例（科宁玻璃公司）成本和收益数量化方法举例（科宁玻璃公司）降低的主动离职率的收益过去降低的主动离职率的收益过去3年中的平均离职人数年中的平均离职人数17招聘新员工的成本招聘新员工的成本掌握技能时间缩短的收益掌握技能时间缩短的收益65平均月工资每年新招员工数平均月工资每年新招员工数二、效用分析二、效用分析1、效用分析是指对各种方案的损益进行分析，主要、效用分析是指对各种方案的损益进行分析，主要意义在于给管理层在作出决策时提供依据。意义在于给管理层在作出决策时提供依据。v效用的基本公式：效用的基本公式：效用单位产出的绩效产出的数量成本效用单位产出的绩效产出的数量成本2、效用分析在人力资源管理中的应用。、效用分析在人力资源管理中的应用。v泰勒泰勒拉塞尔模型拉塞尔模型v内勒和塞恩的研究内勒和塞恩的研究vBCG模型模型
