1、LOGO第第8 8讲讲 培训评估方案设计培训评估方案设计一、评估结果的歧义：效度威胁一、评估结果的歧义：效度威胁p效度：即有效性，它是指测量工具或手段能效度：即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。够准确测出所需测量的事物的程度。内部效度：研究结果的可信度，即测量所提供的自变内部效度：研究结果的可信度，即测量所提供的自变量与因变量之间因果关系明确程度的一种指标；量与因变量之间因果关系明确程度的一种指标；外部效度：研究结果能够一般化和普遍适用到样本来外部效度：研究结果能够一般化和普遍适用到样本来自的总体和到其它的总体中的程度自的总体和到其它的总体中的程度内部效度威胁描 述
2、公司历史：某事件的发生导致培训成果的变化：某事件的发生导致培训成果的变化个人 成熟度：由于受训者的自然成长或情感因素导致培训成果的变化；：由于受训者的自然成长或情感因素导致培训成果的变化；品德：研究参与者不再从事研究，例如离开公司；：研究参与者不再从事研究，例如离开公司；组内差距：受训小组与对照组存在能够影响成果的个体差异（知识、技能、：受训小组与对照组存在能够影响成果的个体差异（知识、技能、能力、行为）能力、行为）成果测量尺度测试：受训者希望在事后测试中取得好的结果；：受训者希望在事后测试中取得好的结果；工具：受训者对于评估后的成果变化的解释；：受训者对于评估后的成果变化的解释；均值回归：在
3、事后测试中，得高分和低分的受训者会向平均或中间状态移动。：在事后测试中，得高分和低分的受训者会向平均或中间状态移动。外部效度威胁对事前测试的反应：培训前的测试导致受训者关注于测试中的题目；：培训前的测试导致受训者关注于测试中的题目；对评估的反应：受训者由于要被评估而在培训项目中更努力；：受训者由于要被评估而在培训项目中更努力；人员甄选与培训中的相互作用：受训者特点会影响项目的有效性；：受训者特点会影响项目的有效性；不同方法的相互作用：接受不同方法的受训者所取得的结果只能推广到同样：接受不同方法的受训者所取得的结果只能推广到同样顺序接受同样方法的受训者身上。顺序接受同样方法的受训者身上。控制效度
4、威胁的方法控制效度威胁的方法p前测与后测：前测与后测：培训前测量、培训后测量培训前测量、培训后测量p利用对照组：利用对照组：对照组参加评估但不参加培训项目；对照组参加评估但不参加培训项目；对照组具有和受训者相似的个体特征：性别、受教育对照组具有和受训者相似的个体特征：性别、受教育程度、年龄、在职年限、技能水平程度、年龄、在职年限、技能水平p随机抽样：即随机把员工分配到受训组或对随机抽样：即随机把员工分配到受训组或对照组照组 二、评估设计方案的类型二、评估设计方案的类型p后测：只收集培训后成果的评估方案。关心后测：只收集培训后成果的评估方案。关心培训后的员工有没有达到要求培训后的员工有没有达到要
5、求只有后测会存在什么问题？只有后测会存在什么问题？p 有前测的后测：为培训成果的衡量提供了培训有前测的后测：为培训成果的衡量提供了培训前的参照标准；前的参照标准；p 有对照组的后测：有对照组的后测：为培训成果的衡量消除了个为培训成果的衡量消除了个体特征、公司历史带来的影响。体特征、公司历史带来的影响。p 有对照组、前测的后测：有对照组、前测的后测：综合上述两种优点，综合上述两种优点，可以大幅降低效度威胁。可以大幅降低效度威胁。还有什么问题？还有什么问题？p 所罗门四小组所罗门四小组小组小组前测前测是否培训是否培训后测后测培训组培训组是是是是是是对照组对照组1 1是是否否是是对照组对照组2 2否
6、否是是是是对照组对照组3 3否否否否是是p 有对照组的时间序列：对培训结果进行长期有对照组的时间序列：对培训结果进行长期、稳定的跟踪；、稳定的跟踪；p 撤销培训干预：明确培训的成果如何。撤销培训干预：明确培训的成果如何。评估方案设计的比较评估方案设计的比较评估方案设计小组测 量培训前培训前培训后培训后费用费用时间时间力度力度后测后测受训者受训者X X低低少少小小前测和后测前测和后测 受训者受训者 低低少少中等中等有对照组的后测有对照组的后测受训者和对照组受训者和对照组X X中等中等中等中等中等中等有对照组的前测和后测有对照组的前测和后测受训者和对照组受训者和对照组中等中等中等中等大大时间序列时
7、间序列受训者受训者好几次好几次中等中等中等中等中等中等有对照组和撤销培训有对照组和撤销培训干预的时间序列干预的时间序列受训者和对照组受训者和对照组好几次好几次高高中等中等大大 所罗门四小组所罗门四小组受训者受训者A A高高 多多 大大受训者受训者B BX X对照组对照组A A对照组对照组B BX X三、为什么未使用严谨的方法三、为什么未使用严谨的方法p 在下列情况下，考虑使用严谨的评估方案（有对照在下列情况下，考虑使用严谨的评估方案（有对照组的前测组的前测/后测方案）后测方案）要利用评估结果修改评估项目时；要利用评估结果修改评估项目时；培训方案正在执行中且可能会对许多雇员和顾客产生影响时；培训
8、方案正在执行中且可能会对许多雇员和顾客产生影响时；培训方案包括不同级别的班和很多的受训者时；培训方案包括不同级别的班和很多的受训者时；具有设计和评价培训评估研究数据的专业技术；具有设计和评价培训评估研究数据的专业技术；培训耗费成本，因此需要证实它确实可以发挥作用；培训耗费成本，因此需要证实它确实可以发挥作用；有足够的时间进行评估；有足够的时间进行评估；对与培训前水平相比发生的变化很感兴趣，或想比较两个或对与培训前水平相比发生的变化很感兴趣，或想比较两个或两个以上不同的培训项目。两个以上不同的培训项目。四、确定投资回报率四、确定投资回报率投资回报率（投资回报率（ROIROI）=收益收益/成本成本p 成本成本 直接成本 间接成本 开发成本 管理成本 受训者薪酬p 收益收益 软性数据 硬性数据谢谢大家！谢谢大家！
