情境判断测验技术课件.ppt

1、1情境判断测验技术情境判断测验技术(Situational Judgment Tests，SJT)SJTSJT开发程序开发程序 童婷婷童婷婷2行为反应项行为反应项题干（行为情景）题干（行为情景）反应指导语反应指导语3 提纲提纲有关有关SJTs开发的各种不同问题，尤其是确定以下几个问题：开发的各种不同问题，尤其是确定以下几个问题：1.题目的题目的题干题干(描述具体情境描述具体情境)；2.反应项反应项(给出每个情景下可能的行为反应给出每个情景下可能的行为反应)；3.反应反应指导语指导语的效应的效应(明确测评方式明确测评方式)；4.行为反应项的标定；行为反应项的标定；5.SJTs的的计分方计分方法法

2、(确定如何计分，用于统计和计算分数确定如何计分，用于统计和计算分数)。41.1.试题题干设置试题题干设置要考虑以下4个关键问题：(a)确定题目题干的来源或缘由；(b)题目题干的复杂性；(c)题目题干的保真性。51 1.1.1题干的来源题干的来源：设置情景问题关键是要进行设置情景问题关键是要进行工作分析工作分析。工作分析。工作分析要解决两个方面的问题要解决两个方面的问题,即对工作本身作出规定和确即对工作本身作出规定和确定工作对任职人员的行为要求定工作对任职人员的行为要求,也就是也就是工作描述工作描述和和职职务要求务要求。6多用多用关键事件法关键事件法进行工作分析进行工作分析,同时辅助于其他的同时

3、辅助于其他的方法、如访谈法方法、如访谈法,观察法、专家讨论法等。运用关观察法、专家讨论法等。运用关键事件法的目的是得到关于一个人如何开展工作键事件法的目的是得到关于一个人如何开展工作的详细描述的详细描述,即得到一定工作情景中的即得到一定工作情景中的“关键事关键事件件”。然后。然后,开发者对他们描述的开发者对他们描述的“关键事件关键事件”进进行筛选、编辑和修订行筛选、编辑和修订,使它们成为真正的关键事件。使它们成为真正的关键事件。7关键事件法关键事件法a.主题专家法主题专家法（Subject Matter Expert SMEs）b.档案记录法档案记录法 8a.主题专家法主题专家法 一般情况下，

4、关键事件是从现任者和主管那里收集而来,但也不仅限于此。eg：如果为销售岗位或顾客服务岗位开发一套SJT，从顾客那里收集的关键事件可能会提升这套SJT测验的质量。访谈、问卷调查等手段搜集职务专家（在职员工、直接主管、其他熟悉该职位工作的相关人员）工作中遇到的一些工作情景；在描述每个工作情景的时候，可以采用，要求由职务专家说明当时的情景、如何处理以及结果如何。9让受访者描述最近由自己主导的在管理工作中遇到的棘手的事件，详细描述事件发生的时间、地点、起因、经过、结果、背景、人物，当时的想法，采取的措施，事后的看法。这些情景必须满足以下几个要求：(1)关键事件性:(2)信息完备性：(3)事件典型性和普

5、遍性：PS 附录 访谈提纲 访谈记录10b.b.档案记录法档案记录法我们也可以从档案性的来源渠道（档案记录法）我们也可以从档案性的来源渠道（档案记录法）获得关键事件。获得关键事件。Hunter(2003)在他关于飞行判断在他关于飞行判断的研究中，利用事故报告来识别飞行员所面临的的研究中，利用事故报告来识别飞行员所面临的挑战性情境。尤其是那些为了其他目的而记录的挑战性情境。尤其是那些为了其他目的而记录的事件事件(例如：例如：事故报告、保险调查报告、行动后报事故报告、保险调查报告、行动后报告告)，档案记录应该成为，档案记录应该成为SJT所需事件的一个丰富所需事件的一个丰富的渠道来源。的渠道来源。1

6、1对对“关键事件关键事件”进行筛选、编辑和修订，以这些进行筛选、编辑和修订，以这些关键事件为基础，设计测验的情景部分。关键事件为基础，设计测验的情景部分。典型情境的挑选具体操作步骤如下：典型情境的挑选具体操作步骤如下：(1)事件的事件的编辑整理编辑整理。通过行为事件访谈收集到。通过行为事件访谈收集到所有事件，有些复杂事件里又含有几个简单的事所有事件，有些复杂事件里又含有几个简单的事件，需进一步件，需进一步提炼提炼。(2)采用专家讨论法对情境的典型性进行采用专家讨论法对情境的典型性进行评定评定。在专家评定的基础上进行统计，保留代表性和复在专家评定的基础上进行统计，保留代表性和复杂度都合适的情境，

7、最后挑选出几个典型情境。杂度都合适的情境，最后挑选出几个典型情境。121.21.2题目的复杂性题目的复杂性二个问题是题目题干的复杂性、详细性和具体性的程度。尽管有些SJTs的题目题干相对简单一些，但其他一些SJTs对情境的描述就相当详细，题干也较长实际上，有些SJTs还采用了派生技术，以一个共同的“基本情境”为基础派生出多个“亚情境”。有研究表明，题干描述具体、详细，特定性强的，SJT的效度就越高。131.3 1.3 题干的保真度题干的保真度 另外一个相关问题是题目题干的保真度。一般情况下，保另外一个相关问题是题目题干的保真度。一般情况下，保真度是指题干的真实性程度，或真实地再现工作任务要求的

8、真度是指题干的真实性程度，或真实地再现工作任务要求的程度程度 现在重要的一点是要认识到现在重要的一点是要认识到反应形式反应形式上的差异，例如：上的差异，例如：纸笔、计算机、互联网等形式，可能会导致反应上的差异。纸笔、计算机、互联网等形式，可能会导致反应上的差异。视频形式视频形式142.2.确定行为反应项确定行为反应项2.1 行为反应项的来源行为反应项的来源2.2反应选项的特点反应选项的特点152.12.1行为反应项的来源行为反应项的来源主题专家法主题专家法第一种方法，对另一批在职员工进行施测，要求第一种方法，对另一批在职员工进行施测，要求他们用较好的处理办法作答情境问题；他们用较好的处理办法作

9、答情境问题；第二种方法，采用行为事件访谈第二种方法，采用行为事件访谈(BEI)(BEI)的方法，通的方法，通过比较绩效优异者与绩效平平者的可能反应的差过比较绩效优异者与绩效平平者的可能反应的差别获得不同的反应项目，别获得不同的反应项目，16编辑、整理可能的行为反应项。应注意：编辑、整理可能的行为反应项。应注意：注意一个行为反应项只有一个行为；注意一个行为反应项只有一个行为；尽量避免尽量避免“首先，然后首先，然后”的作的作去除与情境无关的作答反应方式；去除与情境无关的作答反应方式；对意思相近或相同的行为反应进行归类、合并。对意思相近或相同的行为反应进行归类、合并。172.22.2特点特点好的反应

10、项应该具有如下特征：好的反应项应该具有如下特征：反应项必须与所设置的情境有关；反应项必须与所设置的情境有关；有较强的区分鉴别能力有较强的区分鉴别能力,即通过做答能具体反应出被试能即通过做答能具体反应出被试能力的强或弱力的强或弱;数量恰当，一般应有数量恰当，一般应有 3 3 至至 5 5 个反应项，并且按强度可个反应项，并且按强度可排序；排序；反应项要尽量降低社会的称许性。反应项要尽量降低社会的称许性。1819203.3.反应指导语反应指导语反应指导语是测验中向答题者说明以何种方式进行答题的反应指导语是测验中向答题者说明以何种方式进行答题的部分。部分。情景判断测验的反应指导语主要有两大类：情景判

11、断测验的反应指导语主要有两大类：一类是知识行为指导语或一类是知识行为指导语或最佳行为指导语最佳行为指导语；一类是；一类是行为倾向指导语或行为倾向指导语或典型行为指导语。典型行为指导语。前者要求被试对行为反应项的前者要求被试对行为反应项的有效性进行评价有效性进行评价，后者要求，后者要求被试选择自己可能采取的行为反应项或评价自己采取各行为被试选择自己可能采取的行为反应项或评价自己采取各行为反应项的反应项的可能性大小可能性大小。2122二23L244.4.行为反应项的标定行为反应项的标定为了评判被试的水平，必须先有一个评判的标准，为了评判被试的水平，必须先有一个评判的标准，即标定好的各行为项（即标定

12、好的各行为项（标答标答），再把被试的作答），再把被试的作答和标答进行对比，最后赋分。和标答进行对比，最后赋分。答案的标定方法有三种：实证法、理论法、专家答案的标定方法有三种：实证法、理论法、专家法。法。254.14.1实证法实证法(1)(1)选择工作绩效为效标，用得较多的是直接主管的考核选择工作绩效为效标，用得较多的是直接主管的考核法；法；(2)(2)求相关。先计算出各行为项上的得分，再计算得分与求相关。先计算出各行为项上的得分，再计算得分与效标的相关，被试的绩效越高，该反应项越好；效标的相关，被试的绩效越高，该反应项越好；(3)(3)确定行确定行为反应项是否正确的规则。为反应项是否正确的规则

13、。有研究认为确定的规则有有研究认为确定的规则有(a)(a)选择该项的人数不能少于选择该项的人数不能少于2525人；人；(b)(b)效标关联效度不能低于效标关联效度不能低于0.10.1。实证法的不足之处在。实证法的不足之处在于它对样本的强依赖性。于它对样本的强依赖性。缺点：样本量大缺点：样本量大264.2 4.2 专家法专家法所谓专家法是一种是请专家先对反应项评判，讨论后达成所谓专家法是一种是请专家先对反应项评判，讨论后达成一致意见。没有达成的选项要修改甚至删除。也可以根据一致意见。没有达成的选项要修改甚至删除。也可以根据专家独立评判出的结果来确定选项的标定。专家独立评判出的结果来确定选项的标定

14、。另一种是新手专家比较法。请一批另一种是新手专家比较法。请一批专家专家和一批和一批新手新手进行测进行测试，然后通过比较新手和专家的作答来确定行为反应项的试，然后通过比较新手和专家的作答来确定行为反应项的标答。一般专家选择频率高但新手选择频率低的行为反应标答。一般专家选择频率高但新手选择频率低的行为反应项视为好的或正确的选项，而新手选择频率高但专家选择项视为好的或正确的选项，而新手选择频率高但专家选择频率低的行为反应项则视为不好的或错误的选项。频率低的行为反应项则视为不好的或错误的选项。274.3理论法理论法理论法是基于理论或结构来判断行为项好坏的方法。但有人认理论法是基于理论或结构来判断行为项

15、好坏的方法。但有人认为这种方法过于主观。为这种方法过于主观。285.5.计分方法计分方法5.1迫选法迫选法29第二种破选法第二种破选法305.2 5.2 LikertLikert量表法量表法以利克特量表形式呈现测验以利克特量表形式呈现测验,令被试对每一选项在等级量令被试对每一选项在等级量表上评出值表上评出值,再计算出被试评出值与专家设定值的再计算出被试评出值与专家设定值的离差离差,离离差小者为优差小者为优,或者是不求离差而求或者是不求离差而求相关相关系数值系数值,这时这时,要求要求反应选项的个数应多反应选项的个数应多,或者是只考察最有效或者是只考察最有效(最愿意最愿意)项上项上的离差的离差;31