1、第四章 测验的项目分析 项目分析包括定性分析和定量分析。定性分析包括考虑内容效度、题目编写的恰当性和有效性等;定量分析主要是指题目难度和区分度的测量。对项目进行筛选和修订,可以提高测验的信度和效度。第一节 测验的难度一、难度(difficulty)的意义难度,指测验项目的难易程度。在能力测验中,称为“难度”,而在非能力测验中,则指“通俗性”。两者都是指在总体中,能够正确或确切回答某项目的人数。二、难度的计算(一)二分法记分项目的难度1通过率 P=R/N 2极端分组法(上下27%)P=(PH+PL)/2(二)非二分法记分项目的难度 P=X/XmaxX为所有被试在该项目上的平均得分,Xmax为该项
2、目的满分。三、测验难度水平的确定 效标参照测验、掌握测验:不考虑难度;选拔测验:难度=录取率;对于选择题来说,难度一般应大于猜测概率;无论是速度测验,还是难度测验,一般都应防止被试得满分,因为满分的意义是不明确的。大体而言,难度为0.50时最理想,此时项目具有最大的鉴别力。但在实际操作中,让所有项目难度都到达0.50困难很大,而且也不必要,一般只需使项目的平均难度接近0.50,而各个项目的难度在0.50 0.20之间变化。n四、难度的等距变换n根据正态分布表,将难度P作为正态曲线下的面积,转换成相应的Z分数,这就是等距量表。五、难度对测验的影响(一)测验难度影响测验分数的分布形态 难度大,正偏
3、态 难度低,负偏态(二)测验难度影响测验分数的离散程度测验过难或过易,分数全距缩小,信度降低。P=0.50时最佳第二节 测验的区分度一、区分度的意义区分度(discrimination)是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。项目的区分度是测验是否有效的“指示器”。二、区分度的计算(一)项目鉴别指数法1鉴别指数(index of discrimination,D)的计算D=PH-PL取值范围:-1+1鉴别指数题目评价0.40以上很好0.300.39良好,修改会更好0.200.29尚可,仍需修改0.19以下差,必须淘汰2极端组的划分27%规则一般情况下,取上下25%33%均可。样
4、本少时,可以取50%注意:由于计算机的方便使用,可以上下50%作为划分高低组的标准,或者多分几组,对区分度和难度作详细分析。因为只取上下两端,只利用了一部分资料,浪费了很多信息,有可能得出错误结论。n(二)相关法(项目-总分相关)n包括点二列相关,二列相关,相关,积差相关(三)项目特征曲线(item characteristic curve,ICC)项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡,鉴别力越好,预测的误差越小。率概的目项答回确正1.000.000.50低 中 高能力鉴别力较好低 中 高能力率概的目项答回确正1.000.000.50低 中 高能力率概的目项答回
5、确正1.000.000.50鉴别力为负鉴别力较低三、区分度与难度的关系难度()区分度()1.0000.900.200.800.400.700.600.600.800.5010.400.800.300.600.200.400.100.200.000难度和区分度都是针对一定团体而言的。一般来说,较难的项目对高水平被试区分度高,较易的项目对低水平被试的区分度高。多重选择题的项目分析(诱答分析)n对于多重选择题,除了分析难度和区分度外,还要对每个选项进行分析。n下列哪一个最有可能是偏执型精神分裂症患者的次级症状:nA 幻听nB 瘫痪nC 记忆丧失nD 厌食 如果所有被试都选择某一正确的选项,说明该选项
6、 如果没有一个被试选择某个错误选项,说明该选项 如果所有被试都选择某个错误选项,说明该选项 如果高分组被试的选择集中在两个选项上,说明该选项 如果高分组和低分组对正确选项的选择没有区别,说明该选项 如果所有被试都未回答某个题目,说明该题 如果选择各个选项的人数几乎相等,说明该题第五章 心理测验的编制第一节 编制心理测验的基本程序一、确定测验目的(一)明确测量对象 年龄、性别、职业、受教育程度、经济状况、民族、文化背景等。(二)明确测量目标 心理变量或行为特征。必须有操作定义,目标要非常具体。(三)明确测量用途 用于描述、还是诊断,或用于预测?二、制定编题计划通常是一张双向细目表,指出测验所包含
7、的内容和要测定的各种技能,以及对每一个内容和技能的相对重视程度。例:小学自然常识测验编题计划三、编辑测验项目(一)收集测验资料(1)资料要丰富(2)资料要有普遍性(3)资料要有趣味性(二)选择项目形式 纸笔测验还是操作测验?是客观题还是主观题?概念和原理的记忆简答题 辨别和判断选择题 综合运用论文题 幼儿口头测验 文盲、半文盲、聋哑操作测验 人多团体测验 人少个体测验(三)编写测验项目 题目范围要与双向细目表一致;题目数量要比最终所需要的数量多,以便筛选或编制复本;题目的难度应有一定的分布范围;用词力求清楚明白。四、试测与项目分析q 试测 取样 施测过程与施测情景 时限可稍宽一些 记录被试的各
8、种反应。q 项目分析 质的分析:内容取样、题目的思想性、表达是否清楚 量的分析:难度、区分度、备选项分析五、合成测验(一)测验项目的选择 指标有三:要选择那些能够测量所要测量的东西的项目;难度 区分度(二)测验项目的编排 并列直进式 混合螺旋式(三)编制复本 各份复本必须等值。等值要符合下列条件:各份测验测量的是同一种心理特性。各份测验具有相同的内容和形式。各份测验的题目不应重复。各份测验题目数量相等,难度和区分度大体相同。各份测验的分数分布(平均数和标准差)大致相等。复本编好后,应再测一次,以确保各份测验的等值。(三)测验评分为使评分尽可能客观,有三点要求:对被试反应的及时和清楚的记录。特别
9、是对口试和操作测验。要有一张标准答案或正确反应的表格,即计分键。将被试的反应和计分键比较,对反应进行分类。(四)测验分数的解释 常模参照 标准参照:内容参照,结果参照七、鉴定测验(一)信度(二)效度(三)测验量表与常模 八、编写测验说明书 测验的目的和功用;编制测验的理论背景以及选择题目的根据和 测验的构成;测验的实施方法、时限及注意事项;测验的标准答案和评分方法;测验的信度和效度资料;常模资料。第二节 测验题目的编制技术一、命题的一般原则1.试题要符合测验的目的。2.内容取样要有代表性。3.题目格式不要使被试产生误解。4.文句要简明扼要,既排除与解题无关的因素,又不可遗漏解题所依据的必要条件
10、。要避免使用艰深的字词。5.应有不致引起争论的确定答案(创造力测验、人格测验除外)。6.各个题目必须彼此独立,不可互相牵连,不要使一个题目的回答影响另一个题目的回答。7.题目中不可含有暗示本题或其他题正确答案的线索。8.题目内容不要超出受测团体的知识和能力。9.所提问题应避免涉及社会禁忌与个人隐私。10.施测与评分省时。二、测题的种类及编制 固定应答型题目,即客观题,包括:选择题、是非题、匹配题等。自由应答型题目,即主观题,包括:填充题、简答题、应用题、论文题、联想题、操作题等。(一)选择题题干+选项(正确选项与诱答选项)多项条件选择题:例如:已知小明的心理年龄是8岁4个月,实际年龄是9岁,其
11、智商是多少?(a)85 (b)90 (c)92 (d)92.6 (e)100 类别选择题例如:艾森克是著名的_心理学家。(a)儿童 (b)工程 (c)管理 (d)人格 (e)社会 异类选择题例如:下面哪位与其他人不属于同一类人?(a)小布什 (b)普京(c)胡锦涛 (d)希拉克 (e)科尔 多项是非选择题例如:下面两个陈述哪一个正确?(1)2008年奥运会在北京举行。(2)美国首都是费城。(a)1和2都对 (b)1对2错 (c)1错2对 (d)都错选择题的优点:适用范围广;计分客观;题意明确。缺点:编制诱答选项较难;答案固定,测量范围有限。编写选择题的原则:题干所提的问题必须明确 选项要简短,必要的叙述或相同的修饰语应放在题干中;每个选项的性质要一致;选项最好按逻辑顺序排列;选项之间不应有重叠;诱答选项的错误不要太明显;不要把选项夹在题干中间;每题只能围绕一个中心,不能有歧义。(二)是非题 每题只包含一个概念,避免两个以上的概念在同一题中出现,造成题目似是而非,或半对半错。避免使用具有暗示性的特殊词语,如“绝对”、“完全”、“有时”、“可能”等。尽量采用正面肯定的叙述,避免反面陈述或双重否定的句子。如“生物没有不是由细胞组成的。”“是”与“非”的题数应大致相等,且随机排列。(三)论文题 对答题有时间限制;不要有任选的题目,因为两题很难做到等值;客观、统一的评分细则。