1、第五章 测验的项目分析 项目分析包括定性分析和定量分析。定性分析包括考虑内容效度、题目编写的恰当性和有效性等;定量分析主要是指题目难度和区分度的测量。对项目进行筛选和修订,可以提高测验的信度和效度。第一节 测验的难度一、难度(difficulty)的意义难度,指项目的难易程度。在最高作为测验中,称为“难度”,而在典型作为测验中,则指“通俗性”。两者都是指在总体中,能够正确或确切回答某项目的人数。二、难度的计算(一)二分法记分项目的难度1通过率 P=R/N 2极端分组法(上下27%)P=(PH+PL)/2(二)非二分法记分项目的难度 P=X/XmaxX为所有被试在该项目上的平均得分,Xmax为该
2、项目的满分。三、测验难度水平的确定 效标参照测验、掌握测验:不考虑难度;选拔测验:难度=录取率;对于选择题来说,难度一般应大于猜测概率;无论是速度测验,还是难度测验,一般都应防止被试得满分,因为满分的意义是不明确的。大体而言,难度为0.50时最理想,此时项目具有最大的鉴别力。但在实际操作中,让所有项目难度都到达0.50困难很大,而且也不必要,一般只需使项目的平均难度接近0.50,而各个项目的难度在0.50 0.20之间变化。四、难度的等距变换根据正态分布表,将难度P作为正态曲线下的面积,转换成相应的Z分数,这就是等距量表。P Y 0 ZZYP.00.39894.00000.50.35207.1
3、91461.00.24197.341341.50.12952.433191.96.05844.475002.00.05399.477252.50.01753.493792.58.01431.495063.00.00443.498653.50.00087.499773.99.00014.49997美国教育服务中心以 作为难度指标:=13+4Z P=.0013 Z=+3 =25P=.16 Z=+1 =17P=.50 Z=0 =13P=.84 Z=-1 =9P=.9987 Z=-3 =1五、难度对测验的影响(一)测验难度影响测验分数的分布形态 难度大,正偏态 难度低,负偏态(二)测验难度影响测验分数
4、的离散程度测验过难或过易,分数全距缩小,信度降低。P=0.50时最佳第二节 测验的区分度一、区分度的意义区分度(discrimination)是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。项目的区分度是测验是否有效的“指示器”。二、区分度的计算(一)项目鉴别指数法1鉴别指数(index of discrimination,D)的计算D=PH-PL取值范围:-1+1鉴别指数题目评价0.40以上很好0.300.39良好,修改会更好0.200.29尚可,仍需修改0.19以下差,必须淘汰2极端组的划分27%规则一般情况下,取上下25%33%均可。样本少时,可以取50%注意:由于计算机的方便使
5、用,可以上下50%作为划分高低组的标准,或者多分几组,对区分度和难度作详细分析。因为只取上下两端,只利用了一部分资料,浪费了很多信息,有可能得出错误结论。(二)相关法(项目-总分相关)1点二列相关 Xp-Xq rpb=pq St 2二列相关 Xp-Xq pq Xp-Xt p rb=或 rb=St y St y3 相关 ad-bcr=(a+b)(c+d)(a+c)(b+d)4积差相关(三)项目特征曲线(item characteristic curve,ICC)项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡,鉴别力越好,预测的误差越小。率概的目项答回确正1.000.000.
6、50低 中 高能力鉴别力较好低 中 高能力率概的目项答回确正1.000.000.50低 中 高能力率概的目项答回确正1.000.000.50鉴别力为负鉴别力较低率概的目项答回确正1.000.000.50低 中 高能力ABC难度不同的3个项目的ICC多项选择中每个选项的ICC率概的目项答回确正1.000.000.50低 中 高能力ABCD三、区分度与难度的关系难度()区分度()1.0000.900.200.800.400.700.600.600.800.5010.400.800.300.600.200.400.100.200.000难度和区分度都是针对一定团体而言的。一般来说,较难的项目对高水平
7、被试区分度高,较易的项目对低水平被试的区分度高。四、区分度的相对性(一)不同的计算方法,所得区分值不同 区分度有几种计算方法?(二)样本容量大小影响相关法区分度值的大小 样本越大,区分度越(三)分组标准影响鉴别指数 分组越极端,区分度越(四)被试样本的同质性程度影响区分度值的大小 样本越同质,区分度越第三节 项目分析的特殊问题一、多重选择题的项目分析(诱答分析)对于多重选择题,除了分析难度和区分度外,还要对每个选项进行分析。下列哪一个最有可能是偏执型精神分裂症患者的次级症状:A 幻听B 瘫痪C 记忆丧失D 厌食 如果所有被试都选择某一正确的选项,说明该选项 如果没有一个被试选择某个错误选项,说
8、明该选项 如果所有被试都选择某个错误选项,说明该选项 如果高分组被试的选择集中在两个选项上,说明该选项 如果高分组和低分组对正确选项的选择没有区别,说明该选项 如果所有被试都未回答某个题目,说明该题 如果选择各个选项的人数几乎相等,说明该题二、速度测验的项目分析 对前面部分的测验项目,难度和区分度都 对后面部分的测验项目,难度和区分度都三、标准参照测验的项目分析在标准参照测验中,无须考虑项目的难度和区分度,只要项目的内容很重要就行。也可以通过比较教学或训练的前测和后测结果来进行项目分析,用来说明教学或训练的效果以及项目编制是否适当。四、项目-团体的相互作用 具有不同性质(性别、种族、职业等)的
9、团体,在测验得分上也存在差异,即同样的项目可能有不同的难度。如果测验要求对所有个体都相对“公平”,那么,就应该排除那些有利于或不利于不同性质的亚团体的项目;如果测验的目的就是为了考察不同亚团体的差异,那么,就应选择使团体差异尽可能大的题目。五、有效性与可靠性的矛盾o 同质性信度要求项目之间有高相关,各项目的难度均等;对于预测效度来说,因为效标的变异范围较大,如果项目越同质,那么效标关联效度则低;因此,效标关联效度要求各项目之间要有一定的差异,即项目之间相关低,这样才能保证测验得分与效标之间有高相关,即高的效标关联效度。因此,对于多数心理测验来说,项目之间中等程度的相关,可使二者调和,获得较为满意的(同质性)信度和(效标关联)效度。