1、测验质量测验质量信信 度度效效 度度测验项目测验项目如何分析如何分析项目的好坏？项目的好坏？筛选题目编编制制测测验验第1页，共65页。第六章第六章 测验的项目分析测验的项目分析(Item analysis)第2页，共65页。项目分析的内涵v项目分析项目分析是对测验中是对测验中每个题目的质量每个题目的质量进行的分析，包括进行的分析，包括质的分析质的分析和和量的分析量的分析。v质的分析质的分析:主要由专家对项目的内容和形式进行分析，包括主要由专家对项目的内容和形式进行分析，包括考察内容效度、题目编写的恰当性和有效性等。考察内容效度、题目编写的恰当性和有效性等。v量的分析：量的分析：是通过计算项目的
2、一些统计量作为项目质量高是通过计算项目的一些统计量作为项目质量高低的指标，包括项目的低的指标，包括项目的难度难度和和区分度区分度。v目的：目的：对项目进行对项目进行筛选筛选和和修订修订，提高测验的，提高测验的信度信度和和效度效度。v 如如题库题库的建立的建立第3页，共65页。测验质量测验质量信信 度度效效 度度项目质量项目质量难难 度度筛选题目编编制制测测验验区分度区分度目目的的第4页，共65页。教学目标教学目标v通过本章的学习可解决三个问题：通过本章的学习可解决三个问题：v 一、掌握什么是测验的难度，如何计算测验的难度一、掌握什么是测验的难度，如何计算测验的难度（重点）（重点）v 二、掌握什
3、么是测验的区分度，如何计算测验的区分度，二、掌握什么是测验的区分度，如何计算测验的区分度，难度和区分度的关系怎样（重点）难度和区分度的关系怎样（重点）v三、掌握项目分析的其他特殊形式三、掌握项目分析的其他特殊形式 第5页，共65页。第一节第一节 项目的难度项目的难度一、难度的含义一、难度的含义n1.1.难度难度（difficultydifficulty）指测验项目的难易程度。指测验项目的难易程度。n2.2.一个测验项目，如果大部分被试都能答对，该项目的难一个测验项目，如果大部分被试都能答对，该项目的难度就小；如果大部分被试都不能答对，则该项目的难度就度就小；如果大部分被试都不能答对，则该项目的
4、难度就大。大。n3.3.难度过大或过小的题目，都不能很好地将不同水平难度过大或过小的题目，都不能很好地将不同水平的被试区分开来，因此对常模参照测验的价值就不大的被试区分开来，因此对常模参照测验的价值就不大 。第6页，共65页。二、难度的计算方法二、难度的计算方法v 难度通常以难度通常以答对百分比答对百分比作指标。作指标。（一）二分法记分的项目（一）二分法记分的项目v 1.1.通过率通过率v若试题为二分法记分项目（即答对给若试题为二分法记分项目（即答对给1 1分，答错记分，答错记0 0分）时分）时,难难度的指标通常以度的指标通常以通过率通过率表示，即表示，即以答对或通过该题的人数的以答对或通过该
5、题的人数的百分比百分比来表示：来表示：v v式中，式中，P P代表项目的难度，代表项目的难度，N N代表全体被试者人数，代表全体被试者人数，R R为答对或为答对或通过该项目的人数。通过该项目的人数。v P P值越大，则难度越小；反之越难。值越大，则难度越小；反之越难。第7页，共65页。例题例题v1010名被试在某选择题上的得分如下，试计算该题的名被试在某选择题上的得分如下，试计算该题的难度。难度。被被试试12345678910得得分分1100110110第8页，共65页。v2.极端分组法极端分组法v当被试人数较多时，则可根据测验总成绩将被试当被试人数较多时，则可根据测验总成绩将被试分成三组：分
6、数最高的分成三组：分数最高的27%27%被试者为高分组被试者为高分组（N NH H）,分数最低的分数最低的27%27%被试者为低分组（被试者为低分组（N NL L）。）。分别计算高分组和低分组的通过率，以两组通过分别计算高分组和低分组的通过率，以两组通过率的平均值作为每一题的难度。率的平均值作为每一题的难度。公式为：公式为：P PH H 、P PL L 分别代表高分组和低分组的通过率。分别代表高分组和低分组的通过率。第9页，共65页。例题例题v选取有代表性的试卷选取有代表性的试卷370370份，按照总分高低排序，份，按照总分高低排序，将从最高分向下的将从最高分向下的27%27%（100100人
7、）作为高分组，将人）作为高分组，将从最低分向上的从最低分向上的27%27%（100100人）作为低分组。某题人）作为低分组。某题的答题情况如下表。试计算该题的难度。的答题情况如下表。试计算该题的难度。组别组别选择各项答案的人数选择各项答案的人数 A B C D A B C D 未答未答正确答案正确答案高分组高分组低分组低分组 8 36 34 21 1 8 36 34 21 1 4 30 46 20 0 4 30 46 20 0B B第10页，共65页。练习题练习题练习题练习题1 1：8080名学生参加了某个测验，答对第名学生参加了某个测验，答对第3 3道道选择题的有选择题的有6464人，请问该
8、题目的难度是多大？人，请问该题目的难度是多大？练习题练习题2 2：100100个学生参加了某测验，其中某选择题个学生参加了某测验，其中某选择题的答题情况如下表所示，计算该题目的难度。的答题情况如下表所示，计算该题目的难度。选项选项高分组高分组低分组低分组难度难度A A*B BC CD DE E5 515150 00 07 73 37 712120 05 5第11页，共65页。l注意：注意：标准化测验一般采用标准化测验一般采用27%27%为分组点。也可以为分组点。也可以取总人数的取总人数的1/41/4或或1/31/3（即（即25%25%或或33%33%）为分组点。当）为分组点。当样本小于样本小于
9、100100时，一般选时，一般选50%50%作为分界点。作为分界点。第12页，共65页。v（二）非二分法计分的难度（二）非二分法计分的难度v当项目是多重计分时，难度等于平均分与满分之比。当项目是多重计分时，难度等于平均分与满分之比。P P =试题的难度试题的难度 =全体被试在该题上的平均分数全体被试在该题上的平均分数 =该题的满分分数该题的满分分数maxXX第13页，共65页。例题例题v问答题满分为问答题满分为1515分，分，1010名被试在该题的得分如下。名被试在该题的得分如下。试计算该题的难度。试计算该题的难度。被被试试1 12 23 34 45 56 67 78 89 91010得得分分
10、13131515101010109 9111110109 911111010第14页，共65页。问问 题题v有有A A、B B两个测题，项目两个测题，项目A A为四重选择题，通为四重选择题，通过率为过率为0.580.58；项目；项目B B为五重选择题，通过率为为五重选择题，通过率为0.560.56，能否说项目，能否说项目A A更容易，项目更容易，项目B B更难？更难？第15页，共65页。v（三）难度的校正三）难度的校正v 由于选择题允许猜测，所以通过率可能因机遇由于选择题允许猜测，所以通过率可能因机遇作用而变大。备选答案的数目越少，机遇的作作用而变大。备选答案的数目越少，机遇的作用越大，越不能
11、反映测验的难度。为了平衡机用越大，越不能反映测验的难度。为了平衡机遇对难度的影响，遇对难度的影响，吉尔福特吉尔福特提出了一个难度的提出了一个难度的校正公式：校正公式：CP=矫正后的难度矫正后的难度P=未矫正的难度未矫正的难度K=测题的选项数目测题的选项数目第16页，共65页。例例 题题v1.1.一个五择一的项目，其通过率为一个五择一的项目，其通过率为0.500.50，则排除猜，则排除猜测的影响，矫正后的难度为多少？测的影响，矫正后的难度为多少？v2.2.有有A A、B B两个测题，项目两个测题，项目A A为四重选择题，通过率为四重选择题，通过率为为0.580.58；项目；项目B B为五重选择题
12、，通过率为为五重选择题，通过率为0.560.56，试比，试比较两题的难度。较两题的难度。第17页，共65页。nP P值的范围在值的范围在0-10-1之间。之间。nP P值越大，题目越容易；值越大，题目越容易；P P值越小，题目越难。值越小，题目越难。nP P值与我们通常理解的难度意义正好相反，也有人将称它值与我们通常理解的难度意义正好相反，也有人将称它为为容易度容易度。P P值的范围及其意义值的范围及其意义第18页，共65页。三、测验难度水平的确定三、测验难度水平的确定v 进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于
13、取决于测验的目的、性质以及项目的形式。测验的目的、性质以及项目的形式。v一般准则：平均难度在一般准则：平均难度在0.500.50左右。左右。v 1.1.成就或学绩测验：成就或学绩测验：不考虑难度不考虑难度（Why?Why?）v目的是考察教学内容的掌握情况。只要是必须掌握的内容，不论其目的是考察教学内容的掌握情况。只要是必须掌握的内容，不论其难度都可以作为考试项目，其难度可以从难度都可以作为考试项目，其难度可以从0-10-1之间变动。之间变动。v2.2.选拔性、竞赛性考试：选拔性、竞赛性考试：其项目难度应接近录取率。其项目难度应接近录取率。v思考：若选拔率为思考：若选拔率为1515，题目的难度该
14、多少？若测验的目的在于选出，题目的难度该多少？若测验的目的在于选出20%20%的差生进行特别辅导，题目的难度该多少？的差生进行特别辅导，题目的难度该多少？第19页，共65页。v3.3.选择题的难度：选择题的难度：P P值要大于猜测概率。值要大于猜测概率。v4.4.人格测验的难度：人格测验的难度：不存在难度问题，于此相不存在难度问题，于此相应的指标是应的指标是“通俗性通俗性”。v5.5.对于一般性测验而言，对于一般性测验而言，项目难度的一般标准项目难度的一般标准应在应在0.3-0.70.3-0.7之间；之间；第20页，共65页。四、难度的等距转换四、难度的等距转换使用项目难度等距量表的理由：使用
15、项目难度等距量表的理由：测题的难度一般用答对某题的人数的百分比表示。百分量表是测题的难度一般用答对某题的人数的百分比表示。百分量表是等级量表，而非等距量表。也就是说它只表示事物之间大小的关等级量表，而非等距量表。也就是说它只表示事物之间大小的关系，但没有相等的单位。用百分比系，但没有相等的单位。用百分比P P值作为难度指标，实际上是在顺值作为难度指标，实际上是在顺序量表的水平上衡量题目的难度。序量表的水平上衡量题目的难度。难度的等级量表是反序而行的，难度的等级量表是反序而行的，P P值越大，项目越容易，这与值越大，项目越容易，这与我们的日常概念是相反的。我们的日常概念是相反的。第21页，共65
16、页。v当样本的容量很大时，测验分数接近正态分当样本的容量很大时，测验分数接近正态分布。将某题的布。将某题的通过率通过率P P视为正态分布曲线下的视为正态分布曲线下的面积面积；查正态分布表找出正态曲线；查正态分布表找出正态曲线右侧面积右侧面积所对应的所对应的Z Z分数。分数。就可以将以等级量表表示的就可以将以等级量表表示的P P值转换为具有相等单位的等距量表值转换为具有相等单位的等距量表Z Z值。值。第22页，共65页。第23页，共65页。（一）（一）Z值值nZ Z是均值为是均值为0 0、标准差为、标准差为1 1的标准分数。的标准分数。Z Z在在-3-3到到3 3之间变动。之间变动。n通过查阅正
17、态分布表，可以从通过查阅正态分布表，可以从P P值查到值查到Z Z值。值。nZ Z值越大，题目越难；值越大，题目越难；Z Z值越小，题目越容易。这一点与值越小，题目越容易。这一点与P P值的含义相反。值的含义相反。试题试题P P值值Z Z值值1 12 23 30.700.700.600.600.500.50-0.52-0.52-0.25-0.250 0第24页，共65页。（二）（二）值值n美国教育测验服务中心（美国教育测验服务中心（ETSETS）的难度指标：）的难度指标：=13+4=13+4Z Zn值是对值是对Z Z值的线性转化，平均数为值的线性转化，平均数为1313，标准差为，标准差为4 4
18、。n在在1 1与与2525之间变动之间变动n注意：注意：值越大，难度越大；值越大，难度越大；值越小，难度越小。这一点也与值越小，难度越小。这一点也与P P值的含义相反。值的含义相反。第25页，共65页。v P=0.9987P=0.9987时时,Z=,Z=3,3,故故=13+4(=13+4(3)=13)=1v P=0.9772 P=0.9772时时,Z=,Z=2,2,故故=13+4(=13+4(2)=5 2)=5 v P=0.8413 P=0.8413时时,Z=,Z=1,1,故故=13+4(=13+4(1)=91)=9v P=0.5000 P=0.5000时时,Z=0 ,Z=0 ,故故=13+4
19、(0)=13=13+4(0)=13v P=0.1587 P=0.1587时时,Z=+1,Z=+1,故故=13+4(+1)=17=13+4(+1)=17v P=0.0228 P=0.0228时时,Z=+2,Z=+2,故故=13+4(+2)=21=13+4(+2)=21v P=0.0013 P=0.0013时时,Z=+3,Z=+3,故故=13+4(+3)=25=13+4(+3)=25 v 由此可见，常用的由此可见，常用的 值域介于值域介于125125之间，之间，值越大，试值越大，试题越难；题越难；值越小，试题越容易。值越小，试题越容易。第26页，共65页。例例 题题v如果某测验两个题目的难度分别是
20、如果某测验两个题目的难度分别是0.500.50和和0.600.60，其对应的标准分数分别是：其对应的标准分数分别是：0 0和和-0.25-0.25，则它们，则它们转换为等距量表的难度值是多少？转换为等距量表的难度值是多少？第27页，共65页。五、项目难度对测验的影响五、项目难度对测验的影响1 1、项目难度影响测验的编排、项目难度影响测验的编排 一般根据试题的难度，按照由易到难的顺序编排。一般根据试题的难度，按照由易到难的顺序编排。2 2、项目难度影响测验分数的分布形态、项目难度影响测验分数的分布形态 整个测验的整个测验的难度中等难度中等，测验的分数接近，测验的分数接近正态分布正态分布；测验的测
21、验的难度偏大难度偏大，则大多数被试集中在低分端，则大多数被试集中在低分端，“正偏态分布正偏态分布”；测验的测验的难度过低难度过低，则大多数被试集中在高分端，则大多数被试集中在高分端，“负偏态分布负偏态分布”。第28页，共65页。v常态分布：平均难度在常态分布：平均难度在0.5左右左右v负偏态分布：测验容易，负偏态分布：测验容易，P值大值大v正偏态分布：测验过难，正偏态分布：测验过难，P值小值小A AC CB B第29页，共65页。3 3、项目难度影响测验分数的离散程度、项目难度影响测验分数的离散程度 题目难度题目难度过大或过小过大或过小，测验分数的离散程度，测验分数的离散程度小小；题目难度在题
22、目难度在0.500.50左右左右时，分数分布的离散程度时，分数分布的离散程度最大最大。4 4、项目难度影响测验信度、项目难度影响测验信度 当测验难度的平均值在当测验难度的平均值在0.500.50左右时，分数的分布范围最左右时，分数的分布范围最广，以相关系数为基础的信度也变得相对较高。广，以相关系数为基础的信度也变得相对较高。5 5、项目难度影响区分度、项目难度影响区分度第30页，共65页。第二节 项目的区分度一、区分度的含义n1.区分度区分度(discrimination)指指测验项目对被试心理品质测验项目对被试心理品质水平差异的区分能力或鉴别力。水平差异的区分能力或鉴别力。n2.区分度良好的
23、项目，能够将高水平与低水平的被试区分开区分度良好的项目，能够将高水平与低水平的被试区分开来。即高水平个体在该项目上得分高，低水平被试在该项目来。即高水平个体在该项目上得分高，低水平被试在该项目上得分低。上得分低。n3.项目分析中，一般采用被试的测验总分作为判断其项目分析中，一般采用被试的测验总分作为判断其水平的效标分数，即内部效标。也可以采取外部效标。水平的效标分数，即内部效标。也可以采取外部效标。第31页，共65页。n区分度一般用区分度一般用D D表示。表示。D D值在值在-1-11 1之间变动。之间变动。nD D为正值时，称为积极区分；为正值时，称为积极区分；D D为负值时，为消极区分；为
24、负值时，为消极区分；D D为为0 0时称作时称作无区分作用。无区分作用。nD D值越大，区分的效果越好吗？值越大，区分的效果越好吗？n区分度的大小区分度的大小是测验是否有效的指示器是测验是否有效的指示器，常常能够决定是否删除，常常能够决定是否删除或保留一个项目，它可以作为筛选项目的一个主要指标。或保留一个项目，它可以作为筛选项目的一个主要指标。区分度的范围及其意义区分度的范围及其意义第32页，共65页。项目特征曲线（项目特征曲线（item characteristic curve,ICC）项目特征曲线描述了效标分数不同的被试在该项目上的项目特征曲线描述了效标分数不同的被试在该项目上的通过率。通
25、过率。曲线坡度越陡，鉴别力越好，预测的误差越小。曲线坡度越陡，鉴别力越好，预测的误差越小。率概的目项答回确正1.000.000.50低 中 高 能力鉴鉴别别力力较较好好第33页，共65页。低 中 高能力率概的目项答回确正1.000.000.50低 中 高能力率概的目项答回确正1.000.000.50鉴鉴别别力力为为负负鉴鉴别别力力较较低低第34页，共65页。率概的目项答回确正1.000.000.50低 中 高能力ABC难度不同的难度不同的3个项目的个项目的ICC第35页，共65页。率概的目项答回确正1.000.000.50低 中 高能力ABCD多项选择中每个选项的多项选择中每个选项的ICC第3
26、6页，共65页。二、区分度计算 项目区分度可以有不同的计算方法，我们要根据测验的目的以项目区分度可以有不同的计算方法，我们要根据测验的目的以及测验分数的特征来选择合适的方法。及测验分数的特征来选择合适的方法。1 1、鉴别指数法（适合、鉴别指数法（适合0 0、1 1计分）计分）一个项目的鉴别指数指一个项目的鉴别指数指总分高分组与低分组在该项目上的总分高分组与低分组在该项目上的通过率之差。通过率之差。D=PD=PH H P PL L D=1D=0 各表示什么意思？各表示什么意思？D=-1第37页，共65页。例题v选取有代表性的试卷选取有代表性的试卷370份，按照总分高低排序，份，按照总分高低排序，
27、将从最高分向下的将从最高分向下的27%（100人）作为高分组，将人）作为高分组，将从最低分向上的从最低分向上的27%（100人）作为低分组。某题人）作为低分组。某题的答题情况如下表。试计算该题的鉴别指数。的答题情况如下表。试计算该题的鉴别指数。组别组别选择各项答案的人数选择各项答案的人数A B C D 未答未答正确答案正确答案高分组高分组低分组低分组8 36 34 21 14 30 46 20 0B第38页，共65页。选答人数选答人数正确正确答案答案B B鉴别鉴别指数指数D D？组组别别A AB BC CD D未未答答高高分分组组8 884845 53 30 0低低分分组组1818353522
28、2225250 0第39页，共65页。鉴别指数的含义nD D为为1 1时，表明高分组被试全部通过，而低分时，表明高分组被试全部通过，而低分组被试全部失败；组被试全部失败；D D为为-1-1时，含义相反；时，含义相反；D D为为0 0时，表明高分组和低分组通过率一样。时，表明高分组和低分组通过率一样。n作为鉴别指数的作为鉴别指数的D D值的含义，是高分组比低分值的含义，是高分组比低分组通过率高出的百分比程度。组通过率高出的百分比程度。第40页，共65页。鉴别指数的一般标准（美.艾伯尔）鉴别指数鉴别指数D D题目评价题目评价0.40.4以上以上优优0.30-0.390.30-0.39良好，如能修改
29、，良好，如能修改，则更佳。则更佳。0.20-0.290.20-0.29尚可，须修改尚可，须修改在在0.190.19以下以下劣，必须淘汰。劣，必须淘汰。第41页，共65页。v极端组的划分，见极端组的划分，见P P7979第42页，共65页。2、相关法n鉴别指数只考虑了高分组和低分组的情况，浪费了测验中鉴别指数只考虑了高分组和低分组的情况，浪费了测验中的许多信息，统计结果的精确度与分析全体被试的数据要的许多信息，统计结果的精确度与分析全体被试的数据要差一些。差一些。n在大规模或标准化的测验中，大多采用相关法来计算项目在大规模或标准化的测验中，大多采用相关法来计算项目区分度。可以有两种计算途径：区分
30、度。可以有两种计算途径：其一，计算项目得分与测其一，计算项目得分与测验总分的相关系数；其二，计算项目得分与外部效标的相关验总分的相关系数；其二，计算项目得分与外部效标的相关系数。系数。对相关系数进行显著性检验。对相关系数进行显著性检验。相关越高，项目区分相关越高，项目区分度越高度越高。第43页，共65页。数据性质与计算相关系数的方法相关种类相关种类 变量变量1 1变量变量2 2公式公式点二列相点二列相关关真正的二分变真正的二分变量，类别数据量，类别数据常态分布的常态分布的连续变量连续变量二列相关二列相关常态分布的连常态分布的连续变量，但人续变量，但人为地分为两个为地分为两个类别。类别。常态分布
31、的常态分布的连续变量连续变量相关相关真正的二分变真正的二分变量，类别数据量，类别数据真正的二分真正的二分变量，类别变量，类别数据数据积差相关积差相关连续变量，正连续变量，正态分布态分布连续变量，连续变量，正态分布正态分布见第四章公式见第四章公式)()()(dbcadcbabcadypq.第44页，共65页。（1 1）点二列相关）点二列相关 一一个是二分变量（如个是二分变量（如0 0、1 1计分），另一个计分），另一个是正态分布的连续变量。是正态分布的连续变量。第45页，共65页。例题学生学生12345678总分总分9087838080777168项目得分项目得分11101000第46页，共65
32、页。点二列相关系数的显著性检验n 用相关法计算出来的区分度，不能采用艾伯用相关法计算出来的区分度，不能采用艾伯尔的鉴别指数评价标准，而是要进行显著性检尔的鉴别指数评价标准，而是要进行显著性检验才能确定其意义。验才能确定其意义。n点二列相关系数的检验有两种方法：（点二列相关系数的检验有两种方法：（1 1）采）采用积差相关系数的检验方法进行检验。查阅积用积差相关系数的检验方法进行检验。查阅积差相关系数的检验表差相关系数的检验表 。（。（2 2）用）用t t检验，比较检验，比较 与与 是否存在显著差异。如果两者差异显著，是否存在显著差异。如果两者差异显著，则相关系数也显著。则相关系数也显著。pxqx
33、第47页，共65页。（2）二列相关n两个变量都是常态分布的连续变量，但其中一两个变量都是常态分布的连续变量，但其中一个被人为分为两个类别。个被人为分为两个类别。n例如，项目是多重记分的连续变量，总分（效例如，项目是多重记分的连续变量，总分（效标）也是连续变量，但总分被人为地分为及格标）也是连续变量，但总分被人为地分为及格与不及格。与不及格。n或者，总分是连续变量，项目得分也是连续变或者，总分是连续变量，项目得分也是连续变量，但项目得分被人为地分成对、错两类（如量，但项目得分被人为地分成对、错两类（如计算题，分成全对得计算题，分成全对得5 5分，其他分数计分，其他分数计0 0分）。分）。第48页
34、，共65页。二列相关系数的计算公式ypq 公式中只有公式中只有y y不同于点二列相关系数的公式，它可不同于点二列相关系数的公式，它可以根据以根据P P的值，通过查正态分布表获得。的值，通过查正态分布表获得。第49页，共65页。例题学生学生12345678总分总分9087838080777168作文得分作文得分3635332824262122通过与否通过与否11111100第50页，共65页。（3）相关n两个变量都是二分变量。两个变量都是二分变量。有时连续变量也可以有时连续变量也可以转化为二分变量，通过转化为二分变量，通过相关计算。相关计算。n通过四格表来计算通过四格表来计算相关。相关。)()(
35、)(dbcadcbabcadr r=用卡方检验用卡方检验r的显著性的显著性第51页，共65页。（4）积差相关u两个变量都是正态分布的连续变量。两个变量都是正态分布的连续变量。yxSNXY r=第52页，共65页。三、区分度与难度的关系项目难度项目难度P P鉴别指数鉴别指数D D1.001.000.900.900.700.700.600.600.500.500.400.400.300.300.100.100.000.000.000.000.200.200.600.600.800.801.001.000.800.800.600.600.200.200.000.00第53页，共65页。0.200.4
36、0.60.81.0P值1.00.80.60.40.2D的最大值第54页，共65页。n1.1.当难度为当难度为0.500.50时，该项目的潜在鉴别指数时，该项目的潜在鉴别指数D D最大，而难度分最大，而难度分布在两端（布在两端（0 0或或1 1）时，潜在的鉴别指数）时，潜在的鉴别指数D D最小。最小。n2.2.较难的项目对高水平的被试的区分度高，较易的项目对低水较难的项目对高水平的被试的区分度高，较易的项目对低水平被试区分度高，中等难度的项目对中等水平被试的区分度高。平被试区分度高，中等难度的项目对中等水平被试的区分度高。n是不是测验中所有项目的难度都要控制在是不是测验中所有项目的难度都要控制在
37、0.500.50左右呢左右呢?n3.3.实际编制测验时，最好使项目的难度分布广一些，梯度大一些，实际编制测验时，最好使项目的难度分布广一些，梯度大一些，容易：中等难度：难容易：中等难度：难=3=3：5 5：2 2，使整个测验的难度呈正态分布，使整个测验的难度呈正态分布，且平均难度保持在且平均难度保持在0.500.50左右。左右。n常模测验中要求项目难度保持在中等水平，可以最大程度地区分被试常模测验中要求项目难度保持在中等水平，可以最大程度地区分被试的水平差异。的水平差异。第55页，共65页。四、区分度的相对性1、不同计算方法得到的区分度指标不同。鉴别指数法和相关法求出的区分度含义不同，所得数值
38、也不相同。鉴别指数法和相关法求出的区分度含义不同，所得数值也不相同。2、样本容量大小影响相关法区分度的大小。样本容量越小，用相关法计算出来的相关系数越不可靠。样本容量样本容量越小，用相关法计算出来的相关系数越不可靠。样本容量越大，相关系数越可靠。越大，相关系数越可靠。3、分组标准影响鉴别指数。25%25%、27%27%、33%33%、50%50%，分组越极端，分组越极端，D D值越大。值越大。4、被试团体的性质影响区分度大小。项目的区分度是针对不同被试而言的。比如同一份测量试卷，让自项目的区分度是针对不同被试而言的。比如同一份测量试卷，让自考学生和全日制心理系大学生做，项目的区分度会有很大不同
39、。考学生和全日制心理系大学生做，项目的区分度会有很大不同。第56页，共65页。第三节第三节 猜测问题与猜测率猜测问题与猜测率一、猜测误差一、猜测误差1.猜相对于不猜的误差2.是否猜对引发的误差二、猜测的校正二、猜测的校正1.被试群体难度校正：CP=(KP-1)/(K-1)2.单个被试分数校正：S=R-W/(K-1)第57页，共65页。练习题练习题1 1、100100个人参加一个测验，有个人参加一个测验，有7575人答对一个人答对一个5 5选选1 1的选择题，请问这的选择题，请问这个选择题的难度是多少？若对该选择题进行猜测校正，校正后的个选择题的难度是多少？若对该选择题进行猜测校正，校正后的难度
40、又是多少？难度又是多少？2 2、一个、一个5 5选选1 1题目的难度值是题目的难度值是0.610.61，另一个，另一个4 4选选1 1题目的难度值为题目的难度值为0.640.64，经过猜测校正后，请问哪一个题目的难度值更大？经过猜测校正后，请问哪一个题目的难度值更大？3.3.某被试参加由某被试参加由100100道四重选择题组成的测验，测验结果是答对道四重选择题组成的测验，测验结果是答对8282道题，道题，答错答错1818道题，该被试的实得分数是多少？（每题道题，该被试的实得分数是多少？（每题1 1分）分）答案：答案：1 1、0.75 0.75，0.690.69；2 2、0.51 0.520.5
41、1 0.52；3 3、7676分分第58页，共65页。三、关于猜测校正的争论（一）支持的观点（一）支持的观点1.可避免降低测验的信度2.可反映被试的真实水平3.可培养被试诚实的美德4.比较公平第59页，共65页。三、关于猜测校正的争论（二）反对的观点（二）反对的观点1.校正公式的基本假设不成立2.若被试作答所有试题，校正分数无实质作用3.不采用猜测校正对信度无重大影响4.可能导致无法解释的现象5.合理猜测是值得培养的习惯第60页，共65页。第四节第四节 多重选择题的项目分析多重选择题的项目分析一、作用一、作用1.项目是否具有预期功能？2.项目难度是否恰当？3.项目是否有缺陷？4.诱答选项是否有
42、效？第61页，共65页。二、具体步骤1.按被试总分从高到低依次排列试卷2.以27%比例分别取高分组和低分组3.分别登记高低分组中各选项的人数4.根据登记结果对选项进行质量分析第62页，共65页。三、需要注意的反应模式1.1.正确项被所有人选，说明太容易或太明显。正确项被所有人选，说明太容易或太明显。2.2.错误答案没有被试选择，说明迷惑性不强。错误答案没有被试选择，说明迷惑性不强。3.3.所有人选择同一错误答案，答案可能有误。所有人选择同一错误答案，答案可能有误。4.4.高分组集中在两个选项上，两者选择率相近，可能存在两个高分组集中在两个选项上，两者选择率相近，可能存在两个正确答案。正确答案。
43、5.5.高分组正确率不高于低分组，项目区分度低。高分组正确率不高于低分组，项目区分度低。6.6.未作答人数多或各个备选答案人数差不多，说明题目过未作答人数多或各个备选答案人数差不多，说明题目过难或题意不清。难或题意不清。第63页，共65页。项目分析实例题号题号组别组别选择各项答案的人数选择各项答案的人数A B C D 未答未答正确答案正确答案难度难度P区分度区分度D1高分组高分组低分组低分组0 36 39 23 20 32 46 18 4B2高分组高分组低分组低分组22 12 10 48 832 25 11 23 9A3高分组高分组低分组低分组16 15 7 62 036 28 7 26 3D4高分组高分组低分组低分组2 1 95 2 018 12 54 16 0C第64页，共65页。项目分析实例题号组别选择各项答案的人数A B C D 未答正确答案难度P区分度D1高分组低分组0 36 39 23 20 32 46 18 4B0.340.042高分组低分组22 12 10 48 832 25 11 23 9A0.27-0.103高分组低分组16 15 7 62 036 28 7 26 3D0.440.364高分组低分组2 1 95 2 018 12 54 16 0C0.7450.41第65页，共65页。
