1、第三章第三章 心理测验的编制心理测验的编制 第一节第一节 测验编制的一般程序测验编制的一般程序 一、确定测验目的一、确定测验目的 二、拟定编制计划二、拟定编制计划 三、设计测试项目三、设计测试项目 四、项目的试测和分析四、项目的试测和分析 五、合成测验五、合成测验 六、测验使用的标准化六、测验使用的标准化 七、搜集信度、效度资料（鉴定测验）七、搜集信度、效度资料（鉴定测验） 八、编写测验手册八、编写测验手册 一、确定测验目的一、确定测验目的（一）明确测量目标（一）明确测量目标 （二）测验用途（二）测验用途（三）明确测验对象（三）明确测验对象 美国著名测验学家瑟斯顿(L. L. Thurston
2、e)通过因素分析，将智力分解为七种基本心理能力： 语文理解阅读时了解文字意义的能力； 语词流畅正确迅速拼字与敏捷联想词义的能力； 数字运算正确而迅速使用数字解答算术问题的能力； 空间关系运用感觉器官及知觉经验正确判断空间方位及各种关系的能力； 机械记忆用重复感知的方法记住事物的能力； 知觉速度迅速而正确地观察与辨别事物的能力； 一般推理根据已知条件推出新判断的能力。 瑟斯顿根据上述七种因素于1941年编成了“基本心理能力测验”。 二、拟定编制计划二、拟定编制计划 （1） 确定能表征所欲测量的心理结构的行为。确定能表征所欲测量的心理结构的行为。 A.回顾以往的研究成果，看哪些行为经常被人用来界定
3、该心理结构且效果较为理想，那么这些行为就可以作为候选对象。 B.考虑时代特点。由于时代的进步，某种行为或者操作对于人们的重要性会发生改变。 C.了解受测群体实际情况。只凭以往的理论和实践是不足以真正解决问题的。 D.向有关专家、资深者咨询和请教。 （2）确定每一类行为的项目比例）确定每一类行为的项目比例 表：卡特尔16PF各人格特征所占的项目数 一个小学高年级自然常识测验的编制计划。表中的数字代表每一类题目所占的百分比，这些比例反映着每一个内容及目标的相对重要性。 三、设计测试项目三、设计测试项目（一）搜集有关资料（一）搜集有关资料 1.资料要丰富资料要丰富 2.资料要有普遍性资料要有普遍性（
4、二）选择项目形式（二）选择项目形式 1.判断题判断题 2.选择法选择法 3.匹配法匹配法 4.简答法简答法（三）编写和修订项目（三）编写和修订项目四、项目的试测和分析四、项目的试测和分析 （一）试测（预测）试测（预测）（二）项目分析（二）项目分析五、合成测验五、合成测验（一）项目的选择（一）项目的选择（二）项目的编排（二）项目的编排（三）制造复本（三）制造复本六、测验使用的标准化六、测验使用的标准化（一）测验内容（一）测验内容（二）施测过程（二）施测过程（三）测验评分（三）测验评分 （四）测验分数的解释测验分数的解释 七、搜集信度、效度资料（鉴定测验）七、搜集信度、效度资料（鉴定测验）（一）信
5、度（一）信度（reliability）（二）效度（二）效度(validaty)八、编写测验手册八、编写测验手册（1）本测验的目的和功用；）本测验的目的和功用；（2）本测验的理论背景以及选择项目的根）本测验的理论背景以及选择项目的根据；据；（3）测验内容及实施测验的方法，包括）测验内容及实施测验的方法，包括 何种测验；何种测验；内容分几部分；内容分几部分；每部分有每部分有多少测验项目；多少测验项目；如何作答等等。如何作答等等。（4）测验的标准答案和评分方法；）测验的标准答案和评分方法；（5）关于测验的信度、效度资料的说明；）关于测验的信度、效度资料的说明；（6）常模表或其他有助于分数转化与解释）
6、常模表或其他有助于分数转化与解释的资料。的资料。第二节第二节 测验的项目分析测验的项目分析一、项目的难度一、项目的难度（一）定义（一）定义 难度是表示题目难易程度的指标。这一概念在能力测验里称为项目的难度水平，而在非能力测验里，称为“通俗性”或“流行性”水平。 （二）估计难度的方法（二）估计难度的方法 1、对于是非题、选择题等采用二值记分、对于是非题、选择题等采用二值记分（即只有答对和答错两种情况，记为（即只有答对和答错两种情况，记为1或或0）的测题：的测题： 其中其中, P：试题的难度：试题的难度 R：答对该题的人数：答对该题的人数 N：全体被试人数：全体被试人数NRP 例：设有80名学生参
7、加某个测验，答对其中某题目的有32人，则该题的难度是？ P = R/ N = 32/80 = 0.4 P值越小的项目，其难度越大。 2、当被试人数较多时，可以先将被试依照测验总分从高到低排列，然后取得分最高的27%的被试作为高分组，得分最低的27%被试作为低分组。也可以取50%、1/3、1/4的比例，但是27%最精确，这是凯利(Kelley)在1939年的一项研究中提出的。计算出高分组答对该题的百分比PH和低分组答对该题的百分比PL，计算难度的公式为： 2LHPPP例：设有370名被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高分
8、组有60人答对，低分组有30人答对，则 PH= 60/100 = 0.60 PL= 30/100 = 0.30 所以该题难度为：45. 0230. 060. 02LHPPP3、在选择题中，由于允许猜测，备选答案数目越少，机遇的作用越大，就越不能反映题目的真实难度。为平衡机遇对难度的影响，可用下面的公式校正： 其中， CP：校正后的难度（校正后的通过率）P：未校正的难度（实得通过率）K：选项的数目（备选答案的数目）11KKPCP例：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，问：哪一题的难度大？五择一测题校正后难度指数为：四择一测题校正后难度指数为：38. 01515
9、0. 0511KKPCP37. 014153. 0411KKPCP4、对于论述题等不用二分法记分的项目，计算难度的公式为： 其中， ：全体被试在某一项目上的平均分 ：该项目的满分分数maxXXP XmaxX例：设某题（问答题）满分20分，全体考生在该题上所得的平均分为10分，则该题的难度为？ 50. 02010maxXXP 进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于测验的目的、性质以及项目的形式。 为了使测验具有更大的区分能力，以选择接近中等难度的项目为好。（中等难度项目的鉴别力最高） 测验过难或过易，分数全距缩小，信度降低。 P=0.50时最佳测验难度影响测验分数的分布
10、形态难度大，正偏态难度低，负偏态二、项目的区分度二、项目的区分度（一）定义（一）定义 区分度是指测验项目对被试的心理特征的区分能力。区分度高的项目，能将不同水平的被试区分开来；区分度低的项目，则不能很好地鉴别被试水平，水平高和水平低的被试得分差不多。 （二）估计方法（二）估计方法1、鉴别指数法、鉴别指数法 被试按总分高低排列，然后取得分最高的被试按总分高低排列，然后取得分最高的27%的被试作为高分组，得分最低的的被试作为高分组，得分最低的27%的的被试作为低分组。计算高分组答对的人数比被试作为低分组。计算高分组答对的人数比率与低分组该题答对的人数比率，采用公率与低分组该题答对的人数比率，采用公
11、式：式： D = PHPLD：项目的鉴别指数：项目的鉴别指数PH：高分组答对该题的人数比率：高分组答对该题的人数比率PL：低分组答对该题的人数比率：低分组答对该题的人数比率 例：某高中物理测验，被试共18人，高分组和低分组若各取总人数的27%，则两组各为5人，第5题高分组5人全部答对，低分组5人中有1人答对，则该题的鉴别指数为：D = PHPL = 5/51/5 = 0.80 ， D值越大，项目的鉴别力越大，表示项目的质量越好。 1 , 0HP1 , 0LP1 , 1D2、相关法 计算区分度的最常用方法是相关法，即以某一项目分数与效标分数或测验总分的相关作为该项目区分度的指标。相关越高，则该项
12、目区分度越高。主要有以下几种：（1）二列相关 二列相关适用于两个连续变量，但其中一个变量被人为分成两类。 如，当一个测验的题目分数是连续的，而效标分数或测验总分被分为及格和不及格两类时，就可以采用二列相关法；当效标或测验总分是连续的，而题目分数被分成通过、不通过两类时，也可采用此法。 公式为： tqpbSXXr ypq或 ttpbSXXr yppXqXtXtSpqpq1y其中，：与二分变量通过组对应的连续变量的平均数：与二分变量未通过组对应的连续变量的平均数：连续变量的平均数：连续变量的标准差：通过组人数与总人数之比：未通过组人数与总人数之比：p与q交界处正态曲线的高度 在计算二列相关时，要求
13、二分变量的分布在连续测量时必须是正态分布。如果样本分布不是正态，总体分布也应该是正态。对于连续变量的分布，虽不要求其是正态，但必须是单峰，而且要对称。当两个变量均为连续变量时，一般使用皮尔逊（K.Pearson）积差相关公式计算。 NXXNXXNXXXXr222221212121（2）点二列相关点二列相关适用于项目是0，1记分（或二分变量），而效标或总分是连续变量的数量资料。计算公式为：pqSXXrtqppb或 qpSXXrttppbpbr：点二列相关系数pX：答对该题的被试在总分上的平均得分qX：答错该题的被试在总分上的平均得分 p：通过该题被试的人数的百分比（即该题难度） q：1p tS：
14、全体被试的总分标准差 tX：所有被试的测验总分的平均数 注：对用点二列相关计算出的数值需进行显著性检验才能确定其意义。要检验是否达到显著水平，常用的检验方法有两种：（3）相关 相关的统计方法适用于两个变量是二点分配的资料，即两个变量都是二分名义变量。在有些情况下，一些连续变量也可用此方法计算相关程度。相关不要求变量是正态分布。所求指数为系数。 在用系数作为区分度指标时，要求项目反应与效标变量都是二分状态。一般是根据效标成绩或测验总分的高分组和低分组，通过和未通过某一项目的人数列成的四格表来计算。公式为：)()()(dbcadcbaadbcr其中，：的相关系数a,b,c,d：分别为四格表中四项所
15、包含的人次数r（4）积差相关 对于论文式测验题目，因得分具有连续性，在被试团体较大时，可以认为项目分数服从正态分布。可将项目得分与效标分数求积差相关系数以得到项目的区分度。 NXXNXXNXXXXr222221212121附：项目的组间相关 项目的组间相关又称为项目间的相互相关，它是指一个测验中各个测题之间的相互关系。 估计方法：二值记分的项目的组间相关用相关，非二值记分的项目用积差相关。三、区分度与难度的关系三、区分度与难度的关系 难度越接近0.50，项目得潜在区分度越大，难度越接近1.00或0时，项目的潜在区分度越小。 难度和区分度都是相对的，是针对一定团体而言的（绝对的难度和区分度是不存
16、在的）。一般说来，较难的项目对高水平的被试区分度高，较容易的项目对水平低的被试区分度高，中等难度的项目对中等水平的被试区分度高（这与中等难度的项目区分度最高的说法并不矛盾，因为对被试总体是较难或较易的项目，对水平高或水平低的被试便成了中等难度）。 由于人的多数心理特征呈正态分布，所以当需要把人作最大程度区分时，项目难度的分布也以正态为好，即特别难与特别容易的项目较少，越接近中等难度的项目越多，而所有项目的平均难度为0.50。区分度与难度的关系难度（）区分度（）1.0000.900.200.800.400.700.600.600.800.5010.400.800.300.600.200.400.
17、100.200.000四、区分度的相对性（一）不同的计算方法，所得区分值不同区分度有几种计算方法？（二）样本容量大小影响相关法区分度值的大小样本越大，区分度越（三）分组标准影响鉴别指数分组越极端，区分度越（四）被试样本的同质性程度影响区分度值的大小样本越同质，区分度越四、项目分析的实例四、项目分析的实例（一）步骤（一）步骤 1、选取有代表性的样组、选取有代表性的样组370人，按规定的程序进行预测人，按规定的程序进行预测工作；工作； 2、把、把370份试卷按测验总分的高低次序排列，然后从最份试卷按测验总分的高低次序排列，然后从最高分数的人开始向下取足高分数的人开始向下取足27%（100人）为高分
18、组，再从人）为高分组，再从最低分数的人开始向上取足最低分数的人开始向上取足27%（100人）为低分组。人）为低分组。 3、计算高分组与低分组通过每一测题的比率，分别以、计算高分组与低分组通过每一测题的比率，分别以PH和和PL表示；表示； 4、按照、按照 与与D = PHPL公式，分别求出每一公式，分别求出每一 测题的难度与鉴别力指数；测题的难度与鉴别力指数； 5、比较高分组、低分组在测题不同答案上的反应；、比较高分组、低分组在测题不同答案上的反应； 6、根据测题统计分析的结果，修改测题或选择适当的测、根据测题统计分析的结果，修改测题或选择适当的测题。题。2LHPPP（二）实例（二）实例下表为一
19、个由370人参加的测验中的4道题的项目统计结果，据此表对4题作分析评价。 1、区分度（鉴别力） 取舍题目时，首先要看鉴别力（区分度），低鉴别力的题目是不能有效鉴别被试的。按照测题鉴别力指数优劣之评鉴标准，0.30以上的项目是比较好的。 本例中第1、2题区分度符合要求，第3题鉴别力是负向的，比低鉴别力更不好，表明低分者反而比高分者在该题上得分高，第4题的鉴别力则太小。 2、难度 P值一般在0.350.65之间为好，但就整个测验而言，难度为0.5的测题应居多，也需要一些难度较大或较小的测题。因此就难度而言，这些测题是可以选用的。（第1题难度较小，第2题难度适中，第3、第4题难度较大。） 3、各题的
20、选项分析 项目的选项分析是指对选择题后面所提供的几个答案的分析。如何作选项分析呢？选项分析的异常情况主要有：正确答案无人选择、或少于其他选项人数；错误答案选的人太多；正确选项上高分组选择人数少于低分组；错误选项上高分组选择又多于低分组；某个选项无人选择；未答的人数较多。 第1题：正误答案配比较好。 第2题：除C答案缺乏鉴别能力外，其余都不错。但值得注意的是，为什么在C答案上，高低分组的选答人数相同。 第3题：未答得人数比例过大，且答案B、C、D均属于负向的，高分组选C的人数较多，等于选正确答案D的人数，这些均要研究。 第4题：A项选答的人数较少，是否因为该选项错得太明显而缺乏似真性，另外D选项
21、也有负向性，须找出原因加以适当修改。五、项目分析的特殊问题五、项目分析的特殊问题（一）选择题反应模式的分析（一）选择题反应模式的分析 对于选择题，除了分析其难度和区分度外，还要分析被试对每个备选答案的反应情况。一般主要做一下分析： 1、如果正确的备选答案被所有被试所选择,. 2、如果某个错误答案没有一个被试选择， 3、如果所有被试都选择了同一个错误答案，. 4、如果高分组被试的选择集中在两个答案上，. 5、如果高分组对正确答案的选择与低分组相等或低于后者， 6、如果一个题目被试未答人数过多或选择各个备选答案人数相等，. （二）标准参照测验的项目分析（二）标准参照测验的项目分析1.难度分析难度分
22、析2.区分度分析区分度分析方法一方法一根据测验分数将被试分为达标组与未达标组，根据测验分数将被试分为达标组与未达标组，然后分别计算它们在某一项目上的通过率，然后分别计算它们在某一项目上的通过率，两组考生通过率之差，便是该项目的区分两组考生通过率之差，便是该项目的区分度，其公式为：度，其公式为： ：达标组在某一项目上的通过率：达标组在某一项目上的通过率 ：未达标组在某一项目上的通过率：未达标组在某一项目上的通过率nsPPDsPnP表中后测分数表示掌握者分数，前测分数则表示未掌握者分数。D1 = 1-0 = 1D2 = 0-1 = -1D3 = 5/10-6/10 = -0.1D4 = 8/10-
23、4/10 = 0.4D5 = 1-1 = 0方法二用同一测验对同一组被试在教学前后各施测一次，分别统计各项目前后测的通过率，二者之差便是项目的区分度。其公式为： prepostppDpostpprep式中和分别为项目在后测和前测中的通过率。D值越高，说明项目对教学效果越敏感，所以有人将其称做教学效果敏感指数，其公式也可以写为：NRRSAB式中S为敏感指数，RA和RB分别为前测、后测通过的人数，N为学生总数。方法三取两组条件相近的考生，一组接受过同测验有关的学科的教学，另一组没有接受过此种教学。施测同一测验后，分别统计每组考生答对某题的人数，两组考生通过率之差便是该题的区分度，其公式为：uippDipup式中和分别为教学组和未经教学组对某题的通过率。 项目特征曲线（itemcharacteristiccurve,ICC）项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡，鉴别力越好，预测的误差越小。率概的目项答回确正1.000.000.50低中高能力鉴别力较好低中高能力率概的目项答回确正1.000.000.50低中高能力率概的目项答回确正1.000.000.50鉴别力为负鉴别力较低率概的目项答回确正1.000.000.50低中高能力ABC难度不同的3个项目的ICC率概的目项答回确正1.000.000.50低中高能力ABCD多项选择中每个选项的ICC
