1、心理测验的编制心理测验的编制【目的要求】1、熟悉编制测验的一般程序2、熟悉测验的项目分析第一节第一节 编制测验的一般程序编制测验的一般程序o一、确定测验目的o二、拟定编制计划o三、编辑测验项目o四、项目的试测和分析o五、合成测验o六、测验使用的标准化o七、搜集信度、效度资料o八、编写测验手册o一、确定测验目的o（一）心理测验的对象:首先要明确测量的对象，也就是测验编成后要用于哪些团体。oA年龄oB教育水平：在编制儿童测验时，要同时考虑教育水平和年龄的影响。在承认测验中，一般只考虑教育水平的影响。oC文化背景o（二）测验的目标：是指编制的测验是测什么的，即用来测量什么样的心理变量或行为特征。目标
2、分析以测验不同而异，一般分为三种情况：oA工作分析：主要任务是对所预测的行为活动作具体分析，我们称之为任务分析或工作分析。oB对特定概念下定义：如果测验是为了测量某种特殊的心理品质或特点，那么测验编制者就必须给所要测量的心理或行为特质下定义，然后必须发现该特质所包含的维量将通过什么行为表现出来或怎样进行测量。oC确定测验的具体内容：如果测验是描述性的显示测验，它的目标分析的主要任务则是确定显示的内容和技能。o（三）测验用途：所编出的测验是要对被试做描述，还是做诊断，抑或是选拔和预示。二、拟定编制计划o编制计划，实际上是对测验的总体设计，指出测验的内容结构和项目形式等，以及对每个内容、目标的相对
3、重视程度。o根据布鲁姆最早提出教育目标的分类问题。他把学习的心理活动分成认知、精神运动和情感三个领域，又把认知领域具体分为知识、理解、应用、分析和综合、评价。o双向细目表制定编题计划（双向细目表）制定编题计划（双向细目表）o1、全面而具有代表性的测验内容，不致使测验偏离了应测的范围o2、对各个内容点的相对重视程度通常用百分比来标明三、编辑测验项目o（一）搜集有关资料o1、资料要丰富o2、资料要有普遍性o（二）选择项目形式o1、测验的目的和材料性质o2、接受测验的团体的特点o3、各种实际因素：时间，人数、经费等o（三）编写和修订项目o1、项目的范围要与测验计划相一致o2、项目的数量要比最后所需的
4、数目多一倍至几倍，以备筛选和编制复本o3、项目的难度必须符合测验目的需要o4、项目的说明必须清楚四、项目的试测和分析o（一）试测o1、预测对象应取自将来正式测验准备应用的群体o2、预测的实施过程与情境应力求与将来正式测试时的情况相近似o3、预测的时限可稍宽一些，最好使每个被试都能将项目做完，以搜集较充分的反应资料，使统计分析的结果更为可靠。o4、在预测过程中应随时记录被试的反应情形，如在不同时限内一般被试所完成的题数、题意不清之处及其他有关问题。（二）项目分析o包括质的分析和量的分析o质的分析是从内容取样的适当性、题目的思想性以及表达是否清楚等方面加以分析。o量的分析是对预测结果进行统计分析，
5、确定项目的难度、区分度、备选答案的适宜性等。五、合成测验o1、项目的选择：要考虑测验的目的、性质与功能，区分度，难度o2、项目的编排：由易到难，有并列直进式，混合螺旋式oA一般原则：a测题的难度排列易逐步上升；b尽可能将同类型的测题组合在一起；c各种类型测题本身的特点；oB常见试题排列方式：a并列直进式b混合螺旋式o3、编造复本o测验的各份复本必须等值，所谓等值需符合下列几个条件：o（1）各份测验测量的是同一种心理特质；o（2）各份测验包含相同的内容范围，但题目不应有重复；o（3）各份测验题型相同，题目数量相等，并且有大体相同的难度分布。六、测验使用的标准化o1、施测过程标准化o2、评分计分标
6、准化o3、分数解释标准化七、搜集信度、效度资料o（一）信度o指的是测量的可靠性或一致性。（二）效度o指的是测量的有效性或正确性。oA搜集有关资料：题目的有关来源oa已出版的标准测验ob理论和专家的经验oc临床观察和记录B命题的原则及编写要领oa命题的原则（理解）：o1内容方面：符合测验的目的，取样有代表性，相互独立，互不牵挂；o2文字方面：准确，简明扼要，少使用双重否定句；o3理解方面：不要超出受测团体的知识水平和理解能力，不要有争议误解；o4社会敏感性方面：应尽量避开社会敏感性问题，如涉及社会禁忌或个人隐私的题目不应使用。八、编写测验手册o1、本测验的目的和功用o2、测验的理论背景以及选择项
7、目的根据o3、测验的实施方法、时限及注意事项o4、测验的标准答案和记分方法o5、常模表或其他有助于分数转化与解释的资料o6、测验的信度、效度资料，包括信度系数、效度系数以及这些数据是在什么情境下得到的第二节 测验的项目分析o一、项目的难度分析o（一）定义：o1、难度：是指项目的难易程度。P在能力测验中通常需要一个反映难度水平的指标，在非能力测验中，类似的指标是“通俗性”，即取自相同总体的样本中，能在答案方向上回答该题的的人数。2、难度的指标：o以通过率表示难度时，通过人数越多，即P值越大，难度就越低；P值越小，难度越高。因为P值大小与难度高低成反比，有人将其称作易度。RPN（二）难度的计算o1
8、、原始定义法o2、极端分组法1、原始定义法o（1）客观试题（二分法记分）：o R：答对该题的人数；N：参加测验的总人数RPN（2）0、1计分多重选择题难度校正ok：每个测题可供选择的答案；oP：未校正测题的难度；oCP：校正测题难度。11kkPCPo例题：假定某题有75的被试通过，若该题有5个备选答案，则校正后的通过率为：o当有4个备选答案时，有3个，有2个，o例：一个题目的难度值为0.75，分别计算此题有四个选项、三个选项、两个选项时大的难度值3.非0、1计分（解答题）)(max满分分数平均得分XXP 0.30.50.7难中易o例如:某主论述题满分为10分,全班在该的平均得分为6分,问该试题
9、的难度是多少?2、极端分组法o（1）客观题的极端分组法o根据测验分数按高低排序，用两个极端组在某项目上的平均通过率表示项目的难度 PH、PL分别为高分组与低分组的通过率。o步骤：oA、按测验总分由高到低排序按测验总分由高到低排序oB、从高分段向下选出全部试卷的27作为高分组oC、从低分段向上选出全部试卷的27作为低分组oD、按照上述公式计算项目难度值o例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？（2）主观题的极端分组法o步骤：oA、按测验总分由高到低排序按测验总分由高到低排序oB、从高分段向下选出全部试卷的25作为高分
10、组oC、从低分段向上选出全部试卷的25作为低分组oD、按照上述公式计算项目难度值oXH：高分组所得总分；oXL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的2522()HLXXNLPN H Lo例：有100名考生参加论文式测验按高低分各占总人数的25%分组，其中第6题的得分统计表如下表。求该题材的难度。o 论文式试题分析表以上分析表中，（以上分析表中，（X）栏为该题得到的各种分数，（）栏为该题得到的各种分数，（f）栏为各种）栏为各种分数的人数，（分数的人数，（fX）栏为各种分数与各种人数的乘积。）栏为各种分数与各种人数的乘积。o解：已知N =25，X =211，X =146
11、，H=10，L=4。o则有：o P=0.523o即，这道题的难度为 0.523。（三）难度对测验的影响o1、难度对测验分数分布的影响o（1）P值越小 测验项目越难测验分数集中在低分端分数分布呈正偏态分布。o（2）P值越大测验项目越易 测验分数集中在高分端分数分布呈负偏态分布。o 即：测验项目过份容易或过份难，都会造成测验分数偏离正态分布，而使测验分数的离散程度变小。2、难度对测验鉴别力的影响o测验的主要功效之一就是鉴别考生实际水平的高低。自欺欺人适量难度可以加大考生得分的差异，从而提高测验的鉴别力。oP值越接近0.50，试题的鉴别能力就越高；相反，P值越接近1.00或0，试题的鉴别能力就越低。
12、3、难度与测验目的的关系o项目难度应根据测验目的来确定，不能认为测验项目都必须保持值等于0.50最好。事实上，一方面，如果每个项目的难度都等于0.50，测验项目之间存在高度相关，会使测验分数的分布呈双峰状态，即有5%的人所有题目都答对，得满分，另外5%的人全部答错，得0分。o为此，难度水平的确定应根据测验的目的，性质及题目的形成。o（1）对于一般的常模、参照测验而言，其目的在于测量个体差异，一般只要求测验题目的平均难度为0.50，而个题难度可在0.50+0.20之间。o（2）当测验用与选拔或诊断时，题目的难度值应更多地接近录取率。o（3）就选择题而言，P值应大于概率水平。P值若等于概率，说明被
13、试纯粹凭猜测作答；P值若小于概率，说明题目很可能存在问题。o（4）整个测验的难度水平取决于组成测验的题目的难度。（四）难度的转换o难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小oP向Z的转换on假定每个试题所要测量地潜在特质或能力是呈正态分布的，可将P值作为正态曲线下的概率面积，以此转换成Z分数二、项目的区分度Do（一）区分度的概念o区分度是测验对被试实际水平的区分程度。是测验项目分析的重要内容o是作为评价项目质量、筛选项目的主要指标与依据o通常用D表示，取值范围为1.00至1.00oD越高时，试题的质量越好，D值范围在-1.00和+1.00之间，值越大，试题的区分能力越强
14、。当D为正值时，说明试题是积极区分，即高分组通过率高，低分组通过率低。为D负值时，说明试题有消极区分，高组通过率低，低组通过率高。D为0时，说明试题无区分能力（二）区分度对测验的影响o1.区分度与难度的关系ol试题的区分度与难度有密切关系。试题难度过大或过小，其区分度都较低。当难度值为1.00或0时，高分组和低分组或全部通过得满分，或全部未通过得0分，这时区分度都为0分。这两种情况，都表示试题没有鉴别考生水平高低的能力。所以，调整试题难度是提高试题区分度的重要方法。右表可说明难度与区分度的关系。WebZIP 7.0.0.1025 在 04/19/09 16:13:35.地址地址:http:/2
15、18.64.216.247/ec2006/C335/Course/Content/N29/200811182101.files/slide0060.htm标题标题:第八章 心理与教育测验的编制与实施 大小大小:5271 最后修改最后修改:Tue,18 Nov 2008 13:01:08 GMToA、假如样本中通过某一项目的人数比率为1.00或0，说明高分组与低分组在通过率上不存在差异，因此D为0；假如项目的通过率为0.50，则可能是高分组的所有人都通过了，而低分组却无人通过，这样D的最大值可能达到1.00。oB、为了使整个测验项目的潜在区分度最大，似乎应该使每个项目的难度处于0.50水平，但事
16、实并非如此简单。如果每一个项目的难度均处于0.50，由于项目难度相同，有可能大多趋向于有关的内容或技能，结果造成项目同质性提高。在极端情况下，有可能50的被试全部通过各项目得满分，另外50的被试全部为0分，形成U形分布，这样反而降低总分的区分能力。如果测验的所有项目都是中等难度，只有项目的内在相关为0时，整个测验才能产生常态分布。考虑到一般测验项目之间具有某种程度的相关难度的分布要广一些，梯度多一些，是合乎需要的。（三）区分度计算方法o1、极端分组法(鉴别指数法)o2、相关法1、极端分组法(鉴别指数法)o（1）客观性试题区分度的计算公式：o DPHPLo按测验总分从高到低排序o确定测验总分最高
17、的27的被试作为高分组，最低的27的被试为低分组o分别求出这两组被试通过试题的百分比o例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的区分度是多少？（2）主观性试题区分度的计算公式：o说明：XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25o步骤：o按测验总分由高到低排序；分别确定测验总分的25、25作为高低分组；列出试题分析表；将数据带入以上公式加以计算()HLXXDN HLo例：有100名考生参加论文式测验按高低分各占总人数的25%分组，其中第6题的得分统计表如下表。求该题的区分度。o 论
18、文式试题分析表以上分析表中，（以上分析表中，（X）栏为该题得到的各种分数，（）栏为该题得到的各种分数，（f）栏为各种）栏为各种分数的人数，（分数的人数，（fX）栏为各种分数与各种人数的乘积。）栏为各种分数与各种人数的乘积。2、相关法o考虑中间数据:以项目分数与效标分数（效标分数不易得到时，以测验总分代替）的相关作为项目区分度的指标,相关越高，区分能力越好o点二列相关：适用于一类变量为二分称名变量，另一类变量为连续变量的成对变量的相关计算。pqXXrtqppq二值计分题目（如选择、填空、判断）二值计分题目（如选择、填空、判断）学生学生ABCDEFGHIJKL总分总分908180787770696
19、555504942题分题分101111100010区分度估计值：题分与总分的区分度估计值：题分与总分的点二列相关系数点二列相关系数5.012512747.146.5829.73xpqXXrqppb12512758.65425055658173.29749697077788090qpXXqp，o二列相关：适用于两个连续变量，但其中一个变量被人为分成两类。pqbtptbtXXpqrsyXXprsy例：10个学生数学和物理成绩的如下序号序号数学分数数学分数X X物理分数物理分数Y Y194932909238692486705728267076768658667696468106160N=10N=10
20、假定物理成绩70分以上合格,以下不合格,试计算其区分度.积差相关o两列变量均为连续变量.YXNYXNXYr多值计分题目（如简答、论述）多值计分题目（如简答、论述）题目分题目分X总分总分Yx=X-y=Y-x2y2xy里沙里沙130-2-404160080露思露思280-1101100-10玛丽玛丽38001001000汤姆汤姆4601-101100-10杰克杰克510023049006015350102800120XY 区分度估计值：题分与总分的区分度估计值：题分与总分的积差相关系数积差相关系数。0.7228001012022 yxxynYYXXryxiio相关：适用于两个变量均为二分称名变量。
21、)()()(dbcadcbabcadr试题区分度的评价标准 以上标准仅作参考，不是绝对的。事实上，项目区分度的要求以上标准仅作参考，不是绝对的。事实上，项目区分度的要求应根据测验目的而定，若测验目的在于选人，主要评判被试的个别应根据测验目的而定，若测验目的在于选人，主要评判被试的个别差异，那么区分度要求高些；若测验只是考察被试对所学知识的掌差异，那么区分度要求高些；若测验只是考察被试对所学知识的掌握情况，可不过多考虑区分度。握情况，可不过多考虑区分度。三、项目分析的特殊问题o（一）选择题反应模式的分析o（二）标准参照测验的项目分析（一）选择题反应模式的分析o对于选择题，除了分析其难度的区分度外
22、，还要分析被试对每个备选答案的反应情况。一般要做以下分析：o1、如果正确的备选答案被所有被试所选择，则说明该题目太易或者题目中可能提供了某种暗示；o2、如果某个错误答案没有一个被试选择，说明该选项不具迷惑性，错得过于明显，一般说来，除非有2%以上的人选择，否则这个备选答案就应该修改。o3、如果所有被试的选择了同一个错误答案，可能是编制测验时把答案定错了，也可能是教学中发生了错误。o4、如果所有被试的选择集中在两个答案上，二者选择率相近，说明该题可能有两个正确答案或另一个答案也有一定道理。o5、如果高分组对正确答案的选择与低分组相等或低于，说明所考察的东西与水平无关。o6、如果一个题目被试未答人
23、数过多或选择各个备选答案人数相等则说明题目过难或题意不清。（二）标准参照测验的项目分析o标准参照测验主要用于判断被试是否掌握了某些知识技能，是达到了一个事先确定的标准，测验结果只与既定标准比较而不在被试之间作比较。因此测验分数的变异性不是标准参照测验的必要条件。所以，常模参照测验的项目分析方法不完全适用于标准参照测验。1、难度分析o标准参照测验可以采用常模参照测验的方法计算难度，但是在筛选项目时，对难度水平的要求与常模参照测验不同。o由于标准参照测验的目的是为了考察被试对某方面的知识技能的掌握情况，因此，只要能反映教育目标或教育者认为重要的内容，无论其难度为多少，都可以编入测验。2、区分度分析
24、o标准参照测验一般分数变异较小，不适合用相关法来计算区分度，但是可以采用鉴别指数的方法计算，即比较两组的通过率。o方法一o根据测验分数将被试分为达标组与未达标组，然后分别计算它们在某一项目上的通过率，两组考生通过率之差，便是该项目的区分度，其公式为：oD=ps-pno式中ps、pn为达标组与未达标组在某一项目上的通过率。o这种方法主要的问题是分组标准不同，得到的区分度值不同。o方法二o用同一测验对同一组被试在教学前后各施测一次，分别统计各项目前后测的通过率，二者之差便是项目的区分度。其公式为：oD=ppost-ppreo式中ppost、ppre分别为项目在后测和前测中的通过率。oD值越高，说明
25、项目对教学效果越敏感，所以有人将其称做教学效果敏感指数，其公式也可写为o其中S 为敏感指数，RA、RB分别为前测、后测通过人数，N为总人数。o此种方法的主要缺点是：（1）同一测验施测两次可能会产生练习效应，成绩的提高究竟是由教学引起的，还是由练习引起的难以分辨；（2）只有等两次施测后才能进行项目分析；（3）当D值低时，难于做出明确的解释，无法确定是由试题不良还是由教学不当所致。BARRSNo方法三o取两组条件相近的考生，一组接受过同测验有关的学科教学，另一组没有接受过此种教学。施测同一测验后，分别统计每组考生答对某题的人数，两组考生通过率之差便是该题的区分度。公式为D=pi-puo式中pi、p
26、u分别为教学组和未经教学组对某题的通过率。o此方法的缺点是，两组考生除在教学方面不同外在其他有关方面必须同质，而这一点是难以做到的。（四）项目分析的特殊问题o项目特征曲线：是项目特征函数或项目反应函数的图解形式，它反映了被试对某一测验项目的正确反应概率与该项目所对应的能力或特质的水平之间的一种函数关系。这一方法不仅适用于项目分析，而且也适用于某些测验量表的编制。oA项目特征曲线可图解测验的鉴别力，项目鉴别力的高低主要在于其曲线的倾斜度，曲线坡度越陡，鉴别能力越好，预测的误差越小。oB项目特征曲线可以图解项目难度。oC项目特征曲线还可以图解选择题的诱答反应。三、分数的解释与交流o测验分数如何解释
27、和主试者的经验、心理测验学的知识、素养很有关系。主试者要对一个测验结果进行解释，一方面必须对所做的具体测验要熟悉，另一方面对被试者的情况也要有所了解。此外，还必须结合当时测验的具体情况。（一）解释测验分数要注意的几个问题o1、一个人在任何一个测验上的分数，都是他的遗传特征、测验前的学习与经验以及测验情境的函数，这三个方面都会对测验成绩有所影响。尤其要找出造成分数反常的原因。o2、为了对测验分数做出确切的解释，只有常模资料是不够的，还必须有测验的信度时效度资料。在解释测验分数时，一定要依据从最相近的罢休最匹配的情境中获得资料。此外由于测验不完全可靠，应该永远把测验分数视为一个范围而不是一些确定的
28、点，也就是要对测验分数提供带形的解释。o3、对于来自于不同测验分数不能直接加以比较。为了使不同测验分数可以相互比较，必须将二者放在统一的量表上。当两种测验取样于相同范围时，人们常用等值百分位法将两种分数等值化。具体做法是：将两个测验都对同一样本进行施测，并把两种测验的原始分数都换算成百分等级，然后用该百分等级作为中介，就可以做出一个等价的原始分数表。另一种方法是不用相同的百分等级作为中介，而用相同的标准分数作等值的基础。（二）如何向当事人报告分数o1、使用当事人所理解的语言o2、要保证当事人知道这个测验测量或预测的内容。o3、要使当事人知道他是和什么团体在进行比较o4、要使当事人认识到分数只是一具“最好”的估计。o5、要使当事人知道如何运用他的分数o6、要考虑测验分数将给当事人带来什么心理影响o7、要让当事人积极参与测验分数的解释
