1、主讲：老师第九章第九章 测评质量检验测评质量检验第一节 效度考点考点1 1：内容效度：内容效度考点考点2 2：结构效度：结构效度考点考点3 3：关联效度：关联效度考点考点4 4：项目分数效度：项目分数效度考点考点5 5：效度分析中的几个理论问题：效度分析中的几个理论问题一、含义 效度（Validity）是指一个测验或量表实际能测出其所要测的心理特质的程度。二、内容效度1 含义 内容效度（Content Validity）是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。如高中物理包括力学、电学、光学、热学以及原子物理学5个方面。第九章第九章 测评质量检验测评质量检验第一节 效度2 应用
2、范围 主要应用于成就测验、职业测验。不适合能力倾向测验和人格测验。3 确定方法 蓝图对照分析法第九章第九章 测评质量检验测评质量检验第一节 效度1999年全国硕士研究生入学考试英语试卷结构基本框架第九章第九章 测评质量检验测评质量检验第一节 效度部分节考试内容试题形式试题量分值权重考试时间语法结构与词汇A语法填空（单句）四选一1052020%35B语法辨错（单句）四选一105C词语填空（单句）四选一2010完形填空完形填空（1篇短文）四选一101010%15阅读理解阅读理解（5篇短文）四选一204040%60英译汉正确理解英语原文并用汉语表达原文所述内容五段译文51515%30短文写作根据所给
3、题目或素材写出叙述、说明或议论性的短文一篇作文11515%40总计76100100%180文科考生试卷蓝图（满分为100分）马克思主义基本原理 约36%中国革命史 约18%中国社会主义建设 约18%世界政治经济与国际关系 约18%时事政治 约10%4 题型比例：选择题 约40%简答题和辨析题 约20%材料分析题和论述题 约40%第九章第九章 测评质量检验测评质量检验第一节 效度专家比较判断法 CnN2N2（N为专家总数，n为肯定人数）三、结构效度1 含义 结构效度（Construct Validity）是指一个测验实际测到所要测量的理论结构和特质的程度。它与人们的理解直接相关，如“能力”第九章
4、第九章 测评质量检验测评质量检验第一节 效度2 适用范围 适用于智力测验、人格测验等。3 确定方法提出理论假设，并将其分解成细目依据理论框架，推演出有关测验成绩的假设（操作化定义）用逻辑的和实证的方法来验证假设（排除法、咨询法、相关法、逻辑分析法、多元分析法）第九章第九章 测评质量检验测评质量检验第一节 效度 如，韦克斯勒首先假设“智力是一个人去理解和应付他周围世界的总的才能”，然后，他依据这一定义，编制11个分测验从十几个方面来说明智力，编好测验又从多个角度加以验证，最后，用因素分析法验证，该测验实际测量了三类共同因素，即A因素（言语理解）、B因素（知觉组织）、C因素（记忆和注意集中）。第九
5、章第九章 测评质量检验测评质量检验第一节 效度四、关联效度1 定义 指测评结果与某种标准结果的一致性程度。根据效标结果与测评结果获得的时间是否相同可分为同时效度和预测效度。2 公式：（见P191）第九章第九章 测评质量检验测评质量检验第一节 效度 15名被测评者两种测验分数第九章第九章 测评质量检验测评质量检验第一节 效度被被测测1 12 23 34 45 56 67 78 89 9101011111212131314141515总计总计自自编编616153537070494990904545767656566262606088886868656550506363956956XXXX37372
6、1212802809 9494900002402401 18108100 02022025 56337663376卡卡测测525238388989414185856161707037377676575785854747616152526060911911YYYY272704041441444 4797921211681681 17227225 53723721 15944959449XYXY313172723073074 4626230306036560365 3 行为效标：学术成就特殊训练成绩实际工作表现团体特征等级评定结果前期测评结果第九章第九章 测评质量检验测评质量检验第一节 效度五、项
7、目分析效度 即被试在某一项目上的得分与外部的某组效标分数的相关性。（见P194）下表为10名被试一次面试和一次知识考试的得分,试求该面试的项目分数效度第九章第九章 测评质量检验测评质量检验第一节 效度考生考生A AB BC CD DE EF FG GH HI IJ J知识考试知识考试7575575773736565676756566363616165656767面试面试7 76 67 74 47 74 44 44 47 76 6n n10 S10 S6.12 p6.12 p6/106/100.6 q0.6 q4/104/100.4 Xp0.4 Xp67.33 Xq67.33 Xq61.2561
8、.25六、提高测评效度的方法1 精心编制测验量表，避免出现较大的系统误差2 妥善组织测验，控制随机误差3 创设标准的应试情景，让被试正常发挥水平4 选好正确效标，正确使用有关公式第九章第九章 测评质量检验测评质量检验第一节 效度第九章第九章 测评质量检验测评质量检验第二节 信度考点考点1 1：再测信度：再测信度考点考点2 2：复本信息：复本信息考点考点3 3：一致性信度：一致性信度考点考点4 4：评分者信度：评分者信度考点考点5 5：评分者信度与测评方法信度对测评结果的影响评分者信度与测评方法信度对测评结果的影响信度是指测评结果的稳定性，换句话说，即用同一测量工具反复测量某人的同一心理素质，多
9、次测量结果应一致。系统误差与信度无关，随机误差才影响信度。一、再测信度 用同一个量表对同一组被试施测两次所得结果的一致性程度。（与物理测量不同，心理素质因学习而进步）二、复本信度复本信度即指测评结果相对另一个非常相同的测评结果的变异程度。第九章第九章 测评质量检验测评质量检验第二节 信度三、一致性信度一致性信度是指相同素质测评项目分数间的一致性程度。四、评分者信度测评结果的差异程度来自两个方面，一方面是被测本身，另一方面是测评者及其测评。信度的度量是以后者为依据，测评者及其测评的无关差异越小，说明测评结果就越可靠。五、评分者信度与测评方法信度对测评结果的影响测评方法在这里包括测评工具、测评过程
10、及其组织，它与评分者的评分信度共同决定着测评结果的可靠性。第九章第九章 测评质量检验测评质量检验第二节 信度如何提高测评结果的可靠性？如何提高测评结果的可靠性？一、要选择高质量的测评工具二、要控制测评过程及其组织的误差三、要训练与提高测评者的操作水平第九章第九章 测评质量检验测评质量检验第二节 信度信度小结：各种信度评估的适用情景：再测信度评估侧重考察测评跨时间的一致性和稳定性；复本信度评估侧重考察测评跨形式的一致性和等值性；内部一致性信度评估主要反映的是一个测评内部题目之间的关系，揭示测评的各个题目是否测量了相同的内容或特质。评分者信度评估主要是考察评分者的主观误差。第九章第九章 测评质量检
11、验测评质量检验第二节 信度第九章第九章 测评质量检验测评质量检验第三节 项目分析考点考点1 1：适合度：适合度考点考点2 2：区分度：区分度考点考点3 3：独立性：独立性考点考点4 4：选择率：选择率项目适合度项目适合度 在素质测评中，项目不仅仅是试题，更多的是一些咨询问题或观察评定在素质测评中，项目不仅仅是试题，更多的是一些咨询问题或观察评定点（指标），它们无难易之分。因此提出点（指标），它们无难易之分。因此提出“适合度适合度”一词。一词。适合度指的是被测者行为符合项目测评标准的程度。适合度指的是被测者行为符合项目测评标准的程度。当项目为试题时，适合度即难度；当项目为试题时，适合度即难度；当
12、项目是问卷中的问题时，适合度即所有选对的被测者人数与总人数之比；当项目是问卷中的问题时，适合度即所有选对的被测者人数与总人数之比；当项目为观察评定量表中的指标时，适合度即所有被测得分平均值与指标满分当项目为观察评定量表中的指标时，适合度即所有被测得分平均值与指标满分值之比。值之比。第九章第九章 测评质量检验测评质量检验第三节 项目分析当项目为试题时，适合度即难度当项目为试题时，适合度即难度计算公式为：难度的计算：二分法计分项目的难度计算（只有答对或答错两种情况）第九章第九章 测评质量检验测评质量检验第三节 项目分析项目区分度项目区分度 又称鉴别力，指项目得分对被试实际能力或心理特质水平的区分能
13、力或鉴别又称鉴别力，指项目得分对被试实际能力或心理特质水平的区分能力或鉴别力，也即项目得分的高低与被试实际能力或心理特质水平高低的一致性程度。力，也即项目得分的高低与被试实际能力或心理特质水平高低的一致性程度。在项目分析中，项目得分与总分的相关系数揭示了项目区分度的大小，相关系数越大则说明项目区分度越高第九章第九章 测评质量检验测评质量检验第三节 项目分析项目独立性项目独立性 在能力测评中，常常需要项目之间有一定的独立性。所谓独立性即非相关在能力测评中，常常需要项目之间有一定的独立性。所谓独立性即非相关性或低相关性。独立性的分析一般采用项目间分数的相关系数揭示，根据实际性或低相关性。独立性的分
14、析一般采用项目间分数的相关系数揭示，根据实际得分分布是否均匀，可以分别采用得分分布是否均匀，可以分别采用rr系数法和列联表系数法和列联表检验法。检验法。第九章第九章 测评质量检验测评质量检验第三节 项目分析第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测考点考点1 1：客观性：客观性考点考点2 2：误差：误差客观性客观性 测评的客观性由测评方法的客观性与测评者的客观性两方面构成测评的客观性由测评方法的客观性与测评者的客观性两方面构成测评方法的客观性指它对测评者主观影响的控制程度。如检核表就比一般评定测评方法的客观性指它对测评者主观影响的控制程度。如检核表就比一般评定量表更客观一些。
15、量表更客观一些。第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测误差误差 误差是指通过测评结果的定性定量分析，判断测评结果是否受到心理效应的误差是指通过测评结果的定性定量分析，判断测评结果是否受到心理效应的严重影响。分析的主要内容是心理误差、标准误差以及单个测评结果的致信区严重影响。分析的主要内容是心理误差、标准误差以及单个测评结果的致信区间。间。第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测误差误差 心理误差心理误差哈罗效应误差哈罗效应误差 哈罗效应又称晕轮效应，是指测评者往往会因为对被测评者整体印象的好坏哈罗效应又称晕轮效应，是指测评者往往会因为对被测评者整体印象
16、的好坏从而影响他对每个素质的测评。例如因看到一个人相貌端庄、严肃，就容易产从而影响他对每个素质的测评。例如因看到一个人相貌端庄、严肃，就容易产生此人责任感很强的看法。由哈罗效应引起的误差叫哈罗效应误差。生此人责任感很强的看法。由哈罗效应引起的误差叫哈罗效应误差。哈罗效应还表现为因对某个重要因素的印象好坏而对整体评价产生影响，所哈罗效应还表现为因对某个重要因素的印象好坏而对整体评价产生影响，所谓一好百好，一丑白丑。虽然这是一种泛化影响，而前者是一种演绎影响。谓一好百好，一丑白丑。虽然这是一种泛化影响，而前者是一种演绎影响。第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测趋中心理误差趋
17、中心理误差趋中心理误差是指因为测评者既不愿把被测评的过好，也不愿把趋中心理误差是指因为测评者既不愿把被测评的过好，也不愿把被测评的过差而过于集中在中间段而产生的误差。这种误差使有差异的被测评的过差而过于集中在中间段而产生的误差。这种误差使有差异的被测得到相同或相近的分数，缺乏区分性。可以通过测量结果的分布及被测得到相同或相近的分数，缺乏区分性。可以通过测量结果的分布及差异量分析来揭示这种误差的情况。差异量分析来揭示这种误差的情况。第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测宽大心理误差宽大心理误差宽大心理误差指因测评者不坚持测评的标准要求就高不就低的测评而产生宽大心理误差指因测
18、评者不坚持测评的标准要求就高不就低的测评而产生的误差。这种误差表现为皆大欢喜，高分低能。另一种负向宽大心理误差，则的误差。这种误差表现为皆大欢喜，高分低能。另一种负向宽大心理误差，则是过于严格，以一些脱离实际的高标准去测评人的素质，测评结果普遍较低。是过于严格，以一些脱离实际的高标准去测评人的素质，测评结果普遍较低。逻辑误差逻辑误差逻辑误差指测评者不是实事求是的对每个素质独立地测评，而是依据其是逻辑误差指测评者不是实事求是的对每个素质独立地测评，而是依据其是否相关的特点而进行逻辑上的推断。否相关的特点而进行逻辑上的推断。第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测对比效应误差：
19、对比效应误差：对比效应误差指测评者在测评过程中因被测与标准间存在某种明显的反差而对比效应误差指测评者在测评过程中因被测与标准间存在某种明显的反差而产生的误差。这种误差又叫托衬效应误差。产生的误差。这种误差又叫托衬效应误差。例如鹤立鸡群，绿叶丛中一点红。例如鹤立鸡群，绿叶丛中一点红。接近效应误差：接近效应误差：接近效应误差是指测评者往往会把在时间、内容、形状等特征相似或相近的接近效应误差是指测评者往往会把在时间、内容、形状等特征相似或相近的两个对象，给以同样的评价，而不论他们实际上是否有差别。两个对象，给以同样的评价，而不论他们实际上是否有差别。例如某个素质低的人夹杂在两个素质好的人之间，其测评分数就容易偏高，例如某个素质低的人夹杂在两个素质好的人之间，其测评分数就容易偏高，相反，一个素质高的人夹杂在两个素质好的人之间，他的分数就有可能偏低相反，一个素质高的人夹杂在两个素质好的人之间，他的分数就有可能偏低。第九章第九章 测评质量检验测评质量检验第四节 其他指标的检测本章完本章完
