1、第二章教育测量的质量指标第二章教育测量的质量指标信度信度效度效度难度难度区分度区分度第二章第二章 教育测量的质量指标教育测量的质量指标n衡量教育测量的质量，可采用四个指标：衡量教育测量的质量，可采用四个指标：n信度信度 主要对整个测量而言。主要对整个测量而言。n效度效度 n难度难度 主要对测量的项目而言。主要对测量的项目而言。n区分度区分度 第一节信度第一节信度n一、信度的概念一、信度的概念n二、信度系数的类型二、信度系数的类型n三、信度对于教育测量的意义三、信度对于教育测量的意义n四、提高信度的方法四、提高信度的方法一、信度的概念一、信度的概念信度（信度（reliabilityreliabi
2、lity）：指的是测量结果的）：指的是测量结果的稳定性和可靠的程度稳定性和可靠的程度，亦即测量的结果是否，亦即测量的结果是否真实、客观地反映了考生的实际水平，可记真实、客观地反映了考生的实际水平，可记为为r rxxxx。具体而言，可以从以下三方面来理解测量的具体而言，可以从以下三方面来理解测量的信度：信度：（一）信度指实测值和真值相差的程度（一）信度指实测值和真值相差的程度n x xT TE E（公式（公式1-11-1）nx x表示实测值，表示实测值，T T表示真值表示真值( (是未知的，可以是未知的，可以把多次测量的实测值的平均值作为真值的近似把多次测量的实测值的平均值作为真值的近似值值)
3、)，E E表示误差。表示误差。nE Ex-T x-T （公式（公式1-21-2）（一）信度指实测值和真值相差的程度（一）信度指实测值和真值相差的程度n1 1、试比较以下两次测量结果（只进行、试比较以下两次测量结果（只进行一次）的信度：一次）的信度：n用尺子量用尺子量100cm100cm高的一个儿童，得到高的一个儿童，得到1cm1cm的绝对误差；量的绝对误差；量185cm185cm高的一位运动员，高的一位运动员，也得得到也得得到1cm1cm的绝对误差。的绝对误差。要比较两种测量结果的信度，一定要看误差分数（要比较两种测量结果的信度，一定要看误差分数（E E）对于真分数（对于真分数（T T）所占的
4、百分数是多少。这个百分数）所占的百分数是多少。这个百分数表示该实得分数（表示该实得分数（x x）的相对误差。其计算式如下：）的相对误差。其计算式如下：相对误差相对误差E/TE/T100%100%公式（公式（1-31-3）把上述两次测量（设为甲和乙）和绝对误差分数和把上述两次测量（设为甲和乙）和绝对误差分数和真分数代入上式，得：真分数代入上式，得： 相对误差（甲）相对误差（甲）1/1001/100100%100%1%1%相对误差（乙）相对误差（乙）1/1851/185100%100%0.54%0.54%据此，度量乙的信度要比度量甲的信度高。据此，度量乙的信度要比度量甲的信度高。 最大绝对误差最大
5、绝对误差E/x E/x 100%100%公式（公式（1-41-4）2 2、怎样估计对一组人或一个人测量、怎样估计对一组人或一个人测量多次多次的实测的实测值与真值（真分数）的差异程度呢？值与真值（真分数）的差异程度呢？n判别两组数据谁好谁差判别两组数据谁好谁差, ,不能只靠对平均数的不能只靠对平均数的统计和比较，关键是确定这两组数据偏离各统计和比较，关键是确定这两组数据偏离各自的平均数的大小。为了消除数据容量的影自的平均数的大小。为了消除数据容量的影响，我们借鉴研究加权平均数的方法，选用响，我们借鉴研究加权平均数的方法，选用各个偏差的平方的平均数，来描述一组数据各个偏差的平方的平均数，来描述一组
6、数据偏离其平均数的大小，这就是偏离其平均数的大小，这就是方差方差。n根据假设，实得分数的根据假设，实得分数的方差方差应等于真分数的方差加上应等于真分数的方差加上测量误差的方差。即：测量误差的方差。即： n 公式（公式（1-51-5）2E2T2x2 2、怎样估计对一组人或一个人测量、怎样估计对一组人或一个人测量多次多次的实测的实测值与真值（真分数）的差异程度呢？值与真值（真分数）的差异程度呢？n于是，信度（于是，信度（r rxxxx）可定义为真分数的方差与实得分数方差的比）可定义为真分数的方差与实得分数方差的比率。即：率。即： 公式（公式（1-61-6） 公式（公式（1-71-7）可见，可见，
7、越小，测量的信度就越高。信度的取值范围越小，测量的信度就越高。信度的取值范围为为0 0，1 1。 2x2E2x2E2xxx1r22xTxxr2E例：对例：对5 5个人的某种智力因素的测验结果如个人的某种智力因素的测验结果如表表1-11-1，试估计测量的信度。试估计测量的信度。n表表1-11-1测量测量5 5个学生的某种分数个学生的某种分数学生学生真分数真分数误差分数误差分数实得分数实得分数A A1818-2-21616B B9 9+1+11010C C1515+2+21717D D2121+1+12222E E1212-2-21010 学生真分数误差分数实得分数学生真分数误差分数实得分数A A
8、18182 21616B B9 9 1 11010C C15152 21717D D21211 12222E E12122 21010平均数平均数 15150 0 1515 方差方差18182.82.820.820.8并列入表内。和、分别计算的方差公式，N)x(x（1）按2x2E2T220.86520.82.811r7）代入公式（1若不知真分数方差，则0.86520.8186）r代入（17）计算r6）或（1（2）代入公式（12x2Exx2x2Txxxxv统计量是指样本上的各种数字特征。（如样本平均数、统计量是指样本上的各种数字特征。（如样本平均数、标准差等）；参数是总体上的各种数字特征（如总体
9、平标准差等）；参数是总体上的各种数字特征（如总体平均数、标准差等）。均数、标准差等）。v在统计学中，统计量越接近参数，这个统计量的可靠在统计学中，统计量越接近参数，这个统计量的可靠性越高。而要知道统计量与参数的接近程度，可以对参性越高。而要知道统计量与参数的接近程度，可以对参数进行区间估计。数进行区间估计。（二）信度指统计量与参数之间的接近程度（二）信度指统计量与参数之间的接近程度v我们不妨将测量的平均值看做平均数抽样分布中的一个平我们不妨将测量的平均值看做平均数抽样分布中的一个平均数，真值视为平均数抽样分布的总平均数（均数，真值视为平均数抽样分布的总平均数（），这样一），这样一来，只要能估计
10、出实得分数分布的来，只要能估计出实得分数分布的标准差标准差测量的标准误测量的标准误，就可以利用就可以利用区间估计的公式区间估计的公式，算出实测值与真值的接近程度，算出实测值与真值的接近程度，从而计算出测量结果的信度。从而计算出测量结果的信度。（二）信度指统计量与参数之间的接近程度（二）信度指统计量与参数之间的接近程度）公式（）公式（91 8122E222E222x22TxxxxxxxxxExxxrrr例例：根据对一组人（设根据对一组人（设n30）进行某种智力因素测验）进行某种智力因素测验的结果，计算出有关统计量如下，求真分数的置信区间的结果，计算出有关统计量如下，求真分数的置信区间（或真值在什
11、么数值的范围内）。（或真值在什么数值的范围内）。865. 08 .20152xxxrx。的概率为区间包含真分数或真值答：）（）（则）（间的概率；求真分数在某一区计的公式，）根据总体均数区间估（）（求测量的标准误；），式（）将已知统计量代入公（解：95. 027.1873.1195. 027.1873.11P95. 067. 196. 167. 196. 1P95. 096. 196. 1P267. 1865. 018 .20911EEEuuxuxxux（三）信度指两次重复测验或等值测验（三）信度指两次重复测验或等值测验之间的关联程度之间的关联程度n统计学中估计事物或现象间数量变动的一致性，统计
12、学中估计事物或现象间数量变动的一致性，主要采用相关分析的方法，即计算出两种变量主要采用相关分析的方法，即计算出两种变量的相关系数（的相关系数（r rxyxy）。）。n在使用相关系数表示信度的高低时，相关系数在使用相关系数表示信度的高低时，相关系数可称为信度系数可称为信度系数(coefficient of (coefficient of reliability)reliability)。它是对相同应试者的同一特性。它是对相同应试者的同一特性的两次测量分数的相关系数，是测量结果的一的两次测量分数的相关系数，是测量结果的一致性的指标。致性的指标。三、信度系数的类型三、信度系数的类型n（一）稳定性系数
13、（一）稳定性系数n（二）等值性系数（二）等值性系数n（三）内部一致性系数（三）内部一致性系数n（四）论文式测验的信度系数（四）论文式测验的信度系数n（五）评分者信度（五）评分者信度（一）稳定性系数（一）稳定性系数（ coefficient of stability coefficient of stability ）n又称重测信度，是指用同一量表对相同又称重测信度，是指用同一量表对相同被试者（一组人）在不同时间测验两次被试者（一组人）在不同时间测验两次的实得分数的相关系数。的实得分数的相关系数。估计稳定性系数的基本程序：估计稳定性系数的基本程序： 测验测验A A1 1 适当时距适当时距 测验测
14、验A A2 2（一）稳定性系数（一）稳定性系数n相关系数可以用不同方法计算，这取决于数据相关系数可以用不同方法计算，这取决于数据的性质。最为普遍的是皮尔逊积差相关系数：的性质。最为普遍的是皮尔逊积差相关系数：）10-1（ )()(222221公式YYNXXNYxXYNrAA X为第一次测验的实得分数; Y为第一次测验的实得分数; N为应试者数.（一）稳定性系数（一）稳定性系数n用一个算术四则的速度测验用一个算术四则的速度测验1212个小学生，得分个小学生，得分记为记为X X，为了考察测量结果的可靠性，于，为了考察测量结果的可靠性，于3 3个月个月后再测一次，得分记为后再测一次，得分记为Y Y，
15、问测验结果是否可，问测验结果是否可靠？靠？n序号序号 1 2 3 4 5 6 7 8 9 10 11 121 2 3 4 5 6 7 8 9 10 11 12nX 20 20 21 22 23 23 23 24 25 26 26X 20 20 21 22 23 23 23 24 25 26 26 27 27nY 20 21 21 20 23 23 25 25 26 26Y 20 21 21 20 23 23 25 25 26 26 27 29 27 29 A1A1A2A2X X2 2Y Y2 2XYXYX XY Y0101020203030404050506060707080809091010
16、11111212202020202121222223232323232324242525262626262727202021212121202023232323252525252626262627272929400400441484529529529576625676676729 400441441400529529625625676676729841 400420441440529529625625650676702783 XX280280YY286286XX2 265946594YY2 269126912XYXY64206420 286691212280659412286280642012
17、 )()(22222221YYNXXNYxXYNrAA解解:(1)把资料列表于后把资料列表于后,计算出公式计算出公式(1-10)所需的各所需的各种统计量种统计量:X280 Y286 X26594Y26912 XY6420(2)把所计算的统计量代入公式把所计算的统计量代入公式(1-10):采用重测法计算稳定系数时，要注意的问题采用重测法计算稳定系数时，要注意的问题：n1 1、两次测验之间的时间间隔要适宜，尽可能在、两次测验之间的时间间隔要适宜，尽可能在较短的时距内进行。较短的时距内进行。n2 2、两次测验试卷要等值，即在内容范围、题型、两次测验试卷要等值，即在内容范围、题型、题数、难度、区分度等
18、方面要基本相同。题数、难度、区分度等方面要基本相同。n3 3、确定两测验是否等值，还要考察两次测绘结、确定两测验是否等值，还要考察两次测绘结果的平均数与标准差。果的平均数与标准差。n4 4、重测法适用于速度测验而不适用于难度测验。、重测法适用于速度测验而不适用于难度测验。n5 5、测试应注意提高被试者的积极性。、测试应注意提高被试者的积极性。（二）等值性系数（二）等值性系数（ coefficient of equivalencecoefficient of equivalence ）n又名又名复本信度复本信度（alternate-forms alternate-forms reliabilit
19、yreliability）：是以）：是以两个等值两个等值（题型题数、（题型题数、难度、区分度相等）但难度、区分度相等）但具体内容不同具体内容不同的量表，的量表，在在最短时距内最短时距内，对相同应试者先后施测两次所对相同应试者先后施测两次所获得的两组对应分数的相关系数。获得的两组对应分数的相关系数。n其模式是：其模式是：11AB测验测验适当时距（二）等值性系数（二）等值性系数（ coefficient of equivalencecoefficient of equivalence ）n以以A A、B B两型英语复本测验对初中三年级两型英语复本测验对初中三年级1010个学生个学生施测，为避免由测
20、验施测顺序所造成的误差，其施测，为避免由测验施测顺序所造成的误差，其中中5 5个学生先做个学生先做A A型测验，休息型测验，休息1515分钟后，再做分钟后，再做B B型测验；而另型测验；而另5 5个学生先做个学生先做B B型测验，休息型测验，休息1515分钟分钟后，再做后，再做A A型测验。型测验。1010个学生个学生A A型测验结果记为型测验结果记为X X，B B型测验结果记为型测验结果记为Y Y，其测验的复本信度如何？，其测验的复本信度如何？学生序号学生序号 1 2 3 4 5 6 7 8 9 101 2 3 4 5 6 7 8 9 10nX 19 19 18 17 16 15 15X 1
21、9 19 18 17 16 15 15 14 13 12 14 13 12nY 20 17 18 18 17 15 13 15 12 12Y 20 17 18 18 17 15 13 15 12 12（二）等值性系数（二）等值性系数（ coefficient of equivalencecoefficient of equivalence ）n优点：优点：n1 1、测验的两个复本，如果在不同的时间使、测验的两个复本，如果在不同的时间使用，其信度既可以反映在不同时间的稳定用，其信度既可以反映在不同时间的稳定性，又可以反映对于不同测题的一致性；性，又可以反映对于不同测题的一致性；n2 2、两个复本
22、在同时使用时，可以避免再测、两个复本在同时使用时，可以避免再测信息的一些缺点，如首测时再测在记忆、信息的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识练习、效果的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试主观的影响，两次施测的环境不同和被试主观状态不同的影响，以及为了应付测验所作状态不同的影响，以及为了应付测验所作训练的影响等。训练的影响等。（二）等值性系数（二）等值性系数（ coefficient of equivalencecoefficient of equivalence ）n缺点：缺点：n1 1、编制两个完全相等的测验是很困难的，如果、编制两个完全相
23、等的测验是很困难的，如果两个复本过分相似，则变成再测形式，而过分不两个复本过分相似，则变成再测形式，而过分不相似，又使等值的条件不存在；相似，又使等值的条件不存在；n2 2、两个复本测验有可能在某种程度上测量了不、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；同的性质，这就会低估测验的信度；n3 3、被试同时接受性质相似的两个测验，可能减、被试同时接受性质相似的两个测验，可能减少完成测验的积极性；少完成测验的积极性；n4 4、虽然两个复本测验的题目材料不同，但被试、虽然两个复本测验的题目材料不同，但被试一旦掌握了解题的某一模式，就能触类旁通，有一旦掌握了解题的某一模式，
24、就能触类旁通，有可能失去复本的意义。可能失去复本的意义。（三）内部一致性系数（三）内部一致性系数（internal constancyinternal constancy）n又叫又叫同质性信度（同质性信度（homogeneity reliabilityhomogeneity reliability）。是同一是同一测验量表的两个部分（例如分为奇数题和偶数题，或者量测验量表的两个部分（例如分为奇数题和偶数题，或者量表的前一半和后一半）得分的相关系数。表的前一半和后一半）得分的相关系数。n估计方法有两种：估计方法有两种：n1 1、分半法（、分半法（Split-half methodSplit-hal
25、f method）：）：是将一次测验分成两是将一次测验分成两个假定相等而独立的两部分来记分。通常是以题目的奇数个假定相等而独立的两部分来记分。通常是以题目的奇数为一组，偶数为一组，计算两级的相关系数，最后用为一组，偶数为一组，计算两级的相关系数，最后用斯皮斯皮尔曼布朗公式尔曼布朗公式校正，求得整个测验的信度系数。校正，求得整个测验的信度系数。n斯皮尔曼布朗公式为：斯皮尔曼布朗公式为：）公式（11112xyxyttrrrn r rxyxy 为两组测验分数的相关系数，为两组测验分数的相关系数， r rtttt表示整个测验的表示整个测验的信度系数。信度系数。问题：为什么不直接用奇数题总分与偶数问题：
26、为什么不直接用奇数题总分与偶数题的部分计算出的相关系数作为整个测验题的部分计算出的相关系数作为整个测验的信度系数而要加以校正？的信度系数而要加以校正？这是因为测验的长度（指量表中所包含的题目数）这是因为测验的长度（指量表中所包含的题目数）对信度的大小有一定的影响，测验越长，信度越对信度的大小有一定的影响，测验越长，信度越高高。而用分半法，实际上等于把整个测验长度减小了而用分半法，实际上等于把整个测验长度减小了一半，所以按分成两半的资料求出的信度必然低一半，所以按分成两半的资料求出的信度必然低于整个测验的信度。于整个测验的信度。n例：有一个由例：有一个由100100题构成的量表施行于题构成的量表
27、施行于1010个高三学生个高三学生（分数见下表）。测验一次后，应试者即毕业离校。（分数见下表）。测验一次后，应试者即毕业离校。现在怎样评价测验结果的信度？现在怎样评价测验结果的信度？得分得分被试被试奇数题总分奇数题总分 偶数题总分偶数题总分X XY Y010102020303040405050606070708080909101038383737383841414040363638383939404035353737373736363939393934343838393939393636方法：分半法方法：分半法得分得分被试被试奇数题总分奇数题总分偶数题总分偶数题总分X X2 2Y Y2 2XY
28、XYX XY Y0101020203030404050506060707080809091010383837373838414140403636383839394040353537373737363639393939343438383939393936361444144413691369144414441681168116001600129612961444144415211521160016001225122513691369126912691296129615211521152115211156115614441444152115211521152112961296140614061369
29、13691368136815991599156015601224122414441444152115211560156012601260XX382382YY374374XX2 21462414624YY2 21401414014XYXY1431114311解解：把有关统计量代入公式（：把有关统计量代入公式（1-10），求相关系数），求相关系数84. 0)3741401410)(3821462410(374382143111022xyr用斯皮尔曼布朗公式校正，用斯皮尔曼布朗公式校正，91.084.0184.0212xyxyttrrr经校正后的信度系数很大（经校正后的信度系数很大（0.910.91
30、），说明整），说明整个测验的信度高。个测验的信度高。2 2、库德尔理查森公式法、库德尔理查森公式法（KuderKuder Richardson reliability Richardson reliability）n用此法只需测验一次，然后以各个问题的正确反用此法只需测验一次，然后以各个问题的正确反应数为基础（此可视为各题难度的信息），或根应数为基础（此可视为各题难度的信息），或根据各人总分的平均数和标准差，计算信度系数。据各人总分的平均数和标准差，计算信度系数。此公式有几个，其中常用的有此公式有几个，其中常用的有r rKR20KR20和和r rKR21KR21 。n（1 1）r rKR20K
31、R20的用法的用法：这个公式以每题能正确回答的这个公式以每题能正确回答的人数占总人数的百分数为基础计算（每题只有通人数占总人数的百分数为基础计算（每题只有通过或未通过两种分数）。过或未通过两种分数）。例：有一种包含例：有一种包含6 6个问题的测验，个问题的测验，1010个应试者得分个应试者得分如下表（答对得如下表（答对得1 1分，答错得分，答错得0 0分），试估计应试分），试估计应试者反应的一致性程度。者反应的一致性程度。和的方差。为各应试者各题得分之Sp）,1总人数的百分数（q各题错误反应的人数占q为数占总人数的百分数，p为各题正确反应的人，系数，K为测验题目数为整个测验结果的信度r12）)
32、公式（1Spq(11KKr2KR202KR20题题得目得目被试分被试分1 12 23 34 45 56 6ZZ0010010020020030030040040050050060060070070080080090090100101 10 00 00 00 00 01 11 10 00 01 10 00 02 20 00 00 00 01 11 12 21 11 11 10 00 00 03 30 01 10 00 01 11 13 31 11 11 10 00 00 03 31 11 11 11 10 00 04 41 11 11 11 10 00 04 41 11 10 01 11 11
33、15 51 11 10 01 11 11 15 5XXp p q q pq pq 8 75 55 54 44 4 0.8 0.7 0.50.50.50.50.40.40.40.4 0.2 0.3 0.50.50.50.50.60.60.60.6 0.16 0.21 0.250.25 0.250.25 0.240.24 0.24 pq0.24 pq=1.35=1.35解：解：1 1）列出得分矩阵，计算有关统计量：）列出得分矩阵，计算有关统计量：40.039.001.235.11166121201.2103.353.323.31S3.31063221X35.16K21KR2222）（）计算信度系统
34、式（）把有关统计量代入公）（）（）（rpq这个测验的信度系数较低，说明内容一致性差，量表这个测验的信度系数较低，说明内容一致性差，量表中的题目并非都可以测量相同的特性，即题目的同质中的题目并非都可以测量相同的特性，即题目的同质性差或难度悬殊较大。性差或难度悬殊较大。（2 2） r rKR21KR21的用法的用法：n这个公式这个公式以各应试者总分的平均数和方差为基础，以各应试者总分的平均数和方差为基础，无需各题的难度信息。无需各题的难度信息。公式如下：公式如下：0.402.0163.3)3.3(60.81r13）（2把下列统计量代入公式2.01K63.3SX已知上例是题目数。是各人总分的方差；K
35、S是各人总分的平均数；X式中13）公式（1KS)X(KX0.81rKR21222KR21（四）论文式测验的信度系数（四）论文式测验的信度系数n论文式测验的评分没有严格的评分标准，以致同样一个论文式测验的评分没有严格的评分标准，以致同样一个题目，不同的应试者的回答和得分都不一样，所以无法题目，不同的应试者的回答和得分都不一样，所以无法用前面的公式，而要用用前面的公式，而要用克龙巴赫（克龙巴赫（Cronbach,1951Cronbach,1951）所）所创的创的系数公式：系数公式：的方差。为每个被试者所得总分S方差之和；为每题各应试者得分的S方差；为每题各应试者得分的SK为题目数；其中，为信度系数
36、，14）)公式（1SS(11KK2T2i2i2T2i被被题题 号号 试试ABCDESi2171181111483.04269789391.363610689392.564811683366.96571181111483.04671181111483.044062415452例：有一种包含例：有一种包含6 6个论文式题目的测验，对个论文式题目的测验，对5 5个应个应试者施行，得分列入下表，试求该测验的信度。试者施行，得分列入下表，试求该测验的信度。解：解：1 1）求每题各应试者得分的方差）求每题各应试者得分的方差S Si i2 2( (见表列见表列) )2 2）求每题各应试者得分的方差之和）求每
37、题各应试者得分的方差之和SSi i2 2SSi i2 23.043.041.361.363.043.0418.6518.653 3）求所有应试者各自的总分的方差）求所有应试者各自的总分的方差SST T2 2（表格（表格最下一行各数据的方差）最下一行各数据的方差）S ST T2 268.9668.964 4）代入公式（）代入公式（1-141-14）得信度系数）得信度系数875. 0)96.6865.181 (166（五）评分者信度（五）评分者信度n要计算评分者评分的一致性系数，需区分评要计算评分者评分的一致性系数，需区分评分者的人次数。若为分者的人次数。若为2 2人评人评N N份试卷，可用份试卷
38、，可用斯斯皮尔曼等级相关的公式皮尔曼等级相关的公式计算；若三个人以上计算；若三个人以上的评分者评的评分者评N N份试卷，则需计算份试卷，则需计算肯德尔和谐肯德尔和谐系数系数（以（以W W表示）表示）n1 1、斯皮尔曼等级相关公式：、斯皮尔曼等级相关公式：为被评分的试卷数。卷所评的等级之差；为两位评分者对同一试表示的）；用为等级相关系数（也有式中，）公式（ND151) 1(6122prNNDrss例：甲乙两位教师评阅例：甲乙两位教师评阅10份试卷，他们对每份试卷各自所评份试卷，他们对每份试卷各自所评的分数和等级列入下表，问这二位教师评分的一致性如何？的分数和等级列入下表，问这二位教师评分的一致性
39、如何？试卷试卷得分得分名次名次等级之差等级之差DD2甲评分甲评分乙评分乙评分甲名次甲名次乙名次乙名次ABCDEFGHIJ9490868672706866646193929270827665766860123.53.5567891012.52.5745.595.58100-0.51-3.510.5-22.51000.25112.2510.2546.2510解：解：1）计算所需统计量：）计算所需统计量：D和和 D2（见表）（见表） ；N10；D200.25112.2510262）将统计量）将统计量N和和D2代入公式（代入公式（1-15）84. 0) 110(102661) 1(61222NNDrs
40、答：甲乙两位教师阅卷的一致性系数较高，评分比答：甲乙两位教师阅卷的一致性系数较高，评分比较可靠较可靠。2 2、肯德尔和谐系数（、肯德尔和谐系数（W W）卷数）是被评分的试题数（试K是评分者的人数；N的K个等级之和；为第i个被评价对象；RN)R(R即S的离均差的平方和，价对象的K个等级之和式中，S为每一个被评16）公式（1N)(NK121Swi2i2i32例：例：1010个评委对个评委对7 7位参赛选手所评等级位参赛选手所评等级如下表所示如下表所示，问这问这1010位评委的评分是否具有一致性？位评委的评分是否具有一致性？选手选手N N7 7评价者评价者K K7 7R Ri iR Ri i2 21
41、 12 23 34 45 56 67 78 89 9101001010202030304040505060607073 35 52 23 34 44 43 32 24 43 36 6 7 6 7 5 7 7 6 66 6 7 6 7 5 7 7 6 65 4 5 7 6 6 4 4 5 45 4 5 7 6 6 4 4 5 41 1 1 2 2 2 2 1 1 21 1 1 2 2 2 2 1 1 24 3 4 4 3 3 5 6 3 54 3 4 4 3 3 5 6 3 52 2 3 1 1 1 1 3 2 1 2 2 3 1 1 1 1 3 2 1 7 7 6 5 5 7 6 5 7 77
42、 7 6 5 5 7 6 5 7 733336363505015154040171762621089108939693969250025002252251600160028928938443844 R Ri i280 280 R Ri i2 21351613516分析：从W=0.827来看，10人的评价较为一致。严格地讲，W值是否达到显著性水平，需要做统计假设检验。当K等于320，N等于37时，可根据K和N查“W显著性检验时S的临界值表”进行检验。(见王汉澜教授主编的测量学教材P52页)827.0)77(101212316231672802-13516)(RS3222iwNRi在进行等级评定时
43、，常会遇到两个或两个以上事在进行等级评定时，常会遇到两个或两个以上事物的等级相同，如果遇到这种情况，应采用下面物的等级相同，如果遇到这种情况，应采用下面的修正公式：的修正公式：为相同等级的个数。式中）公式（nnnTTKNNKSw,12)(171)(121332例：三位教师评阅四份试卷，所评等级列入下表，他们例：三位教师评阅四份试卷，所评等级列入下表，他们所评的等级是否一致？所评的等级是否一致？N NK K作文编号（作文编号（N N4 4）1 12 23 34 4张张王王李李3 31 14 42 22 21 14 41 12 22 23 32 2R Ri i7 74 411115 5解：本题因王
44、老师给两份试卷评了相同等级，李老师给三解：本题因王老师给两份试卷评了相同等级，李老师给三份试卷评了相同等级，所以要用公式（份试卷评了相同等级，所以要用公式（1-17）计算）计算W。21151147R2751147RRRRR) 12222222i列入表内。及、计算iiiii一致。可见，三位教师评分不未达显著水平时，当的显著性。的值临界表，检验显著性检验时）查）（），）代入公式（）（。和）计算）（的离差的平方和）计算各个李王W4 .64S75.28S4 .64S4N3KWSW564. 05 . 2344312175.28W17145 . 225 . 012T21233T5 . 01222TTT37
45、5.28427211NRRSR205. 005. 032333222innii三、信度对于教育测量的意义三、信度对于教育测量的意义n1.1.信度是任何一种测量的必要条件。因为教育测量信度是任何一种测量的必要条件。因为教育测量的对象主要是精神现象，所测量的特性不易把握，的对象主要是精神现象，所测量的特性不易把握，为了能真实地反应测验对象的某种特点，需要更加为了能真实地反应测验对象的某种特点，需要更加注意测量的信度，从而正确地判断测量结果的价值。注意测量的信度，从而正确地判断测量结果的价值。n2.2.信度高的教育测量，能给教师和教育工作的领导信度高的教育测量，能给教师和教育工作的领导者提供可靠的信
46、息，为他们的教育预测和决策提供者提供可靠的信息，为他们的教育预测和决策提供依据。依据。n3.3.信度高的教育测量，能使教师对学生的评价变得信度高的教育测量，能使教师对学生的评价变得客观和可靠，也使学生对自己的认识更符合实际情客观和可靠，也使学生对自己的认识更符合实际情况，从而有助于改进教与学的方法。况，从而有助于改进教与学的方法。n4.4.信度高的教育测量，有助于提高教师的工作效率。信度高的教育测量，有助于提高教师的工作效率。四、提高测验信度的方法四、提高测验信度的方法n（一）信度系数（以相关系数表示）以多大为宜（一）信度系数（以相关系数表示）以多大为宜 信度系数必须和求得信度系数的环境条件（
47、测验的用途信度系数必须和求得信度系数的环境条件（测验的用途以及测验的内容和条件）相联系。以及测验的内容和条件）相联系。 就测验的内容来说，标准学业成绩测验要求信度系数在就测验的内容来说，标准学业成绩测验要求信度系数在0.900.90以上，常达到以上，常达到0.950.95。标准智力测验的信度系数应达到。标准智力测验的信度系数应达到0.850.85以上。个性测验和兴趣测验的信度系数一般应达以上。个性测验和兴趣测验的信度系数一般应达0.70.800.70.80。n（二）影响测验信度的因素（二）影响测验信度的因素n1 1、系统误差；、系统误差；2 2、随机误差（包括样本的特点、量表的特、随机误差（包
48、括样本的特点、量表的特点、测验的程序或环境、应试者的身心状态）点、测验的程序或环境、应试者的身心状态）（三）提高测验信度的方法（三）提高测验信度的方法n1 1、适当增加测验题目的数量。、适当增加测验题目的数量。 尽管测验长度的增加与信度的提高不是等比例的，尽管测验长度的增加与信度的提高不是等比例的，但延长测验的长度，既可排除试题抽样的偶然性因但延长测验的长度，既可排除试题抽样的偶然性因素，也有可能扩大得分的范围，因而使信度系数增素，也有可能扩大得分的范围，因而使信度系数增大，测验信度提高。大，测验信度提高。n采用此法时，须作到采用此法时，须作到（1 1）新增加测验题与原有的）新增加测验题与原有
49、的测验题应有相同的统计性质，即应有相同的平均难测验题应有相同的统计性质，即应有相同的平均难度和相同的组间相关。（度和相同的组间相关。（2 2）加大测验长度应当不）加大测验长度应当不影响被试者回答问题的方法。影响被试者回答问题的方法。2 2、测验的难度要适中。、测验的难度要适中。当测验难度太大时，应试者得分普遍偏低，形成正当测验难度太大时，应试者得分普遍偏低，形成正偏态分布；反之，形成负偏态分布。在这两种分布偏态分布；反之，形成负偏态分布。在这两种分布中，得分大部分集中在低分端或高分端，分数分布中，得分大部分集中在低分端或高分端，分数分布的范围和分数之间的差异都较小，用这些实得分数的范围和分数之间的差异都较小，用这些实得分数计算出的方差也较小，从而使得信度降低。计算出的方差也较小，从而使得信度降低。经验表明经验表明：难度在：难度在0.40-0.700.40-0.70之间是合适的，也有之间是合适的，也有人认为难度从人认为难度从0.25-0.750.25-0.75都利于提高测验信度。都利于提高测验信度。 3 3、测验的内容应尽是同质。、测验的内容应尽是同质。4 4、测验的时间要充分。、测验的时间要充分。5 5、测验的程序应统一。、测验的程序应统一。6 6、评分要客观化，减少评分误差。、评分要客观化，减少评分误差。
