1、教育测量1.教育测量基本概念回顾2.教育测量的分类3.教育测量理论 3.1经典测量理论（CTT）3.2项目反映应论（IRT）4.教育测验的编制 4.1编制步骤 4.2编制细则评价测量（量的记述）或非测量（质的记述）价值判断1.教育测量基本概念回顾 测量的定义 量表 信度 效度 难度 区分度2.教育测量的种类 按测验的目标分类：学业成就测验 智力测验 能力倾向测验 测验结果的评价标准分类：常模参照测验 目标参照测验经典测量理论 （Classical Test Theory）在实际测验中所得到的分数称作实测分数 实测分数的组成：有效分数测量误差，测量误差随机误差系统误差故实测分数有效分数（V）随机
2、误差（E）系统误差（I）即：XVIE 真分数：通常把上式中稳定出现的V、I之和称作真分数，用T表示TVI 实测分数XTE，移项得：EXT E是由偶然因素造成的，结果可正可负3.1.1概念描述3.1.2 CTT的基本假设 对某个学生进行测验所得分数X可看作是代表该生实际知识水平的真实分数和测验误差分数的线性组合，真实分数是指在测验完全没有误差时所得到的理想值；是由随机误差引起（并未包括系统误差）。所谓随机误差是指，由与测量目的无关的偶然因素所引起的无规律的误差；系统误差则是指，由与测量目的无关的固定因素所引起的有规律的误差。可正、可负，因而测得的分数X可能大于真实分数，也可能小于。误差分数的数学
3、期望（统计平均值）为零，因此真实分数也可以用一个被试在大量测验中所得分数的统计平均值来表示。任意两次测验所产生的误差相互独立。3.1.3假设的公式推演X=XT+XE SX2=ST2+SE2 SX2=SV2+SL2+SE2 3.1.4 项目分析 项目分析是对测验中的每一道题目进行分析，所以也称“题目分析”。对测验题目的分析一般包括难度分析、区分度分析和迷惑效力分析等三个方面。3.1.5难度分析 非客观性试题（填空题，证明题，问答题，计算题，改错题等）的难度为：客观性试题（选择题）的难度为：jnijijnWXP11nnPjj13.1.6 区分度分析 好的试题应能对不同知识水平和能力水平的被试加以区
4、分，所谓区分度就是用来表示这种区分能力大小的质量指标。一道试题的区分度高是指，该题被能力强者答对的可能性大，被能力弱者答对的可能性小；区分度低的试题则不能反映出这种差别。计算区分度的方法有多种，较简单而有效的一种是“两极分组法”。这种方法的基本思想是，比较测验总分最高和最低的两组被试在答对率上的差别。其计算公式如下：jLjHjPPD3.1.7迷惑效力分析 迷惑性答案的效力，是指多项选择题中用的非正确答案被考生选中的可能性，所以这项指标只对多项选择题有意义。对这项指标的计算比较困难，通常是用一次测验中选中某答案的次数来估计该答案的迷惑效力。如果在考试中某一选项无一人挑选，则说明改选项没有迷惑力；
5、如果选用的人数多且低分组的选用多于高分组，则说明改选项的迷惑力强；如果高、低分组选择某选项的人数都较少且人数接近，则说明该选项的迷惑力较弱。显然，在测验组卷时应尽量少用或不用迷惑力弱的试题，以免影响测验效果。3.1.8整体分析 为了检验某一测验是不是良好的测量工具，应当对测验的质量进行分析评估。一个高质量的测验的测验，它的结果应当是可靠而且有效的。所谓可靠是指多次测验的结果一致；所谓有效是指该测验准确地测量了它所要测的内容。用来估计测量一致性程度的指标称为“信度”；而用来估计测量准确性程度的指标则称为“效度”。显然，信度和效度是评价测量质量的两个最主要的指标。3.1.9信度的估计 信度是测量的
6、可靠性度量，而在测验所得的分数中，随机误差所占比重的大小直接反映了测验的可靠性。因此我们可以将真实分数的方差（真实分数的变异数）与测验所得分数的方差（总变异数）之比用来表示信度的大小，并称之为信度系数，用 表示，即：XX=ST2/SX2 3.1.10效度的估计 SX2=SV2+SL2+SE2 效度是测量的有效性度量。在一个测验所得分数中，与测量目的无关的因素影响越小（或者说与测量目的有关的因素影响越大），测验的有效性就越高，由上式可见这就相当于要求增大 的比重。因此我们就可以将真实分数的方差中与测量目的有关的部分即（称为“有效变异数”）与测验所得分数的方差（总变异数）之比，用来表示效度的大小，
7、并称之为“效度系数”，用 表示，即：22XVXXSS3.1.11效度类型 内容效度：指试题对欲测内容的符合程度，即该测验所采用的试题是否能充分反映欲测范围内的教学内容与教学目标。当以考试结果作为了解学生在某一学科的整体表现时，应采用内容效度来评价考试的有效性。对内容效度的估计至今没有定量的计算方法，目前主要采用的是专家判断法和再测法。构想效度：构想效度是指测验对某种理论上的构想或假设的符合程度，因此构想效度主要用于理论研究。估计构想效度的基本步骤是：先从某一理论出发，提出关于某种心理特质或认知能力的假设；然后设计和编制响应的测验对被试施测；最后对测验结果用相关分析法进行分析以验证与理论构想（假
8、设）的符合程度。3.1.11效度类型 准则关联效度：准则关联效度是根据测验所作的预测是否能被证实来衡量测验的有效性。如果测验所作的预测与未来实际发生的事情很接近，这个测验就是一个有效的好测验。在这种场合，被预测行为是用来衡量测验是否有效的标准，因此被称之为“准则”。准则关联效度就是要考察测验得分与准则之间有什麽样的关系。例如用“模拟考试”来预测高考的成绩，模拟考试在这里就是一个准则。如果预测的准确性高，该模拟考试就是一个有效的好测验。3.1.12经典测量理论的局限 第一，CTT用于评价试题质量的指标（如难度和区分度）严重依赖于计算这些指标时所用的被试样本。例如：对同一试题，若被试样本的能力水平
9、异质（程度参差不齐），则求出的区分度值会很高，反之会很低。经典测量理论(CTT)在三条基本假设的基础上建立了自己的测验方法体系，导出了包括信度、效度、难度、区分度和迷惑效力在内的一整套质量指标的计算公式，使整个测验过程比较科学和客观，因而具有较大的实用价值。但是，随着测量实践的深入和发展，经典测量理论也暴露出一些难以克服的局限：3.1.12经典测量理论的局限 第二，CTT对被试的某项能力或知识水平的估计，只有当所有被试都使用同一个测验或并行的测验时才是可比的；若对同一水平的被试使用不同的测验，则其测量效果无法进行直接比较。第三，CTT主要适合与检查学生相对能力水平的测验（亦称“常模参照测验”）
10、，而不适合于考察学生实际能力水平的测验（亦称“目标参照测验”）。例如，在目标参照测验中，当被试组全部通过或全部不能通过测验时（这种情况完全可能发生），CTT根本无法对这种情况的难度和区分度进行计算。3.2项目反映理论（Item Response Theory）3.2.1 项目反映理论 项目反映理论（IRT）正是针对经典测量理论的上述局限提出来的。它的最大优点就是，项目参数（CTT中的质量指标对应）的估计值与被试样本的选择无关；对被试能力水平的估计值与施测所用试题无关；同时还能给出测验项目对被试实际能力估计值的精度。3.2.2 项目反映理论的假设第一、单维性假设即假定当前测验仅测量被试的某一项知
11、识或能力。事实上，任何测验都不可能是单维，因为除了该测量的能力之外，被试的个性、认知特点、测验环境等因素都可能对测验有影响。但是，只要所测量的内容是其中最主要的或主导的因素，就可以认为是单维性测验。这样做不仅简化了对问题的分析，也基本符合绝大多数的实际情况。第二、局部独立性假设被试对某一测验项目的反应只与该测验项目本身有关，而不受其它测验项目的影响；在某一测验项目上作答的各个被试也彼此独立，各被试的成绩仅由本身的内在素质和能力水平决定，一个被试的成绩不会影响另一个被试。第三、项目特性曲线假设IRT认为，可观察的被试的测验得分与影响测验成绩的不可观察的内在素质、能力水平之间所存在的关系，可用“项
12、目特性曲线”描述。所谓项目特性曲线假设，就是对这种关系的数学表示形式所作出的一种假设。在IRT中，这种假设也被称为“项目反映模型”。换句话说，项目反映模型就是用来表示被试的测验得分（或正答概率）与被试内在素质、能力水平之间所存在关系的一种数学函数，所以也叫“项目反映函数”。3.2.3项目反映模型1.00 P(Q)i+c/2C 0.00Qb 拐点P Qj()=CCea Q b111 7.()3.2.4项目反应模型的参数 P Qj()=F(Q,a,b,c)被试的能力参数，用Q表示项目的质量参数，用a、b、c标识，分别称为区分度参数、难度参数和猜测参数这些参数值都不能由直接测量得到，而必须通过对被试
13、的反应数据进行估计来求出。对于项目反应模型中参数的估计，通常采用的是极大似然估计法3.2.5项目与测验的信息函数 某个试题j的信息函数值的大小直接反映出该题对被试能力素质水平的估计精度，信息函数值越大，这种估计就越精确。因而信息函数可作为衡量测验试题是否有效的工具。在项目反应理论中，某个测验项目j的信息函数定义为：jjjjQPPQI2)(4 教育测验的编制与实施4.1编制测验的一般步骤 确定测验目的 分析教育目标 测验取材并编拟题目 试测与分析 编制测验（测验的目的、时间限制、回答试题的方法、记分的方法）4.2.1简答题与填空题 1.基本特点 根据呈现的问题，学生以一个词、短语、数字或者符号做
14、出回答 适合测量各种相对简单的学习结果 问题答案可以由数字或符号表示的数学和科学领域（此类问题用选择题的方式进行测试，可能会不能达到测试的目的）2.优点和局限性 优点：容易编制 学生必须提供答案，减少了通过猜测获得答案的可能 局限性：不适合测量复杂的学习结果 记分的难度 3.编制简答题的一些建议 题目措辞时，应使要求的答案简洁具体 以其他动物的肉为食的动物是（）以其他动物的肉为食的动物属于（）类 不要直接引用教材上的陈述作为简答题的基础 直接提问通常比不完整的陈述效果更好 如果答案要以数字单位的形式表示，请标明要求的答案类型 给题目答案留的空白长度应该一样而且都放在题目的右端 使用填空题时，需
15、要学生填的空不要太多4.2.1简答题与填空题 1.基本特点 用于测量事实性陈述、术语定义以及定律表述是否正确的辨认能力 2.优点和局限性 优点：效率高 可以获得课程内容的大样本 局限性：测量的学习结果种类有限（大多为知识领域）具有猜测性4.2.2是非题 3.编制是非题的一些建议 要判断正误，应避免过于宽泛的判断 美国总统是选举产生的（）美国总统通常是选举产生的（）避免琐碎的陈述 避免使用否定句式，尤其是双重否定 避免使用长的复杂句型 如果不是测量因果关系，应避免在一个判断中包含两个观点 避免使用没有任何来源的观点，除非要测的是判断观点的能力 避免使用长度不一的正确判断和错误判断 避免正确判断和
16、错误判断地数量不合比率4.2.2是非题 1.基本特点 由一个问题和一列选项组成 学生答题方式是选择正确的或者最佳的选项 错误的选项叫干扰项，目的在于干扰那些知识掌握不牢固的学生答题 2.优点和局限性 优点：较强的灵活性，可以用来测量多种类型的知识和理解水平的学习内容 在测量各种类型的学业成绩方面有广泛的应用性 摆脱了其他类型的客观题的局限性 与填空题相比：呈现一个更加明确的问题 与匹配题相比：不需要同质性的材料 与判断题相比：减少了线索和猜测的可能性 局限性：局限于对言语水平的测量 难以找到足够多的似是而非的干扰项4.2.3 选择题 3.设计选择题的建议 题干本身具有意义并以一个确定的问题呈现
17、 南美（）大多数居住在南美的殖民者来自于（）题干应包括尽可能多的内容，但与题干无关的材料应该删去 大多数南美国家的居民是来自西班牙的殖民者。你将如何解释大量的西班牙殖民者定居在那里呢？西班牙殖民者定居在南美许多国家是为了寻找 除非某种重要的学习结果需要，一般不使用否定式的题干 下面哪个州不位于回归线以北？下面哪个州位于回归线以南？全部的选项都应与题干在语法上保持一致 除非说明是多选题，否则一个题目应该只有一个正确或者明显的最佳答案4.2.3选择题 3.设计选择题的建议 用来测量理解力的题目应该具有一定的新颖性，但也不要过于新颖 所有的干扰项都应该是似是而非的 选择题中应该有多少个选项？编制具有
18、迷惑性的干扰项的方法 使用学生最常见的错误 使用与题干听起来重要的词，但不要过分 使用那些在口语中与题干相联系的词 使用课本上的语言或者其他具有真理性的措辞 使用那些由于学生误解或者是粗心大意而造成的错误答案 干扰项在内容上与正确答案同质或者相似 干扰项在形式上与题干平行，在语法上与题干一致 使干扰项与正确答案在长度、词汇、句子结构和内容的复杂程度上相似4.2.3选择题 3.设计选择题的建议 避免使题干与正确答案之间存在语言联系 不要通过选项的相对长度来提供答案的线索 正确答案出现在选项重的位置应该大致平均而且是随机的 少用诸如“以上都不对”、“以上都对”的选项 如果其他题型更合适，就不要使用
19、选择题4.2.3选择题 1.基本特点 应试在解答问题时，可以自由组织答案 评分者按照给分标准，借助主观判断确定被试得分 2.优点和局限性 优点：可以测量高层次的学习水平，这方面的内容与特质客观题难以测定 答案能够反映考生解答问题的思维过程和回答问题的正确程度 可以促使学生养成注意全部学习内容和知识之间的内在联系的习惯 局限性：试卷中试题数量少，考试覆盖面小，试题取样不广泛，难以有效地代表所测内容，影响考试信度和效度 评分不够客观 阅卷时费时费力4.2.4 主观题 3.编制主观题的一些建议 加强试题的综合性，以测量较高层次的学习水平 要给考生提供展显才智的条件 突出重点内容 要出“活题”不脱离考试的范围和要求 不出偏题、怪题 编制题目的同时，制定明细合理的评分标准4.2.4主观题
