1、第一页，编辑于星期三：二十三点 七分。新一代测量理论认知诊断新一代测量理论认知诊断新一代测量理论认n认知诊断理论被视为新一代测验理论的认知诊断理论被视为新一代测验理论的核心，是认知心理学与现代测量学相结核心，是认知心理学与现代测量学相结合的产物。对认知诊断的研究已成为当合的产物。对认知诊断的研究已成为当前国外心理学研究的一个重要热点，并前国外心理学研究的一个重要热点，并引起国内学者的广泛关注。引起国内学者的广泛关注。2020/11/32第二页，编辑于星期三：二十三点 七分。认知诊断理论被视为新一代测验理论的核心，是认知心理学与现代测内容提要n认知诊断概述认知诊断概述传统测验及其理论的局限性传统
2、测验及其理论的局限性对认知诊断的基本概念对认知诊断的基本概念一种基于一种基于 Q Q 矩阵理论朴素的认知诊断方法矩阵理论朴素的认知诊断方法测验蓝图的设计测验蓝图的设计认知诊断开发步骤认知诊断开发步骤对认知诊断的理解对认知诊断的理解认知诊断应用认知诊断应用发展新趋势发展新趋势2020/11/33第三页，编辑于星期三：二十三点 七分。内容提要认知诊断概述2 0 2 0/1 1/3 3 第三页，编辑于星期三 心理和教育测量学是一门从心理学和教育学心理和教育测量学是一门从心理学和教育学角度对心理特质的实质和结构做出深入的分角度对心理特质的实质和结构做出深入的分析与研究，同时运用数学、统计学等手段，析与
3、研究，同时运用数学、统计学等手段，对测量的有关问题，做出数量化分析的学科对测量的有关问题，做出数量化分析的学科；作为独立学科分支的心理与教育测量学已；作为独立学科分支的心理与教育测量学已经经历了一个多世纪的发展。经经历了一个多世纪的发展。2020/11/34第四页，编辑于星期三：二十三点 七分。心理和教育测量学是一门从心理学和教育学角度对心理特质的实 Mislevy R.JMislevy R.J（19931993）指出，到目前为指出，到目前为止，整个统计测验理论的发展可以分为止，整个统计测验理论的发展可以分为两大阶段：标准测验理论（两大阶段：标准测验理论（Standard Standard t
4、est theorytest theory）阶段和新一代测验理论（）阶段和新一代测验理论（Test theory for a new generation of Test theory for a new generation of teststests）阶段。）阶段。2020/11/35第五页，编辑于星期三：二十三点 七分。Mi s l e v y R.J（1 9 9 3）指出，到目前为止，传统测验及其理论的局限性 标准测验理论将所测的心理特质视为一个标准测验理论将所测的心理特质视为一个心理学意义并不明晰的心理学意义并不明晰的“统计结构统计结构”，目的在于从宏观的层次给个体一个整体目的在于从
5、宏观的层次给个体一个整体的评估，在单维的、线性的连续的度量的评估，在单维的、线性的连续的度量系统上指定一个表示位置的值。系统上指定一个表示位置的值。2020/11/36第六页，编辑于星期三：二十三点 七分。传统测验及其理论的局限性 标准测验理论将所测的心理特质视为一传统测验及其理论的局限性n标准测验理论包括标准测验理论包括：经典测量理论（Classical Test Theory）概化理论（Generalizability Theory）项目反应理论（Item Response Theory）2020/11/37第七页，编辑于星期三：二十三点 七分。传统测验及其理论的局限性标准测验理论包括：2
6、 0 2 0/1 1/传统测验及其理论的局限性n与标准测验理论是相对应的是传统测验与标准测验理论是相对应的是传统测验 传统的考试实质上都是根据精心筛选的测验题目,将被试按顺序排列在某种潜在变量的连续体上。在经典测量理论中,这种潜在变量是真分数,而在项目反应理论中,潜在的变量是指单维的潜在特质。2020/11/38第八页，编辑于星期三：二十三点 七分。传统测验及其理论的局限性与标准测验理论是相对应的是传统测验2传统测验及其理论的局限性经典测量理论（又称真分数理论）经典测量理论（又称真分数理论）n基本假设:测验观察分数等于真分数与误差分数之和即 X=T+R。n在此基础上，经典测量理论提出了测验信度
7、和效度、项目难度、区分度、猜测度等概念，并依此来指导测验的编制。n经典测量理论在测验发展中有特殊的地位，它是历史上第一个测验理论，也是测验的最一般、最基本的理论，应用极为广泛。2020/11/39第九页，编辑于星期三：二十三点 七分。传统测验及其理论的局限性经典测量理论（又称真分数理论）2 0 2传统测验及其理论的局限性n但是，经典测量理论有着理论框架的先但是，经典测量理论有着理论框架的先天缺陷性，比如测验参数的估计依赖于天缺陷性，比如测验参数的估计依赖于样本；测验信度估计不精确等。概化理样本；测验信度估计不精确等。概化理论和项目反应理论则从不同角度克服了论和项目反应理论则从不同角度克服了经典
8、测量理论的局限性，逐渐在心理与经典测量理论的局限性，逐渐在心理与教育测量领域中与经典测量理论形成了教育测量领域中与经典测量理论形成了三足鼎立的局势。三足鼎立的局势。2020/11/310第十页，编辑于星期三：二十三点 七分。传统测验及其理论的局限性但是，经典测量理论有着理论框架的先天传统测验及其理论的局限性n概化理论概化理论:n其主要是针对经典测量理论信度估计不精确的问题而发展的。它不再象经典测量理论那样将测量误差单纯看成混沌一团的东西，而是利用方差分析方法具体分析实际的测验情景关系，根据不同情景关系确定测量目标与侧面，针对性地考察多种信度与效度。2020/11/311第十一页，编辑于星期三：
9、二十三点 七分。传统测验及其理论的局限性概化理论:2 0 2 0/1 1/3 1 1 第十传统测验及其理论的局限性n项目反应理论项目反应理论:n是在克服经典测量理论项目参数依赖于样本等局限性基础上发展的。它认为被试在项目上的反应决定于被试的潜在能力与项目难度间的距离，从而很好地将能力参数和难度参数统一到了一个量尺上来。项目反应理论的另一大优点是参数的不变性，从而推动了该理论的应用范围，为实现计算机化自适应考试（CAT）提供了可能。此外，项目反应理论还提出了测验信息函数的概念，利用测验信息函数来估算测验对不同能力水平被试所产生的误差。2020/11/312第十二页，编辑于星期三：二十三点 七分。
10、传统测验及其理论的局限性项目反应理论:2 0 2 0/1 1/3 1 22020/11/313第十三页，编辑于星期三：二十三点 七分。2 0 2 0/1 1/3 1 3 第十三页，编辑于星期三：二十三点 七分2020/11/314第十四页，编辑于星期三：二十三点 七分。2 0 2 0/1 1/3 1 4 第十四页，编辑于星期三：二十三点 七分传统测验及其理论的局限性n基于CTT的测验采用总分指标评价能力，总分只能用来对个体在总体中的相对位置进行排序，不能指出被试具体掌握了哪些内容，更无法诊断其题目作答错误的原因。基于IRT的教育测验采用能力指标评价被试，虽考虑了被试在测验项目上的作答反应与属性
11、间的关系，但能力指标只是属性的一个统计含义上的概念，并没有真正揭示其内部心理含义2020/11/315第十五页，编辑于星期三：二十三点 七分。传统测验及其理论的局限性基于C T T 的测验采用总分指标评价能力传统测验及其理论的局限性 总的来说，无论是经典测量理论还是项目反应理论及概化理论，存在的共同缺陷是，把所测心理特质当作一种纯统计结构，忽视对考生作答过程的考察，计量时只注重作答结果，忽视心理特质的实质内容，对于“测什么”和“为什么”的问题却不能够很好地解决，也就无法了解个体解答测验的心理加工成分、策略、所需知识结构等内部心理机制，不能确定个体的强点和弱点。2020/11/316第十六页，编
12、辑于星期三：二十三点 七分。传统测验及其理论的局限性 2 0 2 0/1 1认知诊断的基本概念 因此，传统的测量理论显然不能满足测验因此，传统的测量理论显然不能满足测验发展的需要，急需一个能够解决发展的需要，急需一个能够解决“测什么测什么”和和“为什么为什么”的理论。与此同时，实质心理学特的理论。与此同时，实质心理学特别是认知心理学的兴起，给人们提供了理解别是认知心理学的兴起，给人们提供了理解“统计结构统计结构”这一这一“黑箱黑箱”的思路及相关的丰富的思路及相关的丰富理论成果，这使得测量学专家看到了揭开理论成果，这使得测量学专家看到了揭开“统统计结构计结构”内在心理学意义的希望。因此，以认内在
13、心理学意义的希望。因此，以认知诊断为核心内容的新一代测量理论也就应运知诊断为核心内容的新一代测量理论也就应运而生了，它是测验发展的需要和认知心理学理而生了，它是测验发展的需要和认知心理学理论成果融入到测量学的结果。论成果融入到测量学的结果。2020/11/317第十七页，编辑于星期三：二十三点 七分。认知诊断的基本概念 因此，传统的测量理论显认知诊断的基本概念n认知诊断；属性（补偿，非补偿）；层级关系；认知模型；认知诊断模型（分类方法）一系列Q矩阵，计算和含义；Q矩阵理论；期望反应，期望反应模式（理想反应，理想反应模式/潜在反应，潜在反应模式）；知识状态；182020/11/318第十八页，编
14、辑于星期三：二十三点 七分。认知诊断的基本概念认知诊断；属性（补偿，非补偿）；层级关系；认知诊断的基本概念n认知诊断（评估）：认知诊断评估(CDA)通过测验获得被试在测验上观察反应而推知该被试不可观察的知识状态（knowledge state）。Leighton 和 Gierl（2007）认为（教育）认知诊断的作用是测量/评估个体特定的知识结构（knowledge structure）和加工技能（processing skills）。2020/11/319第十九页，编辑于星期三：二十三点 七分。认知诊断的基本概念认知诊断（评估）：认知诊断评估(C D A)通认知诊断的基本概念nTatsuoka
15、（2009,p.6)对属性和知识状态的定义：nKnowledge and cognitive processing skills will be called attributes,nbinary attribute patterns that express mastery or nonmastery of attributes will be referred to as knowledge states or latent knowledge states.(Tatsuoka,2009,p.7)2020/11/320第二十页，编辑于星期三：二十三点 七分。认知诊断的基本概念T a t s
16、 u o k a（2 0 0 9,p.6)对属性属性的例子（天津考试院，2009，小学真分数加减运算，一个实际开发的认知诊断测验）n分数的运算，认知属性，A1：基础知识(分数单位、分数性质、加减混合运算顺序)；A2：同分母分数加减；A3：寻找最小公倍数；A4：寻找最大公因子；A5：异分母分数加减；A6：化成最简分数；A7：分数加减混合运算。图图1 1 小学数学五年级分数简单加减法认知属性及层级关系小学数学五年级分数简单加减法认知属性及层级关系212020/11/321第二十一页，编辑于星期三：二十三点 七分。属性的例子（天津考试院，2 0 0 9，小学真分数加减运算，一个实基本概念（认知诊断和
17、模式判别）nTatsuoka(2009)认为她的认知诊断方法-规则空间模型（RSM）和统计模式识别、分类方法（statistical pattern recognition and classification methodology）相似，包含特征提取和统计模式分类两步；特征提取对应Q矩阵理论，它是确定性的（deterministic）.222020/11/322第二十二页，编辑于星期三：二十三点 七分。基本概念（认知诊断和模式判别）T a t s u o k a(2 0 0 9)基本概念（属性层级）n五种基本属性层级结构（线型、收敛、发散、无结构、独立），其他层级结构可以由它们组合出来n特
18、别注意收敛型特别注意收敛型232020/11/323第二十三页，编辑于星期三：二十三点 七分。基本概念（属性层级）五种基本属性层级结构（线型、收敛、发散、属性及其层级的确定（1）n属性和属性和属性层级比较难以准确界定属性层级比较难以准确界定n属性的确定的标准方法属性的确定的标准方法n文献调查文献调查n专家讨论专家讨论n被试的出声思维被试的出声思维242020/11/324第二十四页，编辑于星期三：二十三点 七分。属性及其层级的确定（2）n层级关系的确定：不是操作步骤的顺序，也不是解题的过程的描述，而是如Leighton et al.（2000）所说的层级(hierarchy)指的是问题解决中所
19、需要的属性之间的逻辑的或者心理的顺序（logical and/or psychological ordering）252020/11/325第二十五页，编辑于星期三：二十三点 七分。属性及其层级的确定（2）层级关系的确定：不是操作步骤的顺序，Q矩阵的计算n计算和含义；n属性及其层级-邻接矩阵A-可达矩阵R-潜在Q矩阵Qp-学生Q矩阵Qsn计算（1）由A+I计算R的两种方法n（2）由R计算Qp的三种方法n缩减方法；扩张算法；渐进式扩张算法n（3）由Qp到Qs262020/11/326第二十六页，编辑于星期三：二十三点 七分。Q 矩阵的计算计算和含义；2 6 2 0 2 0/1 1/3 2 6 第
20、二十六页基本概念(一系列Q矩阵）n认知模型（可以用图形表达，还可以用某些Q矩阵表达）n一系列Q矩阵，Q矩阵是属性和项目/被试的关联矩阵（incidence matrix）,原始意义上是0-1矩阵（布尔矩阵），后面有人扩展为非负整数矩阵。272020/11/327第二十七页，编辑于星期三：二十三点 七分。基本概念(一系列Q 矩阵）认知模型（可以用图形表达，还可以用某基本概念(一系列Q矩阵）2020/11/328第二十八页，编辑于星期三：二十三点 七分。基本概念(一系列Q 矩阵）2 0 2 0/1 1/3 2 8 第二十八页，编计算R的方法nTatsuoka介绍的方法：B=A+In计算R的方法 如
21、果B的n次幂（逻辑乘法）等于B的n+1次幂，则B的n次幂就是R。数学原理是R是自反的传递闭包的关系矩阵，满足R*R=RnWarshall计算传递闭包的方法（省略）292020/11/329第二十九页，编辑于星期三：二十三点 七分。计算R 的方法T a t s u o k a 介绍的方法：B=A+I 2 9 2 0 2基本概念(一系列Q矩阵）2020/11/330第三十页，编辑于星期三：二十三点 七分。基本概念(一系列Q 矩阵）2 0 2 0/1 1/3 3 0 第三十页，编辑基本概念(一系列Q矩阵）2020/11/331第三十一页，编辑于星期三：二十三点 七分。基本概念(一系列Q 矩阵）2 0
22、 2 0/1 1/3 3 1 第三十一页，编由R计算Qp的三种方法n缩减方法；扩张算法；渐进式扩张算法n这些新算法揭示了认知诊断测验项目之间的关系（有一个代表性很强的项目类）。这些算法的共同特点是，基于可达矩阵。这也表示可达矩阵的特殊地位。322020/11/332第三十二页，编辑于星期三：二十三点 七分。由R 计算Q p 的三种方法缩减方法；扩张算法；渐进式扩张算法3 2扩张算法3312341000010000101111Rj=1不产生新列1000010000101111j=210100001010011001011111111101100110101001011001011111111j=
23、3j=4不不产产生新列生新列2020/11/333第三十三页，编辑于星期三：二十三点 七分。扩张算法3 3 1 2 3 4 j=1 不产生新列j=2 j=3 j=4 不产生基本概念(一系列Q矩阵）2020/11/334第三十四页，编辑于星期三：二十三点 七分。基本概念(一系列Q 矩阵）2 0 2 0/1 1/3 3 4 第三十四页，编步骤4：通过Qr矩阵可得到被试期望反应模式 2020/11/335第三十五页，编辑于星期三：二十三点 七分。步骤4：通过Q r 矩阵可得到被试期望反应模式2 0 2 0/1 1/3一种基于一种基于 Q 矩阵理论朴素的认矩阵理论朴素的认知诊断方法知诊断方法海明距离判
24、别法海明距离判别法n罗照盛 李喻骏等（2015）心理学报2020/11/336第三十六页，编辑于星期三：二十三点 七分。一种基于 Q 矩阵理论朴素的认知诊断方法海明距离判别法罗为什么研究Qs,QpnQs的列在“交”、“并”运算下封闭；任何两列均有上、下确界，形成一个代数系统-格（lattice）。这对于指导计算机化自适应诊断测验的“在线属性辅助标定”有作用；nQs的列表示“人的”知识状态；Qp的列表示“题的”属性向量，而前者可以由后者导出，可见两者的列可以相互比较372020/11/337第三十七页，编辑于星期三：二十三点 七分。为什么研究Q s,Q p Q s 的列在“交”、“并”运算下封闭
25、；任何2020/11/338第三十八页，编辑于星期三：二十三点 七分。2 0 2 0/1 1/3 3 8 第三十八页，编辑于星期三：二十三点 七为什么重视ERPn某些认知诊断模型的分类原理,ERP是判别分类的类中心（RSM，AHM，DINA，GDD，GDD-P）nORP-KS(通过认知诊断模型）nKS-ERP（通过Qs,Qt,特别是Qt)n如果可以设计Qt,使得KS-ERP，那么nORP-ERP-KSn重视ERP，Tatsuoka给出Q矩阵理论392020/11/339第三十九页，编辑于星期三：二十三点 七分。为什么重视E R P 某些认知诊断模型的分类原理,E R P 是判别分类Q矩阵理论n
26、Tatsuoka 的Q矩阵理论Taksuoka(1991，1995，2009)建立Q 矩阵理论，试图用Q 矩阵描述项目与属性的关联，并构建知识状态知识状态(KS)与理想反应模式理想反应模式(IRP)的（等价）对应，而通过分类方法使得ORP与IRP对应，最终获得可观察的ORP的解释，即获得隐藏在ORP内的KS。n如上所述，我们认为不同的如上所述，我们认为不同的Q矩阵应该给予不同矩阵应该给予不同的记号以示区分，如的记号以示区分，如R，Qp,Qs,QtnQ矩阵理论的主要内容应该是研究如何设计好的矩阵理论的主要内容应该是研究如何设计好的测验蓝图测验蓝图(Qt)。402020/11/340第四十页，编辑
27、于星期三：二十三点 七分。Q 矩阵理论T a t s u o k a 的Q 矩阵理论T a k s u o k a(1测验蓝图的设计n为什么要设计测验蓝图为什么要设计测验蓝图?目的：目的：使使知识状态知识状态（KS)和和期望反应期望反应模式模式(ERP)一一对应一一对应：表：表面上认知诊断模型面上认知诊断模型f:ORP-KS,实际上是实际上是f:ORPERP，KSERP(通过通过Qt：测验蓝图测验蓝图),如果还能够建立如果还能够建立ERPKS，则完，则完成了成了ORP到到KS的映射的映射412020/11/341第四十一页，编辑于星期三：二十三点 七分。测验蓝图的设计为什么要设计测验蓝图?目的
28、：使知识状态（K S)Q矩阵理论（续）n只有对被试知识状态进行准确分类，才能针对性地进行补救。这样就产生了一个问题，如何编制好的认知诊断测验，它能区分开所有知识状态，减少知识状态误判。也就是要寻找一个“好的”测验规范，即测验蓝图（test specification/test blueprint)n0-1评分非补偿条件下，知识状态和期望反应模式一一对应的充分必要条件n定理定理 假设所讨论的认知属性对认知任务所起的作用假设所讨论的认知属性对认知任务所起的作用是非补偿、连接的，并且采用是非补偿、连接的，并且采用0-1评分方式，则评分方式，则Qt中中包含可达阵包含可达阵R是使知识状态与期望反应模式建
29、立起一一是使知识状态与期望反应模式建立起一一对应关系的必要充分条件。对应关系的必要充分条件。422020/11/342第四十二页，编辑于星期三：二十三点 七分。Q 矩阵理论（续）只有对被试知识状态进行准确分类，才能针对性地为什么研究测验蓝图的设计nLeighton er al.(2004,2007)主张用Qp作为测验蓝图，至少会遇到如下困难：n当属性数目K比较大时，对于独立型、无结构型层级结构，Qp的列数目太大，以至于无法安排测验n如果测验蓝图设计欠妥，认知诊断判准率不可能高432020/11/343第四十三页，编辑于星期三：二十三点 七分。为什么研究测验蓝图的设计L e i g h t o
30、n e r a l.(2 0实例：带分数减法认知诊断测验（设计蓝图不能代表理论认知模型）据Sinharay和Almond(2007)（p.242）的叙述，知该测验共测5种技能（skills），且技能3是技能4的先决属性，而技能1、2、3、5是独立的属性，属性层级关系如图1所示。从而被试的所有可能的知识状态为24类。但是该文中表1给出的Qt为515的矩阵。将相同的列看成同一类项目，则Qt如右所示。44T1 1000、2020/11/344第四十四页，编辑于星期三：二十三点 七分。实例：带分数减法认知诊断测验（设计蓝图不能代表理论认知模型）几种常见的认知诊断模型2020/11/345第四十五页，编
31、辑于星期三：二十三点 七分。几种常见的认知诊断模型2 0 2 0/1 1/3 4 5 第四十五页，编辑CDMnRSM，AHM，GDD，GDD-P是基于IRT模型的项目反应函数的认知诊断模型：nDINA，DINO不包括IRT的项目反应函数n并且RSM，AHM，GDD，GDD-P，DINA是非补偿的认知诊断模型；而DINO是补偿的认知诊断模型462020/11/346第四十六页，编辑于星期三：二十三点 七分。C D MR S M，A H M，G D D，G D D-P 是基于I R T 模型的项认知诊断模型选择原则n1）简单性原则，但能提取尽量多的诊断信息；n2）可用性原则，模型可识别；n3）认知
32、理论原则，是选择补偿模型还是非补偿模型；n4）竟争性原则：选择诊断尽量准确的模型n5）可接受性原则，解释性强2020/11/347第四十七页，编辑于星期三：二十三点 七分。认知诊断模型选择原则2 0 2 0/1 1/3 4 7 第四十七页，编辑于认知诊断测验开发的步骤（1）1.确定评估目标；2.根据评估目标，确定解决相关问题所涉及到的认知属性（知识结构与认知技能）以及这些属性之间的关系；3.挑选认知诊断模型（比如属性的多寡、补偿还是非补偿0-1评分还是多级评分）；4.根据认知属性及属性间的层级关系，建立一系列Q矩阵；特别是测验蓝图，即测验Q矩阵Qt;计算期望反应模式；482020/11/348
33、第四十八页，编辑于星期三：二十三点 七分。认知诊断测验开发的步骤（1）确定评估目标；4 8 2 0 2 0/1 1认知诊断测验开发的步骤（2）5.根据Qt，编写评估任务（如，测验项目）；实施认知诊断测验；6.模型校准（calibration）和知识状态估计，并对结果进行评价；7.考察测验Q矩阵的质量（属性标示是否合理、模型参数是否合理、被试反应的层级相合性指标是否合理，等等）；如果质量不佳，返回到2；8.建立向考生、教师和其他相关人士报告评估结果（详尽可解释的系统；9.补救，即干预。（参考DiBello,et al.2007，他只给出六步）492020/11/349第四十九页，编辑于星期三：二
34、十三点 七分。认知诊断测验开发的步骤（2）5.根据Q t，编写评估任务（如，值得注意的方面1.认知模型的开发，认知诊断的实际应用2.项目属性在线标定，理论、方法和实际应用（题库的低成本、高效率扩充，解决缺乏等值转换式下的测验等值问题）3.测验蓝图的设计研究4.多级评分的Q矩阵理论研究；有补偿功能条件下的Q矩阵理论的研究）502020/11/350第五十页，编辑于星期三：二十三点 七分。值得注意的方面认知模型的开发，认知诊断的实际应用5 0 2 0 2 0值得注意的方面（续）5认知诊断模型的开发（开发的新模型性质的研究，Monte Carlo模拟方法）；多策略认知诊断方法研究；干扰项诊断信息提取
35、6计算机化自适应诊断测验（CD-CAT)7.Q矩阵的修正的方法512020/11/351第五十一页，编辑于星期三：二十三点 七分。值得注意的方面（续）5 认知诊断模型的开发（开发的新模型性质的值得注意的方面（续2）8.HCI指标的开发和完善9.测验方式研究（大型测验：CD-CAT的选题策略研究；小型测验：课堂评估研究（小样本、小题量，纸笔测验）10.对已有测验的翻新(retrofitting)研究（评估诊断的“效度”），这是不得已而为之的办法，但应说明对于认知诊断，到底能够取多大的作用，谨防夸大作用522020/11/352第五十二页，编辑于星期三：二十三点 七分。值得注意的方面（续2）8.H
36、 C I 指标的开发和完善5 2 2 0 2 0对认知诊断的理解认知心理学与心理测量学方法是实现认知诊断的两大基础（认知心理学与心理测量学方法是实现认知诊断的两大基础（Embretson S E 1985Embretson S E 1985）认知诊断是一个完整的体系认知诊断是一个完整的体系（）评估目标的确定（）认知模型的描述（）编制测验项目（）选择能够融合认知变量的心理测量模型（变量间的相互作用补偿模型与非补偿模型连续变量和离散变量模型）（）收集数据资料，并选择参数估计的方法（需考虑参数是否可以识别；是否收敛等）（）形成评估报告系统（信度和效度）2020/11/353第五十三页，编辑于星期三：
37、二十三点 七分。对认知诊断的理解认知心理学与心理测量学方法是实现认知诊断的两对认知诊断的理解认知诊断作为新一代测验理论的重要部分，有着重认知诊断作为新一代测验理论的重要部分，有着重大的意义大的意义。n首先,认知诊断能实现测验的最重要的功能:促进发展。现代认知心理学的测量观的基本观点是:运用认知分析的方法描述心理活动的内在机制,据此设计各种形式的测验以探测被试心理活动的机制与相应机制之间是否一致或存在缺陷,以便提出补救措施,促进发展。认知诊断是实现测量与发展之间的循环促进作用的关键环节。2020/11/354第五十四页，编辑于星期三：二十三点 七分。对认知诊断的理解认知诊断作为新一代测验理论的重
38、要部分，有着重对认知诊断的理解n其次,认知诊断有利于提高测验的内容效度。目前,人们通常运用经典测验理论或项目反应理论编制教育和心理测验,这二者是依据项目的统计特性来指导测验编制,对内在的知识结构重视不够,难以对测验的内容效度进行分析。认知诊断依据认知心理学的研究成果编制测验,测验的内容效度能得到保证。2020/11/355第五十五页，编辑于星期三：二十三点 七分。对认知诊断的理解其次,认知诊断有利于提高测验的内容效度。目前认知诊断的应用认知诊断在心理学中的应用认知诊断在心理学中的应用n其一是把认知诊断作为心理学的一种研究方法，来探究心理的本质，形成某个心理学理论n其二是在认知心理学实践中的应用
39、，依据认知心理学的丰富理论成果，选择能够合理刻画认知变量的心理测量模型，从而达到对个体更为微观细致的描述和评估n其三是在心理测验中的应用前面提到了传统测验所测的是一个模糊的“统计结构”，对所测内容的意义并不明确，势必会造成测验效度研究的困难在新一代测验理论指导下的测验则更强调在认知分析基础上，采用合适的测量模型来指导测验的编制2020/11/356第五十六页，编辑于星期三：二十三点 七分。认知诊断的应用认知诊断在心理学中的应用2 0 2 0/1 1/3 5 6认知诊断的应用2020/11/357第五十七页，编辑于星期三：二十三点 七分。认知诊断的应用2 0 2 0/1 1/3 5 7 第五十七
40、页，编辑于星期三认知诊断的应用认知诊断在教育领域的应用研究认知诊断在教育领域的应用研究n此类研究的目的主要是为了探查学生的知识结构和解题时的内部心理加工机制，从而了解学生的强点和弱点，为下一步有针对性的辅导提供指导例如：美国大学入学考试数学测验，对数学知识结构进行认知分析的研究，采用规则空间模型的方法，对学生出现的错误类型进行判别，找出学生犯错误的类型，从而提出有针对性的补救计划 美国通过法案“No Child Left Behind Act of 2001”，规定美国所有实施的测验必须提供诊断信息给家长、老师和学生。学者们认为，在教育领域，只考试不诊断或者说只诊断而不作补救教学都是不负责任的
41、表现。2020/11/358第五十八页，编辑于星期三：二十三点 七分。认知诊断的应用认知诊断在教育领域的应用研究2 0 2 0/1 1/3新进展与发展趋势nRace to the top “向最高点进军”nWeb-based assessment 网考nCS vs.BS？局域网或英特网？nnew test form 新题形nCognitive diagnosis 认知诊断nMultiDiemensionalIRT多元IRTnVertical linking 垂直等职nValue added molding 增值模型nAutomated Reporting自动生成报告报表 592020/11/3
42、59第五十九页，编辑于星期三：二十三点 七分。新进展与发展趋势R a c e t o t h e t o p 发展趋势n无纸笔化考试n各州将统一使用“共同题”nCAT在医学测试中大规模运用n认知诊断中的Q-矩阵自动估计n网考使考点回归校园n反应时间的利用（RESPONSE TIME）2020/11/360第六十页，编辑于星期三：二十三点 七分。发展趋势无纸笔化考试2 0 2 0/1 1/3 6 0 第六十页，编辑于星612020/11/361第六十一页，编辑于星期三：二十三点 七分。6 1 2 0 2 0/1 1/3 6 1 第六十一页，编辑于星期三：二十三点Challenges in NCL
43、B TestingnMany items are too difficult to studentsn70%math items may be too difficultnThe influence of this kind of test taking experience on low-achieving students is not well-understood(e.g.,Roderick&Engle,2001,Ryan&Ryan,2005;Ryan,Ryan,Arbuthnot,&Samuels,2007).nTest security of NCLBn The#of securi
44、ty violations in P&P based NCLB testing in on the rise.nDocumented cases of such incidents have been uncovered in numerous states including New York,Texas,California,Illinois,and Massachusetts.(Jacob&Levitt,2003,and Texas Education Agency,2007).622020/11/362第六十二页，编辑于星期三：二十三点 七分。C h a l l e n g e s i
45、 n N C L B T e s t i n g Ma n y632020/11/363第六十三页，编辑于星期三：二十三点 七分。6 3 2 0 2 0/1 1/3 6 3 第六十三页，编辑于星期三：二十三点CAT Has Glowing Future in the K-12 Context.nWhy not use benchmark testing?nAdaptive Testing can do better.nQuellmalz&Pellegrino(2009):nmore than 27 states currently have operational or pilot versi
46、ons of online tests,including Oregon,North Carolina,Utah,Idaho,Kansas,Wyoming,and Maryland.nThe landscape of educational assessment is changing rapidly with the growth of computer-administered tests.642020/11/364第六十四页，编辑于星期三：二十三点 七分。C A T H a s G l o w i n g F u t u r e i n t h e Why CD-CAT?652020/1
47、1/365第六十五页，编辑于星期三：二十三点 七分。H O W T O H E L P S C H O O L S T O O P E R A T EnClient/Server Architecture(CS)nCAT software has to be installed on each client computer(large workload)nonly applicable to Local Area Network(LAN)nBrowser/Server Architecture(BS)ndatabase is still on the servernnearly all th
48、e tasks concerning development,maintenance and upgrade,are carried out on the server.nbased on the Wide Area Network(WAN)662020/11/366第六十六页，编辑于星期三：二十三点 七分。N e w T e c h n o l o g i e s-S c h o o l s c672020/11/367第六十七页，编辑于星期三：二十三点 七分。H a r d w a r e a n d N e t w o r k D e s i g n 6 7 2682020/11/368
49、第六十八页，编辑于星期三：二十三点 七分。6 8 2 0 2 0/1 1/3 6 8 第六十八页，编辑于星期三：二十三点692020/11/369第六十九页，编辑于星期三：二十三点 七分。6 9 2 0 2 0/1 1/3 6 9 第六十九页，编辑于星期三：二十三点A CD-CAT system and its applicability to improve teaching and learning 702020/11/370第七十页，编辑于星期三：二十三点 七分。A S U C C E S S F U L E X A MP L E I N C H I N AnA B/S based CA
50、T system was tested with 2000 PCs in Dalian,China!nAbout 30,000 students participated field testsnA large scale validity study was also conducted712020/11/371第七十一页，编辑于星期三：二十三点 七分。A L a r g e S c a l e C D-C A T T e s t i n 2n Evaluating the consistency ofnCD-CAT system results with an existing Engli
