1、认知诊断理论认知诊断理论认知诊断理论课程说明时间段授课内容上 午8:3011:30认知诊断理论概述晚 上认知诊断理论应用:认知诊断计算机化自适应测验(CD-CAT)认知诊断实操部分:MATLAB软件的使用认知诊断理论概述认知诊断理论的背景与基础1Q矩阵的重要地位与规则空间模型2常见认知诊断模型介绍3认知诊断评估的结果报告4认知诊断评估对我国学业评价的启示51、认知诊断理论的背景与基础、认知诊断理论的背景与基础认知诊断理论的背景v 教育问责制(accountability in education)v问责的含义vAccount:会计、账目清算;说明、解释vAccountability vs.Re
2、sponsibilityv教育问责的发展的脉络v80s欧美教育文献的高频词vNo Child Left Behind Act(2002)vEducational Accountability vs.Educative Accountability认知诊断理论的背景v 教育问责制(accountability in education)v问责制涉及的核心问题v明确可行的教育目标和标准v相应的法律法规体系v责任共担的教育性问责取向v教育评测(Assessment)的作用v客观可靠的数据系统认知诊断理论的背景v 教育问责制(accountability in education)vNo Child
3、Left Behind Act(2002):强化测验在评估中的作用;v加强结果评估(consequential assessment)与教学之间的联系v学生(测验分数)学校与教师v 形成性评估(formative assessment)K-12评估的革新教育评估应该更好地反映学生的学习,为教学提供教育评估应该更好地反映学生的学习,为教学提供反馈信息:反馈信息:Cronbachs(1957):The Two Disciplines of Scientific Psychology Glasers(1976):conceptualization of an instructional psycho
4、logy that would adapt instruction to students individual knowledge states 认知理论与心理计量模型的结合认知理论与心理计量模型的结合(Glaser&Silver,1994;Pellegrino,Baxter,&Glaser,1999;Pellegrino,Chudowsky,&Glaser,2001)CTT与与IRT分数的局限分数的局限经典测验理论:1:X=T+E2:信度、效度、难度和区分度为指标传统统计分数项目反应理论:1:项目水平模型项目反应函数2:基于IRT的认知诊断模型的基础CTT和和IRT都只能将被试进行排序,无
5、法获得更多的测验信息!都只能将被试进行排序,无法获得更多的测验信息!认知心理学的发展v 对被试问题解决过程的心理揭示v认知心理学v学科心理学v教育心理学v学习心理学v 认知属性(attribute)v知识点v技能v心理过程认知心理学的发展(续)v 认知诊断的定义v对被试在测验所测属性或知识点(如通分、借位与约分等)上的掌握水平进行分类(掌握还是未掌握)v通过认知诊断方法或模型确定被试的不可直接观测的认知结构或知识状态,确定被试已经掌握哪些属性,哪些属性未掌握需要补救除了二分,还可以是除了二分,还可以是多分的情况多分的情况测验分数的实质解构测验分数的实质解构传统测验认知诊断测验单个总分,21K每
6、个属性都有一个分数90Messi90.RonaldoC1101110 0111010 传统测验理论传统测验理论认知诊断理论认知诊断理论20世纪80年代20世纪60年代传统测验理论认知诊断理论认知诊断理论(CDT)项目反应理论项目反应理论(IRT)概化理论概化理论(GT)经典测验理论经典测验理论(CTT)2、Q矩阵的重要地位与规则空间模型矩阵的重要地位与规则空间模型题目属性关联矩阵Q1111111011111100111110001111000011100000110000001题目属性关联矩阵Q77 (行代表属性,列代表题目)非统计的诊断方法v教师观察:教师根据学生作业或考试表现主观判断;v出
7、声思维:根据Q矩阵界定的属性,对学生进行出声思维考察;v费时费力,难以区分随机因素对被试作答造成的影响;v统计方法或测量方法:CTT&IRT CDT。认知诊断评估的基本过程模型选择模型选择分数报告分数报告认知分析认知分析认知属性分析:属性提取 属性层级关系界定 测验Q矩阵标识测验题目编制 认知诊断模型:模型选择 参数估计 统计收敛性 模型数据拟合检验分数报告:属性掌握概率 学习之路 学习优势剖面图常见的认知诊断模型认知诊断模型(Cognitive Diagnostic Model,CDM)线性逻辑斯蒂克测验模型(LLTM)(Fischer,1973)规则空间模型(RSM)(Tatsuoka,1
8、983)统一模型(UM)(DiBello,Stout,&Roussos,1995)融合模型(FM)(DiBello,Stout,&Roussos,1995)“噪音输入,确定性与门”模型(NIDA)(Maris,1999)“确定性输入,噪音与门”模型(DINA)(Junker&Sijstma,2001)属性层级模型(AHM)(Leighton,Gierl,&Hunka,2004)“确定性输入,噪音或门”模型(DINO)(Templin&Henson,2006)广义的DINA模型(G-DINA)(de la Torre,2011)认知诊断模型分类没有显式的项目特征函数(ICF)规则空间模型(RSM
9、)属性层级模型(AHM)严格意义上讲,RSM和AHM都不是统计模型而是分类模型有显式的ICF 潜类别模型 DINA、DINO、NIDA、G-DINA,等等 多维项目反应理论(MIRT)模型 补偿型模型:多维两参数逻辑斯蒂克模型(M2PLM)(Reckase,2009)非补偿型模型:多成分潜在特质模型(MLTM)(Whitely,1980)验证性的多维验证性的多维模型有效模型有效认知诊断模型分类(续)图示认知认知诊断诊断模型模型多维IRT模型:非补偿性模型:非补偿性模型:Whitely(1980):多成分潜在特质模型(MLTM)补偿性模型:补偿性模型:多维正态肩形模型(MNO)多维Logisti
10、c模型(Reckase&McKinley,1982,1991,1997)潜类别模型:DINA模型 统一模型(Unified Model)融合模型(Fusion Model)规则空间模型规则空间模型属性层级模型属性层级模型认知诊断模型分类(续)值得注意的几点:与CDM一样,MIRT模型也具有认知诊断功能(Embretson&Yang,2013)MIRT除了能够提供被试总的测验分数,还能提供被试在每个 维度上更为精细的领域分数(domain score)通过MIRT分析可以得到被试在每个分量表上的连续估计值用于 替代CDM提供的二分诊断结果(掌握/未掌握)丁树良等(2012)认为CDM 特别适用于
11、形成性评估,因为它涉及的属性较少且属性粒度也较小;但对于总结性评估(如学年测验、高校招生考试),由于涉及的属性较多,往往使用能力(能力粒度比属性粒度大)而非属性来标注Q矩阵,这时使用MIRT 进行诊断分析更为合适。认知诊断模型规则空间模型RSM的提出的提出 Tatsuoka(1981,1983)对被试的错误规则进行分析,提出了一种对被试的错误规则进行分析,提出了一种 叫做规则空间的剖面图分析方法,成为了最初的规则空间思想的叫做规则空间的剖面图分析方法,成为了最初的规则空间思想的 雏形雏形 从带符号的减法例子中找出从带符号的减法例子中找出47种规则,其中种规则,其中27种是错误规则种是错误规则
12、Tatsuoka(1985)提出了提出了RSM的成型构念的成型构念认知诊断模型规则空间模型最初的错误规则分析最初的错误规则分析错误规则1:改变括号里的符号,再按照正常的加法来完成题目错误规则2:通过大的减去小的得到结果,然后用第一个数的符号作为结果符号错误规则3:除简单的减法外,一律将减号变成加号处理错误规则4:一律拿大数减去小数,然后将大数的符号作为结果符号认知诊断模型规则空间模型认知诊断问题对应于统计模式分类问题认知诊断问题对应于统计模式分类问题 将可观测的反应模式将可观测的反应模式(ORP)与不可观测的认知结构与不可观测的认知结构(CS)或知识或知识 状态状态(KS)或属性掌握模式或属性
13、掌握模式(AMP)建立联系建立联系 由由KS和测验蓝图和测验蓝图Q可以确定理想反应模式可以确定理想反应模式(IRP)。如果。如果Q中包括可达中包括可达 矩阵矩阵R,可保证,可保证KS与与IRP之间的一一对应之间的一一对应 规则空间模型规则空间模型(RSM)通过维度化简技术将通过维度化简技术将m维维(m代表题目数代表题目数)IRP/ORP约简到二维的笛卡尔空间,从而建立约简到二维的笛卡尔空间,从而建立ORP与与IRP的关系的关系认知诊断模型规则空间模型点击添加标题3PLM题目参数值题目参数值被试作答模式被试作答模式理想反应模式理想反应模式匹配分类RSM(Tatsuoka,1983,1985)广义
14、距离广义距离(孙佳楠孙佳楠,2011,2013)直接匹配:匹配作答模式间接匹配:匹配(,)对认知诊断问题对应于统计模式分类问题认知诊断问题对应于统计模式分类问题(续续)被试分类的基本思想被试分类的基本思想认知诊断模型规则空间模型规则空间模型的主要步骤规则空间模型的主要步骤 Q矩阵理论部分矩阵理论部分确定属性与题目间的关系并编制事件确定属性与题目间的关系并编制事件Q矩阵矩阵(incidence Q matrix)界定属性间的先决关系界定属性间的先决关系(prerequisite)确定可能的属性掌握模式确定可能的属性掌握模式(AMP)计算理想反应模式计算理想反应模式(IRP)模式分类部分模式分类部
15、分估计题目参数和被试参数估计题目参数和被试参数建立二维的规则空间建立二维的规则空间对实际作答模式进行分类并计算属性掌握概率对实际作答模式进行分类并计算属性掌握概率检验分类的效度检验分类的效度认知诊断模型规则空间模型1 确定属性与题目间的关系确定属性与题目间的关系 邀请学科专家、教学专家及测量学家对已编制好的测验进行分析邀请学科专家、教学专家及测量学家对已编制好的测验进行分析 确定属性与题目之间的关系确定属性与题目之间的关系 编制事件编制事件Q矩阵矩阵(incidence Q matrix)假设有假设有K个属性和个属性和m个题目,可将个题目,可将Q矩阵记为矩阵记为QKm 题目题目1考核属性考核属
16、性1和和3,题目,题目2测量属性测量属性2,题目,题目5考核最后考核最后1个属性个属性10001001100110153Q认知设计矩认知设计矩阵阵认知诊断模型规则空间模型2 界定属性间的先决关系界定属性间的先决关系 通过通过Q矩阵中行与行之间的关系比较得出属性间的先决关系矩阵中行与行之间的关系比较得出属性间的先决关系 确定邻接矩阵确定邻接矩阵A:仅反映属性间的直接先决关系:仅反映属性间的直接先决关系 确定可达矩阵确定可达矩阵R:反映属性间的直接先决关系、间接关系及自反关系:反映属性间的直接先决关系、间接关系及自反关系 对于不断增大的正整数对于不断增大的正整数n(n是是1到到K之间的数之间的数)
17、,当,当(A+I)n不再变化时,即可不再变化时,即可 得到得到R矩阵:矩阵:R=(A+I)n Tatsuoka使用的理论有:使用的理论有:图论图论(计算邻接矩阵与可达矩阵等计算邻接矩阵与可达矩阵等)集合论集合论(确定偏序关系与包含关系等确定偏序关系与包含关系等)抽象代数抽象代数(格、布尔格或布尔代数格、布尔格或布尔代数)布尔描述函数布尔描述函数(BDF)认知诊断模型规则空间模型2 界定属性间的先决关系界定属性间的先决关系(续续)给出属性先决关系,容易写出给出属性先决关系,容易写出A矩阵和矩阵和 R矩阵矩阵某属性先决关系图与右侧属性先决关系图相对应的A矩阵与R矩阵认知诊断模型规则空间模型3 确定
18、可能的属性掌握模式确定可能的属性掌握模式(AMP)考查考查K个属性,最多有个属性,最多有2K-1种种AMP(不包括不掌握任何属性的零不包括不掌握任何属性的零 向量向量)将每种将每种AMP看成矩阵的看成矩阵的1列,所有列,所有2K-1种种AMP构成构成Qc矩阵矩阵 删除删除Qc矩阵中不符合属性先决关系的列,得到简化事件矩阵中不符合属性先决关系的列,得到简化事件Qr矩阵矩阵 (reduced Q matrix)Qr可通过可通过Tatsuoka(1995)的的“删除法删除法”或丁树良等或丁树良等(2009)的的“扩扩 张法张法”(基于基于R矩阵直接扩充矩阵直接扩充)得到得到Qr总共包括总共包括7种种
19、AMP,虚线左侧为,虚线左侧为R矩阵内容,虚线右侧为根据矩阵内容,虚线右侧为根据R矩阵矩阵“扩扩张张”生成的新生成的新AMP认知诊断模型规则空间模型4 计算理想反应模式计算理想反应模式(IRP)“理想理想”是指在不存在失误是指在不存在失误(slipping)和猜测和猜测(guessing)的情况下,的情况下,被试作答反应完全由被试作答反应完全由“被试有且只有掌握题目的所有属性,才被试有且只有掌握题目的所有属性,才 能正确作答该题目能正确作答该题目”的原则确定的原则确定 确定确定IRP有有4种方法种方法 符号说明符号说明 qi:Qr的第的第i列,代表第列,代表第i个理想被试的个理想被试的AMP
20、pj:Q的第的第j列,代表第列,代表第j个题目的属性向量个题目的属性向量 方法方法1认知诊断模型规则空间模型4 计算理想反应模式计算理想反应模式(IRP)(续续)确定确定IRP有有4种方法种方法 方法方法2 方法方法3 方法方法4认知诊断模型规则空间模型RSM中基于中基于AMP和和Q计算计算IRPSN掌握属性掌握属性属性掌握模式属性掌握模式 理想反应模式理想反应模式1none(0,0,0)(0,0,0,0)2A1(1,0,0)(0,0,0,0)3A2(0,1,0)(0,0,0,0)4A3(0,0,1)(0,1,0,0)5A1 A2(1,1,0)(0,0,0,1)6A1 A3(1,0,1)(1,
21、1,0,0)7A2 A3(0,1,1)(0,1,1,0)8A1 A2 A3(1,1,1)(1,1,1,1)i1i2i3i4A11001A20011A31110Q矩阵矩阵认知诊断模型规则空间模型5 估计题目参数和被试参数估计题目参数和被试参数 将所有将所有ORP与所有与所有IRP合并成一个大的作答矩阵合并成一个大的作答矩阵U 样本量越大,反应模式越丰富,参数估计也就越准确样本量越大,反应模式越丰富,参数估计也就越准确 采用参数估计软件采用参数估计软件(如如BILOG或或PARSCALE)估计估计 所有题目的题目参数所有题目的题目参数 所有被试的能力参数所有被试的能力参数 包括包括IRP所对应的理
22、想被试的能力值所对应的理想被试的能力值认知诊断模型规则空间模型6 建立二维的规则空间建立二维的规则空间 将所有将所有IRP和和ORP都降维到二维的笛卡尔空间,再进行判别分类都降维到二维的笛卡尔空间,再进行判别分类 定义能反映被试作答反应模式异常程度的指标定义能反映被试作答反应模式异常程度的指标f(X)()()()(XPPXf)(.,),(),()(21mPPPP)(.,),(),()(TTT.,21mxxxXmjjPmT1)(1)(认知诊断模型规则空间模型6 建立二维的规则空间建立二维的规则空间(续续)不失一般性,假设题目由易到难排序不失一般性,假设题目由易到难排序对于正常反应模式,被试在前对
23、于正常反应模式,被试在前t个题上的作答应该以个题上的作答应该以1为主为主(xj前面的系数为正前面的系数为正),在后,在后m-t个个题上的作答应该以题上的作答应该以0为主为主(xj前面的系数为负前面的系数为负)。f(X)值越小,被试作答模式越正常;反之,被试作答模式越异常。值越小,被试作答模式越正常;反之,被试作答模式越异常。mjjjxTPPPXf1)()()()()()()()()()(321mPPPP)()()()()()(121mttPPTPPP认知诊断模型规则空间模型6 建立二维的规则空间建立二维的规则空间(续续)f(X)只能衡量当前被试总体中被试反应模式的异常程度只能衡量当前被试总体中
24、被试反应模式的异常程度 为衡量当前被试总体以外被试的反应模式异常程度,需要对为衡量当前被试总体以外被试的反应模式异常程度,需要对 f(X)进行标准化进行标准化0)(XfEmjjjjTPQPXfVar12)()()()()(2/1)(var()(XfXf可得到与所有IRP和ORP对应的点集),(认知诊断模型规则空间模型6 建立二维的规则空间建立二维的规则空间(续续)规则空间,圆卷对应IRP,十字星对应ORP认知诊断模型规则空间模型7 分类并计算属性掌握概率分类并计算属性掌握概率 每个纯规则点对应一种认知错误类型每个纯规则点对应一种认知错误类型(或认知结构或认知结构)采用计算马氏距离的方法,将各个
25、真实点判归到纯规则点采用计算马氏距离的方法,将各个真实点判归到纯规则点 为消除马氏距离带来的误判,可使用贝叶斯判别分析为消除马氏距离带来的误判,可使用贝叶斯判别分析 qt为先验概率,一般为一致性分布或正态分布为先验概率,一般为一致性分布或正态分布 若若点击添加标题21()()xrjtjtDXRXR(,)jxjxjX(,)trtrtR1/()00var()tIf x 1(x)(R|X)(x)tttTtttq fPq f(|)(|)(,1,.),tltP RXP RXlt lTXR则认知诊断模型规则空间模型7 分类并计算属性掌握概率分类并计算属性掌握概率(续续)为消除马氏距离带来的误判,可使用贝叶
26、斯判别分析为消除马氏距离带来的误判,可使用贝叶斯判别分析 假设先验分布为正态分布假设先验分布为正态分布点击添加标题11/2/21()exp(0.5()()(2)Tttttmtf xxx21/2/21/2/21exp(0.5(,)(2)(|)exp(0.5(,)(2)ttmttTttmttqMdx RP RXqMd x R认知诊断模型规则空间模型8 检验分类的效度检验分类的效度 KS是潜在的,很难确认被试是否被正确分类是潜在的,很难确认被试是否被正确分类 最直接做法:比较最直接做法:比较RSM的分类结果与学生口头报告的结果的分类结果与学生口头报告的结果 缺点是成本太高缺点是成本太高 替代方法是控
27、制补救法替代方法是控制补救法 首先诊断被试的首先诊断被试的KS,对学生没有掌握的属性或知识点进行补救教学,对学生没有掌握的属性或知识点进行补救教学,然后进行后测然后进行后测 如前测中未掌握的属性在后测中得到掌握,则说明如前测中未掌握的属性在后测中得到掌握,则说明RSM的分类有效的分类有效 RSM假设:没有掌握的属性或知识点,如不补救不会自动掌握假设:没有掌握的属性或知识点,如不补救不会自动掌握认知诊断模型规则空间模型小结:小结:RSM的贡献的贡献 RSM中提出的中提出的Q矩阵已成为认知诊断理论中的核心概念矩阵已成为认知诊断理论中的核心概念 RSM的图形化方法与分类的思想形象、直接、易于理解的图
28、形化方法与分类的思想形象、直接、易于理解 RSM中的中的Q矩阵可用于构建潜在特质空间矩阵可用于构建潜在特质空间 之后的认知诊断模型无一例外地采用或借鉴这种做法之后的认知诊断模型无一例外地采用或借鉴这种做法 DiBello、Roussos和和Stout(2007)的综述中,明确指出有十四种的综述中,明确指出有十四种 认知诊断方法使用认知诊断方法使用Q矩阵,目前更多矩阵,目前更多认知诊断模型属性层级模型AHM与与RSM的关系的关系 AHM是是RSM的一种重要变式的一种重要变式 AHM用于对层级相关的认知属性进行建模用于对层级相关的认知属性进行建模 AHM与与RSM的相似点的相似点 AHM在在“将将
29、ORP分类到分类到IRP”方面类似于方面类似于RSM AHM在生成在生成IRP的过程中也采用了的过程中也采用了Tatsuoka的矩阵,如邻接矩阵的矩阵,如邻接矩阵A、可达矩阵可达矩阵R、事件矩阵、事件矩阵Q以及简化以及简化Qr矩阵等矩阵等认知诊断模型属性层级模型AHM与与RSM的关系的关系(续续)AHM与与RSM的不同点的不同点 对要求建模的认知属性所作的假设不同对要求建模的认知属性所作的假设不同 AHM假设:认知属性层级相关,因此属性间相互依赖假设:认知属性层级相关,因此属性间相互依赖 RSM假设:认知属性在建模时不需要存在层级关系或依赖关系假设:认知属性在建模时不需要存在层级关系或依赖关系
30、 事件时间顺序上存在差异事件时间顺序上存在差异 AHM中,属性及属性层级关系必须在测验题目开发之前确定中,属性及属性层级关系必须在测验题目开发之前确定 RSM中,属性一般在测验题目构建之后再进行标识中,属性一般在测验题目构建之后再进行标识 对属性层级关系的敏感程度不同对属性层级关系的敏感程度不同 AHM中,认知属性按层级组织,任何测验都对属性层级关系敏感中,认知属性按层级组织,任何测验都对属性层级关系敏感 RSM中,通过分析已有题目标识属性,对某完整的属性层级关系不敏感中,通过分析已有题目标识属性,对某完整的属性层级关系不敏感认知诊断模型属性层级模型属性层级关系的重要性属性层级关系的重要性 A
31、HM中,属性层级关系是测验表现的基础中,属性层级关系是测验表现的基础 AHM中,认知属性必须按层级关系组织的两大原因中,认知属性必须按层级关系组织的两大原因 认知技能不能孤立地进行操作,而属于某个相互关联的加工网络认知技能不能孤立地进行操作,而属于某个相互关联的加工网络 A矩阵与矩阵与R矩阵的产生是属性层级关系的数字表现矩阵的产生是属性层级关系的数字表现 属性层级关系定义解决测验问题所需属性间的心理顺序属性层级关系定义解决测验问题所需属性间的心理顺序 由经验确定由经验确定(通过协议分析得到有着良好定义的、有序的认知步骤通过协议分析得到有着良好定义的、有序的认知步骤)由理论获得由理论获得(如皮亚
32、杰的发展序列:预操作、具体操作、正式操作如皮亚杰的发展序列:预操作、具体操作、正式操作)属性层级关系可看成认知模型,它代表结构或测验表现背后的认属性层级关系可看成认知模型,它代表结构或测验表现背后的认 知能力知能力认知诊断模型属性层级模型属性层级关系的重要性属性层级关系的重要性(续续)使用6个属性的4种属性层级结构(线型、收敛型、发散型、无结构型)6.将实际反应模式与理想反应模式将实际反应模式与理想反应模式进行比较,并将实际反应模式归类进行比较,并将实际反应模式归类1.确定属性、属性个数确定属性、属性个数以及属性层级关系以及属性层级关系5.由测验题目和属性掌由测验题目和属性掌握模式,确定期望的
33、被握模式,确定期望的被试反应模式试反应模式4.对对Qr矩阵进行转置得到矩阵进行转置得到E矩阵矩阵2.定义定义A矩阵、矩阵、R矩矩阵、阵、Q矩阵及矩阵及Qr矩阵矩阵3.根据根据Qr矩阵编制矩阵编制测验题目测验题目AHM认知诊断模型属性层级模型AHM的主要步骤的主要步骤注:Qr矩阵的列代表符合属性层级关系的不同题目类别,E矩阵的行代表符合属性层级关系的不同属性掌握模式认知诊断模型属性层级模型AHM的分类方法的分类方法(详见详见Leighton et al.(2004)方法方法A:初始分类:初始分类 将某个将某个ORP与所有期望被试反应模式与所有期望被试反应模式(ERP)进行比较,对进行比较,对01
34、和和1 0型的误差进行标识型的误差进行标识 计算所有误差概率的乘积可得到计算所有误差概率的乘积可得到“该该ORP由某个由某个ERP得到的概率得到的概率”记记Vj是第是第j个个ERP,记,记X为有着相同长度的为有着相同长度的ORP)(1011)(1010jmjkjjPPXVd概率为型误差,概率为型误差,没有误差Pjk():被试在第k个题目上的期望作答是错误的、但实际作答是正确的概率(即01型的误差),1-Pjm():被试在第m个题目上的期望作答是正确的、但实际作答是错误的概率(即10型的误差)认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)方法方法A:初始分类:初始分类 对于特定的对于
35、特定的,有,有K个个01型误差和型误差和M个个10型误差的概率为型误差的概率为 当当PjExpected()最大时,被试的最大时,被试的ORP被归类到与第被归类到与第j个个ERP所对应的属性所对应的属性 掌握模式掌握模式MmjmKkjkExpectedjPPP11)(1)()(认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)方法方法A:初始分类:初始分类 以以ORP为为(1111)的被试分类问题为例进行说明的被试分类问题为例进行说明有有1个个01型的误差出现在题目型的误差出现在题目4上上认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)方法方法B:初始分类方法:初始分类方法(
36、方法方法A)的修改的修改(较方法较方法A更为保守更为保守)通过通过“标识所有逻辑包含于某标识所有逻辑包含于某ORP的的ERP”来对来对ORP分类分类 对于对于ORP(111111111111101),ERP(1110)逻辑包含于该逻辑包含于该ORP,而而ERP(1110)不是逻辑包含于该不是逻辑包含于该ORP 当当ERP包含于该包含于该ORP时,标注一个时,标注一个“匹配匹配”记号记号(即即“”),对应的,对应的 属性掌握模式视为被被试掌握属性掌握模式视为被被试掌握 当当ERP不包含于该不包含于该ORP时,仅标识时,仅标识10型的误差并计算其概率的乘积型的误差并计算其概率的乘积认知诊断模型属性
37、层级模型AHM的分类方法的分类方法(续续)方法方法B 以以ORP为为(111111111111101)的被试分类问题为例进行说明的被试分类问题为例进行说明被试掌握了从第被试掌握了从第2行行(100000)到第到第14行行(100111)的的属性掌握模式。被试也有可能掌握第属性掌握模式。被试也有可能掌握第15行的属性行的属性掌握模式掌握模式(110111),但是不太可能掌握第,但是不太可能掌握第16行所行所示的属性掌握模式示的属性掌握模式(111111)3、常见认知诊断模型介绍、常见认知诊断模型介绍认知诊断模型DINA模型重要符号说明重要符号说明第i个被试的知识状态i=(i1,i2,iK)T 可
38、以记为100011010010101001100110Q属性 1 2 3 4 5 6题目123Nelse,attributekththemastersiexamineeifik0,1核心概念核心概念多种作答策略认知诊断模型DINA模型DINA模型简介模型简介(*)DINA模型是非常简单的、容易解释的非补偿性模型模型是非常简单的、容易解释的非补偿性模型 对每个题目只需要估计两个参数对每个题目只需要估计两个参数失误参数和猜测参数失误参数和猜测参数 DINA模型的失误参数和猜测参数都建模于题目水平,其复杂性模型的失误参数和猜测参数都建模于题目水平,其复杂性 不受属性数量的影响不受属性数量的影响 基于
39、被试的知识状态基于被试的知识状态i和和Q矩阵可以得到一个潜在的反应向量矩阵可以得到一个潜在的反应向量 的取值只有的取值只有4种情况:种情况:10=1,11=1,00=1和和01=0 ij=0:被试:被试i没有掌握题目没有掌握题目j涉及的所有属性涉及的所有属性 ij=1:被试:被试i除了掌握题目除了掌握题目j涉及的属性,还可能掌握其未涉及的属性涉及的属性,还可能掌握其未涉及的属性Kkqijjkik1jkqik认知诊断模型DINA模型DINA模型的题目参数模型的题目参数 如果没有误差或非随机因素,被试的如果没有误差或非随机因素,被试的ORP会与某个会与某个IRP重合重合 潜在的过程是随机的,过程中
40、难免会出现潜在的过程是随机的,过程中难免会出现“失误失误”(slipping)和和 “猜测猜测”(guessing)等噪音等噪音 掌握题目所有属性的被试也可能失误,并错误作答该题目掌握题目所有属性的被试也可能失误,并错误作答该题目 未掌握题目所有属性的被试也可能猜测,并以非零概率答对该题未掌握题目所有属性的被试也可能猜测,并以非零概率答对该题 DINA模型中,题目模型中,题目j的失误参数的失误参数sj和猜测参数和猜测参数gj定义为定义为 被试掌握题目被试掌握题目j的所有属性,但错误作答题目的所有属性,但错误作答题目j的概率的概率 被试未掌握题目被试未掌握题目j的所有属性,但正确作答题目的所有属
41、性,但正确作答题目j的概率的概率)1|0(ijijjXPs)0|1(ijijjXPg认知诊断模型DINA模型DINA模型的项目特征函数模型的项目特征函数 也即也即 如果没有猜测如果没有猜测(gj=0)或没有失误或没有失误(sj=0),正确作答题目的概率,正确作答题目的概率 就为就为0或或1 猜测参数猜测参数gj还可解释为还可解释为“成功依赖其他智力源的概率成功依赖其他智力源的概率”(Maris,1999)jjiijijgsXPPijij1)1()|1()(0,1,1)1()(1ijjijjjjijgsgsPijij当当认知诊断模型DINA模型DINA模型的联合似然函数模型的联合似然函数(基于局
42、部独立假设基于局部独立假设)1()1(00,110,01,11,1)1()1()1()1()(1()();,(11111111111111111111jxjxIiJjjxjxijijjijijjijijjijijjjxjxIiJjjxjxjjxIiJjjjyijxIiJjijxggssxgxgxsxsggssgsgsPPgsLikeijijKkjkqikijijKkjkqikijijijijijijijijijijijijijij且且且且认知诊断模型DINA模型DINA模型的参数估计模型的参数估计(de la Torre,2009)先基于作答反应采用先基于作答反应采用MMLE/EM算法估计题目
43、参数算法估计题目参数)0()0(jjjIRg)1()1()1(jjjjIRIs认知诊断模型DINA模型DINA模型的参数估计模型的参数估计(续续)再基于题目参数估计值及作答反应,采用贝叶斯众数估计法再基于题目参数估计值及作答反应,采用贝叶斯众数估计法 (MAP)或边际后验概率估计法或边际后验概率估计法(MPP)估计被试的估计状态估计被试的估计状态 MAP MPP)|(maxarg2,.,2,1iliXPKlKtitkkXPmp21)|1(cutscorempcutscorempkkik小于如果大于等于如果,0,1Kk.,2,1认知诊断模型DINA模型DINA模型参数估计流程图模型参数估计流程图
44、认知诊断模型DINA模型DINA模型的特点模型的特点 每个题目将所有被试仅分为两类每个题目将所有被试仅分为两类 第一类:掌握题目所有属性的被试第一类:掌握题目所有属性的被试 第二类:没有掌握题目所有属性的被试第二类:没有掌握题目所有属性的被试在DINA模型中,“只有1个属性没有掌握”等价于“所有的属性都没有掌握”,这时候的正确作答概率都等于gj,这种做法过于简单。认知诊断模型NIDA模型NIDA模型简介模型简介 与与DINA模型一样,也是非补偿性模型模型一样,也是非补偿性模型 不同于不同于DINA模型的参数建模于题目水平,模型的参数建模于题目水平,NIDA模型的参数建模模型的参数建模 于属性水
45、平于属性水平(每个属性都有一个猜测和失误参数每个属性都有一个猜测和失误参数)认知诊断模型NIDA模型NIDA模型项目特征函数模型项目特征函数),1,1|0(jkikijkkqPs)1,0|1(jkikijkkqPgjkikikqKkkkKkkkikijkiijgsgsPgsXP1111),|1(),|1(NiJjxKkqkkKkqkkijjkikikijxjkikikgsgsgsL1111111111);,(,1)0|1(jkijkqPKkijkijY1认知诊断模型DINO模型DINO模型简介模型简介 不同于不同于DINA模型和模型和NIDA模型,它属于补偿性模型模型,它属于补偿性模型 DIN
46、O模型的参数建模于题目水平模型的参数建模于题目水平认知诊断模型DINO模型DINO模型项目特征函数模型项目特征函数)1()1()(1()();,(1111111111jjIiJjjjijIiJjijggssPPgsLikeijxijxKkjkqikijxijxKkjkqikijxijxjjiijijgsXPPijij1)1()|1()(else,jitembyrequiredattributeoneleastatmastersiexamineeifKkqikijjk0,1)1(11)0|1(ijijjXPg)1|0(ijijjXPs认知诊断模型G-DINA模型G-DINA模型简介模型简介 G-
47、DINA模型是模型是DINA模型的一般化模型的一般化 通过设计矩阵和矩阵的转换,通过设计矩阵和矩阵的转换,G-DINA模型可以简化为其他一些模型可以简化为其他一些 常用的模型,如常用的模型,如DINA和和DINO等等 G-DINA模型可以将所有潜大类分为模型可以将所有潜大类分为 个潜在组个潜在组(是正确作是正确作 答题目答题目j所需要的属性个数所需要的属性个数)每个潜在组表示一种简化的属性向量每个潜在组表示一种简化的属性向量 每个潜在组都有相伴随的正确作答概率每个潜在组都有相伴随的正确作答概率jK2*jK*lj)(*ljP 认知诊断模型G-DINA模型G-DINA模型简介模型简介认知诊断模型G
48、-DINA模型G-DINA模型的项目特征函数模型的项目特征函数 对于对于identity链接方式,链接方式,G-DINA模型的正确作答概率公式可以分模型的正确作答概率公式可以分 解为属性的主效应以及属性间的交互效应之和解为属性的主效应以及属性间的交互效应之和*1121110*)(jjjjjKkljkKjKkKkkKkkljljkkjkljkjkjljP维交互效应的是的交互效应和是的主效应是基线概率是截距项*21120*,)(jKKjkkkjkkjkjKjj红框标识的系数一般为非负,蓝框标识的可取任意值认知诊断模型G-DINA模型G-DINA模型的其他链接方式及特例模型的其他链接方式及特例 除了
49、除了identity链接方式,还有链接方式,还有log和和logit链接方式链接方式 identity链接方式下的全模型等价于链接方式下的全模型等价于log和和logit链接下的全模型链接下的全模型 DINA模型和模型和DINO模型是全模型的特例模型是全模型的特例 A-CDM、RRUM和和LLM分别是分别是identity、log和和logit链接方式下的链接方式下的 加法模型加法模型认知诊断模型G-DINA模型G-DINA模型的其他链接方式及特例模型的其他链接方式及特例(续续)DINA 可通过在可通过在G-DINA中设定中设定“除了除了 和和 ,其他参数都为,其他参数都为0”得得 到,并令到
50、,并令 和和 DINO 可通过在可通过在G-DINA中设定中设定 (其中,其中,)得到,并令得到,并令 0j*12jKj0jjg*1201jKjjjs001jjjjjkgs和认知诊断模型G-DINA模型G-DINA模型的参数估计模型的参数估计 也采用也采用MMLE/EM算法,但与算法,但与DINA的稍有不同的稍有不同 DINA模型中是将似然函数直接对参数求偏导,令其为模型中是将似然函数直接对参数求偏导,令其为0解得参数值解得参数值 G-DINA模型的参数比较多,直接对参数求偏导的方法计算量太大太模型的参数比较多,直接对参数求偏导的方法计算量太大太 复杂,于是采用两阶段的方法计算复杂,于是采用两
侵权处理QQ:3464097650--上传资料QQ:3464097650
【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。