1、第第21章章 诊断试验的诊断试验的ROC分析分析学习目标 熟悉诊断试验的常用评价指标；熟悉ROC曲线的含义以及构建；通过SAS实例掌握进行ROC分析的SAS程序；概述 诊断性试验是对疾病进行诊断的试验方法，它不仅包括实验室检查，还包括各种影像诊断，如X-诊断、CT、核磁共振(MRI)、超声波诊断以及同位素检查、纤维内诊镜、电镜等诊断方法。诊断性试验(diagnostic test)的质量通常用敏感度和特异度来衡量。在同一试验中，如果取不同的临界值，则可得到不同的敏感度和特异度，将这些点在以敏感度为Y轴，以(1-特异度)为X轴的坐标上标出并连成线，就可得到一条ROC曲线。概述 曲线上最接近左上角
2、的一点的坐标就表示这一试验的敏感度和特异度。对同一检测指标的多个不同试验进行Meta 分析，可根据它们的比值比的权重，用一条ROC曲线表示出来，这条曲线称为SROC 曲线，从这条SROC 曲线得到该组研究的敏感度和特异度，这样的方法称SROC法或集成ROC法。自从八十年代起该方法广泛用于医学诊断性能的评价，如用于诊断放射学实验室医学癌症的筛选和精神病的诊断尤其是医学影像诊断准确性的评价。诊断试验 对于诊断试验的评价，首先应知道受试者（人、动物或影像等）的真实类别，即哪些属于对照组(或无病组，正常组，噪声组等)，哪些属于病例组(或有病组，异常组，信号组等)。划分病例与对照这两个组的标准就是金标准
3、。医学研究中常见的金标准有：活组织检查、尸体解剖、手术探查和跟踪随访结果等。尽管金标准不需要十全十美，但是它们应比评价的诊断试验更加可靠，且与评价的诊断试验无关。诊断试验 对于按金标准确定的二项分类总体，如病例与对照(分别记为D+与D-)，采用诊断试验检测的结果可分别写成阳性与阴性（记为T+与T-），资料可列成表21-1的四格表形式。表中有四个可能结果，其中两个是正确的，即病例被诊断为阳性（真阳性，TP）和对照被诊断为阴性（真阴性，TN）；两个是错误的，即病例被诊断为阴性（假阴性，FN）和对照被诊断为阳性（假阳性，FP）。诊断试验诊 断 结 果(T)金标准(D)合计病例(D+)对照(D-)阳
4、性(T+)TP(真阳性)FP(假阳性)TP+FP阴 性(T-)FN(假阴性)TN(真阴性)FN+TN合计TP+FNFP+TNN诊断试验评价指标 评价诊断试验的常用指标有一致百分率、灵敏度、特异度、Youden指数、阳性似然比、阴性似然比、阳性预报值和阴性预报值。一致百分率一致百分率是病例正确诊断为阳性与对照正确诊断为阴性的例数之和占总例数的百分率。计算公式为：其标准误为一致百分率100NTNTP3/)(NFNFPTNTPSE）（一致百分率一致百分率 一致百分率很大程度上依赖于患病率，如某病的患病率为5%，即使不采用诊断试验，且将所有研究个体划归为阴性，也可得到一致百分率为95%；其次，它没有利
5、用假阴性和假阳性的信息，相同的一致百分率可能有十分不同的假阴性和假阳性；第三，它还受诊断界点的限制。因此，诊断试验评价只用该指标粗略地表达诊断试验的一致性，更常用的诊断试验评价指标是灵敏度、特异度等。灵敏度 实际患病且被诊断为阳性的概率就是灵敏度，也称为真阳性率，即：其标准误为：该指标只与病例组有关，反映了诊断试验检出病例的能力。TPRFNTPTPsen)/()1()/(3FNTPSenSenFNTPFNTPSEsen特异度 实际未患病且被诊断为阴性的概率就是特异度，即：其标准误为：该指标只与对照组有关，反映了诊断试验排除非病例的能力。)/(FPTNTNSpe)/()1()/(3TNFPspe
6、speTNFPTNFPSEspe灵敏度与特异度 灵敏度与特异度具有不受患病率影响的优点，其取值范围均在(0，1)之间，其值越接近于1，说明其诊断试验的价值越好。当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现一个诊断试验的灵敏度高、特异度低，而另一个诊断试验的灵敏度低、特异度高，无法判断哪一个诊断试验更好。由此，有人提出了将灵敏度和特异度结合的诊断试验评价指标，如Youden指数、阳性似然比、阴性似然比等。Youden指数 真阳性率与假阳性率之差就是Youden指数，即：其标准误为 Youden指数的取值范围在(-1,+1)之间，其值越接近于+1，诊断准确性越好。FPRTPRSpeSen
7、J1)/()1()/()1()/()/(33TNFPSpeSpeFNTPSenSenTNFPTNFPFNTPFNTPSEJ阳性似然比 真阳性率与假阳性率之比，即灵敏度与误诊率之比就是阳性似然比（LR+），的取值范围为(0,)，其值越大，检测方法证实疾病的能力越强。的标准误涉及到对数变换，这里不予给出；以下几个指标的标准误计算也较复杂，也不予给出。)1/(/SpeSenFPRTPRLRLRLR阴性似然比 假阴性率与真阴性率之比，即漏诊率与特异度之比为阴性似然比 的取值范围为(0,)，其值越小，检测方法排除疾病的能力越好。SpeSenFPRTPRLR/)1()1/()1(LR阳性预报值 在通常的情
8、况下，当要对某疾病作出诊断时，并不知道金标准的结果，只知道诊断试验是阳性或阴性。而临床医生更想知道的是：当诊断试验阳性时，受试者真正有病的概率有多大；阴性时又有多大把握排除此病。这就需要引入阳性预报值（PV+）与阴性预报值（PV_）的概念。阳性预报值 试验结果阳性时，受试者实际为病例的概率就是阳性预报值，即 由上式可以看出，当灵敏度与特异度为常数时，增加患病率，将降低 ，增加 的值，从而整个分母的值减少，阳性预报值增加。)1)(1()/(000PSpeSenPSenPFPTPTPPV)1)(1(0PSpe0SenP阴性预报值 诊断试验结果阴性时，受试者实际为非病例的概率就是阴性预报值（PV_）
9、，即 上式中符号的意义与前面相同。当灵敏度与特异度为常数时，增加患病率将降低阴性预报值。PV+和PV_的取值范围在(0，1)之间；对于相同的患病率，其值越接近1，检测方法的诊断价值越高。)1)(1()/(000PSenSpePSpePFNTNTNPV正确百分率 是病例正确诊断为阳性与对照正确诊断为阴性的例数和占总例数的百分比，它很大程度上依赖患病率，如患病率为5%，完全无价值地诊断所有样本为阴性也可有95%的正确百分率；其次，它没有揭示假阴性和假阳性错误诊断的频率，相同的正确百分率可能有完全不同的假阴性和假阳性。第三 它也受诊断阈值的限制，更好的方法是计算灵敏度和特异度，它们的值越高诊断性能越
10、好。灵敏度和特异度等指标均可不同程度反映了诊断的准确性和特异性。ROC曲线 应用这对指标最明显的问题是比较两个诊断系统时可能出现一个诊断系统的灵敏度高而另一个特异度高，无法判断哪一个诊断系统更好，此时可将灵敏度和特异度结合改变诊断阈值获得多对灵敏度和（1-特异度）即TPR和FPR值，绘制ROC曲线，作ROC分析来解决这一问题。ROC曲线 以假阳性率FPR为横轴，真阳性率TPR为纵轴，横轴与纵轴长度相等形成正方形。在图中将ROC工作点标出用直线连接各相邻两点构建非光滑ROC 曲线。构建光滑曲线需要假设对照组和病例组服从某种分布，用一曲线拟合技术估计参数，直接用参数产生。也可采用肉眼目测构建光滑曲
11、线。注意无论资料类型如何曲线一定通过(0，0)和(1，1)这两点，这两点分别相当于灵敏度为0而特异度为1和灵敏度为1而特异度为0。ROC曲线 理论上，完善的诊断有TPF=1，FPF=0，图中表现为ROC曲线从原点垂直上升到图的左上角，然后水平到达右上角；完全无价值的诊断有TPF=FPF，是一条从原点到右上角的对角线；一般ROC曲线位于正方形的上三角。图20-1就是ROC曲线的一个示例。ROC曲线ROC曲线 ROC曲线对诊断的准确性提供了直观的视觉印象，描述了相反两种状态间诊断系统的判别能力。曲线上的每一点代表了随着病例诊断阈值或置信阈变化的灵敏度与特异度的折衷。严格的标准产生较低的灵敏度和较高
12、的特异度，ROC点位于曲线的左下方；宽松的标准产生较高的灵敏度和较低的特异度，ROC点位于曲线的右上方。如果比较的诊断系统曲线不交叉，则较高的ROC曲线具有较好的诊断性能。如果曲线交叉可在考虑费用与效益的前提下结合统计学检验判断其诊断性能。ROC曲线 一般用ROC曲线下面积反映诊断系统的准确性。理论上这一指标取值范围为0.5至1,完全无价值的诊断为0.5；完善的诊断为1。该指标及其标准误的计算目前有非参数、半参数和参数方法。其中得到广泛应用的方法有Wilcoxon非参数法和最大似然估计双正态参数法。本章小节 诊断性试验是对疾病进行诊断的试验方法，它不仅包括实验室检查，还包括各种影像诊断，如X-
13、诊断、CT、核磁共振(MRI)、超声波诊断以及同位素检查、纤维内诊镜、电镜等诊断方法。评价诊断试验的常用指标有一致百分率、灵敏度、特异度、Youden指数、阳性似然比、阴性似然比、阳性预报值和阴性预报值。本章小节 一致百分率是病例正确诊断为阳性与对照正确诊断为阴性的例数之和占总例数的百分率；实际患病且被诊断为阳性的概率就是灵敏度，也称为真阳性率；实际未患病且被诊断为阴性的概率就是特异度；真阳性率与假阳性率之差就是Youden指数；真阳性率与假阳性率之比，即灵敏度与误诊率之比就是阳性似然比；真阳性率与假阳性率之比，即灵敏度与误诊率之比就是阳性似然比；试验结果阳性时，受试者实际为病例的概率就是阳性
14、预报值；诊断试验结果阴性时，受试者实际为非病例的概率就是阴性预报值。本章小节 尽管前面所列的Youden指数、阳(阴)性似然比、阳(阴)性预报值等指标综合利用了真阳性率(TPR)与假阳性率(FPR)的信息，但这些指标都与诊断界点(或阈值)的选取有关。为了更全面地评价检测方法的诊断价值，必须考虑各种可能的诊断界点。本章小节 在同一试验中，如果取不同的临界值，则可得到不同的敏感度和特异度，将这些点在以敏感度为Y轴，以(1-特异度)为X轴的坐标上标出并连成线，就可得到一条ROC曲线。该方法广泛应用于医学诊断试验性能的评价。通过改变诊断界点，获得多对TPR与FPR值，以FPR为横坐标，TPR为纵坐标，
15、绘制ROC曲线，计算与比较ROC曲线下面积，以此反映诊断试验的诊断价值。第22章 一致性检验kappa 学习目标 熟悉Kappa值的判断标准；掌握Kappa值的计算以及检验方法；掌握二分类资料和有序分类资料的一致性分析；Kappa检验 在诊断试验中，研究者希望考察不同的诊断方法在诊断结果上是否具有一致性。诊断试验的一致性检验经常用于下列两种情况：一种是评价新的诊断试验方法与金标准的一致性；另一种是评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性、两个医务工作者对同一组病人的诊断结论的一致性、同一医务工作者对同一组病人前后进行两次观察作出诊断的一致性等。1960年Cohen等提出用K
16、appa值作为评价判断的一致性程度的指标。实践证明，它是一个描述诊断的一致性较为理想的指标，因此在临床试验中得到广泛的应用。Kappa检验 Kappa是评价一致性的测量值。检验是否沿对角线格子中的计数（接收比率一样的零件）与那些仅是偶然的期望不同。设Po=对角线单元中观测值的总和，Pe=对角线单元中期望值的总和。则Kappa=（Po-Pe）/（1-Pe）。Kappa是测量而不是检验。其大小用一个渐进和标准误差构成的t统计量决定。一个通用的经验法则是Kappa大于0.75表示好的一致性（Kappa最大为1）；小于0.4表示一致性差。Kappa不考虑评价人间的意见不一致性的程度，只考虑他们一致与否
17、。Kappa检验 对于用Kappa值判断一致性的建议参考标准为：Kappa=+1，说明两次判断的结果完全一致；Kappa=-1，说明两次判断的结果完全不一致；Kappa=0，说明两次判断的结果是机遇造成；Kappa0，此时说明有意义，Kappa愈大，说明一致性愈好；Kappa0.75，说明已经取得相当满意的一致程度；Kappa0.4，说明一致程度不够理想；二分类资料一致性分析 前面我们已经介绍四格表资料的2检验，本节需要介绍的是Kappa检验。那么Kappa检验与配对2检验有什么区别呢？Kappa检验重在检验两者的一致性，配对2检验重在检验两者间的差异。对同一样本数据，这两种检验可能给出矛盾的
18、结论。主要原因是两者对所提供的有统计学意义的结论要求非常严格所致。KAPPA值的计算及检验值的计算及检验 对两法测定结果一致部分进行检验，看一致部分是否是由偶然因素影响的结果，它叫做“一致性检验”，也称Kappa检验。说明两种方法测定结果的实际一致率与随机一致率之间的差别是否具有显著性意义。需要计算反映两法一致性程度高低的系数，叫做Kappa统计量。具体公式如下：P0为实际一致率，Pe为理论一致率。2)()(,1ndbdccabaPndaPPPPKappaeoeeoKAPPA值的计算及检验值的计算及检验 Kappa是一个统计量，也有抽样误差，其渐进标准误（ASE）。由于uKappa/ASE近似
19、服从标准正态分布，故可借助正态分布理论。H0：Kappa0，H1：Kappa0。如果拒绝H0认为两种方法具有较高的一致性。KAPPA值的计算及检验值的计算及检验 在诊断试验的研究中，数据资料多为双向有序的列联表资料，即两个变量都是有序变量，而且属性相同。属性相同分为三种情况，一种情况是属性、分级水平数和分级水平都完全相同。如甲医生和乙医生都把病人的检查结果分为1、2、3、4四个等级。此时可直接作Kappa检验。当这两个变量都只有2个水平时，就成为配对设计的四格表资料，可使用配对2检验，即McNemar检验。KAPPA值的计算及检验值的计算及检验 第二种是属性相同的分级水平数相同，但分级水平不全
20、相同。如甲医生和乙医生都把病人的检查结果分为四个等级，但甲医生的分级为1、2、3、4，而乙医生的分级为2、3、4、5。在这种情况下，由于列联表的行数和列数仍然是一致的，即列联表仍为方表，所以也可计算出相应的Kappa统计量。第三种是属性相同，但分级水平数和分级水平不全相同。这种情况就是我们所说的列联表的行列数不一致。由于收集上来的数据不能轻易删除掉，所以我们考虑添加行或列使联表成为方表。如行数为n，例数为n-1，则我们只需要添加第n列，在第n行第n列的格点中添加权值0001，而第n行的其它格点均设为0，就可以命名其成为方表，并计算Kappa统计量了。由于权值系数很小，所以不会影响Kappa值的
21、计算结果。KAPPA值的计算及检验值的计算及检验 另一方面，如果两个变量中有一个变量是金标准，那么我们不但能分析出检验结果的一致性，还可以计算出敏感度、特异度、误诊率和漏诊率等指标。如果有不同的诊断分界点，还可以绘制出ROC曲线。诊断试验的评价在医学研究中具有十分重要的意义，目前大多数文献都使用Kappa统计量来检验结果的一致性。所以本研究主要是对Kappa系数作一个探讨和分析。诊断试验评价的统计学方法还会随着更多问题的提出和解决而不断得到发展、修正和扩展。有序分类资料一致性分析 RC表可以分为双向无序、单向有序、双向有序属性相同和双向有序属性不同4类。双向无序RC表 RC表中两个分类变量皆为
22、无序分类变量，对于该类资料：若研究目的为多个样本率（或构成比）的比较，可用行列表资料的2检验；若研究目的为分析两个分类变量之间有无关联性以及关系的密切程度时，可以用行列表资料的2检验以及Pearson列联系数进行分析。有序分类资料一致性分析 单向有序RC表 有两种形式。一种是RC表中的分组变量是有序的，而指标变量是无序的。此种单向有序RC表资料可用行列表资料的2检验进行分析。另一种情况是RC表中的分组变量是无序的，而指标变量是有序的，此种单向有序RC表资料宜用秩和检验进行分析。有序分类资料一致性分析 双向有序属性不同的RC表 RC表中的两分类变量皆为有序且属性不相同。对于该类资料，需要分析两有
23、序分类变量间是否存在线性变化趋势，宜用有序分组资料的线性趋势检验。双向有序属性相同的RC表中的两分类变量皆为有序且属性相同。实际上是22配对设计的扩展，此时宜用一致性检验（或称Kappa检验）。所以，对于双向有序且属性相同的数据，我们可以采用Kappa检验判断其一致性。本章小节 1960年Cohen等提出用Kappa值作为评价判断的一致性程度的指标。实践证明，它是一个描述诊断的一致性较为理想的指标，因此在临床试验中得到广泛的应用。Kappa是评价一致性的测量值。检验是否沿对角线格子中的计数（接收比率一样的零件）与那些仅是偶然的期望不同。设Po=对角线单元中观测值的总和，Pe=对角线单元中期望值
24、的总和。则Kappa=（Po-Pe）/（1-Pe）。Kappa是测量而不是检验。其大小用一个渐进和标准误差构成的t统计量决定。一个通用的经验法则是Kappa大于0.75表示好的一致性（Kappa最大为1）；小于0.4表示一致性差。本章小节 对两法测定结果一致部分进行检验，看一致部分是否是由偶然因素影响的结果，它叫做“一致性检验”，也称Kappa检验。说明两种方法测定结果的实际一致率与随机一致率之间的差别是否具有显著性意义。提问与解答环节Questions And Answers谢谢聆听 学习就是为了达到一定目的而努力去干,是为一个目标去战胜各种困难的过程,这个过程会充满压力、痛苦和挫折Learning Is To Achieve A Certain Goal And Work Hard,Is A Process To Overcome Various Difficulties For A Goal
