1、 中国循证医学中国循证医学/Cochrane/Cochrane中心中心二二0000四年七月四年七月(一一)系统评价的概念系统评价的概念(二二)学习系统评价的意义学习系统评价的意义 称称Systematic review(SR)“A summary of the medical literature that uses explicit methods to perform a thorough literature search and critical appraisal of individual studies and that uses appropriate statistical
2、techniques to combine these valid studies.”-David Sackett等等 2000u全面收集全世界所有有关研究全面收集全世界所有有关研究u对所有纳入的研究逐个进行严格评价对所有纳入的研究逐个进行严格评价u联合所有研究结果进行综合分析和评价联合所有研究结果进行综合分析和评价u必要时进行必要时进行 Meta-Meta-分析分析(一种定量合成的统计方法一种定量合成的统计方法)u得出综合结论（有效、无效、应进一步研究得出综合结论（有效、无效、应进一步研究)u提供尽可能减少偏倚，接近真实的科学证据提供尽可能减少偏倚，接近真实的科学证据1.1.广义：系统评价的
3、一种类型广义：系统评价的一种类型(目前普遍采用的定义目前普遍采用的定义)“A systematic review that uses quantitative methods to summarize the results”-David Sackett等 2000 u 用用定量的统计学方法定量的统计学方法分析、综合、概括各研究结果分析、综合、概括各研究结果的一种系统评价的一种系统评价(定量系统评价定量系统评价)。u Meta-Meta-分析是一种系统评价，而系统评价可以是分析是一种系统评价，而系统评价可以是Meta-Meta-分析也可以不是分析也可以不是Meta-Meta-分析。分析。2.2
4、.狭义：一种定量合成的统计分析方法狭义：一种定量合成的统计分析方法 是是CochraneCochrane协作网协作者在协作网协作者在CochraneCochrane统统一工作手册指导下完成的系统评价，其结果一工作手册指导下完成的系统评价，其结果发表在发表在CochraneCochrane图书馆图书馆(The Cochrane(The Cochrane Library Library 光盘和因特网光盘和因特网)上。上。有助于：有助于：u会做系统评价会做系统评价/Meta-/Meta-分析分析 u会看懂和使用系统评价会看懂和使用系统评价/Meta-/Meta-分析结果分析结果u会鉴别证据和研究结果
5、的真伪及可靠性会鉴别证据和研究结果的真伪及可靠性u会设计临床试验会设计临床试验u会做卫生技术评估会做卫生技术评估(HTA)(HTA)经验：经验：u参加临床试验参加临床试验u系统评价系统评价/Meta-/Meta-分析分析 u自己更好地设计并实施临床试验自己更好地设计并实施临床试验u卫生技术评估卫生技术评估(HTA)(HTA)u卒中前瞻性登记，队列研究卒中前瞻性登记，队列研究u卒中指南制定卒中指南制定u选题及在专业评价组注册题目选题及在专业评价组注册题目u完成研究方案完成研究方案(Protocol)(Protocol)u送专业评价组编辑部审批送专业评价组编辑部审批u修改修改u接受和发表接受和发表
6、u完成全文完成全文u送专业评价组编辑部审批送专业评价组编辑部审批u修改修改u接受和发表接受和发表u随时更新随时更新u以病人为中心以病人为中心(当今世界潮流当今世界潮流)帮助临床决策，解决病人的问题帮助临床决策，解决病人的问题u采用与病人密切相关的判效指标采用与病人密切相关的判效指标 Patient oriented/Patient centered outcomePatient oriented/Patient centered outcomeu以实践者以实践者(医生、政府决策者医生、政府决策者)为主要使用者为主要使用者 复杂问题简单化、科学语言白话化复杂问题简单化、科学语言白话化u研究设计：
7、需临床专业知识及研究能力研究设计：需临床专业知识及研究能力u严格评价：严格评价：需临床流行病学知识需临床流行病学知识u统计分析：需统计学基础统计分析：需统计学基础u结果解释：需临床专业及研究能力，客观，理性结果解释：需临床专业及研究能力，客观，理性u基本原则与原始临床试验的设计类似，原始试验以基本原则与原始临床试验的设计类似，原始试验以人为研究对象及单位，系统评价以单个的临床研究人为研究对象及单位，系统评价以单个的临床研究论文为研究对象及单位论文为研究对象及单位u提出问题：临床重要并可行的问题提出问题：临床重要并可行的问题u背景和目的：国内外现状、研究问题的重要性背景和目的：国内外现状、研究问
8、题的重要性u纳入和排除临床研究的标准：范围适当纳入和排除临床研究的标准：范围适当u制定制定资料收集资料收集策略：尽可能全面策略：尽可能全面u提取每个研究的资料：基线、方法学质量及结果提取每个研究的资料：基线、方法学质量及结果u评价每个临床研究的质量评价每个临床研究的质量u分析资料：统计处理、分析资料：统计处理、Meta-Meta-分析图表分析图表u得出结果得出结果u结果解释（讨论）：证据的可靠性、临床意义、研结果解释（讨论）：证据的可靠性、临床意义、研究意义究意义u结论结论u根据计划书制定的检索策略进行检索根据计划书制定的检索策略进行检索u尽可能地全面和系统尽可能地全面和系统u注意包括发表和未
9、发表的研究及以各种语言注意包括发表和未发表的研究及以各种语言发表的研究发表的研究u根据纳入和排除标准选择合格的研究根据纳入和排除标准选择合格的研究u可分为三步实施：可分为三步实施：1 1 根据题目、摘要初筛，选出根据题目、摘要初筛，选出可能可能合格者合格者2 2 阅读全文，纳入阅读全文，纳入肯定肯定合格者合格者3 3 不肯定者继续收集资料，如与作者或药厂联系，不肯定者继续收集资料，如与作者或药厂联系，补充补充资料资料Retrieve full textExcludeNot sureIncludeExcludeIncludeExclude阅读标题和摘要阅读标题和摘要排除排除可能符合纳入标准者可能
10、符合纳入标准者对照纳入标准对照纳入标准排除排除不肯定不肯定合格者纳入合格者纳入排除排除补充信息补充信息纳入纳入收集临床试验收集临床试验阅读全文阅读全文1 1、是否描述了随机分组的方法？隐藏是否充分？、是否描述了随机分组的方法？隐藏是否充分？根据生日或住院号顺序分组不是真正的随机分组根据生日或住院号顺序分组不是真正的随机分组2 2、盲法采用？治疗实施者、患者、盲法采用？治疗实施者、患者、疗效评价者疗效评价者3 3、脱失、退出及失访情况，是否、脱失、退出及失访情况，是否可进行可进行意向处理分析意向处理分析?u意向处理分析意向处理分析(ITT)(ITT)：不论试验过程中病人是否依从所分配：不论试验过
11、程中病人是否依从所分配的治疗方案、是否退出或最后是否符合纳入标准，均根据最的治疗方案、是否退出或最后是否符合纳入标准，均根据最初分组时病人所在的组别进行结果分析，而不是根据后来实初分组时病人所在的组别进行结果分析，而不是根据后来实际所在的组别或将退出的病人排除际所在的组别或将退出的病人排除u设计资料提取表格设计资料提取表格u提取的主要内容：提取的主要内容：u一般资料一般资料(试验名称、作者、出处等试验名称、作者、出处等)u质量资料质量资料(隐藏、盲法、随访等隐藏、盲法、随访等)u基线资料基线资料(年龄、性别、严重度、病程等年龄、性别、严重度、病程等)u干预措施资料干预措施资料(治疗方法、剂量、
12、疗程，对治疗方法、剂量、疗程，对照措施等照措施等)u结局资料结局资料(死亡、残废、事件数等死亡、残废、事件数等)u定性分析：将纳入试验的情况进行描述定性分析：将纳入试验的情况进行描述u定量合成：当资料适当时采用定量合成：当资料适当时采用Meta-Meta-分析方法分析方法u系统评价不一定都要做系统评价不一定都要做Meta-Meta-分析，更重要的分析，更重要的是全面是全面系统系统收集证据及质量收集证据及质量评价评价（1 1）异质性检验：了解各研究结果合并的）异质性检验：了解各研究结果合并的合理性合理性u无显著异质性：固定效应模型无显著异质性：固定效应模型u有显著异质性：随机效应模型或不合并结果
13、有显著异质性：随机效应模型或不合并结果（2 2）对各研究结果的统计量）对各研究结果的统计量(RR(RR，OR,WMDOR,WMD，SMDSMD等等)进行合并，计算其可信区间，判断进行合并，计算其可信区间，判断有无统计学意义的差异有无统计学意义的差异u分类资料：用分类资料：用RRRR、OROR等等u连续性资料：用均数差连续性资料：用均数差(mean difference)(mean difference)（3 3）用森林图展示结果）用森林图展示结果u了解合并各单个研究的结果是否合理？了解合并各单个研究的结果是否合理？u理论上各单个研究结果应该是相同的理论上各单个研究结果应该是相同的 -合并才合合
14、并才合理理u实际上不可能完全相同（机遇的作用），但差异不实际上不可能完全相同（机遇的作用），但差异不应该有统计学的显著性应该有统计学的显著性u如果各试验结果之间差异有显著性，应该了解原因如果各试验结果之间差异有显著性，应该了解原因进行相应处理进行相应处理u各试验治疗效果一致则支持这可能是真正的效各试验治疗效果一致则支持这可能是真正的效果果1)1)、通过图表、通过图表u各研究的可信区间重叠越多，同质性越好各研究的可信区间重叠越多，同质性越好 u各研究的可信区间重叠越少，异质性越明显各研究的可信区间重叠越少，异质性越明显 u不重叠者异质性有显著性差异不重叠者异质性有显著性差异u同质性好时，同质性好
15、时，Q Q值应该与自由度为值应该与自由度为K-1K-1的的 2 2值值（Chi-squareChi-square）一致）一致 (K(K为研究的数目为研究的数目)，将将 2 2值作为值作为Q Q值看值看uQ Q（2 2）值越大提示异质性越大值越大提示异质性越大uQ Q（2 2）值大于自由度）值大于自由度(K-1)(K-1)，提示存在异质性，提示存在异质性u解释：亚组分析、解释：亚组分析、Meta-Meta-回归回归u不进行结果的定量合并：只做定性的描述分析不进行结果的定量合并：只做定性的描述分析u忽略：采用固定相应模型忽略：采用固定相应模型(fixed effects model)(fixed
16、effects model)u说明原因：采用随机相应模型说明原因：采用随机相应模型(random effects model)(random effects model)效应指标的选择：最好效应指标的选择：最好在在CochraneCochrane评价组指导下选择评价组指导下选择（1 1）分类资料的）分类资料的Meta-Meta-分析：分析：每个病人的结局只能是两种可能性之一，如生与死每个病人的结局只能是两种可能性之一，如生与死，痛或不痛，吸烟与不吸烟等，痛或不痛，吸烟与不吸烟等u怎样选择反应效果的统计量怎样选择反应效果的统计量(OR(OR，RRRR，RD)RD)？u取决于我们希望从综合的统计量
17、中得到什么信息：取决于我们希望从综合的统计量中得到什么信息：u从交流的意义上看？从交流的意义上看？u从效果指标间的一致性来看？从效果指标间的一致性来看？u从数学特性上来看？从数学特性上来看？u分类资料一般来说，可选择相对危险度分类资料一般来说，可选择相对危险度(RR)(RR)u如果事件发生率很低，如果事件发生率很低，OROR与与RRRR相似，可代替相似，可代替RRRRuOROR和和RRRR是相对指标，用于各单个试验结果的是相对指标，用于各单个试验结果的合并合并uRDRD是绝对指标，适用于将研究结果用于临床是绝对指标，适用于将研究结果用于临床实践时，实践时，NNTNNT是结果的再表达是结果的再表
18、达,更易理解更易理解u做系统评价时最好相对指标和绝对指标都用做系统评价时最好相对指标和绝对指标都用u如血压、身高等资料如血压、身高等资料u需正态分布需正态分布u偏态分布，中位数等不适合偏态分布，中位数等不适合u所有试验的测量单位相同时选权重的均数差所有试验的测量单位相同时选权重的均数差(WMD)(WMD)u各试验测量单位不同时选标准化的均数差各试验测量单位不同时选标准化的均数差(SMD)(SMD)u方法学不及分类资料成熟方法学不及分类资料成熟u一条短横线代表一个试验结果的可信区间一条短横线代表一个试验结果的可信区间(CI)，越短，越短结果越精确、越肯定结果越精确、越肯定u中线代表中线代表OR=
19、1u最下方的棱型符号代表所纳入试验的综合结果最下方的棱型符号代表所纳入试验的综合结果u短横线短横线/棱型符号与中线接触或相交示差异无统计学意棱型符号与中线接触或相交示差异无统计学意义。对不利结局，短横线在中线左边示有效，在右边义。对不利结局，短横线在中线左边示有效，在右边示无效，对有利结局则相反。示无效，对有利结局则相反。u真值可能存在的范围，反映结果的精确性真值可能存在的范围，反映结果的精确性u范围越宽，横线越长，说明样本量小，结论不范围越宽，横线越长，说明样本量小，结论不精确可靠精确可靠u范围越窄，横线越短，说明样本量大，结论较范围越窄，横线越短，说明样本量大，结论较精确可靠精确可靠35对
20、同样的结果不同作者可能有不同解释，对同样的结果不同作者可能有不同解释，容易误导容易误导u亚组分析亚组分析u发表偏倚发表偏倚u敏感性分析敏感性分析u其他其他u当各研究间结果的异质性有统计学意义时：当各研究间结果的异质性有统计学意义时：u可进行亚组分析，了解是否某亚组病人可进行亚组分析，了解是否某亚组病人(老年或青年组老年或青年组)，或，或某剂量更有效某剂量更有效u进行进行Meta-Meta-回归，了解某因素是否与治疗效果有关回归，了解某因素是否与治疗效果有关u应事先在计划书中确定那些因素可能造成异质性，并应事先在计划书中确定那些因素可能造成异质性，并将进行亚组分析将进行亚组分析u若事后亚组分析则
21、应说明：其结果最多只是假说的产若事后亚组分析则应说明：其结果最多只是假说的产生，甚至这种假说的产生也是危险的生，甚至这种假说的产生也是危险的u还要考虑这种异质性是否科学合理（机遇还要考虑这种异质性是否科学合理（机遇1/201/20）u当结果阳性并有统计学意义时，应解释结果是否受当结果阳性并有统计学意义时，应解释结果是否受发表偏倚的影响发表偏倚的影响u阳性结果文章比阴性结果文章容易发表阳性结果文章比阴性结果文章容易发表u小样本试验显示戏剧性结果时容易发表小样本试验显示戏剧性结果时容易发表u对系统评价结果的影响：使其结果不真实，造成对对系统评价结果的影响：使其结果不真实，造成对临床实践的错误导向临
22、床实践的错误导向u不发表阴性结果是对病人不负责任不发表阴性结果是对病人不负责任u Johns Hopkins Johns Hopkins医院医院737737个研究的随访发现：个研究的随访发现：投出发表的阳性结果研究数是阴性结果的研究投出发表的阳性结果研究数是阴性结果的研究的的2.52.5倍倍 (Dickersin,JAMA,1992)(Dickersin,JAMA,1992)评价方法：评价方法：u 漏斗图漏斗图(Funnel Plots)分析发表偏倚分析发表偏倚u 失安全数失安全数(fail safe number)(fail safe number)：需多少个阴：需多少个阴性试验能使结果逆转
23、性试验能使结果逆转Publication Bias:Use of Funnel PlotsLog Odds RatioStreptokinase for myocardial infarctionPrecisionPublication Bias:Use of Funnel Plotsu阳性结果率：阳性结果率：针灸试验：发达国家针灸试验：发达国家 50-60%50-60%国内国内 100%100%非针灸试验：发达国家非针灸试验：发达国家70%70%国内国内 大于大于99%99%u原因：可能主要为发表偏倚原因：可能主要为发表偏倚u“使用这些国家的资料进行系统评价时要注使用这些国家的资料进行系统评
24、价时要注意意”u国外多是阴性结果国外多是阴性结果u国内多是阳性结果国内多是阳性结果(95%)u杂志不愿发表阴性结果杂志不愿发表阴性结果u作者不愿发表阴性结果作者不愿发表阴性结果u药厂不愿发表阴性结果药厂不愿发表阴性结果u疗效判断指标的某些选择易于出现阳性结疗效判断指标的某些选择易于出现阳性结果，发表机会增多果，发表机会增多u全面收集发表与未发表的研究报告全面收集发表与未发表的研究报告u全面登记即将进行的临床试验并跟踪全面登记即将进行的临床试验并跟踪u得出阳性结果时：得出阳性结果时：u检验是否存在发表偏倚的可能，如漏斗图，检验是否存在发表偏倚的可能，如漏斗图，失安全数失安全数u在论文讨论中说明发
25、表偏倚的可能性和影响在论文讨论中说明发表偏倚的可能性和影响u了解结果的稳定性和可靠性了解结果的稳定性和可靠性u排除某些研究或资料后进行再分析，看结果是否排除某些研究或资料后进行再分析，看结果是否会发生改变会发生改变u所有的系统评价都涉及主观的判断所有的系统评价都涉及主观的判断u敏感性分析试图发现这些主观判断的变化怎样影敏感性分析试图发现这些主观判断的变化怎样影响系统评价的结论响系统评价的结论u排除某些可疑的资料排除某些可疑的资料u排除较低质量的研究排除较低质量的研究u排除小样本研究排除小样本研究u排除特殊的占主导地位的大样本研究排除特殊的占主导地位的大样本研究u某些系统评价组有一套要求进行敏感
26、性分析的清某些系统评价组有一套要求进行敏感性分析的清单单也要在讨论中说明：也要在讨论中说明：u纳入研究的质量：该系统评价的局限性纳入研究的质量：该系统评价的局限性u结果的维度：结果的维度：1 1、证据强度：级别、质量和精确性、证据强度：级别、质量和精确性(CI)(CI)2 2、效果的大小、效果的大小(幅度幅度)u结果的机制、生物学合理性，其他证据结果的机制、生物学合理性，其他证据：生物的、剂量反应等研究的证据：生物的、剂量反应等研究的证据u应用性：应用性：u对临床实践的意义：结果是否能帮助对临床实践的意义：结果是否能帮助指导一般的决策或特异情况下的决策指导一般的决策或特异情况下的决策？u对临床
27、研究的意义：重视说明结果的对临床研究的意义：重视说明结果的不肯定性不肯定性(如果存在如果存在)，指出进一步研，指出进一步研究的方向究的方向u 一个系统评价不一定非要包括一个系统评价不一定非要包括Meta-Meta-分析分析u如果缺乏相关的或可靠的资料，或研究之间有显著如果缺乏相关的或可靠的资料，或研究之间有显著的异质性时，的异质性时，Meta-Meta-分析就不可能进行分析就不可能进行u一个结论合理而真实的系统评价比结论不真实的一个结论合理而真实的系统评价比结论不真实的Meta-Meta-分析更有价值（研究生倾向，应特别注意）分析更有价值（研究生倾向，应特别注意）u系统评价可以指出研究的缺口并
28、对未来应进行的研系统评价可以指出研究的缺口并对未来应进行的研究提出建议究提出建议u做一个系统评价不难做一个系统评价不难u难的是做一个高质量的系统评价难的是做一个高质量的系统评价u学习做系统评价的最好途径是做一个学习做系统评价的最好途径是做一个CochraneCochrane系统系统评价评价u做好系统评价所需要的相关知识做好系统评价所需要的相关知识u临床流行病学知识临床流行病学知识u临床专业知识临床专业知识u统计学知识统计学知识 选择统计方法选择统计方法u计算机能力计算机能力u文献检索能力文献检索能力u英语能力英语能力u也可以从做的过程中不断补充学习相关知识也可以从做的过程中不断补充学习相关知识
29、设计设计u最好途径是完成一个最好途径是完成一个CochraneCochrane系统评价系统评价u中心可能提供的支持：中心可能提供的支持：u个别辅导咨询：与吴泰相老师联系个别辅导咨询：与吴泰相老师联系u进修数月：与李静、吴泰相老师联系进修数月：与李静、吴泰相老师联系u研究生进入循证医学实验室完成课题：待中心研研究生进入循证医学实验室完成课题：待中心研究究u结果的真实性结果的真实性1 1 是否为随机对照试验？是否为随机对照试验？2 2 有方法学描述吗？有方法学描述吗？u收集和包括了所有有关试验吗？收集和包括了所有有关试验吗？u评价了原始单个试验的真实性吗？评价了原始单个试验的真实性吗？u结果的重要性：使用结果的重要性：使用NNT(NNT(为防止一个有害事件发为防止一个有害事件发生需治疗多少个病人生需治疗多少个病人)u这个真实、重要的结果可应用于我的病人吗？这个真实、重要的结果可应用于我的病人吗？
