1、生化检测系统生化检测系统性能验证性能验证为什么要做性能验证?为什么要做性能验证?医疗机构临床实验室管理办 法ISOl5189医学实验室质量和能力认 可准则 二者均要求,设备在临床应用之前必须要进行性能验证;目的:确定设备能达到所要求的性能指标;设备的性能是否合格,对检验结果的准确性起决定性的作用。什么是性能什么是性能评价评价?自行研究或开发了一个检测方法,为了使方法的检测结果符合临床要求,必须对方法的性能作详细而全面的实验,这时的实验是对性能的评价。通常是生产厂家完成。什么是性能什么是性能验证验证?对他人或厂商的评价资料中的几个主要性能进行证实。通常由实验室自己完成。性能验证试验性能验证试验l
2、 对配套系统,一般验证下列指标:准确度(accuracy)-EP15-A 精密度(precision)-EP5-A2 线性范围(linear range)-EP-6 可报告范围(reportable range)-EP-6 参考区间(reference interval)-C28-A2 l 对非配套系统,验证更为广泛。什么时候做性能验证试验?什么时候做性能验证试验?1.方法或系统首次在实验室使用;2.EQA或PT结果未通过,采取纠正措施后;3.达到文件规定周期做性能验证时首先满足的实验条件做性能验证时首先满足的实验条件l仪器的维护保养 l仪器校准 l室内质控 l试剂、校准品(有效期、批号等)l
3、人员(SOP)保证仪器在最佳状态保证仪器在最佳状态一一.精密度验证实验精密度验证实验基本概念基本概念l 测量精密度(measurement precision)在规定条件下,对同一或相似被测对象重复测量得到测量示值或测得量值间的一致程度。1.测量精密度通常由不精密度的量度以数字表达,如规定测量条件下的标准差、方差和变异系数。2.规定的条件可以是测量的重复性条件、测量的中间精密度条件或测量的再现性条件。3.测量精密度用于定义测量重复性、中间测量精密度和测量再现性。基本概念基本概念l测量重复性 在一组测量条件下的测量精密度,包括相同测量程序、相同操作者、相同测量系统、相同操作条件和地点,并且在短时
4、间段内对同一或相似被测对象重复测量。1.在临床化学上,即所谓的批内精密度。2.在评估体外诊断医疗器械时,通常重复性条件来代表基本不变的测量条件(被称为重复性条件),产生的测量结果是最小变异。3.重复性信息可对故障排除目的有用处。基本概念基本概念l测量再现性:在包括了不同地点、不同操作者、不同测量系统的测量条件下对同一或相似被测对象重复测量的测量精密度。1.在临床化学上,即所谓的室间精密度。2.在评估体外诊断医疗器械时,通常再现性条件代表了最大改变的条件(被称为再现性条件),产生于独立实验室间比较结果时遇到的测量结果变异,如发生在室间比对计划中(例如,能力比对)。基本概念基本概念 3.不同测量系
5、统可使用不同测量程序。4.应在实际程度上给出改变或不改变条件的说明。基本概念基本概念l中间精密度 在一组测量条件下的测量精密度,这些条件包括相同的测量程序、相同地点并且对相同或相似的被测对象在一长时间段内重复测量,但可包含其它相关条件的改变。1.应在实际程度规定改变和未改变的条件,特别是如校准物、试剂批号、设备系统、操作者和环境条件等变量。2.在体外诊断医疗器械评价中,一般中间精密度条件代表医疗器械在一长时间段内的实际使用条件。文件依据文件依据lCLSI(原NCCLS)颁布的EP5-A2文件定量测量方法的精密度性能评价-批准指南第二版实验方法实验方法l批内精密度 在相同的测量条件下,在最短时间
6、内(常是在同一测量批次内)对同一样品测量20次,由此计算出批内精密度。实验方法实验方法l批间精密度 在一段时间内(一般为连续20个工作日)对同一样品(常为质控品),每天测定一次,每次测定双份,由此计算出批间精密度。如果时间紧,也可改为测5日,每天分2批进行,每批重复测定2次,每次至少间隔2h,每个浓度每天能获得4个数据。由此计算出总精密度。实验样本的选择实验样本的选择 1.实验样本要稳定,其基质组成应尽可能与临床样本相似。一般常采用临床实验室收集的稳定和冷冻贮存的血清;2.实验样本的浓度尽可能选择与厂商声明性能相近的浓度或接近该项目医学决定水平的浓度。3.通常选择稳定性好的、血清基质的质控物作
7、为实验样品。样本浓度的选择样本浓度的选择1.精密度大小和样品浓度有关精密度大小和样品浓度有关 样品浓度高时,样品浓度高时,虽然标准差的绝对值虽然标准差的绝对值较大,但变异系数往往变小。较大,但变异系数往往变小。所以评估精密度时,建议所以评估精密度时,建议评估高低二个评估高低二个浓度的精密度浓度的精密度。当二个浓度的精密度有显著差异时,建当二个浓度的精密度有显著差异时,建议议增加为三个增加为三个 浓度。浓度。样本浓度的选择样本浓度的选择2.所选浓度应在测量范围内所选浓度应在测量范围内有医学意义的值,即至少有一个浓度在医学决定水平(medical decision levels)左右。不要为了得到
8、较小的精密度,都选用较高不要为了得到较小的精密度,都选用较高值的样品,甚至超出测量范围。值的样品,甚至超出测量范围。也不应选用靠近最低检出限的样品,此时也不应选用靠近最低检出限的样品,此时所得的精密度往往偏大。所得的精密度往往偏大。如没有医学决定水平,可在如没有医学决定水平,可在参考区间上限参考区间上限左右选一个浓度左右选一个浓度。此外再根据检验项目的性质在线性区间内此外再根据检验项目的性质在线性区间内选择一个值。选择一个值。试剂和校准品的要求试剂和校准品的要求l 在整个阶段,尽可能使用在整个阶段,尽可能使用相同条件相同条件,应,应使用使用同一种类同一批号的试剂和校准物同一种类同一批号的试剂和
9、校准物,如有可能,只进行一次校准。如有可能,只进行一次校准。l 使用不同批号试剂和多次校准都会增加使用不同批号试剂和多次校准都会增加检验结果的变异程度。检验结果的变异程度。质量控制质量控制l 检验时应同时检验时应同时至少测一个质控品至少测一个质控品。l当质控品结果当质控品结果超出规定的失控限超出规定的失控限,不论实,不论实验结果是否满意都应验结果是否满意都应弃去不用弃去不用,重新进行,重新进行试验以取得实验数据。试验以取得实验数据。l要要保存所有保存所有的质控数据和失控处理记录。的质控数据和失控处理记录。在正式实验前操作者应熟练掌握在正式实验前操作者应熟练掌握 1.操作程序操作程序 2.保养程
10、序保养程序 3.样本准备样本准备 4.校准及检测程序校准及检测程序 数据收集数据收集 分析前,检查数据中有无由于偶然差错引起的离群值(outliers)。离群值的标准:任何结果和总均值的差超过4个标准差。为了能收集到至少20个有效数据,除补充由于质控失控而增加的测试外,还应再增加由于离群值不用于精密度的计算所需增加的检验次数。数据收集数据收集 进行批内精密度评估实验时,一次只能有一个离群值,当不接受数据超过2个,应怀疑是否为方法不稳定或操作者不熟悉所致。此时应不用此次试验数据,检查问题和解决问题后重新开始新的评估实验。*必须保留任何离群值和室内质控失控的记录。结果分析结果分析 l 计算均值、标
11、准差和变异系数。l从CLIA 88允许误差表中查阅评价的该项目的允许误差范围。判断标准判断标准l批内精密度CV值要求低于1/4 CLIA 88允许误差。l批间精密度CV值要求低于1/3 CLIA 88允许误差。lCLIA 88允许误差范围不涉及的项目:EQA的允许误差 试剂说明书提供二二.正确度验证实验正确度验证实验基本概念基本概念l准确度(accuracy)指检测结果与被测量真值之间的一致程度。l正确度(truness)指大批检测结果得到的平均值与真值的一致程度。通常用统计量“偏倚”来表示。l偏倚(bias)指测量结果的预期值与可接受值间的差异。以检测计量单位或百分率表示,即平均值与参考值的
12、差异。基本概念基本概念l误差(error)指对于真值或对于可接受的、预期真值或参考值的偏离,分为随机误差和系统误差。l总误差(total error)指某实验室用某方法在多次独立检验中分析某样品所得各个结果值与靶值之差在一定置信区间内的最大值。包括随机误差和系统误差,是不准确度的估计值。文件依据文件依据lCLSI 颁布的EP15-A文件用户对精密度和准确度性能的核实指南 实验方法实验方法l参加卫生部临床检验中心室间质评l测定具有溯源性的校准物质 实验程序实验程序l 对权威机构提供的室间质控物进行检测,l检测结果与已知靶值和可接受限进行比较。定值参考物来源定值参考物来源l1.已用参考方法或决定性
13、方法定值的新鲜冰冻人血清或其他一些未掺入成分的人物质;l2.从能力比对试验中获得的参考物;l3.厂家提供的正确度确认物或质控物;l4.实验室室间质评物;l5.由第三方提供的已用一些不同方法定值的物质。实验程序实验程序l 选择适合评价的检验方法最易获得的材选择适合评价的检验方法最易获得的材料。料。l至少要求测定至少要求测定2个水平个水平,选择的水平应能,选择的水平应能代表方法的代表方法的最低和最高测量范围最低和最高测量范围。l 实验前充分混匀分析物,用实验方法重实验前充分混匀分析物,用实验方法重复测定复测定2次,次,l将检测结果与说明书标示值或靶值进行将检测结果与说明书标示值或靶值进行比对,计算
14、偏倚,以比对,计算偏倚,以CLIA88的的1/2作为作为评价标准,偏倚小于评价标准,偏倚小于CLIA88的的1/2,认,认为检测系统的偏倚属临床可接受水平。为检测系统的偏倚属临床可接受水平。三.线性范围及可报告范围 验证实验基本概念基本概念l线性范围(linear range)使实验系统的最终分析结果为可接受的线性的浓度范围,此时非线性误差应低于允许误差。l线性(linearity)在给定的测量范围内,使测定结果与样本中分析物的量直接成比例的能力。基本概念基本概念l分析测量范围(analytical measurement range)是方法直接测量标本,而不需要任何的稀释、浓缩或者其它预处理
15、等过程下,测量结果总误差符合要求的分析物浓度的范围。l临床可报告范围(clinical reportable range)是方法可采用对标本的稀释、浓缩或者其他预处理用于扩展直接分析测量下的分析物数值的范围。文件依据文件依据lCLSI 颁布的EP6-A文件定量测量方法的线性评价仪器要求仪器要求l 应有较好的测定精密度l不存在明显的携带污染等。l对仪器应进行定期维护及校准,保证其处于正常状态。试剂及校准品要求试剂及校准品要求l试剂 应注意试剂有效期及批号,不可采用过期试剂或不同批号的试剂。l校准品 可采用与评价试剂配套的校准品。校准品的使用应严格按照产品说明,仪器校准步骤与间隔应按照本室的标准操
16、作程序进行。样品类型的选择样品类型的选择l为避免基质效应对结果的影响,选用的样品应与临床实验样品相似。l不可采用含有对测定方法具有明确干扰作用物质的样品,如溶血、脂血、黄疸或含有某些特定药物的样品。l样品物浓度应包括试剂厂商提供的试剂所能达到的线性范围。线性范围样品制备线性范围样品制备1.收集临床检测过程中的高值样品收集临床检测过程中的高值样品 即浓度接近预期测定上限的患者血清即浓度接近预期测定上限的患者血清(H)和低值样品)和低值样品(L),若收集不到低值样品,可用生理盐水若收集不到低值样品,可用生理盐水或蒸馏水替代。或蒸馏水替代。2.将将H和和L样品按:样品按:1L、3L+1H、2L+2H
17、、1L+3H、1H关系各自配制关系各自配制(必要时可改必要时可改变比例变比例)混合,形成系列评价样品。混合,形成系列评价样品。线性范围样品测定线性范围样品测定l 进行线性范围确立时,应进行7-11个浓度水平的样品测定,每个样品重复测定2-4次;l 进行线性范围验证时,应进行5个浓度水平的样品测定,并在1个批次测量中完成实验,每个样品至少重复测定2次,测量次序为随机;l如果测定方法本身存在明显的携带污染,应根据实际情况采取恰当措施尽量避免对测定结果的影响。线性范围结果分析线性范围结果分析l以预期值为横坐标,以实测值为纵坐标进行线性回归,l得到直线回归方程YaX+b,la在0.971.03范围内,
18、r2 0.95 。可报告范围样品测定可报告范围样品测定l 收集接近线性范围上限的病人标本血清。实验操作时,以生理盐水或蒸馏水为稀释介质,每个稀释浓度检测两次,取平均值与理论值进行比较。l 当试剂盒说明书中厂商给出建议的稀释度时,可直接验证该建议的稀释度即可,不必验证其它倍数。如没有给出建议的稀释度,则根据工作实际需要稀释。可报告范围判断指标及判断标准可报告范围判断指标及判断标准l判断指标:R=检测均值/预期值*100%l判断标准:80%R120%,则偏倚在允许误差范围之内。四.分析灵敏度验证实验基本概念基本概念l检测低限(LLD)指样品单次检测可以达到的非空白检测响应量对应的分析物量。l功能灵
19、敏度(FS)指检测系统可定量报告分析物的最低浓度。l空白限(LoB)指在规定的可能性条件下,空白样品被观察到的最大检测结果。l检出低值(LoD)指在规定的可能性条件下可以检出的样本中分析物的最小量。文件依据文件依据l CLSI 颁布的EP-17A文件进行灵敏度性能评价。功能灵敏度实验程序功能灵敏度实验程序l将校准品或质控品稀释后,在仪器上分别对不同浓度的样品连续测定20次,l计算均值、标准差和变异系数,l以不精密度(CV)20%时对应检测限样品具有的平均浓度即为功能灵敏度。五五.抗干扰验证实验抗干扰验证实验样本选择样本选择l选取临床混合血清1例。l不可采用溶血、脂血、黄疸或含有某些特定药物的样
20、品。l样品物浓度应尽量选择该项目正常参考区间内的浓度。干扰物的确定干扰物的确定l根据临床样品的特点,实验所选干扰物为:结合胆红素、游离胆红素、脂肪乳、维生素C(Vc)、血红蛋白。样本制备样本制备l 将每一系列的干扰样品根据实验要求配制成4个不同浓度的样本血清,l按照从低高、高低循环测定5遍,l计算每个浓度下的均值与未添加干扰物的样品的相对偏差,并求取重复性的变异系数。判断标准判断标准l 当相对偏差不超过15%,l重复性变异系数不超过10%时,可认为对应的干扰物浓度对测定结果无影响。六.参考区间验证实验实验目的实验目的:验证已知参考区间在本实验室应用的可接受性。实验方法实验方法1.从健康人群中抽
21、出从健康人群中抽出20个参考个体个参考个体(最好能够覆盖各个年龄段)(最好能够覆盖各个年龄段);2.依照实验室标准操作规程检测样本依照实验室标准操作规程检测样本;3.发现离群值应弃用,并用新的参考个体发现离群值应弃用,并用新的参考个体代替,以确保测试结果不含离群值代替,以确保测试结果不含离群值;实验方法实验方法4.如果20例参考个体中不超过1例(5的结果)的检测值在参考区间外,则已知的参考区间可以接受。若2例以上超出界限,再选择20个参考个体进行验证,若少于或等于1个检测值超过已知参考限,则已知参考区间可以接受。若又有2个以上超出参考限,则就应该重新检查所用的分析程序,考虑两个样本总体生物学特
22、征上可能存在差异,并且考虑是否按照大规模研究指南建立自己的参考区间。实验要点实验要点l关键在于筛选“健康人群”l参考个体不应该是住院患者或者临床病人,除非绝对需要。诸如可能是必需的小儿科或老年人的研究。七.实验室内部各仪器比对实验文件依据文件依据lCLSI(原NCCLS)颁布的EP9A文件用患者样本进行方法学比对及偏倚评估批准指南样本准备样本准备1.在整个实验中,保证需要比对的仪器处于良好的工作状态,并在完整的质量控制之下进行;2.实验时间为5天,按照操作规程收集至少40份新鲜患者标本;每个样本必须有足够量以备每台仪器做双份测定。样本准备样本准备3.浓度应分布整个线性范围,不要使用超出线性范围
23、的标本;尽可能使50%的实验标本分析物的含量不在参考区间内,各个标本分析物含量越宽越好。不要使用对方法学有干扰的样本。样本测定样本测定l 在不同的检测系统每日测定8个样本;l每个样本重复测定2次;l2次按不同的测定顺序进行测定;l在2h内测定完毕,以确保分析物的稳定;l共测定5d。数据统计数据统计l 检查每一方法内双份测定值有无离群值,以4倍的各方法差值的均值为判断限,所有差值都在限值内说明双份测定结果符合要求;l计算均值。l 以比较方法结果为横坐标,以实验方法结果为纵坐标进行线性回归。l从中判断检验标本内分析物含量分布是否适当,一般要求r20.95,认为范围合适。若r20.95应继续做实验扩大数据范围。结果分析及判断标准结果分析及判断标准l结果分析 计算相对偏差 公式:(比较方法比较方法-实验方法)实验方法)比较方法比较方法 X100%l判断标准 lCV值要求低于低于1/2 CLIA 88允许误差,认为不同检测系统间的系统误差或相对偏差属临床可接受水平。谢谢