近红外基础知识课件.ppt

1、理理 论论 背背 景景原子核转变电磁转动分子转动分子振动外层电子的跃迁内层电子的跃迁-射线X 射线紫外可见近红近红外外中红外远红外电子自旋振动核磁振动红外微波Radio,TV 无线电波InteractionRegion108107106105104103102101110-110-210-310-1010-910-810-710-610-510-410-310-210-11101Wavelength(cm-1)Wavelength(m)12,800 cm-1(780 nm)4,000 cm-1(2,500 nm)什么是近红外什么是近红外/中红外光？中红外光？400 cm-1(25,000 nm

2、)4,000 cm-1(2,500 nm)近红外：近红外：中红外：中红外：近红外的发现和应用发展里程近红外的发现和应用发展里程 1800年近红外电磁波被发现，光谱的复杂性使其“沉睡”了一个 半世纪 20世纪70年代国外的农业分析学家综合计算机技术、光谱分 析技术、仪器技术和现代数学方法，首先把近红外分析技术 应用于农产品和食品的品质分析 进入90年代，近红外分析技术逐步受到分析化学家的重视，应用逐步扩展到石油化工、医药、生物化学、烟草、纺织品等 领域。近红外现已发展成为一种独立的分析技术活跃在光谱分析领 域 发达国家已经将近红外做为质量控制、品质分析和在线分析 的主要手段，部分方法已经成为US

3、P、EP、PASG、EMEA、AOAC、AACC、ICC的标准。红外波长表示的度量单位红外波长表示的度量单位近红外区一般用波长（纳米近红外区一般用波长（纳米 nm)或（波数或（波数cm-1）来表示来表示纳米与波数的换算关系：纳米与波数的换算关系：nm=107/cm-1 或或 cm-1=107/nm因为：因为：1cm=107nm1,250nm处，用波数表示：处，用波数表示：107/1,250=8,000cm-1 中红外区一般用波长（微米中红外区一般用波长（微米 m)或（波数或（波数cm-1）来表示来表示微米与波数的换算关系：微米与波数的换算关系：nm=104/cm-1 或或 cm-1=104/n

4、m因为：因为：1cm=104 m5 m处，用波数表示：处，用波数表示：104/5=2,000cm-1近红外光谱的信号特征近红外光谱的信号特征1、近红外光的产生：近红外光源一般用卤素灯、近红外光的产生：近红外光源一般用卤素灯2、近红外光的检测：近红外光的检测材料是半导体材料，如、近红外光的检测：近红外光的检测材料是半导体材料，如 Si、PbS、InAs、Ge、InGaAs等等3、光学材料：可以使用耐水和便于维护的材料，如：低、光学材料：可以使用耐水和便于维护的材料，如：低OH 石英、石英和火石玻璃、石英、石英和火石玻璃、CaF等。等。中红外光谱的信号特征中红外光谱的信号特征1、中红外光的产生：中

5、红外光源一般用硅碳棒、中红外光的产生：中红外光源一般用硅碳棒2、中红外光的检测：中红外光的检测材料是半导体材料，如、中红外光的检测：中红外光的检测材料是半导体材料，如 MCT、DTGS等等3、光学材料：可以使用、光学材料：可以使用“怕水怕水”的材料如：的材料如：KBr、NaCl，耐水，耐水 材料材料CaF、ZnSe、Si等。等。红外光谱振动的基本原理红外光谱振动的基本原理hn低能量低能量 高能量高能量Fundamental 振動基頻1st Overtone 一級倍頻2nd Overtone 二級倍頻3rd Overtone 三級倍頻谐波振动Harmonic Oscillation非谐波振动An

6、harmonic Oscillation振动能级水平红外光振动模式的能级图红外光振动模式的能级图不同的振动形式不同的振动形式对称伸缩振动对称伸缩振动 非对称伸缩振动非对称伸缩振动 摇摆振动摇摆振动不同的振动形式不同的振动形式 摇摆振动摇摆振动 弯曲振动弯曲振动 剪切振动剪切振动HHOSym-stretchingBendingAsym-stretching3756 cm-13657 cm-11595 cm-1Molecular vibration modesCHCl3 在在MIR&NIR的吸收光谱的吸收光谱200040006000800010000Wavenumber/cm-10.00.20.4

7、0.60.81.01.21.41.6Absorbance Unitsn n(CH)MIR&NIR (d=25 m)NIR (d=1 mm)2n n(CH)3n nCH)combination band近红外与中红外光谱的差异近红外与中红外光谱的差异O v e rto n e s o f th e n(C H)v ib ra tio no f C H C l3b a n d p o s itio nb a n d p o s itio ne x tin c tio nc o e ffic ie n tn m c m-1c m2 m o l-1n3 2 9 03 0 4 02 5 0 0 02 n

8、1 6 9 35 9 0 71 6 2 03 n1 1 5 48 6 6 64 84 n8 8 21 1 3 3 81,75 n7 2 41 3 8 3 10,1 5近红外与中红外的区别近红外与中红外的区别1、近红外是基频振动的合频、近红外是基频振动的合频 与倍频振动信息。与倍频振动信息。中红外是基频振动的信息。中红外是基频振动的信息。2、近红外的谱峰重叠严重，、近红外的谱峰重叠严重，难以肉眼识别分析。难以肉眼识别分析。中红外谱峰分别好。很容中红外谱峰分别好。很容 易肉眼识别分析。易肉眼识别分析。3、近红外吸收弱。、近红外吸收弱。中红外吸收强中红外吸收强。4、近红外制样简单。、近红外制样简单。

9、中红外制样麻烦。中红外制样麻烦。聚丙烯的近红外聚丙烯的近红外/中红外光谱中红外光谱不同化合物基团在近红外区的吸收谱带不同化合物基团在近红外区的吸收谱带q物质在近红外谱区的吸收主要包括以下基团基频振动的合物质在近红外谱区的吸收主要包括以下基团基频振动的合频和倍频振动吸收频和倍频振动吸收C-H,N-H,O-H,S-H,C=O,C=Cq近红外的合频振动的吸收系数比中红外基频振动吸收弱近红外的合频振动的吸收系数比中红外基频振动吸收弱 1-5个数量级个数量级.012345 9000 8000 7000 6000 5000 4000 3000 2000 NIRMIRAbsorbance Wavenumbe

10、r cm-1Water Spectrum近红外吸收光谱特征吸收全反射漫(反)射透射散射scatteringtransmittanceDiffuse reflectanceabsorption近紅外光与物质的相互作用specula reflectance光源光源单色器或干涉仪单色器或干涉仪样品样品样品样品样品样品单色器或干涉仪单色器或干涉仪单色器或干涉仪单色器或干涉仪光源光源检测器检测器检测器检测器检测器检测器Near-IR Transmittance(NIT)透射式Near-IR Reflectance(NIR)漫射式Near-IR Trans-Reflectance(NITR)透漫射式检测器

11、检测器近红外的采样方法光源光源400550700850 1000 1150 1300 1450 1600 1750 1900 2050 2200 2350 2500Wavelength(nm)散射增强散射增强透射增强透射增强透射深度=0.1-0.5mm透射深度=厘米低散射高散射 散射与穿透深度的变化散射与穿透深度的变化Long pathlengthShort pathlength 固体近红外光谱中的粒径(particle size)影响不同颗粒度大小样品的近红外光谱烟丝烟粉末近红外吸收光谱的特点近红外吸收光谱的特点近近红红外吸收光外吸收光谱谱的特点的特点:随着基随着基频频振振动动合合频频和倍和

12、倍频频的增加，吸的增加，吸收峰重叠的越收峰重叠的越严严重，吸收越来越弱。重，吸收越来越弱。多多组组分复分复杂样杂样品的近品的近红红外光外光谱谱不是各不是各组组分分单单独光独光谱谱的叠加。的叠加。消光系数弱，穿透消光系数弱，穿透样样品的能力品的能力强强(最深最深可达可达5cm)需要需要“化学化学计计量学量学”技技术术从复从复杂杂的光的光谱谱中提取信息（中提取信息（Y=a+bx1+cx2+dx3）。固体中药样品的近红外吸收光谱固体中药样品的近红外吸收光谱什么是定性分析什么是定性分析?定性分析是确认分析对象是什么，或者是某种物质定性分析是确认分析对象是什么，或者是某种物质（Yes）,还是不是某种物质

13、（还是不是某种物质（No）。）。近红外的定性分析方法主要包括：近红外的定性分析方法主要包括：u聚类分析聚类分析(Cluster Analysis)u鉴别分析鉴别分析(Identity)u一致性测试一致性测试(Conformity Test)Plot of scores of factor 2 vs.1Factor 1Factor 2Factor analysis树形图树形图诊断诊断柱形图柱形图q建立模型建立模型q测定未知样品测定未知样品1.测定代表性样品测试2.计算平均光谱和阈值3.建立和检验模型1.测定未知样品光谱2.调用模型3.鉴定未知样品 500060007000800090001000

14、011000Wavenumber cm-10.20.30.40.50.60.70.80.9Absorbance Units5000600070008000900010000110000.20.30.40.50.60.70.80.9Absorbance Units Sample Identified as Material X鉴别分析（鉴别分析（Identity）的基本原理的基本原理阈值的计算公式：阈值的计算公式：阈值最大匹配值阈值最大匹配值X*SDev光谱距离的标准偏差阈阈值值最大匹配值最大匹配值选择性是用来考虑模型好坏的一个重要指标选择性是用来考虑模型好坏的一个重要指标:21TTDSD1T2

15、TS1The sample is positively identified only when:Hit Quality Threshold for all other library materials.Hit Quality of the unknown spectrum:0.010943Threshold for acetyl salicylic acid:0.046744Hit No.Hit QualityThresholdSubstance10.010940.04674Acetyl salicylic acid20.187450.00888Salicylic acid30.25988

16、0.02077Salicylamide40.446520.01406Collidon 2550.455580.00491Collidon 30一个典型的定性分析例子 NIR Overview 目的目的QA/QC 的样品进行定量或定性分析模型的建立太昂贵、的样品进行定量或定性分析模型的建立太昂贵、麻烦或不可能麻烦或不可能应用应用测试每一批或生产周期样品的一直性测试每一批或生产周期样品的一直性原则原则同样成分、一样的近红外光谱同样成分、一样的近红外光谱算法算法测定样品光谱与参考光谱的偏差值是否超出某一水平测定样品光谱与参考光谱的偏差值是否超出某一水平一致性测试一致性测试参考样品参考样品计算参考光谱

17、的平均光谱和每一个波长点（计算参考光谱的平均光谱和每一个波长点（i）标准偏差）标准偏差(s)s)样品样品计算样品光谱每个波长点（计算样品光谱每个波长点（i）的相对偏差（）的相对偏差（Q）Qi=(Ai,sample-Ai,average)/si,average一直性指标一直性指标CI 被定义为最大的相对偏差被定义为最大的相对偏差 QiCI=max(Qi)结果绘图结果绘图一致性测试一致性测试Preprocessed spectra Reference spectra Average spectrum Standard deviation spectra (+/-3s)一致性测试一致性测试Prepr

18、ocessed spectra including test spectra Reference spectra Test spectra Average spectrum Standard deviation spectra (+/-3s)一致性测试一致性测试Validation results max.CI一致性测试一致性测试Validation results Sum1一致性测试一致性测试CI spectra Reference spectra Test spectra Standard deviation spectrum一致性测试一致性测试Examples:monitoring of

19、 mixing process一致性测试一致性测试Examples:tablets placebo vs verum一致性测试一致性测试 优点优点基于少量参考样品基础的简单方法基于少量参考样品基础的简单方法 无需定量校准和定性库的建立无需定量校准和定性库的建立用少量合格批次的产品能够进行简单、快速建立或更新用少量合格批次的产品能够进行简单、快速建立或更新模型模型快速的快速的 QA/QC、简单的、简单的 Yes/No结果结果对于不同类型样品的变化非常敏感对于不同类型样品的变化非常敏感(如如 成分、颗粒大小成分、颗粒大小等）等）一致性测试一致性测试Beer定律:A=-log Itrans/I0=-

20、log T=cdd;cI0Itrans光源检测器:消光系数c:浓度d:光程定量分析的理论依据 比尔定律:A=-log Iscatt/I0 =-log R=const.c 适用于近红外.;k;cI0光源检测器I散射:消光系数c:浓度k:散射系数 定量分析的理论依据 单变量建模单变量建模(QUANT 1)单一组分体系的建模，只使用单一组分体系的建模，只使用1个光谱点分析含量个光谱点分析含量(2组分组分=2波数波数,.)通过峰高或峰面积，进行分析通过峰高或峰面积，进行分析单变量建模单变量建模 多变量建模多变量建模(QUANT 2)单组分或多组分体系的建模，通常选用整个波数范围通过化学计量学单组分或多

21、组分体系的建模，通常选用整个波数范围通过化学计量学方法方法(如如PLS)，进行分析，进行分析单变量建模，遵从单变量建模，遵从Beers 定律定律 A=pC+eA:指定波数处的吸光值指定波数处的吸光值p:指定波数处的系数指定波数处的系数C:单组分的浓度单组分的浓度单变量建模单变量建模指定的波数只有一个；对应峰需从重叠峰中分离出来指定的波数只有一个；对应峰需从重叠峰中分离出来分析分析1245吸光度吸光度浓浓 度度1425吸光度吸光度波波 数数XX单变量建模单变量建模优点：优点：形象、直观，便于理解形象、直观，便于理解缺点：缺点：非全谱分析的方法非全谱分析的方法不能识别由其它未知组分造成的异常项或干

22、扰不能识别由其它未知组分造成的异常项或干扰探测器噪声引起的统计误差直接表现在含量值中，必须多次重复测量探测器噪声引起的统计误差直接表现在含量值中，必须多次重复测量分析多组分体系时，待测组分的信号峰必须完全分开分析多组分体系时，待测组分的信号峰必须完全分开未考虑温度波动或分子内部相互作用未考虑温度波动或分子内部相互作用单变量建模单变量建模1标准方法分析样品标准方法分析样品2.采集光谱采集光谱3.优化、检验、优化、检验、建立模型建立模型Report Sample#081897-049 Component A81.55%Component B5.38%Component C13.06%1.测定未知样

23、品光谱测定未知样品光谱2.调用模型调用模型 3.预测结果预测结果ComponentABCUnits%spectrum171.307.0321.67spectrum279.303.0617.64spectrum378.408.3413.26spectrum484.034.3211.65spectrum1185.021.3413.64spectrum1278.343.8517.81定 量 分 析 基 本 原 理 q建立模型建立模型q分析样品分析样品Spectra of the calibration samplesConcentration values of calibration sample

24、s+=Calibration functionMeasured dataConcentration data多元定量分析Spectra of the unknown sampleConcentration of unknown samples+=Calibration functionMeasured dataResult of analysis多元定量分析近红外分析的过程数据采集数据采集样品集选择样品集选择校正模型校正模型常规分析常规分析编辑编辑显示显示预测预测评价光谱数据模型优化分析未知样品验证谱区选择谱区选择光谱预处理选择光谱预处理选择内部交叉检验 Differ1Differ2Diffe

25、r3Differn内部交叉检验内部交叉检验(cross validation)外部检验（Prediction）Differ1Differ2Differ3Differn模型模型检验样品检验样品模型内部交叉检验模型内部交叉检验)2221miiyyDifferR)21)(iDifferMRMSEPRMSECV决定系数决定系数均方差均方差同一组样品、同一组分，同一组样品、同一组分，R2越大，越大，RMSECV越小。越小。决定于模型优化的条件、实验室化学分析水平和近红外决定于模型优化的条件、实验室化学分析水平和近红外仪器的性能。仪器的性能。RMSECV最重要，决定预测样品的误差大小。最重要，决定预测样品

26、的误差大小。如何判定近红外定量分析是否可行如何判定近红外定量分析是否可行?RMSEE、RMSEC或或SEC（C：Calibration），），RMSECV、SECV（CV：Cross Validation），），RMSEP、SEP（P：Prediction）三者的关系：）三者的关系：RMSEE与与RMSECV:同一模型，同一模型，RMSEE一定小于一定小于RMSECV；但两者不应存在显著性差异，否；但两者不应存在显著性差异，否则，样品代表性不好或模型信息提取不充分。则，样品代表性不好或模型信息提取不充分。RMSECV与与RMSEP:RMSEP远大于远大于RMSECV，建模样品的代表性差、模型信

27、息拟和不够或过拟，建模样品的代表性差、模型信息拟和不够或过拟和；和；RMSEP远小于远小于RMSECV，验证样品代表性差。，验证样品代表性差。文章或方法中只给出校正均方差，不能说明任何问题，要注意。文章或方法中只给出校正均方差，不能说明任何问题，要注意。至少要给出交叉检验均方差，当然最好给出预测均方差。至少要给出交叉检验均方差，当然最好给出预测均方差。RMSECV应该与实验室标准方法的精密度相当应该与实验室标准方法的精密度相当。校正校正交叉检验交叉检验如何判定近红外定量分析模型的质量如何判定近红外定量分析模型的质量外部检验外部检验各组分之间出现相关性怎样建立好的近红外定量分析模型？怎样建立好的

28、近红外定量分析模型？1、确定近红外定量分析的目标准确度。、确定近红外定量分析的目标准确度。实验室标准方法的准确度和精密度确认。实验室标准方法的准确度和精密度确认。2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。3、选择或配备代表性建模样品集。、选择或配备代表性建模样品集。4、模型优化。、模型优化。5、模型验证（内部交叉验证和外部验证）。、模型验证（内部交叉验证和外部验证）。确定近红外定量分析的目标准确度确定近红外定量分析的目标准确度 近红外定量分析方法是二级方法，利用化学计量学方法将近红外近红外定量分析方法是二级方法，利用化

29、学计量学方法将近红外光谱与实验室分析数据进行关联，建立近红外模型对未知样品进行预测。光谱与实验室分析数据进行关联，建立近红外模型对未知样品进行预测。实验室分析数据的准确度非常重要，完全遵循实验室分析数据的准确度非常重要，完全遵循“量子传递量子传递”的误差理的误差理论。实验室数据越准确，近红外模型的准确度也会越高。论。实验室数据越准确，近红外模型的准确度也会越高。目标准确度是评价近红外模型的首要条件。目标准确度是评价近红外模型的首要条件。确定近红外定量分析的目标准确度确定近红外定量分析的目标准确度考察实验室数据：考察实验室数据：方法的可靠性方法的可靠性方法的准确性方法的准确性方法的重现性方法的重

30、现性方法的误差范围方法的误差范围测试中偶然误差、系统误差测试中偶然误差、系统误差实验条件的选择实验条件的选择 根据仪器的光谱响应特征根据仪器的光谱响应特征1、选择分析样品的近红外附件、选择分析样品的近红外附件 液体样品要选择不同光程的比色皿：液体样品要选择不同光程的比色皿：颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。固体样品要根据粒径大小、均匀程度选择：固体样品要根据粒径大小、均匀程度选择：粒径大、不均匀的样品应选择扫描面积大的样品附件。粒径大、不均匀的样品应选择扫描面积大的样品附件。粒径小、均匀的样品应选择扫描面积小或大的样品附

31、件。粒径小、均匀的样品应选择扫描面积小或大的样品附件。2、光谱扫描的参数、光谱扫描的参数 分辨率、扫描次数、光谱范围。分辨率、扫描次数、光谱范围。3、规范操作步骤、规范操作步骤 特别对固体样品要保证装样的一致性。特别对固体样品要保证装样的一致性。最终目的：最终目的：得到稳定的高质量光谱。得到稳定的高质量光谱。不同光程比色皿测定的光谱不同光程比色皿测定的光谱5mm光程2mm光程样品集的选择样品集的选择选择或配备代表性建模样品集。选择或配备代表性建模样品集。天然样品和反应过程中的样品，选择的代表性样品数量比较大。天然样品和反应过程中的样品，选择的代表性样品数量比较大。成分已知样品，选择的代表性样品

32、数量比较少。成分已知样品，选择的代表性样品数量比较少。可使用化学计量学方法对样品进行选择、设计。可使用化学计量学方法对样品进行选择、设计。不同含量样品数的选择不同含量样品数量选择不能以现实的样品变化进行选择，应该在所有含量范围内均匀选择。8.799.39.69.910.2 10.5 10.8 11.1 1 1.4 11.7Percentage of C onstituent#of Samples with Level of Constituenthello!8.799.39.69.910.2 10.5 10.8 11.1 11.4 11.7Percentage of Constituent#o

33、f Samples with Level of Constituent完美的分布完美的分布(很少出现的情况很少出现的情况)比较合理的分布比较合理的分布样品分布样品分布食品、烟草、化工、炼油等产食品、烟草、化工、炼油等产品的样品分布情况品的样品分布情况10Mean25百分比分布百分比分布#of Samples with Level of Constituent制药分布制药分布10正常样品正常样品25百分比分布百分比分布#of Samples with Level of Constituent模型优化模型优化模型优化模型优化 谱区范围的选择谱区范围的选择 选择信息量相关性最大的谱区。选择信息量相关

34、性最大的谱区。光谱预处理方法的选择光谱预处理方法的选择 选择减小光谱漂移、增加信息量、稳定可靠的光谱预处理方法。选择减小光谱漂移、增加信息量、稳定可靠的光谱预处理方法。最佳最佳Rank（PLS算法）算法）相同的谱区范围，相同的谱区范围，RMSECV无显著性差别，无显著性差别，Rank小的模型好。小的模型好。最佳谱区的选择最佳谱区的选择最佳谱区最佳谱区最佳谱区的相关图最佳谱区的相关图交叉检验的相关图交叉检验的相关图绝对误差分布图绝对误差分布图0.91.11.31.51.71.90.91.11.31.51.71.9reference value/%NIR value/%矢量归一化预处理的矢量归一化

35、预处理的PLS模型模型R2=96.63RMSECV=0.05%Rank=2光谱预处理方法选择光谱预处理方法选择0.91.11.31.51.71.90.91.11.31.51.71.9reference value/%NIR value/%一阶导数预处理的一阶导数预处理的PLS模型模型R2=99.68RMSECV=0.02%Rank=2模型优化条件的选择：谱区宽度、模型优化条件的选择：谱区宽度、Rank大小、预处理方法大小、预处理方法最佳最佳Rank的选择的选择RMSECV vs Rank图表图表模型内部交叉检验模型内部交叉检验结果不好！结果不好！模型内部交叉检验模型内部交叉检验RMSECV vs Rank图表图表结果一般！结果一般！模型内部交叉检验模型内部交叉检验RMSECV vs Rank图表图表好的结果！好的结果！