1、12022-7-27中国药科大学中国药科大学内内 容容总结总结中医舌像分析系统中医舌像分析系统基于内容的中草药植物图像检索基于内容的中草药植物图像检索中药鉴定、中药质量评价中药鉴定、中药质量评价药品（包装）质量在线检测药品（包装）质量在线检测22022-7-27中国药科大学中国药科大学一、药品质量一、药品质量/包装质量在线检测包装质量在线检测v 药品质量及药品包装质量检测是制药生产的重要环节药品质量及药品包装质量检测是制药生产的重要环节 药品（如胶囊）可能出现破损、药品填充不满等现象药品（如胶囊）可能出现破损、药品填充不满等现象 包装过程中可能出现漏装、缺损、污渍及蚊虫粘附等现象包装过程中可能
2、出现漏装、缺损、污渍及蚊虫粘附等现象v人工检测费时费工，且难以保证质量人工检测费时费工，且难以保证质量 基于图像处理技术的在线检测药品质量方法基于图像处理技术的在线检测药品包装质量方法32022-7-27中国药科大学中国药科大学药品质量药品质量/包装质量在线检测包装质量在线检测v药品质量药品质量检测检测 胶囊质量检测胶囊质量检测 输液中微小异物检测输液中微小异物检测v药品包装质量药品包装质量检测检测 泡罩药片包装缺陷检测泡罩药片包装缺陷检测 输液包装缺陷检测输液包装缺陷检测 药液装量检测药液装量检测42022-7-27中国药科大学中国药科大学胶囊检测胶囊检测v胶囊的缺陷有超长超短、气泡、油污、
3、皱胶囊的缺陷有超长超短、气泡、油污、皱纹、脆裂、异色、毛刺等。纹、脆裂、异色、毛刺等。v检测人工完成使得效率低、漏检率高、接检测人工完成使得效率低、漏检率高、接触式检测引起二次污染。触式检测引起二次污染。v基于图像处理的胶囊缺陷视觉检测系统：基于图像处理的胶囊缺陷视觉检测系统：图像采集系统、实时显示系统、图像采集系统、实时显示系统、数据处理数据处理系统系统、控制系统。、控制系统。52022-7-27中国药科大学中国药科大学胶囊检测胶囊检测v胶囊缺陷分为三类：胶囊缺陷分为三类：胶囊残损胶囊残损 如残缺、形变、开裂等如残缺、形变、开裂等 胶囊表面瑕疵胶囊表面瑕疵 如油污、异色、划痕等如油污、异色、
4、划痕等 胶囊尺寸不良胶囊尺寸不良 如超长、超短等如超长、超短等缺陷的灰度值与其周围临缺陷的灰度值与其周围临近区域的灰度值差别明显近区域的灰度值差别明显62022-7-27中国药科大学中国药科大学72022-7-27中国药科大学中国药科大学胶囊检测方案胶囊检测方案缺陷分类缺陷分类边缘检测，图像分割边缘检测，图像分割胶囊区域提取（图像分割）胶囊区域提取（图像分割）提高图像质量提高图像质量缺陷判断缺陷判断感兴趣区域提取感兴趣区域提取检测对象提取检测对象提取图像去噪图像去噪缺陷处图像增强，分割，匹配等缺陷处图像增强，分割，匹配等82022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异
5、物检测输液产品中可能输液产品中可能包含玻璃碎屑、包含玻璃碎屑、铝屑、橡皮屑、铝屑、橡皮屑、毛发、纤维等可毛发、纤维等可见物见物;玻璃瓶浮雕刻度玻璃瓶浮雕刻度、反光、气泡、反光、气泡、厚度不均等厚度不均等生产工艺生产工艺封装技术封装技术暗室进行人工灯暗室进行人工灯检，配备检测灯检，配备检测灯箱，手持药品目箱，手持药品目测异物测异物导致导致问题问题解决解决方案方案92022-7-27中国药科大学中国药科大学102022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异物检测v检测系统将药品输送到传送带后进入检测检测系统将药品输送到传送带后进入检测平台平台,输液瓶高速旋转后急停输液瓶高
6、速旋转后急停,工业相机对被工业相机对被检测物体检测物体拍摄序列图像拍摄序列图像,利用序列图像利用序列图像在时在时间和空间上的连续性间和空间上的连续性,检测出检测出异物目标异物目标即识即识别溶液杂质（别溶液杂质（图像噪声是随机的，没有连图像噪声是随机的，没有连续性续性）,通过通过计算机分析计算机分析,剔除装置剔除装置分拣次分拣次品品。112022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异物检测v药液可见异物的旋转检测原理药液可见异物的旋转检测原理122022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异物检测v视觉检测流程视觉检测流程自动定位抓取系统、高速
7、旋转急停系统、图像采集与异物识别系统、机械分拣剔除系统自动定位抓取系统、高速旋转急停系统、图像采集与异物识别系统、机械分拣剔除系统132022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异物检测v 250ml大输液可见异物视觉检测机器人三维结构示意图大输液可见异物视觉检测机器人三维结构示意图142022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异物检测152022-7-27中国药科大学中国药科大学输液中微小异物检测输液中微小异物检测分拣分拣医药生产线医药生产线图像获取装置图像获取装置图像预处理图像预处理异物跟踪监测异物跟踪监测运动目标提取运动目标提取判别是
8、否为判别是否为真正异物真正异物检测流程检测流程162022-7-27中国药科大学中国药科大学理化鉴定理化鉴定显微鉴定显微鉴定二、中药鉴定、中药质量评价二、中药鉴定、中药质量评价基原鉴定基原鉴定性状鉴定性状鉴定对中药材原对中药材原植物的观察植物的观察和描述以及和描述以及科属种名的科属种名的确定确定中药鉴定中药鉴定Textu 为中药品种的确定和质量标准的制订提供科学依据，保证中药为中药品种的确定和质量标准的制订提供科学依据，保证中药品种的真实性、用药的安全有效及发掘利用新药等方面均有重要品种的真实性、用药的安全有效及发掘利用新药等方面均有重要意义。意义。同名异物同名异物同物异名同物异名对中药形态、
9、对中药形态、大小、色泽大小、色泽表面、质地、表面、质地、断面、气味断面、气味等鉴别等鉴别对中药细胞显对中药细胞显微图像进行处微图像进行处理和识别，包理和识别，包括形状和统计括形状和统计参数参数对中药成分对中药成分的化学图谱的化学图谱分析分析172022-7-27中国药科大学中国药科大学基原鉴定基原鉴定u 对中药的来源、所属科属名称进行鉴定对中药的来源、所属科属名称进行鉴定u 基于叶片特征的植物识别基于叶片特征的植物识别u叶片大小、形状、纹理、叶片面积、叶形等参数叶片大小、形状、纹理、叶片面积、叶形等参数u 在三维空间中求取植物叶柄长度、茎秆直径及叶倾在三维空间中求取植物叶柄长度、茎秆直径及叶倾
10、角等角等u 182022-7-27中国药科大学中国药科大学性状鉴定性状鉴定u 鉴定中药的形态、大小、色泽、表面、质地、断面等。鉴定中药的形态、大小、色泽、表面、质地、断面等。采用采用CCD摄像机在低倍显微镜下直接对标本采样，然摄像机在低倍显微镜下直接对标本采样，然后将彩色图像输入图像分析系统，通过后将彩色图像输入图像分析系统，通过图像处理方法图像处理方法获得参数如最大直径、最大横切面、周长、体积、不获得参数如最大直径、最大横切面、周长、体积、不规则参数等进行分析测定规则参数等进行分析测定192022-7-27中国药科大学中国药科大学显微鉴定显微鉴定u 拍摄中药显微图像（如显微细胞图像），通过对
11、拍摄中药显微图像（如显微细胞图像），通过对显微显微 图像进行图像处理和识别图像进行图像处理和识别来获知药材的组织构造、来获知药材的组织构造、细胞结构特征以及细胞内含物的特点，作为鉴定药细胞结构特征以及细胞内含物的特点，作为鉴定药 材的真伪和纯度甚至品质的重要手段。材的真伪和纯度甚至品质的重要手段。图像预处理图像预处理图像分割图像分割图像特征提取图像特征提取特征描述特征描述图像识别图像识别模式识别方法模式识别方法分类器分类器202022-7-27中国药科大学中国药科大学212022-7-27中国药科大学中国药科大学中药质量评价中药质量评价v中药的中药的安全性安全性和和有效性有效性是质量评价的标准
12、是质量评价的标准v化学模式识别化学模式识别是用现代分离分析检测方法是用现代分离分析检测方法对中药材或药品样本中的对中药材或药品样本中的有机或无机的药有机或无机的药用化学成分进行检测用化学成分进行检测,用化学计量学方法关用化学计量学方法关联检测数据阵联检测数据阵,确定可用于样品质量控制的确定可用于样品质量控制的模式。模式。v综合了中药材或中药制剂内各种化学成分综合了中药材或中药制剂内各种化学成分的整体信息的整体信息,能够更准确、更全面、更科学能够更准确、更全面、更科学的对中药材及其制剂进行质量评价。的对中药材及其制剂进行质量评价。222022-7-27中国药科大学中国药科大学中药质量评价中药质量
13、评价v化学模式识别方法化学模式识别方法 主成分分析、聚类分析、人工神经网络等主成分分析、聚类分析、人工神经网络等v所采用的原始数据来源于所采用的原始数据来源于 波谱分析、光谱分析和色谱分析所测得的各种波谱分析、光谱分析和色谱分析所测得的各种数据数据232022-7-27中国药科大学中国药科大学基于内容的中草药植物图像检索基于内容的中草药植物图像检索v解决问题解决问题 提供中药来源鉴定和性状鉴定的方法，实现提供中药来源鉴定和性状鉴定的方法，实现对对植物鲜药的自动分类和检索植物鲜药的自动分类和检索v解决手段解决手段 肉眼观察肉眼观察 图像处理和识别图像处理和识别基于内容的中草药植物图像检基于内容的
14、中草药植物图像检索索242022-7-27中国药科大学中国药科大学基于内容的中草药植物图像检索基于内容的中草药植物图像检索v基于内容的图像检索基于内容的图像检索 提取图像所包含的颜色、纹理、形状等特征，提取图像所包含的颜色、纹理、形状等特征，利用特征结合模式分类方法进行图像相似性查利用特征结合模式分类方法进行图像相似性查询，完成检索。询，完成检索。特征提取特征提取相似性度量相似性度量图像分类检索图像分类检索分类器分类器252022-7-27中国药科大学中国药科大学基于内容的中草药植物图像检索基于内容的中草药植物图像检索v基于内容的中草药图像检索基于内容的中草药图像检索 基于内容的植物基于内容的
15、植物叶片叶片图像检索图像检索 叶形、叶缘、叶脉、叶齿叶形、叶缘、叶脉、叶齿 基于内容的植物基于内容的植物花卉花卉图像检索图像检索 感兴趣区域提取感兴趣区域提取特征提取特征提取相似性度量相似性度量检索检索 相似性度量方法相似性度量方法 特征向量距离度量特征向量距离度量 人类视觉相似性模型人类视觉相似性模型262022-7-27中国药科大学中国药科大学272022-7-27中国药科大学中国药科大学282022-7-27中国药科大学中国药科大学292022-7-27中国药科大学中国药科大学302022-7-27中国药科大学中国药科大学312022-7-27中国药科大学中国药科大学322022-7-2
16、7中国药科大学中国药科大学332022-7-27中国药科大学中国药科大学中医舌像分析中医舌像分析v“望望”、“闻闻”、“问问”、“切切”v“望诊望诊”舌像舌像v 舌像是指由舌像是指由舌质舌质的颜色、形态与的颜色、形态与舌苔舌苔的颜色、厚薄、润燥的颜色、厚薄、润燥等所构成的形象。等所构成的形象。舌质特征舌质特征颜色、光泽、性状等颜色、光泽、性状等 舌苔特征舌苔特征颜色、厚薄、腐腻、纹理等颜色、厚薄、腐腻、纹理等v 舌质舌质与中医证候与中医证候 正常舌质为色泽正常舌质为色泽淡红淡红 淡白淡白舌主虚证或虚寒证舌主虚证或虚寒证 红绛红绛舌主热证舌主热证,颜色越深颜色越深,热邪越重热邪越重 青紫青紫舌或
17、为热极舌或为热极,或主寒症或主寒症v 舌苔舌苔与中医证候与中医证候 白苔白苔最为常见最为常见,一般属肺一般属肺,主表证、寒证主表证、寒证 黄苔黄苔主热证主热证,颜色越深颜色越深,热邪越重热邪越重 灰黑灰黑苔多主热证苔多主热证,也主虚寒或寒湿症也主虚寒或寒湿症在疾病发生和演变的过程在疾病发生和演变的过程中在体质、自然环境的因中在体质、自然环境的因素下机体的整体反应素下机体的整体反应342022-7-27中国药科大学中国药科大学中医舌像分析中医舌像分析v舌诊局限性舌诊局限性 依赖于医生的个人临床经验依赖于医生的个人临床经验 舌诊没有固定环境便于观察，受光线、舌诊没有固定环境便于观察，受光线、角度等
18、影响角度等影响 传统舌诊中的大部分的诊断经验不能及传统舌诊中的大部分的诊断经验不能及时并科学量化的保留下来，不利于技术时并科学量化的保留下来，不利于技术的发展的发展352022-7-27中国药科大学中国药科大学中医舌像分析中医舌像分析362022-7-27中国药科大学中国药科大学中医舌像分析中医舌像分析v利用图像处理和识别手段进行舌像分析利用图像处理和识别手段进行舌像分析 采集舌图像后进行处理，将其数据库中有关疾采集舌图像后进行处理，将其数据库中有关疾病的数据进行对比病的数据进行对比,实现帮助医生诊断病态和病实现帮助医生诊断病态和病因的目的。使计算机自动采样剖析数据的辅助因的目的。使计算机自动
19、采样剖析数据的辅助诊断系统逐步替代人工的中医传统诊断方式。诊断系统逐步替代人工的中医传统诊断方式。v已有成果已有成果 香港理工大学张鹏香港理工大学张鹏 第二军医大第二军医大 372022-7-27中国药科大学中国药科大学中医舌像分析步骤中医舌像分析步骤对舌质颜色与舌苔颜色进行分类以判别疾病对舌质颜色与舌苔颜色进行分类以判别疾病提取舌像的特征，如纹理、形态及颜色特征等提取舌像的特征，如纹理、形态及颜色特征等把舌苔从舌质上分离出来，分离把舌苔从舌质上分离出来，分离的效果影响对舌苔颜色及分布的的效果影响对舌苔颜色及分布的判定判定将舌体区域从图像中分割出来将舌体区域从图像中分割出来避免脸部、唇部、牙齿
20、误分割避免脸部、唇部、牙齿误分割分类识别结果分类识别结果特征提取特征提取舌苔舌质分离舌苔舌质分离舌体区域分割舌体区域分割382022-7-27中国药科大学中国药科大学舌体区域分割舌体区域分割采集出的彩色舌图像仍然会包括非舌体部分，如面部、牙齿、采集出的彩色舌图像仍然会包括非舌体部分，如面部、牙齿、唇等复杂的背景区域。唇等复杂的背景区域。基于阈值的分割法基于阈值的分割法基于区域的分割法基于区域的分割法基于轮廓活动模型基于轮廓活动模型392022-7-27中国药科大学中国药科大学402022-7-27中国药科大学中国药科大学412022-7-27中国药科大学中国药科大学422022-7-27中国药
21、科大学中国药科大学舌质舌苔分离结果舌质舌苔分离结果432022-7-27中国药科大学中国药科大学舌质、舌苔特征提取舌质、舌苔特征提取1舌质舌苔舌质舌苔颜色特征颜色特征2舌质舌苔舌质舌苔纹理特征纹理特征442022-7-27中国药科大学中国药科大学舌质颜色特征提取舌质颜色特征提取舌质颜色舌质颜色红绛红绛红红淡白淡白淡红淡红淡紫淡紫青紫青紫452022-7-27中国药科大学中国药科大学舌苔颜色特征提取舌苔颜色特征提取舌苔颜色舌苔颜色黄黄淡黄淡黄薄白薄白白白灰黑灰黑462022-7-27中国药科大学中国药科大学舌质、舌苔纹理特征提取舌质、舌苔纹理特征提取分形维数纹理特征分形维数纹理特征基于小波变换的
22、纹理特征基于小波变换的纹理特征灰度共生矩阵纹理特征灰度共生矩阵纹理特征局部二值模式纹理特征局部二值模式纹理特征分类器分类器472022-7-27中国药科大学中国药科大学总总 结结v 图像处理和识别技术已经在很多领域得到了广泛地应用，图像处理和识别技术已经在很多领域得到了广泛地应用，并取得了巨大的成功并取得了巨大的成功 军事、生物医学、遥感、刑侦及工业机器视觉等军事、生物医学、遥感、刑侦及工业机器视觉等 在中医药领域，图像处理和识别技术的应用在中医药领域，图像处理和识别技术的应用 药品（包装）质量在线检测药品（包装）质量在线检测 中药鉴定、中药质量评价中药鉴定、中药质量评价 基于内容的中草药植物
23、图像检索基于内容的中草药植物图像检索 中医舌像分析中医舌像分析v存在的问题存在的问题 没有一种图像处理方法具有普适性没有一种图像处理方法具有普适性 研究更多的实时算法，提高运行效率研究更多的实时算法，提高运行效率练练 习习492022-7-27中国药科大学中国药科大学v 1.计算图像熵，假设图像如下列矩阵所示。计算图像熵，假设图像如下列矩阵所示。nipiipE02log其中，其中，pi是某个灰度的像是某个灰度的像素出现的概率素出现的概率 v2.计算灰度共生矩阵计算灰度共生矩阵 计算图计算图(a)在在x=1,y=0度的灰度共生矩阵度的灰度共生矩阵 计算图计算图(b)在在x=-1,y=-1度度(135度度)的灰度共生矩的灰度共生矩阵阵 计算图计算图(c)在在x=2,y=0度的灰度共生矩阵度的灰度共生矩阵502022-7-27中国药科大学中国药科大学 (a)(b)(c)512022-7-27中国药科大学中国药科大学522022-7-27中国药科大学中国药科大学
