1、掌握图像处理的基本原理及其图像识别技术掌握图像处理的基本原理及其图像识别技术4 4、交通图像处理与识别技术、交通图像处理与识别技术引言水果的识别指纹识别技术引言引言 模式识别就是分析图像内容,找出图像中有哪些东西。步骤：图像分割图像分割（物体分离）：检测出各个物体，并把它们的图像和其余景物分离 特征抽取特征抽取：对物体进行度量。通过计算对物体的一些重要特性进行量化表示 分分 类类：确定每个物体应该归属的类别3模式识别的应用模式识别的应用 字符识别字符识别 如清华的尚书OCR识别软件,邮局信函自动分拣机 生物特征识别生物特征识别 指纹识别,人像识别等 遥感应用遥感应用 卫星云图,地面导弹、飞机场
2、等设施的卫星图像识别处理 医学诊断医学诊断 CT等图像的识别处理4Computed tomographyComputed tomography，简称，简称CTCT中文名:电子计算机体层摄影是近十年来发展迅速的电子计算机和X线相结合的一项新颖的诊断新技术。主要特点 具有高密度分辨率，比普通X线照片高1020倍。能准确测出某一平面各种不同组织之间的放射衰减特性的微小差异，以图像或数字将其显示，极其精细地分辨出各种软组织的不同密度，从而形成对比。如头颅X线平片不能区分脑组织及脑脊液，而CT不仅能显示出脑室系统、还能分辨出脑实质的灰质与白质；如再引入造影剂以增强对比度，其分辨率更高，故而加宽了疾病的诊
3、断范畴，还提高了诊断正确率。但CT也有其限制，如对血管病变，消化道腔内病变以及某些病变的定性等5CTCTA胶质细胞瘤.右额、顶叶有一较大不规则肿块，强化不均，周围有低密度水肿区 B星形细胞瘤，左额顶叶有一不均匀强化肿块，不规则，内有未有强化的低密度区，周围有低密度水肿区，中线结构右移 C胸腺增生，胸腺区有一分叶状密度均一病灶，仍呈胸腺状，主动脉受压右移 D肝脓肿，肝右叶有一低密度灶类圆形，中心部密度更低为脓腔，周边为脓肿壁呈双边征 E腰椎骨折，椎弓多处中断，椎管变形，其内可见碎骨片 F肝转移癌，肝左、右叶多个大小不一、不规则低密度灶，周边有细的强化环围绕 G肺脓肿，右上叶有一空洞性病灶，内壁光
4、滑，并见气液平面，胸部X线片曾疑肺癌H前裂腺癌，前列腺分叶状增大，并向膀胱内突入6识别与解释识别与解释:图像分析系统组的成图像分析系统组的成图像分析技术分类的三种基本范畴7知识库知识库分割分割表示与描述表示与描述识别识别与与解释解释预处理预处理图像获取图像获取低级处理高级处理中级处理结果问题识别与解释识别与解释:图像分析系统图像分析系统 图像分析技术分类的三种基本范畴图像分析技术分类的三种基本范畴 图像处理（低级处理）：图像获取、预处理，不需要智能图像处理（低级处理）：图像获取、预处理，不需要智能 图像分析（中级处理）：图像分割、表示与描述，需要智图像分析（中级处理）：图像分割、表示与描述，需
5、要智能能 图像理解（高级处理）：图像识别、解释，缺少理论，为图像理解（高级处理）：图像识别、解释，缺少理论，为降低难度，设计得更专用。降低难度，设计得更专用。8水果的识别水果的识别四部分：数码图片的获取，图像的彩色边缘检测、图像的分割，图象的颜色特征和形状特征提取 图像的分类识别。选择研究的目标物 香蕉，西红柿，梨和青椒四种果蔬。功能：使机器具有一定的视觉功能，能够认识“记忆”中的水果。例如：当接受到命令是香蕉时，就可以自动地将香蕉拿出来。9水果原始图像 颜色空间的转换颜色空间的转换 为了正确使用颜色，需要建立颜色空间。颜色空间是对彩色的一种描述方法，它有很多种类型，如：RGB，CMY，YIQ
6、，YUV，HSL等。RGB是使用较普遍的颜色空间，由于显示器采用此模型，因此，算法的执行速度较快。HSL 是由色调（H）,饱和度（S）和亮度（L）三个颜色分量组成的一类颜色空间，是面向用户的一种复合主观感觉的颜色空间，通常用于选择颜色，更接近人对颜色的感知。10 图（a）,图（b），图（c）分别表示彩色水果图像的R,G,B分量，将三图组合起来都可得到原始图像。11 图（a）图（b）图（c）图（d）,图（e）,图（f）分别为其H,S,V分量。将三图组合起来都可得到原始图像。图中H和S分量图看起来与V分量图很不相同，这说明H,S,V三分量间的差别比R,G,B间的大。12 图（d）图（e）图（f）彩
7、色边缘和彩色边缘检测彩色边缘和彩色边缘检测 边缘是图像的一个基本特征，携带了图像中的大量信息，边缘检测不仅能得到关于边界的有用的结构信息，而且还能极大地减少要处理的数据，很多图像处理和识别算法都以边缘检测为重要基础。13 边缘按其颜色特征可分为灰度边缘和彩色边缘。灰度图像可由图像亮度亮度函数来描述，灰度边缘可以定义为图像亮度函数的具有边缘特征的不连续点的集合，它描述了灰度函数的局部突变。彩色图像可由图像色彩色彩函数来描述，彩色边缘可以定义为图像色彩函数的具有边缘特征的不连续点的集合，它描述了色彩函数的局部突变。14 长期以来人们主要致力于灰度边缘的研究并取得了很好的效果。但彩色边缘能比灰度图像
8、提供更多的信息。有研究表明，彩色图像中，大约有90的边缘与灰度图像中的边缘相同，也就是说，有 10的边缘在灰度图像中是检测不到的。因此，彩色边缘的检测受到越来越多的重视。15彩色边缘检测的方法彩色边缘检测的方法 输出融合法 分别对红，绿，蓝三个颜色通道（或其他颜色空间分量）执行边缘检测，最后的输出是这三幅边缘图像的合成 16阈值RGB边缘_R边缘_G边缘_B边缘图像彩色边缘检测的方法彩色边缘检测的方法 多维梯度法 将三个梯度结合成一个，只需检测一次边缘，从而缩短了整个彩色边缘检测的过程 17R多维梯度计算GB边缘图像阈值彩色边缘检测的方法彩色边缘检测的方法 以上两种彩色边缘检测算法中常用的梯度
9、算子有 罗伯特交叉（Robert cross）算子，蒲瑞维特（Prewitt）和索贝尔（Sobel）算子。其中，索贝尔算子是效果较好的一种，并且可以直接应用于彩色图像的各个颜色通道。18边缘提取边缘提取 使用索贝尔算子得到的边缘图像 19取反后的边缘图像取反后的边缘图像 4 4数学形态学处理数学形态学处理上图的二值边缘图像描述了色彩函数的局部突变，从图中看出，边缘不很连续和光滑，并且在高细节区存在琐细边缘，难以形成一个大区域，这两点恰是限制边缘检测在图像分割中应用的两大难点。数学形态学是一种应用于图像处理和模式识别领域的新的方法。基本思想：利用“探针”收集图像的信息。当探针在图像中不断移动时，
10、便可考察图像各个部分间的相互关系，从而了解图像各部分的结构特征。作为探针的结构元素，可直接携带知识（形态，大小，以及灰度和色度信息）来探测所研究图像的结构特点 20 21%轮廓变模糊形态学处理步骤形态学处理步骤 第一步：构造结构元素（%即形状等）第二步：利用构造的结构元素对图像进行膨胀操作 第三步：区域填充 第四步：连通区域标记 第五步：选择对象与原始图像相比，我们看到在边缘图像中存在一些细小的间隙，根据数学形态学原理，如果构造结构元素对图像进行膨胀操作，这些小间隙就会消失。因此，我们在水平和竖直两个方向分别构造结构元素：（%水平方向）se0=(1 1 1 1 1 1 1 1 1 1)（%垂直
11、方向）se90=(1 1 1 1 1 1 1 1 1 1 1)22膨胀处理膨胀处理 膨胀处理后膨胀处理后23区域填充区域填充膨胀运算后，图像的边缘得到了很好的描述然而，在目标物的内部，仍然存在一些空洞，可通过区域填充消除空洞 24区域填充后区域填充后标记连通区域标记连通区域为了能够更加清楚的观察分割结果，我们对上图中的连通区域进行标记，并且用不同的颜色显示 从图中可以看出，共得到四部分分割区域，并分别用红色，黄色，深蓝色和蓝绿色表示出来 25对象提取对象提取 在二值图像中，对象是指值为1且连接在一起的像素的集合。根据上图中不同目标物的不同坐标，提取出特定的连通区域，选择特定的对象 26 分别显
12、示出只含有一个对象的二值图像分别显示出只含有一个对象的二值图像 4.2 4.2 特征提取特征提取 4.2.1形状特征 4.2.2 颜色特征274.2.14.2.1形状特征形状特征图像经过边缘提取和图像分割等操作，就会得到边缘和区域，也就是获得了目标的形状。任何物体的形状特征均可由其几何属性（如长度、面积、距离、凹凸等），统计属性（如投影）和拓扑属性（如连通、欧拉数）来进行描述。可以用来表示形状的特征包括几何特征和矩特征。可供选择的几何特征有：周长、面积、偏心率、欧拉数、角点、横轴长度和纵轴长度。矩特征有质心、方向、主轴关于方向的矩、不变矩和特征矩等。本例识别目标物较少，因此不必选择过多特征，我
13、们只选择了面积，横轴长两个特征，并用图像分析得到的特征值建立了一个小型的特征库 284.2.24.2.2颜色特征颜色特征由于颜色特征具有旋转不变性和尺度不变性，因而，在图象识别技术，颜色是使用最广泛的特征之一。而颜色特征的提取是利用颜色特征进行图象识别的关键之一。目前，大部分系统都采用颜色比例分布作为颜色基本特征，这就是图象领域中的直方图法。29 (a)（b）(c)（d）图图(a)(d)分别为香蕉，青椒，梨和西红柿的直方图分别为香蕉，青椒，梨和西红柿的直方图横轴为色调横轴为色调Hue，纵轴为，纵轴为H（p）。）。相似度量相似度量 颜色特征提取后，如何用数值来有效的表示图像在颜色上的相似程度，这
14、便是相似度量问题 相似度量也是直接影响识别效果的重要环节，在模式识别技术中，特征的相似度量均采用距离法，即特征的相似程度用特征向量的空间距离来表示 306 6 识别结果识别结果 经过彩色边缘检测，图像分割和特征提取，对分割后的图像进行模式匹配，并制作出用户界面，最终实现图像的分类和识别。当按下界面上的控制按钮时，计算机会自动识别出相应的水果。例如：按下按钮“梨”时，界面上就会显示出梨。按下按钮“关闭”，界面关闭。31最终效果图最终效果图 32（a）原始图像 (b)梨指纹识别技术指纹识别技术 生物识别技术正越来越多地影响着人们生物识别技术正越来越多地影响着人们的日常生活。的日常生活。通过取代个人
15、识别码和口令，生物识别通过取代个人识别码和口令，生物识别技术不仅可技术不仅可阻止非授权访问阻止非授权访问，还能防止盗用，还能防止盗用、蜂窝电话、智能卡、桌面、工、蜂窝电话、智能卡、桌面、工作站以及计算机网络。作站以及计算机网络。生物识别技术也可在电话、网络进行金生物识别技术也可在电话、网络进行金融交易时进行身份认证，或在办公场所取代融交易时进行身份认证，或在办公场所取代现有的钥匙、证件、图章等。现有的钥匙、证件、图章等。指纹锁生物特征普遍性唯一性持久性可采集性识别性能可接受性人脸高低中高低高指纹中高高中高中手型中中中高中中掌纹中中中中中中虹膜高高高中高低视网膜高高中低高低签名低低低高低高语音中
16、低低中低高生物识别技术比较生物识别技术比较 35指纹门禁考勤机指纹鼠标 全球首款带有指纹识别的手机全球首款带有指纹识别的手机 36指纹是指手指末端正面皮肤上凸凹不平产生的纹路。这些纹路的存在增加了皮肤表面的摩擦力，使得我们能够用手来抓起重物。尽管指纹只是人体皮肤的一小部分，但是，它蕴涵大量的信息。这些皮肤的纹路在图案、断点和交叉点上是各不相同的，在信息处理中将它们称作“特征”，医学上已经证明这些特征对于每个手指都是不同的，而且这些特征具有唯一性和永久性，因此我们就可以把一个人同他的指纹对应起来，通过比较他的指纹特征和预先保存的指纹特征，就可以验证他的真实身份。37指纹识别指纹识别公元前年，古代
17、的亚述人和中国人就意识到了指纹的特点，并使用指纹作为个人身份的象征。世纪中叶对指纹的研究产生了两个重要的结论：没有任何两个手指指纹的纹线形态一致；指纹纹线的形态终生不变。这些研究使得一些政府开始使用指纹进行罪犯鉴别。在现代的科学研究领域，指纹的识别属于“模式识别”。该系统的核心是（光学字符识别）技术。通过摄像头提取指纹，然后输入计算机，再通过一系列复杂的指纹识别算法，现代技术就能在极短的时间内完成任何人的身份识别认证。可以说，指纹识别实现了身份鉴定领域的世纪革命。38指纹识别指纹识别 指纹其实是比较复杂的。与人工处理不同，许多生物识别技术公司并不直接存储指纹的图像。多年来在各个公司及其研究机构
18、产生了许多数字化的算法（美国有关法律认为，指纹图像属于个人隐私，因此不能直接处理指纹图像）。但指纹识别算法最终都归结为在指纹图像上找到并比对指纹的特征。39指纹的特征指纹的特征 我们定义了指纹的两类特征来进行指纹的验证：总体特征和局部特征。在考虑局部特征的情况下，英国学者E.R.Herry认为，只要比对13个特征点重合，就可以确认为是同一个指纹。总体特征 总体特征是指那些用肉眼直接就可以观察到的特征，包括：40指纹的特征指纹的特征纹形:环型（loop）弓型（arch）螺旋型（whorl）41其他的指纹图案都基于这三种基本图案。仅仅依靠纹形来分辨指纹是远远不够的，这只是一个粗略的分类，通过更详细
19、的分类使得在大数据库中搜寻指纹更为方便快捷。模式区（模式区（Pattern AreaPattern Area）模式区是指指纹上包括了总体特征的区域，即从模式区就能够分辨出指纹是属于那一种类型的。有的指纹识别算法只使用模式区的数据。SecureTouch的指纹识别算法使用了所取得的完整指纹而不仅仅是模式区进行分析和识别。42核心点（核心点（Core PointCore Point）核心点位于指纹纹路的渐进中心，它在读取指纹和比对指纹时作为参考点。许多算法是基于核心点的，既只能处理和识别具有核心点的指纹。核心点对于SecureTouch的指纹识别算法很重要，但没有核心点的指纹它仍然能够处理。43三
20、角点（三角点（DeltaDelta）三角点位于从核心点开始的第一个分叉点或者断点、或者两条纹路会聚处、孤立点、折转处，或者指向这些奇异点。三角点提供了指纹纹路的计数跟踪的开始之处。44纹数（纹数（Ridge CountRidge Count）指模式区内指纹纹路的数量。在计算指纹的纹数时，一般先在连接核心点和三角点，这条连线与指纹纹路相交的数量即可认为是指纹的纹数。45局部特征局部特征 局部特征是指指纹上的节点的特征，这些具有某种特征的节点称为特征点。两枚指纹经常会具有相同的总体特征，但它们的局部特征-特征点，却不可能完全相同。指纹纹路并不是连续的、平滑笔直的，而是经常出现中断、分叉或打折。这些
21、断点、分叉点和转折点就称为“特征点”。就是这些特征点提供了指纹唯一性的确认信息。指纹上的节点有四种不同特性：46特征点的分类特征点的分类有以下几种类型，最典型的是终结点和分叉点。终结点（Ending）-一条纹路在此终结。分叉点（Bifurcation）-一条纹路在此分开成为两条或更多的纹路。分歧点（Ridge Divergence）-两条平行的纹路在此分开。47 孤立点（Dot or Island）-一条特别短的纹路，以至于成为一点。环点（Enclosure）-一条纹路分开成为两条之后，立即有合并成为一条，这样形成的一个小环称为环点。短纹（Short Ridge）-一端较短但不至于成为一点的纹
22、路。48 方向（Orientation）节点可以朝着一定的方向。曲率（Curvature）描述纹路方向改变的速度。位置（Position）节点的位置通过（x,y）坐标来描述，可以是绝对的，也可以是相对于三角点或特征点的。49指纹识别技术指纹识别技术 指纹识别技术现在还不是十分的稳定，很多因素会影响到识别的准确性，例如：手脏，出汗，手指割伤，甚至是有颜色的护肤品等等，50自动指纹识别系统自动指纹识别系统（Automatic utomatic Fingerprint ingerprint Identification dentification Systemystem）51 离线部分包括:用指纹采集仪采集指纹、提取出细节点提取出细节点 将细节点保存到数据库细节点保存到数据库中形成指纹模板库指纹模板库等 在线部分包括 用指纹采集仪采集指纹、提取出细节点 将这些细节点与保存在数据库中模板细节点进行匹配，判断输入细节点与模板细节点是否来自同一个手指的指纹。一般来说，离线处理允许人工因素介入，可根据需要手动调整系统参数，而在线处理应完全由系统自动完成所有操作。52
