1、巫义锐巫义锐河海大学计算机与信息学院河海大学计算机与信息学院 个人网址：个人网址：wuyirui.github.io 电子邮箱：电子邮箱： 图像模式识别 模式识别定义模式识别定义 模式识别应用举例模式识别应用举例 模式识别发展历史模式识别发展历史 图像特征介绍图像特征介绍模式识别定义n模式识别模式识别(Pattern Recognition)(Pattern Recognition)：确定一个样本的类别属确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。个类型。n样本（样本（Sample)Sample)：一个具体
2、的研究（客观）对象。如患者，一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。某人写的一个汉字，一幅图片等。n模式模式(Pattern)(Pattern)：对客体（研究对象）特征的描述（定量的对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。合（或综合）。模式识别定义x),(21nxxxxn特征特征(Features)(Features)：能描述模式特性的量（测量值）。在统能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一个矢量计模式识别方法中，通常用一个矢量 表示
3、，称之为特征表示，称之为特征矢量，记为矢量，记为 n模式类模式类(Class)(Class)：具有某些共同特性的模式的集合。具有某些共同特性的模式的集合。模式识别系统模式识别系统的主要环节：模式识别系统的主要环节：特征提取特征提取：符号表示，如长度、波形、。符号表示，如长度、波形、。特征选择特征选择：选择有代表性的特征，能够正确分类选择有代表性的特征，能够正确分类学习和训练学习和训练：利用已知样本建立分类和识别规则利用已知样本建立分类和识别规则分类识别分类识别：对所获得样本按建立的分类规则进行分对所获得样本按建立的分类规则进行分类识别类识别训练集：训练集：是一个已知样本集，在监督学习方法中，是
4、一个已知样本集，在监督学习方法中，用它来开发出模式分类器。用它来开发出模式分类器。测试集：测试集：在设计识别和分类系统时没有用过的独立在设计识别和分类系统时没有用过的独立样本集。样本集。系统评价原则：系统评价原则：为了更好地对模式识别系统性能进为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系行评价，必须使用一组独立于训练集的测试集对系统进行测试。统进行测试。模式识别系统各类空间的概念7对象空间对象空间模式空间模式空间特征空间特征空间类型空间类型空间模式采集模式采集：从客观世界（对象：从客观世界（对象空间）到模式空间的过程称为空间）到模式空间的过程称为模式采集。模式采集
5、。特征提取和特征选择特征提取和特征选择：由模式：由模式空间到特征空间的变换和选择空间到特征空间的变换和选择。类型判别类型判别：特征空间到类型空：特征空间到类型空间所作的操作。间所作的操作。模模式式识识别别三三大大任任务务图像模式识别 模式识别定义模式识别定义 模式识别应用举例模式识别应用举例 模式识别发展历史模式识别发展历史 图像特征介绍图像特征介绍系统实例纸币识别器对纸币按面额进行分类纸币识别器对纸币按面额进行分类 面额面额5元10元20元50元100元系统实例 长度长度(mm)(mm)宽度宽度(mm)(mm)5 5元元13613663631010元元14114170702020元元1461
6、4670705050元元1511517070100100元元1561567777系统实例磁性磁性金属条位置金属条位置(大约大约)5 5元元有有 54/8254/821010元元有有 54/8754/872020元元有有 57/8957/895050元元有有 60/9160/91100100元元有有 63/9363/93系统实例数据采集、特征提取：数据采集、特征提取：长度、宽度、磁性、磁性的位置，光反射亮度、长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等光透射亮度等等 特征选择：特征选择：长度、磁性及位置、反射亮度长度、磁性及位置、反射亮度分类识别：分类识别：确定纸币的面额及真伪确定纸
7、币的面额及真伪模式识别应用举例模式识别应用举例汽车车牌识别 从摄像头获取包含车牌的彩色图象从摄像头获取包含车牌的彩色图象 车牌定位和获取车牌定位和获取 字符分割和识别字符分割和识别输入图象输入图象特征提取特征提取粗略定位粗略定位分割字符分割字符确定类型确定类型精细定位精细定位识别、输出识别、输出总结 训练过程(Training)信息获取预处理特征提取训练（学习分类规则）识别过程(Testing)信息获取预处理特征提取分类（利用学到的分类规则）信息获取信息获取预处理预处理特征提取与选择特征提取与选择分类器设计分类器设计分类决策分类决策训练训练图像模式识别 模式识别定义模式识别定义 模式识别应用举
8、例模式识别应用举例 模式识别发展历史模式识别发展历史 图像特征介绍图像特征介绍模式识别的发展简史19291929年年 G.TauschekG.Tauschek发明阅读机发明阅读机 ，能够阅读，能够阅读0-90-9的的数字。数字。3030年代年代 FisherFisher提出统计分类理论，奠定了统计模提出统计分类理论，奠定了统计模式识别的基础。式识别的基础。5050年代年代 Noam Chemsky Noam Chemsky 提出形式语言理论提出形式语言理论傅京傅京荪提出句法荪提出句法/结构模式识别。结构模式识别。6060年代年代 L.A.ZadehL.A.Zadeh提出了模糊集理论，模糊模式识
9、提出了模糊集理论，模糊模式识别方法得以发展和应用。别方法得以发展和应用。19模式识别的发展简史8080年代年代 以以HopfieldHopfield网、网、BPBP网为代表的神经网络模网为代表的神经网络模型导致人工神经元网络复活，并在模式识型导致人工神经元网络复活，并在模式识别得到较广泛的应用。别得到较广泛的应用。9090年代年代 小样本学习理论，支持向量机也受到了很小样本学习理论，支持向量机也受到了很大的重视。大的重视。20主要实用系统举例n文字识别（文字识别（Character Recognition）OCR（Optical Character Recognition）n智能交通（智能交通
10、（Intelligent Traffic）车牌、车型。车牌、车型。n语音识别（语音识别（Speech recognition）翻译机，身份识别等翻译机，身份识别等n目标识别目标识别ATR（Automaic Target Recognition）图像模式识别 模式识别定义模式识别定义 模式识别应用举例模式识别应用举例 模式识别发展历史模式识别发展历史 图像特征介绍图像特征介绍图像特征介绍 图像的边缘特征图像的边缘特征 图像点特征图像点特征 图像纹理图像纹理特征特征 图像图像形状特征形状特征图像的边缘特征 图像边缘具有方向和幅度两个特征。沿边缘走向，像素的灰度值变化比较平缓，而沿垂直于边缘的走向，
11、像素的灰度值则变化比较剧烈。这种剧烈的变化或者呈阶跃状（step edge），或者呈屋顶状（roof edge），分别称为阶跃状边缘和屋顶状边缘。一般常用一阶和二阶导数来描述和检测边缘。图像特征介绍 图像的边缘特征图像的边缘特征 图像点特征图像点特征 图像纹理图像纹理特征特征 图像图像形状特征形状特征图像点特征 如果图像中的一个非常小的区域的灰度幅值与其领域值相比有着明显的差异，则称这个非常小的区域称为图像点（一般意义上的孤立像素点），如下图所示。图像角点的概念 关于图像角点的定义有多重不同的看法。从直观可视的角度出发，两条直线相交的顶点可看作是角点（如图10.8所示）；物体的几个平面的相交处
12、也可以看作是角点，等等。从图像特征的角度出发，图像中周围灰度变化较为剧烈的点可看作是角点；图像边界上曲率足够高的点也可看作是角点，等等。图像的角点特征示意图图像的角点特征示意图 图像角点的概念 角点检测方法有很多种，其检测原理也多种多样，但这些方法概括起来大体可以分为三类:一是基于模板的角点检测算法；二是基于边缘的角点检测算法；三是基于图像灰度变化的角点检测算法。其中，基于图像灰度变化的角点检测算法应用最为广泛。SUSAN角点检测算法 1 1、SUSAN算法通过核值相似区（Univalue Segment Assimilating Nucleus，USAN）实现角点特征的检测；采用的角点检测模
13、板是一种圆形的模板，如下图所示：SUSAN算子圆形模板算子圆形模板 SUSAN角点检测算法 1 1、模板在目标图像上移动时，位于圆形模板（窗口）中心的像素称为核心点。核心点的邻域被划分为两个区域：一个是灰度值等于（或相似于）核心点灰度值的区域，称为核值相似区，即USAN；另一个是灰度值不相似于核心点灰度值的区域，也即与核心点像素灰度值相差比较明显的像素组成的区域。SUSAN角点检测算法 1 1、当某一像素点的灰度值与模板核心像素点灰度的差值小于阈值t 时，就认为该点与核心点具有相近的灰度值，由满足该条件的所有像素点组成的区域称为USAN区域。SUSAN角点检测算法 1 1、USAN区域包含了图
14、像的局部结构信息，其大小反映了图像局部特征的强度。当模板在图像上移动时，USAN区域大体可以分为三类：当模板完全处于图像的背景或目标中时，USAN区域最大，大小为模板大小，如位置a。模板核心点abcde圆形窗口SUSAN角点检测算法 1 1、当模板中心处于角点上时，USAN区域最小，如位置b；当模板中心处于边界上时，USAN区域大小为模板大小的一半，如位置c；当模板由图像中逐渐移向图像边缘时，USAN区域逐渐变小，如位置e。模板核心点abcde圆形窗口SUSAN角点检测算法 2 2、（1）首先，当模板在图像上进行扫描时，利用阈值t，通过模板内某一像素点与核心像素点灰度的差值，来判别该像素点是否
15、属于USAN区域。其数学表达式为：trIrIftrIrIfrrC|)()(|0|)()(|1),(000其中，为图像中模板核心点像素的位置，表示图像中的模板除中心以外的其它任意一点的位置；和 分别表示待定像素点 和 中心像素点的灰度值。0rr)(rI)(0rIr0rSUSAN角点检测算法 2 2、为了计算可靠，用该式来代替上式:60)6)()(0),(rIrIerrC 这样，模板内所有象素点所对应的USAN区域大小就可以表示为：rrrCrn),()(0SUSAN角点检测算法 2 2、（2）当所有像素点的USAN区域大小得到以后，就通过能量响应函数来判断该点是否为角点，能量响应函数 定义为：)(
16、0rR000()|()|()0Tn rifn rTR rothers其中，表示点的USAN区域大小；T 是预先设定的几何门限阈值，用于决定哪些像素点可以视为角点。当目标图像中的某一像素点的USAN区域小于几何门限时，该像素点就被判定为角点，否则就不是角点。)(0rnSUSAN角点检测算法 2 2、（3）使用非最大抑制（No Max Supperssion，NMS）方法找特征点，即通过将一边缘点作为33模板的中心，在它的8邻域范围内的点进行比较，保留灰度值最大者，这样就可以找出特征点了。SUSAN角点检测算法 3 3、剔除虚假角点的判定方法（USAN的质心和连续性）：（1）真实角点的USAN区域
17、其重心（质心）的位置远离模板的中心位置，重心公式为：rrrrcrrcrrr),(),()(000（10.28）（2）模板内从模板中心指向USAN区域重心的直线上的所有象素必须是USAN区的一部分。SUSAN角点检测算法 4 4、组合立体积木图中的角点检测算，图中的11个明显的角点都被检测出来了。(a)原组合立体积木图原组合立体积木图 (b)SUSAN算子提取的角点结果示例算子提取的角点结果示例 SUSAN算子角点检测立体积木实验图算子角点检测立体积木实验图 SUSAN角点检测算法 5 5、SUSAN 角点检测算法是最早出现的角点检测算法之一，典型的的角点检测算法还有Moravec、Harris
18、和Sift等。C.Harris,M.Stephens.A combined Vorner and Edge Detector.Proc of 4th Alvey Vision Conference,1988.Harris角点检测：图像特征介绍 图像的边缘特征图像的边缘特征 图像点特征图像点特征 图像纹理图像纹理特征特征 图像形状特征图像形状特征 纹理纹理通常被用来描述物体的表面特征，诸如地形、植被、沙滩、砖墙、岩石、纺织布料、毛质、皮质、墙纸、各种台面等。纹理是一种十分重要的图像特征，它不仅反映了图像的灰度统计信息，而且反映了图像的空间分布信息和结构信息，在模式识别、图像分割与识别、计算机视觉
19、中具有广泛的应用前景。图像纹理的概念图像纹理的概念1 1、在自然景物中，类似于砖墙那种的具有重复性结构的图案可以看作是一种纹理。在图像中，在图像中，由某种模式重复排列所形成的结构可看作是纹理。图像纹理反映了物体表面颜色和灰度的某种变化，而这些变化又与物体本身的属性相关。从宏观上看，从宏观上看，纹理是物体表面拓扑逻辑的一种变化模式；从微观上看，它由具有一定的不变性的视觉基元（通称纹理基元）组成。不同物体表面的纹理可作为描述不同区域的一种明显特征。图像纹理的概念图像纹理的概念 纹理的特征有三点：纹理的特征有三点：（1）某种局部的序列性在比该序列更大的区域内不断重复出现。（2）序列由基本的纹理基元非
20、随机排列组成。（3）在纹理区域内各部分具有大致相同的结构和尺寸。一些纹理示例：一些纹理示例：图像纹理的概念图像纹理的概念beerenflowerfoodwater彩色纹理图像彩色纹理图像图像纹理的概念图像纹理的概念包含多个纹理区域的图象图像纹理的概念图像纹理的概念图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 1 1、图像、图像（1 1）粗糙度。）粗糙度。纹理基元是具有局部灰度特征和结构特征的。纹理的粗糙度与纹理基元的结构及尺寸，以及纹理基元的空间重复周期有关。纹理基元的尺寸大则意味着纹理粗糙，其尺寸小则意味着纹理细致。例如在同样观察条件下毛织品要比丝织品粗糙一样。粗糙度
21、是最基本、最重要的纹理特征。图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 1 1、图像、图像（2 2）方向性。）方向性。某个像素点的方向性是指该像素点所在的邻域所具有的方向性。所以，纹理的方向是一个区域上的概念。比如，斜纹织物具有的明显的方向性，就是从一个大的邻域内的统计特性角度表现出的纹理特征的方向性。根据纹理自身的方向性，纹理可分为各向同性纹理和各向异性纹理。图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 1 1、图像、图像 （3 3）规则性。）规则性。纹理的规则性是指纹理基元是否按照某种规则（规律）有序的排列。如果纹理图像（或图像区域）是由某
22、种纹理基元按某种确定的规律排列而形成，则称为规则性纹理；如果纹理图像（或图像区域）是由某种纹理基元随机性的排列而形成，则称为非规则性纹理。2 2、图像纹理特征描述与提取方法、图像纹理特征描述与提取方法 （1 1）统计分析法）统计分析法 统计分析法又称为基于统计纹理特征的检测方法，主统计分析法又称为基于统计纹理特征的检测方法，主要包括灰度直方图法、灰度共生矩阵法、灰度行程长度法要包括灰度直方图法、灰度共生矩阵法、灰度行程长度法、灰度差分统计、交叉对角矩阵、自相关函数法等。、灰度差分统计、交叉对角矩阵、自相关函数法等。该类方法的优势是方法简单、易于实现，尤其是灰度该类方法的优势是方法简单、易于实现
23、，尤其是灰度共生矩阵法是公认的有效方法。共生矩阵法是公认的有效方法。图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 2 2、图像纹理特征描述与提取方法、图像纹理特征描述与提取方法 （2 2）结构分析法）结构分析法 结构分析方法认为纹理基元几乎具有规范的关系，因结构分析方法认为纹理基元几乎具有规范的关系，因而假设纹理图像的基元可以分离出来而假设纹理图像的基元可以分离出来,并以基元的特征和并以基元的特征和排列规则进行纹理分割。排列规则进行纹理分割。图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 2 2、图像纹理特征描述与提取方法、图像纹理特征描述与提取方
24、法 （3 3）模型分析法）模型分析法 模型分析方法根据每个像素和其邻域像素存在的某种模型分析方法根据每个像素和其邻域像素存在的某种相互关系及平均亮度为图像中各个像素点建立模型，然后相互关系及平均亮度为图像中各个像素点建立模型，然后由不同的模型提取不同的特征量，也即进行参数估计。由不同的模型提取不同的特征量，也即进行参数估计。典型的模型分析法有自回归方法、马尔可夫随机场方典型的模型分析法有自回归方法、马尔可夫随机场方法和分形方法等。本方法的研究目前进展比较缓慢。法和分形方法等。本方法的研究目前进展比较缓慢。图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 2 2、图像纹理特征
25、描述与提取方法、图像纹理特征描述与提取方法 （4 4）频谱分析法）频谱分析法 频谱分析方法又称为信号处理法和滤波方法。该方法频谱分析方法又称为信号处理法和滤波方法。该方法是将纹理图像从空间域变换到频率域，然后通过计算峰值是将纹理图像从空间域变换到频率域，然后通过计算峰值处的面积、峰值与原点的距离平方、峰值处的相位、两个处的面积、峰值与原点的距离平方、峰值处的相位、两个峰值间的相角差等，来获得在空间域不易获得的纹理特征峰值间的相角差等，来获得在空间域不易获得的纹理特征，如周期、功率谱信息等。，如周期、功率谱信息等。图像纹理的主要特性及描述与提取方法图像纹理的主要特性及描述与提取方法 灰度直方图统
26、计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 基于灰度直方图统计矩的纹理特征描述与提取方法是一种纹理统计分析方法。该方法可以定量的描述区域的平滑、粗糙、规则性等纹理特征。灰度直方图统计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 设 为表示图像灰度级的随机变量；为图像的灰度级数；为对应的直方图（其中，i=0,1,L-1）；则 的均值 表示为：rL)(irprm10)(Liiirprm（10.29）关于均值 的 阶矩表示为：rmn10)()()(Liininrpmrr（10.30）通过计算式(10.30)可知 =1，=0。对于其他阶矩：01灰度直方图统计矩纹
27、理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 （1 1）二阶矩）二阶矩 二阶矩 又称作方差，它是灰度级对比度的量度。利用二阶矩可得到有关平滑度的描述子，其计算公式为：222111111uR（10.31）由式（10.31）可知，图像的纹理越平滑，对应的图像灰度起伏越小，图像的二阶矩R 越小，求得的值越小；反之，图像的纹理越粗糙，对应的图像灰度起伏越大，图像的二阶矩R 越大，求得的值越大。灰度直方图统计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 （2 2）三阶矩）三阶矩 三阶矩 是图像直方图偏斜度的量度，它可以用于确定直方图的对称性：当直方图向左倾斜时3阶矩为负；
28、当直方图向右倾斜时3阶矩为正。3u灰度直方图统计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 （3 3）四阶矩）四阶矩 四阶矩 表示直方图的相对平坦性。五阶以上的矩与直方图形状联系不紧密，但它们对纹理描述可提供更进一步的量化。4u灰度直方图统计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 纹理的其他一些量度方法：（1）一致性 “一致性”量度也可用于描述纹理的平滑情况，其计算公式为：102)(LiirpU 计算结果越大表示图像的一致性越强，对应图像就越平滑；反之，图像的一致性越差，图像就越粗糙。灰度直方图统计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述
29、与提取方法 纹理的其他一些量度方法：（2）平均熵 图像的平均熵值，也可作为纹理的量度，它的计算公式为：)(log)(210iLiirprpE 熵是对可变性的度量，对于一个不变的图像其值为0。熵值变化与一致性量度是反向的，即一致性较大时，图像的熵值较小，反之，则较大。灰度直方图统计矩纹理特征描述与提取方法灰度直方图统计矩纹理特征描述与提取方法 原图像及其子图的均值、标准差、平滑度描述子R、三阶矩、一致性、熵等特征。(a)原图像 (b)纹理区域1 (c)纹理区域2 (d)纹理区域3 纹理均值标准差 R（归一化的）三阶矩一致性熵图（b）190.892717.12830.0045-0.49390.06
30、394.4521图（c）167.659249.13180.0358-2.36400.01327.0354图（d）152.683566.80560.0642-2.51180.00527.7865(a)原图像原图像 (b)纹理区域纹理区域1 (c)纹理区域纹理区域2 (d)纹理区域纹理区域3 纹理均值标准差 R（归一化的）三阶矩一致性熵图（b）190.892717.12830.0045-0.49390.06394.4521图（c）167.659249.13180.0358-2.36400.01327.0354图（d）152.683566.80560.0642-2.51180.00527.7865
31、分析可知，均值的结果说明图(b)的整体灰度较亮，图(d)的整体灰度相对较暗，图(c)的整体灰度介于两者之间。平滑度描述子R、一致性、熵的结果可知，图(b)较平滑、一致性较强、熵值较小，图(d)较粗糙、一致性较弱、熵值较大，图(c)的各结果均介于两者之间。图像的三阶矩是图像直方图偏斜度的量度，它可以用于确定直方图的对称性，由计算值可知这三幅图像的直方图均向左倾斜且它们的对称性依次较差图像特征介绍 图像的边缘特征图像的边缘特征 图像点特征图像点特征 图像纹理图像纹理特征特征 图像形状特征图像形状特征 图像图像中目标的形状特征包括拓扑特征，距离、周长和面积的测量，几何特征，形状方位的描述等。与之相应
32、，图像中目标形状特征可由其几何属性（如长短、距离、面积、周长、形状、凸凹等）、统计属性（如不变矩等）、拓扑属性（如孔、连通、欧拉数）等来描述。矩形度矩形度 目标的矩形度是指目标区域的面积与其最小外接矩形面积之比，反映了目标对其外接矩形的充满程度。矩形度的定义如下：MERoAAR（10.47）其中，是最小外接矩形（Mininum External Rectangle）的面积；是目标区域的面积，可通过对属于该目标区域的像素个数进行统计得到，也即有 oARyxoA),(1（10.48）分析可知R 的取值范围为 ，当目标为矩形时，R 取最大值1；圆形的目标R 取/4。10R圆形性圆形性 目标圆形性（d
33、oularity）是指用目标区域R的所有边界点定义的特征量，其定义式为 RRC（10.49）其中，若设(xi，yi)为图像边界点坐标，为图像的重心坐标，则：),(yx圆形性圆形性 是从区域重心到边界点的平均距离，定义为是从区域重心到边界点的平均距离，定义为 ),(yxR10|),(),(|1KiiiRyxyxK（10.50）是从区域重心到边界点的距离的均方差，定义为 R210|),(),(|1RKiiiRyxyxK（10.51）灰度图像的目标区域的重心定义为 10101010),(),(MiNjjiNjjiMiiyxIyxIxx 10101010),(),(MiNjjiMijiNjiyxIyx
34、Iyy（10.52）球状性球状性 目标的球状性(Sphericity)定义为 cirrS（10.53）式（10.53）既可以描述二维目标,也可以描述三维目标。在描述二维目标时，表示目标区域内切圆的半径，表示目标区域外接圆的半径，两个圆的圆心都在区域的重心上，如下图。分析可知分析可知S S 的取值范围为的取值范围为 。当目标区域为圆形时。当目标区域为圆形时,目标的球目标的球状性值状性值S S 达到最大值达到最大值1 1，而当目标区域为其，而当目标区域为其他形状时，则有他形状时，则有 。显然。显然。S S 不受区域不受区域平移、旋转和尺度变化的影响。平移、旋转和尺度变化的影响。10S1STHANK YOU
