1、本章指导：了解图像匹配与识别技术(模式识别)的基本概念以及常用图像匹配与识别方法。第11章 图像匹配与识别（模式识别）2022-7-222第第11章章 图像匹配与识别图像匹配与识别 11.1 模式与模式识别 11.2 基于匹配的识别技术 11.3 统计模式识别 11.4 句法模式识别 11.5 模糊模式识别方法11.6 人工神经网络识别法 11.7 统计学习理论和支持向量机识别方法11.8 小结2022-7-22311.1模式与模式识别 11.1.1 模式的概念u 模式识别(pattern recognition)作为一门学科有其系统的理论基础和技术方法。u 模式识别属于图像分析的范畴，它所得
2、到的结果是一幅有明确意义的数值或符号构成的图像或图形文件，而不再是一幅具有随机分布性质的图像。u 模式识别的目的:u对图像中的物体进行分类;u找出图像中有哪些物体。2022-7-224举例l 在人们的日常生活和工作中，模式识别是普遍存在和经常进行的过程。例如，医师为一个患者看病，首先要测量这个患者的体温和血压，化验血沉，询问临床表现然后通过综合分析，抓住主要病症，最后医师运用自己的知识，根据主要病症，为这个患者作出正确的诊断。上述医师为患者诊断的过程就是模式识别的一个完整过程。l 在模式识别技术中，经常使用的术语有样本、模式、特征和类型等。l 医院里有许多患者，每个患者都是一个样本。请医生给出
3、诊断的某一个患者，就是来自许多患者中的单一样本。l 患者的体温、血压等测量值，就是这个样本的诸测量值。样本诸测量值的综合，在模式识中被称为模式。l 具有某种模式的样本，有时称为模式样本。获得某个样本诸测量值的过程称为模式采集。患者的主要病症可以称为样本的特征。模式样本诸测量值经过综合分析找出主要病症这个过程在模式识别技术中称为特征提取和特征选择。医帅运用自己的知识作出诊断，在模式识别中称为分类判决。医师的知识是判决的准则，或者称为判决规则。判决结果把患者区分成某种疾病的患者，这就是把样本(患者)区分成相应的类型(疾病)。2022-7-225模式u模式就是存在于时间和空间中，可以区别它们是否相同
4、或相似的可观察的事物。u模式所指的不是事物本身，而是从事物中获取的信息。u模式往往表现为具有时间和空间分布的信息。l模式的直观特性:l可观察性l可区分性l相似性2022-7-22611.1.2 模式识别系统 u模式识别技术起源于人类自身对事物的认知分析过程，是依据一定的量度或观测基础把待识别模式划分到各自的模式类中去的过程。u模式类是指模式所属的类别或同一类中模式的总体。l 模式识别 直观，无所不在，“人以类聚，物以群分”l 周围物体的认知：桌子、椅子l 人的识别：张三、李四l 声音的辨别：汽车、火车，狗叫、人语l 气味的分辨：炸带鱼、红烧肉l 人和动物的模式识别能力是极其平常的，但对计算机来
5、说却是非常困难的。u 2022-7-227l 图像分析技术分类的三种基本范畴知识库知识库分割分割表示与描述表示与描述识别识别与与解释解释预处理预处理图像获取图像获取低级处理高级处理中级处理结果问题图像分析系统的组成2022-7-228图像分析技术l图像分析技术分类的三种基本范畴l低级处理：图像获取、预处理，不需要智能l中级处理：图像分割、表示与描述，需要智能l高级处理：图像识别、解释，缺少理论，为降低难度，设计得更专用。2022-7-229u模式识别系统的基本构成信息获取或模式采集数据预处理特征提取和选择分类器设计分类决策训练过程输出结果模式识别步骤：图像分割（物体分离）：检测出各个物体，并把
6、它们的图像和其余景物分离;特征抽取：对物体进行度量。通过计算对物体的一些重要特性进行量化表示;分类：确定每个物体应该归属的类别.2022-7-2210 1.信息获取部分（或模式采集）为了使计算机能够对各种现象进行分类识别，首先利用各种输入设备将要识别对象的信息输入计算机。通过测量、采样和量化，可以用矩阵或者向量来表示待识别对象的信息。这就是信息获取的过程。模式识别系统 获取的信息，如：二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述2022-7-2211模式识别系统l2.预处理部分 l 预处理的目的就是去除噪声，加强
7、有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。l 对于数字图像来说，预处理就是应用前面讲到的图像复原、增强和变换等技术对图像进行处理，提高图像的视觉效果，优化各种统计指标，为特征提取提供高质量的图像。2022-7-2212 3.特征提取和选择 由于待识别对象的数据量可能是相当大的，为了有效的实现分类识别，就要对原始数据进行某种变换，得到最能反映分类本质的特征。这就是特征提取和选择的过程。l 特征提取实现由模式空间向特征空间的转变，成功地压缩维数。模式识别系统测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间-维数较低的特征空间2022-7
8、-2213模式识别系统4.决策分类决策分类就是利用特征空间中获得的信息，对计算机进行训练，从而制定判别标准，用某种方法把待识别对象归为某一类别的过程。基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小2022-7-2214模式识别系统l 5.分类器的训练/学习l 为了能使分类器有效地进行分类判决，还必须首先对分类器进行训练，即分类器首先要进行学习。l 研究机器的自动识别，对分类器进行训练，使它学会识别，具有自动识别的能力，就尤为重要。l 一个孩子认字尚需一个反复学习过程，何况一部机器要掌握某种判决规则，学习过程更不可缺少。l
9、这种过程往往要多次反复，不断地纠正错误，最后才能使机器自动诊断的错误率不超过给定的要求。l 这种输人、修正，再输人、再修正，不断反复循环，直到分类错误率不大于给定值为止，才完成一个完整的学习过程。l 学习又可分为两种，一叫做预分类的训练试验，即监督训练，和未分类的训练试验，即无监督训练。2022-7-2215模式识别实例l在传送带上用光学传感器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼(Salmon)2022-7-2216模式识别实例l 识别过程：l 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据。l 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开l 特征提取和选
10、择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量l长度l亮度l宽度l鱼翅的数量和形状l嘴的位置，等等 l 分类决策：把特征送入决策分类器2022-7-2217模式分类器的获取和评测过程l数据采集l特征选取l模型选择l训练和测试l计算结果和复杂度分析，反馈2022-7-2218训练和测试l训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。l测试集：在设计识别和分类系统时没有用过的独立样本集。l系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。2022-7-221911.1.3 模式识别方法的分类 统计模式识别方法
11、 将提取的特征向量定义在一个特征空间中，不同类别的对象都对应于空间中的一点，在分类阶段，利用统计决策原理对特征空间进行划分，从而识别不同特征的对象。2022-7-2220模糊模式识别 模糊识别的理论基础是模糊数学(fuzzy math)。它根据人辨识事物的思维逻辑，吸取人脑的识别特点，将计算机中常用的二值逻辑转向连续逻辑。模糊识别的结果是用被识别对象隶属于某一类别的程度，即隶属度来表示的。11.1.3 模式识别方法的分类 2022-7-2221人工神经网络模式识别 人工神经网络研究源于对生物神经系统的研究。它将若干个处理单元(即神经元)通过一定的互连模型连结成一个网络，这个网络通过一定的机制(
12、如误差后向传播)可以模仿人的神经系统的动作过程，以达到识别分类的目的。11.1.3 模式识别方法的分类 2022-7-2222 句法结构模式识别 着眼于对待识别对象的结构特征的描述。将一个识别对象看成是一个语言结构，例如一个句子是由单词和标点符号按照一定的语法规则生成的，同样，一幅图像是由点、线、面等基本元素按照一定的规则构成的。11.1.3 模式识别方法的分类 2022-7-222311.1.4 模式识别的应用l 模式识别已经在天气预报、卫星航空图片解释、工业产品检测、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用。l 分为以下几个方面：l 字符识别l如清华的尚书OCR
13、识别软件；l邮局信函自动分拣机l 生物特征识别l指纹识别,人像识别等l 遥感应用l卫星云图,地面导弹、飞机场等设施的卫星图像识别处理l 医学诊断lCT等图像的识别处理2022-7-222411.2 基于匹配的识别技术11.2.1 全局模板匹配l 为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种模板目标。l 设全图像f(x,y)大小为MN，若目标模板是JK大小的w(x,y)，常用相关度量R(x，y)来表示它们之间的相关性：式中，m=0,1,2,M-1;n=0,1,2,N-1。2022-7-222511.2.1 全局模板匹配
14、进一步，规格化相关度：2022-7-2226 上式中设样板所框出范围都是j,k从到J,K计算，而(m,n)则为f(x,y)的MN小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m,n改变时，可搜索到一个R(m,n)最大值即为样板配准或匹配的位置。若图像和目标样板用f和w1向量表示，则相关计算为：式中w1为w(j-m,k-n)形成的向量。模板匹配与空间滤波非常相似。即，模板匹配表示把w(x,y)当作加权矩阵对f(x,y)进行空间滤波。2022-7-2227yMxJ(m,n)w(x,y)K在点(m,n)处的全局样本相关 例 通过相关系数进行目标匹配l图a
15、是f(x,y),图b是w(x,y),图c是相关系数r(x,y).在 f和w之间找到最佳匹配的地方,相关系数r(x,y)的值最大(更亮).2022-7-22282022-7-222911.2.2 模板向量匹配u 若用向量描述模板，则相关匹配可以用求向量差的方法求相关，如用相似度作为模板与图像某子区的匹配量度。u 把图像被JK框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差向量差为相似度的一种度量，差值D(m,n)jknkmjwkjfnmD2),(),(),(D(m,n)是被搜索到的图像场f(j,k)和样板w差。规定一个最小向量差的阈值，若 D(m,n)，则说明在(m,
16、n)位置上匹配，向量仅为JK维。2022-7-223011.2.3 特征匹配 若图像待识别部分和样板都用特征向量表示，则向量的维数大为减少。例如用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维(参见10.3.3)，即l x=(x11,x12,x13,x14,x15,x16,x17)l w=(w11,w12,w13,w14,w15,w16,w17)X和W向量差可用差向量的范数来表示：DJ(x,w)=|x-w|2=(x-w)T(x-w)若图像中已分割出个目标物，求其中是否有目标物，则只需求出个l Dj(x,w)=|w-xj|2 j=1,2,L 选出其中最小的一个j，即为与w相似的图像。
17、2022-7-223111.3 统计模式识别u统计模式识别主要是根据模式统计特性，采用一系列自动处理技术对给定模式进行大量统计分析，抓取反映模式本质的特征而进行赋值和分类识别处理。u 统计识别认为图像可能包含有一个或若干个不同的物体，对于每一个物体都应当属于若干事先定义的模式类之一。2022-7-2232 统计模式识别的过程 统计模式识别方法最终都要归结为分类的问题。如果从某个模式中共抽取N个模式符图像，可以分为m个模式类，那么就可以对N进行分类，进而决定出未知图像属于这m个模式类中的哪一种。对模式的分类主要建立在统计决策理论之上的，而决策理论方法又要用到决策函数。通常可以把识别模式当作是对一
18、个n维模式矢量进行分类，即：其中xi为描述模式表达方式的第i个描述符。Tnxxxx212022-7-2233 上式代表了一个n维模式矢量，对于给定的m个模式类1，2，3，m，识别过程就是要确定此n维模式矢量是否属于模式类i，以及模式矢量中的每一个x可以划归到哪一个i模式类。该问题也可以转化为对决策函数d1(x),d2(x),dm(x)的确定，如果模式x属于模式类i，就有 di(x)dj(x),j=1,2,m,i j 从另一个角度考虑：如果将未知模式代入所有的决策函数，得到第i个决策函数的计算结果最大，那么就可以将这个未知模式划归到第i个模式类。关键问题是找到合适的决策判别函数。这个过程叫学习或
19、训练。2022-7-2234实例：统计模式识别l19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：2022-7-2235实例：统计模式识别l待识别的模式：性别（男或女）l测量的特征：身高和体重l训练样本：15名已知性别的样本特征l目标：希望借助于训练样本的特征建立判别函数（即数学模型）2022-7-2236实例：统计模式识别l由训练样本得到的特征空间分布图2022-7-2237实例：统计模式识别l从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。l只要给出待分类的模式
20、特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。2022-7-223811.4 句法模式识别u 所谓句法，是描述语法规则的一种法则。u一个完整的句子一定是主语+谓语或主语+谓语+宾语(或表语)的基本结构构成。一种特定的语言，一定类型的句子之间是有一定的结构顺序的。u特点：u 无规则的任意组合，必然达不到正确的思想交流。u形容词、副词、冠词等可以与名词、动词构成“短语”，丰富句子要表达的思想内容。u而这些短语的构成也是有特定规律的。2022-7-2239 句子的层状结构 2022-7-2240 自然句法规则的思想可以移植到图像的模式识别中。尽管自然界的景物组合是千变万化
21、的，但仔细分析可以看出：某一对象的结构，也存在一些不变的规则。一座房子由内屋顶和墙面构成。组成屋顶的几何图形，可以是三角形、四边形、圆形等，组成墙平面的几何图形也是由矩形、平行四边形(透视效果)等构成，至少某一个墙面应该有门，而窗的高度不低于门等等。进一步，还可以提出一些用来刻画构成一所房子的规则，如屋顶一定在墙面之上，且由墙面支撑。一所房子这些规则就像构成一个句子的句法规则一样，是不能改变的。2022-7-2241 如果将描述房子的规则(它构成一个房子的模式)存于计算机，要在一张风景照片上去识别有无房子，那么就可按照片上所有景物的外形匹配是否符合房子的模式(房子构成规则)。符合房子模式的就输
22、出为“有房子”，否则，输出“无房子”。句法模式识别是将一个复杂的模式分解成一系列更简单的模式(子模式)，对子模式继续分解，最后分解成最简单的子模式(或称基元)，借助于一种形式语言对模式的结构进行描述，从而识别图像。模式、子模式、基元类似于英文句子的短语、单词、字母，这种识别方法类似语言的句法结构分析。因此称为句法模式识别。2022-7-2242 句法模式识别系统框图 2022-7-2243实例：句法模式识别l问题：如何利用对图像的结构信息描述，识别如下所示图片：2022-7-2244实例：句法模式识别l将整个场景图像结构分解成一些比较简单的子图像的组合；l子图像又用一些更为简单的基本图像单元来
23、表示，直至子图像达到了我们认为的最简单的图像单元（基元）；l所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。2022-7-2245实例：句法模式识别l多级树描述结构2022-7-2246实例：句法模式识别l训练过程：l用已知结构信息的图像作为训练样本，先识别出基元（比如场景图中的X、Y、Z等简单平面）和它们之间的连接关系（例如长方体E是由X、Y和Z三个面拼接而成），并用字母符号代表之；l然后用构造句子的文法来描述生成这幅场景的过程，由此推断出生成该场景的一种文法。2022-7-2247实例：句法模式识别l识别过程：l先对未知结构信息的图像进行基元
24、提取及其相互结构关系的识别；l然后用训练过程获得的文法做句法分析；l如果能被已知结构信息的文法分析出来，则该幅未知图像与训练样本具有相同的结构（识别成功），否则就不是这种结构（识别失败）。2022-7-224811.5 模糊模式识别方法u 问题：u“张三是个学生吗？”-回答是精确的u“张三性格稳重吗？”-回答无法精确u 常规的分类方法规定一个像素只能属于一个类别，也称为硬分类。u 但是在物体的交界处，由于成像过程和数字化过程中分辨率及其他因素的影响，图像中物体边缘处的一个像素可能包含了两个物体的信息。u 换句话而言，就是这个像素既可能属于类别i，也可能属于类别j，也就是常说的混合像素。2022
25、-7-2249 模糊模式识别是模糊集理论在模式识别中的一种应用，它认为一个像素是可分的，即一个像素可以在某种程度上属于一个类别，而在另一种程度上属于另一个类别。这种程度通过模糊数学中的隶属函数来表示。具体而言，在进行模糊模式识别时，多根据相似系数和距离来确定各样本之间存在的关系。相似系数越接近于1，则说明样本越接近；距离越小，样本也就越接近；可以将这些比较接近的样本归为一类。2022-7-225011.6 人工神经网络识别法l有多种神经网络模型：l如BP，自组织神经网络的图像识别等。（参见教材自学）2022-7-225111.7 统计学习理论和支持向量机识别方法（参见教材自学）2022-7-2
26、25211.8 小结u模式识别的基本概念及常用方法与最新方法。u基于匹配的识别、统计模式识别、句法模式识别、模糊模式识别、人工神经网络识别和支持向量机识别等。u模式识别的目的是对图像中的物体进行分类，或者可以说是找出图像中有哪些物体。u图像匹配是在图像中寻找是否有所关心的目标。2022-7-2253l 参考资料：l 1.数字图像处理与分析，龚声蓉等编著，清华大学出版社l 2.MATLAB7.0图像处理，贺兴华等编著，人民邮电出版社l 3.数字图像处理第二版中文版（冈萨雷斯）l 4.Digital Image Processing Using Matlab(Gonzalez)l 5.MATLAB6.5辅助图像处理l 6.黄庆明，中科院研究生院信息学院PPT
