《数字图像处理及工程应用》课件第13章.ppt

1、2024-8-21第第1 1页页 模式识别（Pattern Recognition)是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。随着20世纪40年代计算机的出现以及50年代人工智能的兴起，人们也希望能用计算机来代替或扩展人类的部分脑力劳动。模式识别在20世纪60年代初迅速发展并成为一门新学科。模式：由确定的和随机的成分组成的物体、过程和事件。在一个模式识别问题中，它是识别的对象。模式识别：对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，简单地说就是应用计算机对一组事件或过程进行鉴别和分类。2024

2、-8-21第第2 2页页 模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物的传感器等对象进行测量的具体模式进行分类和辨识。模式识别与统计学、心理学、语言学、计算机科学、生物学、控制论等都有关系。它 与人工智能、图像处理的研究有交叉关系。例如，自适应或自组织的模式识别系统包含了人工智能的学习机制；人工智能研究的景物理解、自然语言理解也包含模式识别问题。又如模式识别中的预处理和特征抽取环节应用图像处理的技术；而图像处理中的图像分析也 常常应用模式识别的技术。2024-8-21第第3 3页页 图像识别是将模式识别的方法和技术应用于图像领域，即当识别的对象是图像。图形刺激

3、作用于感觉器官，人们辨认出它是经历过的某一图形的过程，也叫图像再认。所以说在图像识别中，既要有当时进入感官的信息，也要有记忆中存储的信息。只有通过存储的信息与当前的信息进行比较的加工过程，才能实现对图像的再认。这一点和计算机的识别过程中相似，即需要先学习一些已经类別的样本（训练样本），才能识别那些类别未知的新样本(测试样本）。2024-8-21第第4 4页页 图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征，如字母A有个尖、P有个圈、而Y的中心有个锐角等。相关研究表明，识别时视线总是集中在图像的主 要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大

4、。而且眼睛的扫面路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息，抽出关键信息。同时，在大脑中必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。这一点正好说明了图像识别中特征提取的必要性。2024-8-21第第5 5页页 图像识别中著名的模板匹配模型认为，要识别某个图像，必须在过去的经验中有这个图像的记忆模式，又叫模板。当前的刺激如果能与大脑中的模板相匹配，这个图像就被识别了。例如，有一个字母A，如果在大脑中有个A模板，字母A的大小、方位、形状都与这个A模板完全一致，字母A就被识別了。但这种模型强调图像必须与脑中的

5、模板完 全匹配才能成功识别，而事实上人不仅能识别与脑中的模板完全一致的图像，也能识别与模板不完全一致的图像。例如，人们不仅能识别某一个具体的字母A，也能识别印刷体的、手写体的、方向不正、大小不同的各种字母A。这就提示我们匹配过程不是基于完全相同的比较而是基于某种相似性的度量。2024-8-212024-8-21第第6 6页页 个模式识别问题一般可描述为在训练样本集合时已经“教授”识别系统如何输入矢量映射为输出矢量，即已知一个从样本模式中抽取的输入特征集合(或输入矢量)，寻找一个根据预定义标准与输入特征匹配的相应特征集合（输出矢量）。这其中对于类别已知的样本参与的训练过程，可参考图13.1中的实

6、线部分，此时样本的类别信息Y是已知的，它训练样本X起参与分类器的训练，而图13.1中的虚线部分中的识别正是利用训练得到的分类器将输入模式X映射为输出类别信息Y的过程，2024-8-212024-8-21第第7 7页页实际上，我们不妨将训练过程理解为一种在输入X和输出Y均已知的情况下确定函数 具体形式的函数拟合过程；而识别过程则可理解为将类别未知的模式X作为 的输入，从而计算出Y的函数求值过程。当然，这里的函数很可能不具有解析形式，有时会相当复杂，它代表着一种广义上的映射关系。识别(分类)的任务就是找到对特征空间的一种合理划分。分类器将特征空间分成标记 为类别的决策区域，对于唯一的分类结果，这些

7、区域必须覆盖整个特征空间且不相交，而 每个区域的边缘称为决策边界。从这个意义上说分类器就是分割决策区域的决策边界函数I集合，图13.2给出了一些典型的决策区域和决策边界。2024-8-212024-8-21第第8 8页页图图13.1 训练与识别过程训练与识别过程图图13.2 二维空间中的决策区域二维空间中的决策区域2024-8-212024-8-21第第9 9页页 在图13.3中，注意到决策边界既吋以是图13.3(a)中实线那样简单的线性或二次形式，也可以像图13.3(b)中虚线那样极其复杂且不规则的形式。那么，对于一个特定的分类问 题，应当选择简单的模型还是比较复杂的模型。一般来说，简单模型

8、具有计算不复杂的优势，训练它们所需的样本数目也更少，但它们对空间的划分往往不够精确，导致识别精度受到一定的限制；而复杂的模型可以更好地拟合训练样本，产生非常适合训练数据的复杂决策边界，从而有理由期望它们在测试集上也会有好的表现。然而，这一美好的愿望并不总能实现，事实上，过程复杂的决策边界常常导致所谓“过度拟合”现象的产生。2024-8-212024-8-21第第1010页页 对于图13.3中的两类训练样本，一个简单的二次曲线和另一个复杂得多的不规则曲线 体现两种分类策略。我们看到在图13.3(a)中不规则曲线完美地分类了所有的训练样本，无一差错；而当面对从未见过的测试样本（见图13.3(b)时

9、，复杂曲线的表现令人大失所望。究其原因，主要是过度复杂的决策边界不能够对新数据进行很好地归纳（泛化、一般化），它们过于倾向对训练数据的正确划分(复杂的形式正好为它们完美地拟合训练数据创 造了条件），而不能够对真正的数据模型进行很好地分类。这个问题称为过度拟合(Overfit)。简单的决策边界对训练数据不够理想，但是对新数据却往往能够较好地归纳。2024-8-212024-8-21第第1111页页图图13.3 过渡拟合问题过渡拟合问题(a)训练样本的划分情况训练样本的划分情况(b)测试样本的划分情况测试样本的划分情况2024-8-212024-8-21第第1212页页 如图13.4所示展示了一个

10、典型的图像识别系统的结构。原始模型首先经过预处理叭 而后经过特征提取得到适合分类器处理的特征向量，此过程中有时也包括必要的降维处 理；最后分类器输出的识別结果常常还需要后处理。所谓后处理主要是根据得到识别结果进行评估和改进，例如，根据上下文信息、错误代价、损失特征等调整分类器参数以防止 过度拟合等。尽管这种描述强调了信息单方向自左而右流动，但是有些系统采用了反馈机制（图13.4中从右向左的虚线）。2024-8-212024-8-21第第1313页页图图13.4 图像识别系统图像识别系统2024-8-21第第1414页页 为了使计算机能够对各种现象进行分类识别，要用计算机可以运算的符号来表示所研

11、究的对象。通常输入对象的信息有下列四种类型：1）二维图像：如文字、指纹、地图、照片等对象；2）一维波形：脑电图、心电图、机械振动波形等；3）物理参量：如在疾病诊断中病人的体温及各种化验数据等；4）逻辑值：例如，对某参量正常与否的判断或对症状有无的描述，如痛与不痛，可用逻辑值即0和1表示。在引入模糊逻辑的系统中，物理参量和逻辑值还可以包括模糊逻辑值，如很大、大、比较大等。此外，通过测量、采样和量化，原始模式可以用矩阵或向量表示二维图像或一维波形。2024-8-21第第1515页页 特征提取模块通常要提取具有如下性质的特征描述：来自同一类别的不同样本的特征值应该非常相近，而来自不同类别的样本的特征

12、值应该有很大的差异。这让我们产生了提取最有“鉴别”（Distinguishing)能力的特征的想法，这些特征对与类别信息不相关的变换具有不变性(Invariant)。理想情况下，用来描述诸如形状、颜色和不同纹 理等属性的特征量应该是平移不变、旋转不变和尺度不变的。特征提取相比分类更加依赖于具体问题和具体领域，因此相应领域的知识是必需的。一个性能髙超的鱼类分类器可能在指纹识别或者识别显微血细胞时毫无作用。然而，在设计特征提取器时可以利用模式分类的某些基本原则2024-8-21第第1616页页 系统中分类器的作用是根据特征提取得到的特征向量来给一个被测对象赋一个类別标 记。因为完美的分类性能通常是

13、不可能获得的，更一般的任务是确定每一个可能类别的概率。由输入数据特征向量表示所提供的抽象，使得建立大规模领域独立的分类理论成为可能。分类的难易程度取决于两个因素，其一是来自同一个类別的不同个体之间的特征值的波动，其二是属于不同类別的样本的特征值之间的差异。2024-8-21第第1717页页 后处理模块可能采用“上下文信息(Context)”来改善系统的性能。“上下文”通常来 源于输入数据的信息，而不是目标模式本身。假定在光学字符识别系统中，遇到一个 T/-EC/-T的序列，虽然系统可能无法识別/-为任何独立的英文字母，但是通过上下文可以清楚地看到第一个字母(应该)是H，第二个(应该)是A。上下

14、文信息是很复杂和很抽象的概念。“jeetyet?”这句话听上去是毫无意义的，但是如果是午餐时间你在自助餐 厅里听到一个朋友这么说，就知道他在问“did you eat yet?”，这就是一种视觉和时间上的“上下文语境”。2024-8-212024-8-21第第1818页页 一般的训练/学习过程是指在给定一般的模型或分类器形成的情况下，利用训练样本 去学习和估计模型的未知参数，具体地说就是用某种算法来降低训练样本的分类误差，例如，人工神经网络中将要学习的梯度下降算法，它通过调节分类器的参数，使训练朝着能够降低误差的方向进行。还有很多其他形式的学习算法，通常可分为以下几种形式。2024-8-21第

15、第1919页页 有监督学习是指在训练样本集中的每个输入样本类别均已知的情况下进行学习，也就 是使用训练模式和相应的类别标记一起来“教授”分类器。日常生活中有监督学习的一个例子是教孩子识字，教师将字本身(样本)和具体是什么字(类别)一起教给孩子。2024-8-21第第2020页页 无监督学习在无监督学习算法或“聚类算法”中并没有显式的教师。系统对输入样本自动形成“聚类”（Cluster)或“自然的”组织。所谓“自然”与否是由聚类系统所采用的显式或隐式的准则确定的。给定一个特定的模式集和代价函数，不同的聚类算法将导致不同的结果。通常要求用户事先指定预定的聚类数目。但如何做到这一点呢，如何才能避免

16、不恰当的模式表达。2024-8-21第第2121页页 强化学习训练模式分类器的典型做法是，给定一个输入样本，计算它的输出类别，将其与已知的类别标记作比较，根据差异来改善分类器的性能。例如，在光学字符识别 系统中，输入的是一个字符的图像，如分类器目前的输出是字符类别R，而实际的类别 应该是B。在“强化学习”（Reinforcement Learning)或“基于评价的学习”（Learning with a Critic)中，并不需要指明目标类别的教师信号。相反地，它只需要教师对这次分 类任务完成情况给出“对”或“错”的反馈。这就好像是说一个评价仅仅给出了某种判断是“对”还是“错”，而没有给出“错

17、”在哪里。在模式识别中，最普通的评价是一个二值的标量：“对”或者“错”。2024-8-21第第2222页页 有两种基本的图像识別方法，即统计模式识别(Statistical Pattern Recognition)方法和 句法(结构)模式识別(Syntactic Pattern Recognition)方法。统计模式识别是对模式的统计分类方法，即结合统计概率论的贝叶斯决策系统进行模式识别的技术，又称为决策理论识別的方法；而利用模式与子模式分层结构的树状信息所完成的模式识别工作，就是句法(结构)模式识别。2024-8-212024-8-21第第2323页页 统计模式识别是目前最成熟也是应用最广泛

18、的方法，它主要利用贝叶斯决策规则解决 最优分类器问题。统计决策理论的基本思想就是在不同的模式类中建立一个决策边界，利用决策函数把一个给定的模式归入相应的模式类中。统计模式识別方法最终归结为分类问题，常用的分类方法包括线性判别分析法、最小距离分类法、非线性判別分析法、（动态）贝叶斯网络法等。2024-8-212024-8-21第第2424页页 统计模式识别方法以数学上的决策理论为基础建立统计模式识别模型。其基本模型是对被研究图像进行大统计分析，找出规律性的认识，并选取出反映图像本质的特征进行 分类识別。统计模式识别系统可分为两种运行模式：训练和分类。训练模式中，预处理模 块负责将感兴趣的特征从背

19、景中分割出来、去除噪声以及进行其他操作；特征选取模块主 要负责找到合适的特征来表示输入模式；分类器负责训练分割特征空间。在分类模式中，被训练好的分类器将输入模式根据测量的特征分配到某个指定的类。2024-8-212024-8-21第第2525页页 基本思想：对于较复杂的模式，如采用统计模式识别的方法，所面临的一个困难就是特征提取的 问题，它所要求的特征量十分巨大，要把某一个复杂模式准确分类很闹难，从而很自然地就想到这样的一种设计，即努力地把一个复杂模式分化为若干较简单子模式的组合，而子模式义分为若干基元，通过对基元的识别，进而识別子模式，最终识别该复杂模式。2024-8-212024-8-21

20、第第2626页页 句法模式识别是用小而简单的基元与语法规则描述和识别大而复杂的模式，通过对基元的识别，进而识别子模式，最终识别复杂模式。其是基于描述的结构特征，形式语言中的规则进行分类。句法模式识别系统通常由识别及分析两部分组成。2024-8-212024-8-21第第2727页页 其中，识别部分包括图像预处理、基元及其关系的选择和结构分析。1）预处理主要包括编码、滤波、增强及隙缝填补等一系列操作。2）基元选择包括分割、特征(基元)抽取。这部分在分割的过程中抽取基元并显示基元相互关系，以便利用子模式进行描述，所以基元不一定是模式的一部分，与统计模式识别中特征提取稍有不同，基元的选择要考虑容易识

21、别，所有基元不一定是模式中最小的元素。基元的选择要尽可能少，而且容易被识别。3）结构分析是指“结构分析器”。它可判别所得到的表达式在句法上是否正确。如果句法是正确的，就能得到模式的完整描述。2024-8-212024-8-21第第2828页页 图13.5的分析部分包括基元选择及结构推断。模式分析是为模式识别服务的。基元选择提供参考模式基元，供识别部分作为匹配模板用，以完成识别任务。基元选择和结构推断是相互关联的，基元选择的复杂一些，句法结构就可简单些；反之亦然。图图13.5句法模式识别系统句法模式识别系统2024-8-212024-8-21第第2929页页 根据模式的不同，模式结构的表示方法也

22、有所不同。一维模式大都用一维链来描述。对于二维的模式，关系就复杂了，一般用树、图结构。所以，句法模式识别推广到多维时，形式语言就不适用了，需要加以推广，以适应识别的需要。句法模式识别法在以下领域多有应用：波形分析；声音识别与理解；文字识别；二维数学表达式；指纹分类；图像分析与理解；机器部件识别；自动视觉检；LANDSAT资源勘探用陆地卫星数据理解。2024-8-212024-8-21第第3030页页 【例13.1】随机产生一些2维的数据，并用模糊聚类算法实现聚类。【解】MATLAB程序如下：%模糊聚类%模糊C-平均FCM算法%N;输入样本数，dimen:样本维度，X 输入样本，cluster

23、群数，r 指数型权重%tolerance 误差临界值%U 分割矩阵 大小为 cluster*NClear;figure;X=rand(200,2);N,dimen=size(X);plot(X(:,1),X(:,2),*),axis(-0.1 1.1-0.1 1.1);hold on2024-8-212024-8-21第第3131页页%步骤一：设定一些初值及初始分割矩阵Cluster=4;r=2;tolerance=1e-5;cycle=500;U=rand(cluster,N);ss=sum(U);U_new=U./ss(ones(cluster,1),:);for L=1:cycle%步骤

24、二：计算模糊聚类中心U=U_new;Uexp=U.r;C=Uexp*X./(ones(dimen,1)*sum(Uexp);%新群心的值Plot(C(:,1),C(:,2),ro)%步骤三：计算新的分割矩阵for k=1:clusterdist(k,:)=sqrt(sum(X-ones(N,1)*C(k,:).2);endtemp=dist.(-2/(r-1);%计算新的分割矩阵U_new=temp./(ones(cluster,1)*sum(temp);2024-8-212024-8-21第第3232页页%步骤四：计算成本函数值cost(L)=sum(sum(dist.2).*Uexp);fprintf(递归循环次数=%d,成本函数值=%fn,L,cost(L);if(L1)if(abs(cost(L)-cost(L-1)tolerance)break;endendendhold offdisp(最后群心的值=);disp(C);2024-8-212024-8-21第第3333页页图图13.6 将输入样本分为四类时，执行模糊聚类算法的聚类结果将输入样本分为四类时，执行模糊聚类算法的聚类结果