1、 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院1 8.1、人工神经网络概述 8.2、前馈神经网络及其主要算法 8.3、Hopfield网络 8.4、自适应共振理论神经网络 8.5、自组织特征映射神经网络 第八章第八章 人工神经网络在模式识别中的应用人工神经网络在模式识别中的应用 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院2一一、概述：概述：Artificial Neural Network-人工神经网络 1、ANN研究与发展 1）40年代初，美国Mc Culloch和Pitts从信息处理的角度，研究神经细胞行
2、为的数学模型表达提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。2)1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。虽然Hebb学习规则在人们研究神经网络的初期就已提出，但是其基本思想至今在神经网络的研究中仍发挥着重要作用。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院33)50年代末期，Rosenblatt提出感知机模型，首先从工程角度出发，研究了用于信息处理的神经网络模型.这是一种学习和自组织的心理学模型，它基本符合神经生理学的原理。感知机虽然比较简单，
3、却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质上的不同，由此引起许多研究者的兴趣，在60代掀起了神经网络研究的第一次高潮。4)1969年，人工智能创始人之一的Minsky和Papert以出版了感知器，从数学上深入分析了感知器的原理，指出其局限性。5)Minsky的结论是悲观的，当时认识上的局限性使对神经网络的研究进入了低潮。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院4 在这一低潮时期，仍有一些学者扎扎实
4、实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。6）1982年，Hopfield提出了人工神经网络的一种数学模型，引入了能量函数的概念，研究了网络的动力学性质；紧接着又设计出用电子线路实现这一网络的方案，同时开拓了人工神经网络用于联想记忆和优化计算的新途径，大大促进了人工神经网络的研究。7）1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习
5、任务，解决许多实际问题。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院58）近十几年来，许多具备不同信息处理能力的神经网络已被提出来并应用于许多信息处理领域，如模式识别、自动控制、信号处理、决策辅助、人工智能等方面。神经计算机的研究也为神经网络的理论研究提供了许多有利条件，各种神经网络模拟软件包、神经网络芯片以及电子神经计算机的出现，体现了神经网络领域的各项研究均取得了长足进展。同时，相应的神经网络学术会议和神经网络学术刊物的大量出现，给神经网络的研究者们提供了许多讨论交流的机会。概括以上的简要介绍，可以看出，当前又处于神经网络
6、理论的研究高潮，不仅给新一代智能计算机的研究带来巨大影响，而且将推动整个人工智能领域的发展。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院62、基于人工神经网络的模式识别法相对其它方法来说，优势在于：（1）具有较强的容错性，能够识别带有噪声的输入模式；（2）具有很强的自适应学习能力；（3）可以实现特征空间较复杂的划分；（4）能够适于用高速并行处理系统实现。但也存在以下弱点：（1）需要更多的训练数据；（2）在通常的计算机上实现模拟运行速度较慢；（3）无法得到所使用的决策过程的透彻理解（例如，无法得到特征空间中的决策面）。8.1、人
7、工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院73、人工神经网络研究与应用的主要内容人工神经网络研究与应用的主要内容 目前来看，人工神经网络的研究首先须解决全局稳定性、结构稳定性、可编程性等问题。现今的研究工作应包含以下的一些基本内容：(1)(1)人工神经网络模型的研究人工神经网络模型的研究 神经网络原型研究，即大脑神经网络的生理结构、思维机制。神经元的生物特性如时空特性、不应期电化学性质等的人工模拟。易于实现的神经网络计算模型。利用物理学的方法进行单元间相互作用理论的研究如：联想记忆模型。神经网络的学习算法与学习系统。8.1、人工神经网
8、络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院8(2)(2)神经网络基本理论研究神经网络基本理论研究神经网络的非线性特性，包括自组织、自适应等作用。神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。神经网络的计算能力与信息存贮容量。开展认知科学的研究。探索包括感知、思考、记忆和语言等的脑信息处理模型。采用诸如连接机制等方法，将认知信息处理过程模型化，并通过建立神经计算学来代替算法论。8.1、人工神经网络概述 鲁棒性(Robust-健壮、强壮)：控制专家用这个名字来表示当一个控制系统中的参数发生摄动时系统能否保持正常工作的一种特
9、性或属性。就像人在受到外界病菌的感染后，是否能够通过自身的免疫系统恢复健康一样。人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院9(3)(3)神经网络智能信息处理系统的应用神经网络智能信息处理系统的应用 认知与人工智能包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制，包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。信号处理；自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线
10、性预测、非线性谱估计、非线性编码、中值处理)。传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院10(4)(4)神经网络的软件模拟和硬件实现神经网络的软件模拟和硬件实现 在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件
11、，网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向，因此特别受到人们的重视。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院11(5)(5)神经网络计算机的实现神经网络计算机的实现 计算机仿真系统。专用神经网络并行计算机系统。数字、模拟、数模混合、光电互连等。光学实现、生物实现。光学实现、生物实现。关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟和机器再现肯定可以开发拓展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科
12、学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院124、人工神经网络的信息处理能力人工神经网络的信息处理能力人工神经网络的信息处理能力 人工神经网络的信息处理能力包括两方面的内容：一、神经网络信息存贮能力即要解决这样的一个问题：在一个有N个神经元的神经网络中，可存贮多少值的信息?二、神经网络的计算能力。需要解决的问题是：神经网络能够有效地计算哪
13、些问题?在众多的文献中，人们都一致认为：存贮能力和计算能力是现代计算存贮能力和计算能力是现代计算机科学中的两个基本问题，同样，它们也构成了机科学中的两个基本问题，同样，它们也构成了人人工神经网络研究中的基本问题。工神经网络研究中的基本问题。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院13 神经网络模型从本质上解决了传统计算机的计算与存贮是完全独立的这个问题。它将信息的存贮与信息的处理完善地结合在一起。这是因为神经网络的运行是从输入到输出的值传递过程，在信息传递的同时也就完成了信息的存贮与计算。8.1、人工神经网络概述 人工神经
14、网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院14(1)神经网络的存贮能力。神经网络的存贮能力因不同的网络而不相同。这里我们给出Hopfield的一些结论。定义：一个存贮器的信息表达能力定义为其可分定义：一个存贮器的信息表达能力定义为其可分辨的信息类型的对数值。辨的信息类型的对数值。在一个M1的随机存贮器RAM中，有M位地址，一位数据，它可存贮2M位信息。这个RAM中，可以读写长度为2M的信息串，而 长度为2M的信息串有 22M 种，所以，可以分辨上述这么多种信息串。按上面的定义，M1的RAM的存贮能力为：C2M(位)。8.1、人工神经网络概述 人工神经网在模式
15、识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院15 定理1.1 N个神经元的神经网络的信息表达能力上限为：（位）NNNC)2(log2)1(2 定理1.2N个神经元的神经网络的信息表达能力下限为：其中N2指小于或等于N2的最大整数。（位）2/)2/33.0(2)2(log2NNC 8.1、人工神经网络概述 定理1.3 神经网络可以存贮2N-1个信息，也可以区分2 N-1个不同的网络。人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院16神经网络的计算能力数学的近似映射；识别和分类这些计算都可以抽象成一种近似的数学映射。如误差反播模型(
16、BP)、对向传播网络模型(CPN)、小脑模型(CMAC)等都可以完成这种计算。概率密度函数的估计：通过自组织的方式，开发寻找出一组等概率“锚点”，来响应在空间中只按照一个确定概率密度函数选择到的一组矢量样本。自组织映射模型(SOM)和CPN模型可以完成这样的计算。从二进制数据基中提取相关的知识：这种计算是形成一种知识的聚类模型，这些知识 依照数据基的自组织在它们之间有某种统计上的共性，并依此来响应输入的数据基记录。脑中盒模型(BSB)有能力进行这种计算。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院17形成拓扑连续及统计意义上的
17、同构映射：它是对固定概率密度函数选择的适应输入数据的一种自组织映射，其最终使得数据空间上的不同项有某种同构。SOM模型适合计算此类问题。最近相邻模式分类：通过比较大量的存贮数据来进行模式分类，但首先应通过学习样本模式进行分类。可用层次性的存贮模式来进行分类信息的表示。绝大多数的神经网络模型均能进行这种计算。如自适应共振理论模型(ART)、双向联想记亿模型 (BAM)、BP模型、玻尔兹曼机模型(BM)、BSB模型、CPN模型、Hopfield模型等等。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院18数据聚类：采用自组织的方法形成
18、所选择的“颗粒”或模式的聚类，以此来响应输人数据。聚类是可变的但要限制其鞍点的个数。对于任何新的目标，只要系统中没有对其提供聚类，都要形成新的聚类。很显然这种能力可直接应用于复杂的多目标跟踪。ART 模型最适合于这种计算。最优化问题：用来求解局部甚至是全局最优解。Hopfield模型、玻尔兹曼机模型(BM)有能力进行这种计算。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院19当前对于神经网络的研究和发展的特点：当前对于神经网络的研究和发展的特点：8.1、人工神经网络概述 (1)神经网络研究工作者对于研究对象的性能和潜力有了更充分
19、的认识从而对研究和应用的领域有了更恰当的理解。可以看到，尽管神经网络所能做的事情比当初一些狂热鼓吹者所设想的要少，但肯定比那些悲观论者要多得多。现在普遍认识到神经网络比较适用神经网络比较适用于特征提取、模式分类、联想记忆、低层次感知、自于特征提取、模式分类、联想记忆、低层次感知、自适应控制等场合适应控制等场合，在这些方面，严格的解析方法会遇到很大困难。人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院20 当前对神经网络的研究目标，就是从理论上和实践上探讨一种规模上可控的系统，它的复杂程度虽然远比不上大脑，但又具有类似大脑的某些性质，这种性质如果用常规手段则
20、难以实现。可以说，国国际上关于人工神经网络研究的主要领域不是对神经际上关于人工神经网络研究的主要领域不是对神经网络建模的基础研究，而是一个工程或应用领域，网络建模的基础研究，而是一个工程或应用领域，即它从对脑的神经模型研究中受到启发和鼓舞，但即它从对脑的神经模型研究中受到启发和鼓舞，但试图解决的却是工程问题。试图解决的却是工程问题。虽然对脑工作机理的理解十分重要，但这种理解是一个相当长期的过程。而对于神经网络的应用需求则是大量的和迫切的。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院21(2)神经网络的研究，不仅其本身正在向综合
21、性发展，神经网络的研究，不仅其本身正在向综合性发展，而且愈来愈与其他领域密切结合起来，发展出性能更而且愈来愈与其他领域密切结合起来，发展出性能更强的结构。强的结构。为了更好地把现有各种神经网络模型的特点综合起来，增强网络解决问题的能力，80年代末和90年代初出现了混合网络系统，如把多层感知器与自组织特征级联起来，在模式识别中可以取得比单一网络更好的结果。1991年美国ward System Group公司推出的软件产品Neuro windows(Brain1)是这方面的典型代表。它可以产生128个交互作用的神经网络，每个网可是自组织网也可是多层感知器网，最多可达32层，每层可达32个节点，且可
22、以与其他8层相联。据称这是近年来神经网络发展方面的一个跃进。它在微软公司的VB上运行，被认为是近些年来最重要的软件进展和最高水平的智能工具。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院22 神经网络与传统人工智能方法相结合是近年来发展员神经网络与传统人工智能方法相结合是近年来发展员快的一个方面。快的一个方面。虽然在人工神经网络复苏之初有人喊过“人工智能已死，神经网络万岁”，虽然在传统的人工智能领域工作的许多人对于神经网络的发展抱有怀疑或否定态度但这几年的发展日益证明，把这两者结合起来是一条最佳途径。采用综合方法可以取长补短，更
23、好地发挥各自的特点。比如，神经网络的节点和连接可明确地与规定的目标和关系联系在一起，可把特定的推理规则作为目标节点之间的规定联接，节点数可以由所描写的规则所决定，可对节点的权及阈值加以选择以便描写所需的逻辑关系，利用组合规则解释节点的激活从而解释网络的行为，并按神经网络方式设计专家系统。最近所出现的把神经网络与人工智能系统结合起来的方式大体可分为两类，一类是把人工智能系统作为神经网络的前端，一类是把神经网络作为人工智能系统的前端。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院23 在前一类中，人工智能系统可以与使用者交互作用(如
24、向使用者提出问题，了解使用者的需求)，然后利用知识与神经网络准备数据。这方面的第一个商用系统是美国杜邦公司的LAM系统。它把人工智能系统、神经网络和文本检索系统结合起来，供建筑师、玻璃切割与装配工程师使用，使得对建筑物玻璃结构的设计、选配和施工更简单、灵活、省时，适应性更强。目前正在建筑行业大力推广。也可以利用人工智能系统作为信息流的控制器，利用教师机制和基于规则的指南，帮助使用者从大量选择项中选择正确的神经网络来解决某一专门问题。这种系统已在化工领域中得到应用，帮助用户由所需化合物的性质来确定化学公式，或由公式产生出相应的物理特性，或由性质产生出相应的化合物等等。8.1、人工神经网络概述 人
25、工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院24二、二、人工神经网络基础：人工神经网络基础：1、生物神经元与人工神经元 1）生物神经元 8.1、人工神经网络概述 从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院25 (1)并行分布处理的工作模式 实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判
26、定人眼看到的两个图形是否一样，实际上约需400 ms，按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院26(2)神经系统的可塑性和自组织性 神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如
27、，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院27(3)信息处理与信息存贮合二为一 大脑中的信息处理与信息存贮是
28、有机结合在一起的，而不像现行计算机那样存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。(4)信息处理的系统性 大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别
29、中的应用 第八章第八章遥感信息工程学院28(5)能接受和处理模糊的、模拟的、随机的信息(6)求满意解而不是精确解 人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。(7)系统的恰当退化和冗余备份 8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院29 人工神经元模型有许多种，一个简单的神经元的功能模型如下图：2）人工神经元人工神经元模型 阈值函数 Sigmoid函数 图中的n个输入xiR，相当于其它神经元的输出值，n个权值iR，相当于突触的连接强度，f是一个非线性函数，例如阈
30、值函数或Sigmoid函数，是阈值。神经元的反应如下：niiixnet1netfy 8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院30当f为阈值函数时，其输出为：niiixy1sgn若算法要求输出函数f可微，选用Sigmoid函数：xe11xf3）人工神经网络典型结构（1）前向网络 如感知器 8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院31（2）输出向输入反馈的前向网络（3）层内互连前向网络 如福岛网络如自组织网络 8.1、人工神经网络概述 人工神经网在模式识别
31、中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院32（4）全互连反馈网络 如Hopfield网络（5）局部互联反馈网络 8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院334）人工神经网络的应用（1）、联想记忆(AssociativeMemory-AM)（2）、优化计算与决策（3）、分类识别（4）、智能控制（5）、专家系统 8.1、人工神经网络概述 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院34 8.2、前馈神经网络及其主要算法 一前馈神经网络一前馈神经网络 特点：前馈
32、网络的各神经元接受前一级输入，并输出 到下一级，无反馈。节点：输入节点，输出节点。计算单元-可有任意个输入，但只有一个输出，输出可耦合到任意多个其他节点的输入。层：可见层-输入和输出节点；隐层-中间层。人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院35二感知器二感知器 感知器是一种双层神经网络模型，一层为输入层，另一层具有计算单元，可以通过监督学习建立模式判别的能力。学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。作为分类器，可以用已知类别的模式向量或特征向量作为训练集，当输入为属于第j类的特征向量X时，应使对应于该类的输出yj=1，而其他
33、神经元的输出则为0（或-1）。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院36 为使实际的输出逼近理想输出，可以反复依次输入训为使实际的输出逼近理想输出，可以反复依次输入训练集中的向量练集中的向量X X，并计算出实际的输出，对权值并计算出实际的输出，对权值w w作如下作如下的修改：的修改：感知器的学习过程与求取线性判别函数的过程是等价的。感知器的学习过程与求取线性判别函数的过程是等价的。感知器的特性：感知器的特性：两层感知器只能用于解决线性可分问题。两层感知器只能用于解决线性可分问题。学习过程收敛很快，且与初始值无关。
34、学习过程收敛很快，且与初始值无关。8.2、前馈神经网络及其主要算法 感知器在形式上与MP模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。利用简单感知器可以实现逻辑代数中的一些运算。ijjijijijijxyyttt)()()()1(人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院37Y=f(w1x1+w2x2-)(1)“与”运算：当取w1=w2=1，=1.5时，上式完成逻辑“与”的运算。(2)“或”运算：当取wl=w2=1，=0.5时，上式完成逻辑“或”的运算。(3)“非”运算：当取wl=-1
35、，w2=0，=-1时完成逻辑“非”的运算。8.2、前馈神经网络及其主要算法 0111101001110101000021xxy21xxy1x2x1x 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院38 两层感知器无法实现异或问题（XOR)，即不能解决非线性可分问题。8.2、前馈神经网络及其主要算法 011101110000XOR:1x2x2121xxxxy异或异或XOR真值表真值表 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院39三三层前馈网络三三层前馈网络 用感知器模型实现“与非”逻辑 三层(只有两层计算单元)
36、前馈网络可以实现任何逻辑函数。当神经元的输出函数为Sigmoid函数时，上述结论可以推广到连续的非线性函数，在很宽松的条件下，三层前馈网络可以逼近任意的多元非线性函数，突破了二层前馈网络线性可分的限制。这种三层或三层以上的前 馈 网 络 通 常 又 被 叫 做 多 层 感 知 器(M u l t i LayerPerceptron，简称MLP)。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院40 对于上面述及的异或问题，用一个简单的三层感知器就可得到解决：8.2、前馈神经网络及其主要算法)5.111()5.1()1()1
37、()5.011()1(2)1(1)0(2)0(1)1(2)0(2)0(1)1(1xxfyxxfxxxfx0.5-1.51.5)0(2x)1(2xy)0(1x)1(1x1111-1-1 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院41四反向传播算法四反向传播算法(BPBP法法)1问题的提出 三层前馈网络的学习算法比较复杂，其主要困难是 中间的隐层不直接与外界连接，无法直接计算其误差。为解决这一问题，提出了反向传播算法(BackPropogation，简称BP)。2 2算法思想算法思想 反向反向逐层传播输出层的误差，以间接算出隐层误差。算法分为两个阶段：第
38、一阶段(正向过程)输入信息从输入层经隐层逐层计算各单元的输出值；第二阶段(反向传播过程)由输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院42当输入某个样本时，正向计算：iiijjwnetjjnetf对于输出层，是实际输出值，yj是理想输出值，此样本下的误差为：jjOy jjjyyE221定义局部梯度：jjnetEijijjjijwnetnetEwE考虑权值影响：权值修正应使误差最快地减小，修正量为：ijij=-=-j jO Oi i ijij(t+1)=(t+
39、1)=ijij(t)+(t)+ijij(t(t)8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院43j j 的确定：节点j是输出单元，则：jjjjjjjjjnetfyynetyyEy节点j不是输出单元，Oj对后层的全部节点都有影响，则：kjjkkjjjkkkjjnetfwnetnetnetEnetE3反向传播算法步骤：(1)选定权系数初始值；(2)重复下述过程直至收敛(对各样本依次计算)。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院44对输出层计算
40、j：j j=(=(y-Oy-Oj j)O Oj j(1-O(1-Oj j)从前向后各层计算各单元Oj：从后向前计算各隐层j：计算并保存各权值修正量：ijij(t(t)=)=ijij(t-1)+(t-1)+j jO Oi i jnetjiiijjewnet1/1kkjkjjjw1修正权值：ijij(t+1)=(t+1)=ijij(t(t)+)+ijij(t(t)以上算法是对每个样本作权值修正(逐个修正)，也可以对各样本计算j后求和，按总误差修正权值(批量修正)。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院45讨论：1用梯
41、度法求非线性函数极值，因而有可能陷入局部极小点，不能保证收敛到全局极小点。2权值初始值：如果权值初始值都为零或都相同，隐层各单元不能出现差异，运算不能正常进行。因此，通常用较小的随机数(例如在-0.30.3之间的随机数)作为权值初始值。初始值对收敛有影响，当计算不收敛时，可以改变初始值试算。3步长：对收敛性影响很大，而且对于不同的问题其最佳值相差也很大，通常可在013之间试探。4惯性项系数：影响收敛速度，其值可在091之间选择，1时不收敛；有些情况下也可不用惯性项(即0)。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院4
42、6五径向基函数网络五径向基函数网络(简称简称RBFRBF网络网络)1基本结构 2网络特点：只有一个隐层，隐层单元采用径向基函数作为其输出函数，输入层到隐层之间的权值均固定为1；输出节点为线性求和单元，隐层到输出节点之间的权值可调，因此，输出为隐层的加权求和。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院473径向基函数(Radial Basis Function，简称RBF)，就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数，可记作k(x-xc)，其作用往往是局部的，即当x远离x
43、c时函数取值很小。最常用的径向基函数是高斯核函数，形式为：222expccxxxxk xc为核函数中心，为函数的宽度参数，控制了函数的径向作用范围。RBF网络的作用：(1)把网络看成对未知函数f(x)的逼近器。一般任何函数都可表示成一组基函数的加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f(x)。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院48(2)在RBF网络中，从输入层到隐层的基函数输出是一种非线性映射，而输出则是线性的。这样，RBF网络可以看成是首先将原始的非线性可分的特征空间变换到另一空间(通常是高
44、维空间)，通过这一变换使在新空间中线性可分，然后用一个线性单元来解决问题。在典型的RBF网络中有3组可调参数：隐层基函数中心、方差，以及输出单元的权值。用于模式识别问题的RBF网络在一定意义上等价于首先用非参数方法估计出概率密度，然后用它进行分类。8.2、前馈神经网络及其主要算法 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院49 8.3、Hopfield网络 一Hopfield网络概述 Hopfield网络是一种反馈网络。反馈网络具有一般非线性系统的许多性质，如稳定性问题、各种类型的吸引子以及混沌现象等，在某些情况下还有随机性、不可预测性。因此，它比前
45、馈网络的内容复杂。Hopfield网络除了具有上述反馈网络的结构和性质之外，还满足以下条件：(1)权值对称，即 ，权矩阵WWT，为对称阵。(2)无自反馈，即 ，权矩阵W的对角线元素为0。ijjiiijiij0ii 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院50二离散Hopfield网络(DHNN)离散Hopfield网络的各单元都互相连接，单元特性函数都是线性阈值函数。用N(W，T)表示一个n阶网络，其中：W为nn对称阵，是单元i与j之间连接的权值；T为n维向量，Ti，是单元i的阈值。各单元取值只能为+1或-1，描述状态变化的方程式可写为：jiiji
46、 njijijiTtxwtx1sgn1若 则称为无自反馈的网络。iixi(t)-任一时刻t(t为正整数)单元i的状态向量x(t)-1,+1n描述整个网络的状态)2,1(0niii 8.3、Hopfield网络 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院51网络式的两种工作方式：串行(异步)方式。在任一时刻，只有某一神经元i(按固定顺序或随机地选择)改变状态，而其它单元状态不变。并行(同步)方式。在任一时刻部分神经元改变状态，其中最重要的一种特殊情况为：在某时刻t所有神经元同时改变状态，称为全并行方式。8.3、Hopfield网络 人工神经网在模式识别
47、中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院52 通常计算机中的存储器都是用地址进行访问的，而在人脑中则是由某方面的内容联想起其他内容，此种方式的存储器称为联想存储器(AM)，又称作内容寻址存储器(CAM)。三联想存储器三联想存储器 混沌：混沌：确定性系统中出现的随机性态。吸引子：吸引子：系统稳定态的参量所构成的一些点的集合，对系统的运动轨迹具有吸引作用。权矩阵的设定：权矩阵的设定：1 1，外积规则：，外积规则：使用要存储的向量的外积组成权矩阵。设要存储的一组向量为U1，U2，Um，则：miTiiIUUW1要求存储向量正交，n-维数即UiTUin，UiTUj=0 (ij)
48、U Ui i确定是网络的一个吸引子。确定是网络的一个吸引子。8.3、Hopfield网络 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院532 2，伪逆规则：，伪逆规则：只要求存储向量线性独立。设U=(U1，U2，Um)是m行n列的矩阵，其伪逆 U+=(UTU)-1UT,权矩阵 W=U(UTU)-1UTUU+当U中的各列向量线性独立时，UTU是满秩矩阵，存 在逆矩阵。U U中的中的m m个列向量都是吸引子。个列向量都是吸引子。HopfieldHopfield网络作为联想存储器的问题：网络作为联想存储器的问题：1，网络容量；2，多余的吸引子。如果Ui是吸引
49、子，-Ui也是吸引子，此外还会有一些难以预料的吸引子；3，吸引域的范围也难以控制；4，消耗存储量多，收敛计算费时也是明显的缺点。8.3、Hopfield网络 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院54实际应用：实际应用：只存储矩阵U，用通常的模式判别方法判断输入向量与U中的哪一个Ui相近，将其作为输出，可以达到相同目的，而且比网络简便可靠，计算量也小。四优化计算四优化计算优化计算与联想存储器：优化计算与联想存储器：反馈网络用于优化计算和作为联想存储器是对偶的，用于优化计算时W是已知的，目的是找出具有最大E的稳定状态；作为联想存储器时稳定状态是给定
50、的，要通过学习求出合适的W。基本原理：基本原理：串行工作方式的网络把一组2n个状态映射到一组稳定状态集合上去。此时能量函数达到极大值，因此它可用于使下述二次函数达到极大。TxwxxTT21凡是可以把目标函数写成此形式的凡是可以把目标函数写成此形式的优化问题都可以用反馈网络求解。优化问题都可以用反馈网络求解。8.3、Hopfield网络 人工神经网在模式识别中的应用人工神经网在模式识别中的应用 第八章第八章遥感信息工程学院55例例:聚类问题。设有n个样本向量，想要聚成m类(mn)，可采用mn个单元构成反馈网络，排成m行n列的阵列；每一行代表一类，每一列代表一个样本，计算结果中第k行第i列的单元状
