遗传算法神经算法退火算法模糊算法课件.pptx

1、计算智能智能：有效地获取、传递、处理、再生和利用信息，使其在任意环境下成功地达到预定目标的能力。人工智能:研究如何用人工的方法模拟、延伸和扩展智能。计算智能人工智能的三个学派 符号主义学派 以知识为基础，通过推理来进行问题求解，功能模拟的方法。联接主义学派 始于1943年的M-P模型，1982年Hopfiled提出的用硬件模拟神经网络,BP算法，结构-功能模拟的方法。行为主义学派 进化主义或控制论学派，行为模拟的方法。计算智能计算智能 定义一：以数据为基础，以计算为手段来建立功能上的联系（模型），而进行问题求解，以实现对智能的模拟和认识。定义二：用计算科学与技术模拟人的智 能结构和行为。计算智

2、能计算智能与软计算 计算智能是强调通过计算的方法来实现生物内在的智能行为。软计算是受智能行为启发的现代优化计算方法,强调计算和对问题的求解。计算智能软计算方法是指利用所允许的不精确性、不确定性和部分真实性得到易于处理、鲁棒性强和成本较低的解决方案,它区别于用精确、固定和不变的算法表达和解决问题的硬计算。软计算作为一种创建计算智能系统的新颖方法,正在引起人们的关注.目前已经认识到,复杂的实际问题需要智能系统对各种不同来源的知识、技术和方法进行组合.在解决实际计算问题时,协同地而不是互斥地采用几种计算技术通常具有优越性,所产生的系统被称为互补的混合智能系统。计算智能 软计算不是一种单一的方法，而是

3、多种方法的结合与协作，构成软计算的三个主要元素是模糊逻辑、神经计算和进化算法，这三者分别提供不同方面的能力，其中模糊逻辑主要处理非精确性和进行近似推理，神经网络使系统获得学习和适应的能力，进化算法则提供进行随机搜索和优化的能力。1.神经网络1.1 神经网络的发展历史所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。Nielsen的定义l人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。l这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。l每个处理

4、单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。1.1 神经网络的发展历史初始（萌发）期人工神经网络的兴起l1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts合写了一篇关于神经元如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Acitivity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。l1949年，心理学家Donala Hebb写了一本书：“The Organization of Behavior”。在该书中，他强调了心理

5、学和生理学间的联系和沟通，指出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。1.1 神经网络的发展历史l到了二十世纪50年代，随着计算机的发展和软硬件的进步，有些神经系统功能的理论开始在计算机上进行模拟，拓宽了研究的路子。lIBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，虽然开始时失败了，但在使得模型像人那样适应环境的实验上取得了一定程度的成功。1.1 神经网络的发展历史第一次高潮期 感知器模型和人工神经网络l1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。l1959年，

6、两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法（Widrow-Haff算法）。该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。1.1 神经网络的发展历史l1962年，Rosenblatt出版了一本书“The Principles of Neurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可

7、以学会任何它可以表示的功能。l1967年，Stephen Grossberg通过对生理学的研究，开发了一种称作雪崩网的神经网络模型，可以控制机器人手臂的运动。l在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键。人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）1.1 神经网络的发展历史反思期 神经网络的低潮l1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知

8、器判了“死刑”。l此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。l不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。1.1 神经网络的发展历史第二次高潮期 Hopfield网络模型的出现和人工神经网络的复苏l1982年，John Hopfield向美国科学院递交了有关神经网络的报告，主要内容就是建议收集和重视以前对神经网络的工作，其中特别强调了每种模型的实用性。lHopfield揭示了以往的网络是如何工作的，可以做些什么，并提出了他自己的模型，能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。l当时，人工智能对自动制导车的研究失败，

9、而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。7 Hopfield网络变异运算，是指依据变异概率 Pm 将个体编码串中的某些基因值用其它基因值来替换，从而形成一个新的个体。交叉概率对收敛性的影响利用比例选择算子的公式，计算每个个体被选中遗传到下一代群体的概率；故而在这个算法中要用到各种进化和遗传学的概念。机器2(M2):加工顺序是 O31(2),O12(3),O23(3)通过这些遗传操作，模式逐步向较好的方向进化，最终得到问题的最优解。一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性f处理后产生输出信息。即是说在权

10、系数矩阵W中，如果与算法收敛性有关的因素主要包括种群规模、选择操作、交叉概率和变异概率。模糊子集 R 的隶属函数为映射Ac(x)=1-A(x).人工神经网络的拓扑结构而当城市的个数超过30时，最终的结果就不太理想了遗传算法中的变异运算是产生新个体的辅助方法，它决定了遗传算法的局部搜索能力，同时保持种群的多样性。1.1 神经网络的发展历史l1984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TCP问题，找到了最佳解的近似解，引起了较大轰动。l1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所

11、谓的Bolziman机。l1986年，Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。l1990年12月，国内首届神经网络大会在北京举行。1.2 神经网络的基本概念生物神经网络：Biological Neural Network（BNN）神经元：neuronl神经元经突触传递信号给其他神经元（胞体或树突）l1011个神经元/人脑l104个连接/神经元神经元基本工作机制：l状态：兴奋与抑制l互联，激励，处理，阈值1.2 神经网络的基本概念人工神经元模型(MP模型)：l多输入，单输出，带偏置lR个输入piR，即R维输入矢量pln:net inpu

12、t,n=Wp+b。R个权值wiR，即R维权矢量w阈值bl输出a=f(n)1.2 神经网络的基本概念常用输出函数 (1)阈值函数：1(0)()hardlim()0(0)naf nnn1.2 神经网络的基本概念(2)线性输出函数:()af nn1.2 神经网络的基本概念(3)Sigmoid函数 特性：l值域a(0,1)l非线性，单调性l无限次可微l|n|较小时可近似线性函数l|n|较大时可近似阈值函数1()1naf ne1.2 神经网络的基本概念人工神经网络的拓扑结构(1)前向网络:1.2 神经网络的基本概念层次划分层次划分 l信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。l层号

13、确定层的高低：层号较小者，层次层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。较低，层号较大者，层次较高。l输入层输入层：被记作第：被记作第0层。该层负责接收层。该层负责接收来自网络外部的信息来自网络外部的信息1.2 神经网络的基本概念l第第j层层：第：第j-1层的直接后继层（层的直接后继层（j0），），它直接接受第它直接接受第j-1层的输出。层的输出。l输出层输出层：它是网络的最后一层，具有该：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算网络的最大层号，负责输出网络的计算结果。结果。l隐藏层隐藏层：除输入层和输出层以外的其它：除输入层和输出层以外的其它各层叫隐藏

14、层。隐藏层不直接接受外界各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号的信号，也不直接向外界发送信号1.2 神经网络的基本概念约定约定:l输出层的层号为该网络的层数：输出层的层号为该网络的层数：n层网络，或层网络，或n级网络。级网络。l第第j-1层到第层到第j层的联接矩阵为第层的联接矩阵为第j层联接矩阵，层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用在需要的时候，一般我们用W（j）表示第表示第j层矩层矩阵阵T=100-500，模糊逻辑“取小”：=min （取两个真值中小的一个，对应于二值逻辑中的“与”）机器

15、3(M3):加工顺序是 O13(2),O22(5),O33(3),j*oj；较好地解决了因样本的顺序引起的精度问题和训练的抖动问题7 Hopfield网络简单模糊命题：x是A (A是语言值)。离散Hopfield网络有二种不同的工作方式：确定了一个U上的模糊子集A，映射A(x)称为A的隶属函数，它表示x对A的隶属程度.7 Hopfield网络“中速”为接近70km/h；“”表示：“如果-那么，若-则”直到1983 年由Kirkpatrick et al.45,1,0.1 神经网络的发展历史1.2 神经网络的基本概念(2)反馈互连网络1.2 神经网络的基本概念如果将输出信号反馈到输入端如果将输出

16、信号反馈到输入端,就可构成一个多层就可构成一个多层的循环网络。的循环网络。输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”。大脑的大脑的短期记忆特征短期记忆特征看到的东西不是一下子看到的东西不是一下子就从脑海里消失的。就从脑海里消失的。稳定稳定：反馈信号会引起网络输出的不断变化。我：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。1.3

17、人工神经网络的训练 人工神经网络最具有吸引力的特点是它的人工神经网络最具有吸引力的特点是它的学习能力。学习能力。人工神经网络的学习过程就是对它的训练人工神经网络的学习过程就是对它的训练过程。过程。有导师学习、无导师学习。有导师学习、无导师学习。1.3 人工神经网络的训练有导师学习有导师学习 有导师学习有导师学习(Supervised Learning)与有导师训练与有导师训练(Supervised Training)相对应。相对应。输入向量与其对应的输出向量构成一个输入向量与其对应的输出向量构成一个“训练训练对对”。有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1）从

18、样本集合中取一个样本（从样本集合中取一个样本（Xi，Yi）；）；2）计算出网络的实际输出计算出网络的实际输出O；3）求求D=Yi-O；4）根据根据D调整权矩阵调整权矩阵W；5 5）对每个样本重复上述过程，直到对整个样本集对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。来说，误差不超过规定范围。1.3 人工神经网络的训练Wij(t+1)=Wij(t)+Wij(t)Wij(t)(t)=jxi(t)(t)j=yj-oj(t)(t)1.3 人工神经网络的训练无导师学习无导师学习Hebb学习律、竞争与协同（学习律、竞争与协同（Competitive and Cooperative）学习

19、、随机联接系统（）学习、随机联接系统（Randomly Connected Learning）等。）等。Hebb算法算法D.O.Hebb在在1961年年的核心：的核心：l当两个神经元同时处于激发状态时被加强，否当两个神经元同时处于激发状态时被加强，否则被减弱。则被减弱。l数学表达式表示：数学表达式表示：Wij（t+1）=Wij（t）+xi（t）oj（t）1.3 人工神经网络的训练存储与映射存储与映射CAM方式（方式（Content Addressable Memory）内容内容寻址方式是将数据映射到地址。寻址方式是将数据映射到地址。AM方式（方式（Associative Memory）相联存储

20、方式相联存储方式是将数据映射到数据。是将数据映射到数据。在学习在学习/训练期间，人工神经网络以训练期间，人工神经网络以CAM方式工方式工作；权矩阵又被称为网络的长期存储。作；权矩阵又被称为网络的长期存储。网络在正常工作阶段是以网络在正常工作阶段是以AM方式工作的；神经方式工作的；神经元的状态表示的模式为短期存储。元的状态表示的模式为短期存储。1.4 感知器McCulloch 和和Pitts 1943年，发表第一个系统的年，发表第一个系统的ANN研究研究阈值加权和阈值加权和(M-P)数学模型。数学模型。1.4 感知器 感知器的学习是有导师学习感知器的学习是有导师学习 基本思想：逐步地将样本集中的

21、样本输入到网络中基本思想：逐步地将样本集中的样本输入到网络中,根据输出根据输出结果和理想输出之间的差别来调整网络中的权矩阵结果和理想输出之间的差别来调整网络中的权矩阵 1.4 感知器感知器训练算法感知器训练算法 样本集：样本集：(X,Y)|Y为输入向量为输入向量X对应的输对应的输出出 输入向量：输入向量：X=(x1,x2,xn)理想输出向量：理想输出向量：Y=(y1,y2,ym)激活函数：激活函数：F 权矩阵权矩阵W=(wij)实际输出向量：实际输出向量：O=(o1,o2,om)偏移量：给每一个神经元增加一个偏移量来加快收敛速度M=20-100，交叉运算是遗传算法区别于其他进化算法的重要特征，

22、它在遗传算法中起关键作用，是产生新个体的主要方法。它们的相互关系可用下图表示，语言变量通过模糊等级规则，可以给它赋予不同的语言值以区别不同的程度。wij=joi+wij变异概率对收敛性的影响对于基本遗传算法中用二进制编码符号串所表示的个体，若需要进行变异操作的某一基因座上的原有基因值为0，则变异操作将其变为1；T=100-500，在解决实际计算问题时,协同地而不是互斥地采用几种计算技术通常具有优越性,所产生的系统被称为互补的混合智能系统。软计算不是一种单一的方法，而是多种方法的结合与协作，构成软计算的三个主要元素是模糊逻辑、神经计算和进化算法，这三者分别提供不同方面的能力，其中模糊逻辑主要处理

23、非精确性和进行近似推理，神经网络使系统获得学习和适应的能力，进化算法则提供进行随机搜索和优化的能力。例子：如果西红柿红了，则西红柿熟了；“”表示命题的否定。当时，人工智能对自动制导车的研究失败，而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。而某一部分进行抽象思维特别有效。A(x)=A1(x1)+A2(x2)+An(xn)/n.1.4 感知器1.初始化权矩阵初始化权矩阵W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1 对每个样本（对每个样本（X，Y），重复如下过程：），重复如下过程：输入输入X；计算计算O=F（XW

24、）；）；执行如下操作：执行如下操作：wij=wij+（yj-oj）xi1.4 感知器算法思想算法思想：将单输出感知器的处理逐个地：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元用于多输出感知器输出层的每一个神经元的处理。的处理。第第1步，步，权矩阵的初始化权矩阵的初始化：一系列小伪随：一系列小伪随机数。机数。1.4 感知器第第2步，步，循环控制。循环控制。方法方法1：循环次数控制法：循环次数控制法：对样本集执行：对样本集执行规定次数的迭代规定次数的迭代改进改进分阶段迭代控制：设定一个基本分阶段迭代控制：设定一个基本的迭代次数的迭代次数N，每当训练完成，每当训练完成N次迭代后，次

25、迭代后，就给出一个中间结果就给出一个中间结果1.4 感知器方法方法2：精度控制法：精度控制法：给定一个精度控制给定一个精度控制参数参数l精度度量：实际输出向量与理想输出向精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和；量的对应分量的差的绝对值之和；l实际输出向量与理想输出向量的欧氏距实际输出向量与理想输出向量的欧氏距离的和离的和l“死循环死循环”：网络无法表示样本所代表：网络无法表示样本所代表的问题的问题1.4 感知器方法方法3：综合控制法：综合控制法：将这两种方法结合将这两种方法结合起来使用起来使用 注意：精度参数的设置。根据实际问题选注意：精度参数的设置。根据实际问题选定；

26、初始测试阶段，精度要求低，测试完定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。成后，再给出实际的精度要求。1.4 感知器 Minsky在在1969年证明，有许多基本年证明，有许多基本问题是感知器无法解决问题是感知器无法解决 问题线性可分性可能与时间有关问题线性可分性可能与时间有关 很难从样本数据集直接看出问题是很难从样本数据集直接看出问题是否线性可分否线性可分1.5 BP网络网络的构成网络的构成 神经元的网络输入：神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：netenetfo11)()1()()1(1)(22ooooeenetfn

27、etnet1.5 BP网络 应该将应该将net的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可以用其它的函数作为激活函数，只要该函数是处处可导的可导的1（0,0.5）net（0,0）o 0.5f(net)0.25o0 11.5 BP网络网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn1.5 BP网络BP网的结构网的结构输入向量、输出向量的维数、网络隐藏输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的层的层数和各个隐藏层神经元的个数的决定决定实验：增加隐藏层的层数和隐藏层

28、神经实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表元个数不一定总能够提高网络精度和表达能力。达能力。BPBP网一般都选用二级网络。网一般都选用二级网络。1.5 BP网络x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn它们的相互关系可用下图表示，语言变量通过模糊等级规则，可以给它赋予不同的语言值以区别不同的程度。7 Hopfield网络计算输出层的权修改量 for i=1 to m神经元在自适应过程中所形成的“气泡”，在本质上是产生和输入模式对于表示形态。机器2(M2):加工顺序是 O31(2),O12(3),O23(3)但是作为一个实际的物理系统，原子的运行总

29、是最低的能态。在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键。包含：AB A(x)B(x)；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。55,0,0.w(k)ij=p w(k)ij第0层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能；O2=F2(O1W)；7 Hopfield网络（7）Ts(a)表示在调度策略S下，机器Ma上全部工序的完成时间（包括机器的执行时间和等待时间），则调度S的完成时间T(S)=max(Ts(1),Ts(2),Ts(m)；1.5 BP网络训练过程概述训练过程概述权初始化：权初始化：“小随机

30、数小随机数”与饱和状态；与饱和状态；“不不同同”保证网络可以学。保证网络可以学。1 1、向前传播阶段：、向前传播阶段：（1）从样本集中取一个样本）从样本集中取一个样本(Xp，Yp)，将，将Xp输入网络；输入网络；（2）计算相应的实际输出）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)1.5 BP网络2 2、向后传播阶段、向后传播阶段误差传播阶段：误差传播阶段：（1）计算实际输出）计算实际输出Op与相应的理想输出与相应的理想输出Yp的差；的差；（2）按极小化误差的方式调整权矩阵。）按极小化误差的方式调整权矩阵。（3）网络关于第）网络关于第p p个样本的误差测度：个样

31、本的误差测度：mjpjpjpoyE1221（4）网络关于整个样本集的误差测度：网络关于整个样本集的误差测度：ppEE1.5 BP网络误差传播分析误差传播分析1、输出层权的调整、输出层权的调整wpqANpANq第第L-1层层第第L层层wpqwpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op1.5 BP网络2、隐藏层权的调整、隐藏层权的调整ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层1.5 BP网络pk-1的值和的值和1k，2k，mk 有关有关不妨认为不妨认为pk-1通过权通过权wp1

32、对对1k做出贡献，做出贡献，通过权通过权wp2对对2k做出贡献，做出贡献，通过权通过权wpm对对mk做出贡献。做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmm k)1.5 BP网络vhp=vhp+vhp vhp=pk-1ohk-2=fk-1(netp)(wp11k+wp22k+wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-21.5 BP网络基本的基本的BP算法算法(算法算法1)1)样本集：样本集：S=(X1,Y1),(,(X2,Y2),),(,(Xs,Ys)基本思想基本思想：l逐一地根据样本集中的样本逐一地根据样本集

33、中的样本(Xk,Yk)计算出实际输出计算出实际输出Ok和误差测度和误差测度E1，对，对W(1)，W(2)，W(L)各做一次调各做一次调整，重复这个循环，直到整，重复这个循环，直到Ep do 4.1 E=0;1.5 BP网络4.2 对对S中的每一个样本（中的每一个样本（Xp,Yp）：）：计算出计算出Xp对应的实际输出对应的实际输出Op；计算出计算出Ep；p；根据相应式子调整根据相应式子调整W(L)；根据相应式子调整根据相应式子调整W(k)；4.3 E=E/2.0 1.5 BP网络算法的改进算法的改进1、BP网络接受样本的顺序对训练结果有较大影响。网络接受样本的顺序对训练结果有较大影响。它更它更“

34、偏爱偏爱”较后出现的样本较后出现的样本2、给集中的样本安排一个适当的顺序，是非常困给集中的样本安排一个适当的顺序，是非常困难的。难的。3、样本顺序影响结果的原因：样本顺序影响结果的原因：“分别分别”、“依次依次”4、用用(X1,Y1)，（，（X2,Y2），），（，（Xs,Ys）的）的“总效总效果果”修改修改W(1)，W(2)，W(L)。w(k)ij=p w(k)ij1.5 BP网络消除样本顺序影响的消除样本顺序影响的BP算法算法(算法算法2)2)1 for k=1 to L do1.1 初始化初始化W(k)；2 初始化精度控制参数初始化精度控制参数；3 E=+1;4 while E do 4.

35、1 E=0;4.2 对所有的对所有的i，j，k：w(k)ij=0；1.5 BP网络4.3 对对S中的每一个样本（中的每一个样本（Xp,Yp）：）：计算出计算出Xp对应的实际输出对应的实际输出Op；计算出计算出Ep；p；对所有对所有i，j根据相应式子计算根据相应式子计算p w(L)ij；对所有对所有i，j：w(L)ij=w(L)ij+p w(L)ij；对所有对所有i,j根据相应式子计算根据相应式子计算p w(k)ij；对所有对所有i,j：w(k)ij=w(k)ij+p w(k)ij；4.4 对所有对所有i，j，k：w(k)ij=w(k)ij+w(k)ij;4.5 E=E/2.0 1.5 BP网络

36、算法算法2 分析分析较好地解决了因样本的顺序引起的精度问较好地解决了因样本的顺序引起的精度问题和训练的抖动问题题和训练的抖动问题 收敛速度：比较慢收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量偏移量：给每一个神经元增加一个偏移量来加快收敛速度来加快收敛速度 冲量冲量：联接权的本次修改要考虑上次修改联接权的本次修改要考虑上次修改的影响，以减少抖动问题的影响，以减少抖动问题 1.5 BP网络冲量设置冲量设置Rumelhart等人等人1986年年lwij=joi+wijlwij为上一次的修改量，为上一次的修改量，为冲量系数，一般为冲量系数，一般可取到可取到0.9 Sejnowski与与Rose

37、nberg，1987年年lwij=(1-)joi+wij)lwij也是上一次的修改量，也是上一次的修改量，在在0和和1之间取值之间取值1.5 BP网络算法的实现算法的实现主要数据结构主要数据结构WH，m输出层的权矩阵；输出层的权矩阵；Vn，H输入（隐藏）层的权矩阵；输入（隐藏）层的权矩阵；om输出层各联接权的修改量组成的向量；输出层各联接权的修改量组成的向量；hH隐藏层各联接权的修改量组成的向量；隐藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；隐藏层的输出向量；O2输出层的输出向量；输出层的输出向量；(X，Y)一个样本。一个样本。1.5 BP网络算法的主要实现步骤算法的主要实现步骤1

38、1用不同的小伪随机数初始化用不同的小伪随机数初始化W，V；2 2初始化精度控制参数初始化精度控制参数；学习率；学习率；3 3循环控制参数循环控制参数E=+1；循环最大次数；循环最大次数M；循环次数控制参数循环次数控制参数N=0；4while E&NM do 4.1 N=N+1；E=0；4.2 对每一个样本对每一个样本(X,Y)，执行，执行如下操作如下操作1.5 BP网络计算：计算：O1=F1(XV)；O2=F2(O1W)；计算输出层的权修改量计算输出层的权修改量 for i=1 to moi=O2 i*(1-O2 i)*(Yi-O2 i)；计算输出误差：计算输出误差：for i=1 to m(

39、Yi-O2 i)2；1.5 BP网络计算隐藏层的权修改量：计算隐藏层的权修改量：for i=1 to H；,j*o oj；hi=Z*O1 i(1-O1 i)；修改输出层权矩阵：修改输出层权矩阵：for k=1 to H&i=1 to m,i=Wk,i+*O1k*o oi；修改隐藏层权矩阵：修改隐藏层权矩阵：for k=1 to n&i=1 to H,i=Vk,i+*Xk*hi；1.5 BP网络几个问题的讨论几个问题的讨论网络瘫痪问题网络瘫痪问题 l在训练中，权可能变得很大，这会使神经元的在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的网络输入变得很大，从而又使得

40、其激活函数的导函数在此点上的取值很小。根据相应式子，导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛练速度降得非常低，最终导致网络停止收敛 稳定性问题稳定性问题 l用修改量的综合实施权的修改用修改量的综合实施权的修改l连续变化的环境，它将变成无效的连续变化的环境，它将变成无效的 1.5 BP网络步长问题步长问题 lBP网络的收敛是基于无穷小的权修改量网络的收敛是基于无穷小的权修改量l步长太小，收敛就非常慢步长太小，收敛就非常慢l步长太大，可能会导致网络的瘫痪和不稳定步长太大，可能会导致

41、网络的瘫痪和不稳定l自适应步长，使得权修改量能随着网络的训练自适应步长，使得权修改量能随着网络的训练而不断变化。而不断变化。1988年，年，Wasserman1.6 SOM网络在对人类的神经系统及脑的研究中，人们发现：人脑的某在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认种情况使人们对大脑的作用的整体性与局部性特征有所认识。识。对大脑的研究说明

42、，大脑是由大量协同作用的神经元群体对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在组成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。号，并产生自组织过程。1.6 SOM网络SOMSOM是由芬兰赫尔辛基大学神经网络专家是由芬兰赫

43、尔辛基大学神经网络专家KohonenKohonen教授在教授在19811981年提出的竞争式神经年提出的竞争式神经网络，它模拟大脑神经系统自组织特征映网络，它模拟大脑神经系统自组织特征映射的功能，在训练中能无监督地进行自组射的功能，在训练中能无监督地进行自组织学习。织学习。由于它的强大功能，由于它的强大功能，多年来，网络在数多年来，网络在数据分类、知识获取、过程监控、故障识别据分类、知识获取、过程监控、故障识别等领域中得到了广泛应用。等领域中得到了广泛应用。1.6 SOM网络SOMSOM的基础的基础:尽管大脑具有大量的细胞，但生物尽管大脑具有大量的细胞，但生物学研究表明作用并不同。在空间中处于

44、不同位置学研究表明作用并不同。在空间中处于不同位置的脑细胞控制着人体不同部位的运动。的脑细胞控制着人体不同部位的运动。同样，处于不同区域的脑细胞对来自某一方面的同样，处于不同区域的脑细胞对来自某一方面的刺激信号的敏感程度也不一样。刺激信号的敏感程度也不一样。这种特定细胞对特定信号的特别反映能力这种特定细胞对特定信号的特别反映能力似乎是似乎是由后来的经历和训练形成的。由后来的经历和训练形成的。KohonenKohonen根据人脑的这一原理提出了自组织映射。根据人脑的这一原理提出了自组织映射。1.6 SOM网络以发出信号的神经元以发出信号的神经元为圆心，对近邻的神为圆心，对近邻的神经元的交互作用表

45、现经元的交互作用表现为兴奋性侧反馈；为兴奋性侧反馈；以发出信号的神经元以发出信号的神经元为圆心，对远邻的神为圆心，对远邻的神经元的交互作用表现经元的交互作用表现为抑制性侧反馈。为抑制性侧反馈。“强者占先、弱者退强者占先、弱者退出出”1.6 SOM网络SOMSOM网络组成网络组成SOM神经网络由输入层和竞争层组成。神经网络由输入层和竞争层组成。输入层由输入层由n n个神经元组成，竞争层由个神经元组成，竞争层由h h个神个神经元组成。经元组成。为可视化表示结果，常将为可视化表示结果，常将M M表示为一表示为一个二维平面阵列个二维平面阵列h=sh=s*t t，当然，当然,一维或多一维或多维也是允许的

46、维也是允许的。1.6 SOM网络1.6 SOM网络 二维阵列神经网络由输入层和竞争层组成。二维阵列神经网络由输入层和竞争层组成。输入层是一维的神经元。竞争层是二维的神经元。输入层是一维的神经元。竞争层是二维的神经元。输入层的神经元和二维阵列竞争层的神经元每个输入层的神经元和二维阵列竞争层的神经元每个都相互连接。二维阵列竞争层也称输出层。都相互连接。二维阵列竞争层也称输出层。在二维阵列竞争层中，可以清楚看出：每一在二维阵列竞争层中，可以清楚看出：每一个输出神经元都和最近相邻的个输出神经元都和最近相邻的8个神经元相连；个神经元相连；当然，最边沿的神经元和当然，最边沿的神经元和35个神经元相连，个神

47、经元相连，但这只是最边沿的神经元才会这样。而从二维阵但这只是最边沿的神经元才会这样。而从二维阵列内部一般有：每个输出神经元和列内部一般有：每个输出神经元和8个最相邻的个最相邻的神经元相连。神经元相连。1.6 SOM网络 X(x1，x2，xn)是外部输入信号；是外部输入信号；Wij 是输入神经元是输入神经元i到输出神经元到输出神经元j之间权系之间权系数。数。在在SOM模型中，对于输出神经元模型中，对于输出神经元j，它的外部，它的外部输入信号可以用输入信号可以用knetj表示：表示：knetj=XWj =(x1，x2，xn)(w1j，w2j，wnj)T =w1j x1+w2j x2+wnj xn1

48、.6 SOM网络输出神经元输出神经元K1，K2，Kh的输出的输出Y1，Y2，Yh构成向量构成向量 Y=(Y1，Y2，Yh)1jhjh1 1knetknetj j=Max=Max knet1，knet2，kneth Y Yj j=0其它其它 1.6 SOM网络 神经元在自适应过程中所形成的神经元在自适应过程中所形成的“气泡气泡”，在本质上是产生和输入模式对于表示形态。在本质上是产生和输入模式对于表示形态。而这种而这种“气泡气泡”是以特定的神经元是以特定的神经元c为中心的，为中心的，并且是以一定半径所包围的神经元子集并且是以一定半径所包围的神经元子集Nc，如，如果令果令 Yj(0,1)1.6 SO

49、M网络 这在实质上要求这在实质上要求神经元在所给定的半神经元在所给定的半径范围之内的径范围之内的Nc子集子集中时，则其输出为中时，则其输出为1；而在子集而在子集Nc之外时，之外时，则其输出为则其输出为0。同时，。同时，系数系数在神经元处于在神经元处于Nc之内时，取值为之内时，取值为；否则取值为否则取值为0。1.6 SOM网络SOM模型学习的具体步骤模型学习的具体步骤 一、权系数初始化一、权系数初始化 对于有对于有n个输入神经元，个输入神经元，P个输出神经元的个输出神经元的SOM网络，对连接输入神经元和输出神网络，对连接输入神经元和输出神经元之间的权系数设定为小的随机数经元之间的权系数设定为小的

50、随机数a，一般有：一般有：0a1 同时，设定邻近区域的初始半径。同时，设定邻近区域的初始半径。1.6 SOM网络二、给出一个新的输入模式二、给出一个新的输入模式Xk Xk=X1k,X2k,.Xnk k=1,2,.三、求模式三、求模式Xk和所有的出神经元的距离和所有的出神经元的距离 对于输出神经元对于输出神经元j，它和特定的输入模式，它和特定的输入模式Xk之间的距离用之间的距离用djk表示，并且有表示，并且有1.6 SOM网络四、选择最优匹配的输出神经元四、选择最优匹配的输出神经元C 和输入模式和输入模式Xk的距离最小的神经元就是最的距离最小的神经元就是最优匹配的输出神经元优匹配的输出神经元c。