1、推荐课后阅读资料nSimon Haykin.神经网络的综合基础神经网络的综合基础(第第2版版).清华大学出版社清华大学出版社,2001 nMartin T.Hagan.神经网络设计神经网络设计.机械工机械工业出版社业出版社,2002 25.1 概述概述生物神经元模型生物神经元模型 人工神经元模型人工神经元模型人工神经网络模型人工神经网络模型神经网络的学习方法神经网络的学习方法3生物神经元模型 人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连
2、接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部之间的多种多样的连接方式也蕴含了变化莫测的反应方式。56 从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：n时空整合功能 n兴奋与抑制状态 n脉冲与电位转换 n神经纤维传导速度 n突触延时和不应期 n学习、遗忘和疲劳 生物神经元模型否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。BP网络的标准学习算法可见单元由输入、输出部分组成。根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内神经网络的类型很多，需要根据任务的性质和要求来选
3、择合适的网络类型。3）累积误差校正算法：7)模拟退火算法等。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。表示从神经元j 到神经元i 的连接权值；5，输入层到隐含层，隐含层到输出值的激活函数为单极SIGMOID函数，要求误差e为0.将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。1)网络实质上实
4、现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。重复上述步骤，直到pij-pij小于一定的容限。BP网络的标准学习算法前向计算，求出所有神经元的输出8人工神经元模型n人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。如图所示为一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。9i10n其输入、输出关系可描述为n其中，是从其他神经元传来的输入信号；表示从神经元j 到神经元i 的连接权值；为阈值；称为激发函数
5、或作用函数。njijijixwI1)(iiIfy),2,1(njxj ijwi)(f人工神经元模型W1*1 W2*1 ，真值表的第一行；感知器是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。输入样本输入层各隐层输出层对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入；神经网络的类型很多，需要根据任务的性质和要求来选择合适的网络类型。(0，0)，（1，1）和(0，1)，（1，0）的直线2）S函数输出限幅算法离散Hopfield网络是一个单层网络，有n
6、个神经元节点，每个神经元的输出均接到其它神经元的输入。惯性系数是变量，随着校正的不断进行，惯性系数逐渐增大：它主要用于模式分类，单层的感知器网络结构如下图所示。BP网络的标准学习算法反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。计算 ；7)模拟退火算法等。从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：误差反向传播神经网络，简称BP网络（Back Propagation），是一种单向传播的多层前向网络。BP网络学习算法的改进高斯函数（见图（f）大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络
7、有感知器网络、BP 网络等。采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)；5，阈值为0，学习率为0.11 激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发函数。1.阈值型函数（见图（a），（b）2.饱和型函数（见图（c）3.双曲函数（见图（d）4.S型函数（见（e）5.高斯函数（见图（f）)(fi)(f人工神经元模型12神经元处理活性的理想模式14人工神经网络模型n人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构
8、的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。15(1).前馈型神经网络n前馈型神经网络，又称前向网络（Feed forward NN）。如图所示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。16 从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程；从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈
9、网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。(1).前馈型神经网络1718(2).反馈型神经网络 n反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。19 反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆（Content一Addressible Memory，CAM）的功能，同时Hopfield神经网络还可以用来解决快速寻
10、优问题。(2).反馈型神经网络 2021神经网络的学习方法n学习方法是体现人工神经网络智能特性的主要标志，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。目前神经网络的学习方法有多种，按有无教师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。计算修正输出层的权系数w(3)li(k)；BP神经网络求解异或问题的权值调整在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。在模式识别、图像处理、
11、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。Boltzmann机网络是一个相互连接的神经网络模型，具有对称的连接权系数，及wijwji且wii=0。BP网络的标准学习算法这一改进的目的是使被校正量随着学习进程的发展，逐渐沿前一次校正方向变化。采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)；判断是否满足结束条件，不满足转至2，否则算法结束6)网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。人工神经元是对生物神经元的一种模拟与简化。进行到预先设定的学习次数为止将输出误差以某种形式通过隐层向输入层逐层反传w（
12、n+1）=d+w（n）感知器是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。00 或为正数，真值表的最后一行。前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)；若输出层的实际输出与期望的输出（教师信号）不符该输出取决于其输入之和大于或小于内部阈值 。在二维空间中没有可分离点集合适的期望误差应通过对比训练后确定。在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整
13、网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。神经网络的学习方法2223神经网络中常用的几种基本学习方法(1).Hebb学习规则 n两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则。nHebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。24(2)Delta（）学习规则n规则可以误差函数达到最小值。但学习规则只适用于线性可分函数，无法
14、用于多层网络。BP网络学习算法称为BP算法，是在规则基础上发展起来的，可在多网络上有效地学习。神经网络中常用的几种基本学习方法 25(3)竞争式学习 n竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引入竞争机制的学习方式称为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。神经网络中常用的几种基本学习方法 265.2 前向神经网络前向神经网络感知器网络n感知器是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向
15、网络。它主要用于模式分类，单层的感知器网络结构如下图所示。2728感知器的一种学习算法：n随机地给定一组连接权；n输入一组样本和期望的输出（亦称之为教师信号）；n计算感知器实际输出；n修正权值；n选取另外一组样本，重复上述2）4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。单层感知器-与运算y=f(v)21iiiuw x f(v)x1bx2w1w221iiivw xbx1x2d000010100111逻辑逻辑“与与”真值表真值表11=10.1+10.1=0.2=-0.4y=0b=-0.6=0.1=0.1111()0.7wwdyx误差误差e=d-y=1设学习率设学习率 为为0.629
16、30网络n误差反向传播神经网络，简称BP网络（Back Propagation），是一种单向传播的多层前向网络。在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。如图是BP网络的示意图。5.2 前向神经网络前向神经网络3132n误差反向传播的BP算法简称BP算法，其基本思想是最小二乘算法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。5.2 前向神经网络前向神经网络 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的
17、状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使输出误差信号最小。5.2 前向神经网络前向神经网络33目前神经网络的学习方法有多种，按有无教师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。计算PID控制器的控制输出u(k)，参与控制和计算；1)网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复
18、杂非线性映射的功能。感知器是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。与其他全局搜索算法相结合；第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。BP算法的学习过程由正向传播和反向传播组成。0一般采用增加隐层中神经元数目的方法来提高精度，其训练效果也更容易观察和调整。选取另外一组样本，重复上述2）4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。3).4)采用动态步长；4与其他智能控制方法如模糊逻辑、遗传算法、专家控制等相融
19、合。2)网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力。一、网络系统具有若干个稳定状态。从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：在使用BP算法时，应注意的问题是：前向计算，求出所有神经元的输出它包括训练数据的收集、分析、选择和预处理等。也有采用惯性系数按指数形式增长的校正方法。n激活函数n必须处处可导n一般都使用S型函数 n使用S型激发函数时BP网络输入与输出关系n输入n输出1122.nnnetx wx wx w1f()1enetynet5.2 前向神经网络前向神经网络34n输出的导数211f()(1)1e(1e)
20、-netnetnetyy根据根据S S型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽的值尽量控制在收敛比较快的范围内量控制在收敛比较快的范围内 5.2 前向神经网络前向神经网络35BP网络的标准学习算法n学习的过程：n神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。n学习的本质：n对各连接权值的动态调整n学习规则：n权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。36n学习的类型：有导师学习n核心思想：n将输出误差以某种形式以某种形式通过隐层向输入层逐层反传
21、n学习的过程：n信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值BP网络的标准学习算法37BP网络的标准学习算法-学习过程n正向传播：n输入样本输入层各隐层输出层n判断是否转入反向传播阶段：n若输出层的实际输出与期望的输出（教师信号）不符n误差反传n误差以某种形式在各层表示修正各层单元的权值n网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止38BP网络的标准学习算法 n输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元n变量定义n输入向量;n隐含层输入向量；n隐含层输出向量;
22、n输出层输入向量;n输出层输出向量;n期望输出向量;12,nxxxx12,phi hihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod39BP网络的标准学习算法n输入层与隐含层的连接权值:n隐含层与输出层的连接权值:n隐含层各神经元的阈值:n输出层各神经元的阈值:n样本数据个数:n激发函数:n误差函数：ihwf()howhb1,2,kmob211()()2qoooedkyo k40输入层与隐含层之间的权值调整计算：目前神经网络的学习方法有多种，按有无教师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsup
23、ervised Learning）和再励学习（Reinforcement Learning）等几大类。(0，0)，（1，1）和(0，1)，（1，0）的直线激发函数 又称为变换函数，它决定神经元（节点）的输出。xi(i=1,2,n)是输入，wi为该神经元与各输入间的连接权值，为阈值，yo为输出选取另外一组样本，重复上述2）4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。但从计算的观点看，缺乏丰富的动力学行为。BP算法的学习过程由正向传播和反向传播组成。这一改进的目的是使被校正量随着学习进程的发展，逐渐沿前一次校正方向变化。同时，如此大量的神经元与外部之间的多种多样的连接方式也蕴含了变
24、化莫测的反应方式。BP网络的标准学习算法计算修正隐含层的权系数w(2)ij(k)；0若输出层的实际输出与期望的输出（教师信号）不符反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。(1)Boltzmann机网络结构和工作方式00 0，此时，此时who0hoew49BP网络的标准学习算法n解释n情况二直观表达n当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向
25、增大方向调整，使得实际输出与期望输出的差减少。h oewe0who50BP神经网络的特点n非线性映射能力n能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式提供网络进行学习训练，它便能完成够多的样本模式提供网络进行学习训练，它便能完成由由n维输入空间到维输入空间到m维输出空间的非线性映射。维输出空间的非线性映射。n泛化能力n当向网络输入训练时输入未曾见过的非样本数据时，当向网络输入训练时输入未曾见过的非样本数据时，网络也能完成由输入空间向输出空间
26、的正确映射。这网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。种能力称为泛化能力。n容错能力n输入样本中带有较大的误差甚至个别错误时对网络的输入样本中带有较大的误差甚至个别错误时对网络的输入输出规律影响很小。输入输出规律影响很小。515200 0，称为正连接，表示神经元j对i有激活作用 wij 0，称为正连接，表示神经元j对i有激活作用在每一次对连接权及阈值进行校正时，按一定比例加上前一次学习时的校正量，即惯性项：再励学习是介于上述两者之间的一种学习方式。神经网络训练的具体步骤如下考虑一感知器，其输入为X1，X2；计算修正输出层的权系数w(3)li(k)；计算PID控制器的控
27、制输出u(k)，参与控制和计算；一般采用增加隐层中神经元数目的方法来提高精度，其训练效果也更容易观察和调整。进行到预先设定的学习次数为止逻辑异或问题线性不可分 在二维空间中没有可分离点集(0，0)，（1，1）和(0，1)，（1，0）的直线 X2 X1(1,1)(1,0)(0,1)(0,0)X1 X2 输出 1 1 0 1 0 1 0 1 1 0 0 0 62逻辑异或问题线性不可分n考虑一感知器，其输入为X1，X2；权值为 W1，W2；阈值是。为了学习这个函数，网络必须找到这样一组值，它满足如下的不等式方程：W1*1 W2*1 ，真值表的第二行；0W2*1 ,真值表的第三行；00 或为正数，真值
28、表的最后一行。此不等式方程组无解，这就证明了感知器不能解决异或问题。问题不是线性可分的，这是异或问题不能用感知器来解决的原因。63BP网络学习算法ihhoww()()()()(1()oooookd kyo kyo kyo k1()()f()qhohohokk whik1.1.初始值选择初始值选择2.2.前向计算，求出所有神经元的输出前向计算，求出所有神经元的输出3.3.对输出层计算对输出层计算4.4.从后向前计算各隐层从后向前计算各隐层5.5.计算并保存各权值修正量：计算并保存各权值修正量：6.6.修正权值：修正权值：7.7.判断是否判断是否满足满足结束结束条件条件，不满足不满足转至转至2 2
29、，否则，否则算法结束算法结束1()()()NNwkwkw k()w k64BP神经网络求解异或问题网络结构n设初始权值全部为0.5，阈值为0，学习率为0.5，输入层到隐含层，隐含层到输出值的激活函数为单极SIGMOID函数，要求误差e为0.1Node1Node2Node1Node2Node1X1X2w11w12w21w22w1yw2yyo65BP神经网络求解异或问题的权值调整n输入样本（1，1，0）时，求解各对应参数：n各神经元的输出111122122122221112211122(0)(0)(0)(0)(0)1 0.5 1 0.5 1(0)(0)(0)(0)(0)11(0)()0.73111
30、(0)()0.7311(0)(0)(0)(0)(0)0.731 0.5 0.731 0.50.731(0)(0)yyhixwxwhixwxwhof hiehof hieyihowhowyof yi 0.73110.6751 e66BP神经网络求解异或问题的权值调整n反向传播调整各权值 隐含层与输出层之间的权值调整计算：(0)(0)(0)(0)(1(0)(0 0.675)0.675(1 0.675)0.148odyoyoyo11101112210222(0)(0)(0)0.50.148 0.7310.054(0)(0)(0)0.5 0.0540.554(0)(0)(0)0.054(0)(0)(0
31、)0.554yoyyyyoyyywhowwwwhowww67BP神经网络求解异或问题的权值调整n反向传播调整各权值 输入层与隐含层之间的权值调整计算：1111122221111211(0)(0)(0)f(0)(0)(0)(0)(0)(1(0)0.148 0.5 0.731(1 0.731)0.015(0)(0)(0)(0)(1(0)0.015(0)(0)(0)0.50.015 1 0.007(0)(0)qhohohohoyhoyhhwhiwhohowhohowxwx 2(0)0.50.015 1 0.007 68BP神经网络求解异或问题的权值调整101111111021212112212222
32、10121212(0)(0)(0)0.5 0.0070.507(0)(0)(0)0.5 0.0070.507(0)(0)(0)0.50.015 10.007(0)(0)(0)0.50.015 10.007(0)(0)(0)0.5 0.0070.507hhwwwwwwwxwxwwww 10222222(0)(0)(0)0.5 0.0070.507wwp反向传播调整各权值反向传播调整各权值 输入层与隐含层之间的权值调整计算：输入层与隐含层之间的权值调整计算：69BP神经网络求解异或问题的权值调整n计算误差：n因为误差没有达到预定要求，进入下一轮权值调整循环2211()(0 0.675)0.2282
33、2edyo7071 BP网络学习算法的改进(1)多层前向BP网络的优点：n1)网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；n2)网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力。连接权wij通常在-1,1之间取值：(3)利用某一特征函数f 进行变换，得到输出yo：Boltzmann机2在反馈控制系统中直接充当控制器的作用；3).4与其他智能控制方法如模糊逻辑、遗传算法、专家控制等相融合。置k=k+1，返回到“2）”。xi(i=1,2,n)是输入，wi为该神经元与各输入间的连
34、接权值，为阈值，yo为输出BP网络的标准学习算法惯性系数是变量，随着校正的不断进行，惯性系数逐渐增大：计算并保存各权值修正量：根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内函数 一般具有非线性特性。3).计算修正隐含层的权系数w(2)ij(k)；激发函数 又称为变换函数，它决定神经元（节点）的输出。4与其他智能控制方法如模糊逻辑、遗传算法、专家控制等相融合。它所具有的主要特性为以下两点：阈值型函数（见图（a），（b）1)网络实质上实现了一个从输入到输出的映射
35、功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。72 (2)多层前向BP网络的主要问题：1)BP算法的学习速度很慢；2)网络训练失败的可能性较大；3)难以解决应用问题的实例规模和网络规模间的矛盾；4)网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定；BP网络学习算法的改进 5)新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；6)网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。BP网络学习算法的改进7374(
36、3)BP网络学习算法的改进 n1)增加惯性项；BP网络学习算法的改进 在每一次对连接权及阈值进行校正时，按一定比例加上前一次学习时的校正量，即惯性项：w（n+1）=d+w（n）（00 4).重复上述步骤，直到pij-pij小于一定的容限。915.4 神经网络神经网络PID控制控制n尽管神经网络控制技术有许多潜在的优势，但单纯使用神经网络的控制方法的研究仍有待进一步发展。通常将人工神经网络技术与传统的控制理论或智能技术综合使用。神经网络在控制中的作用有以下几种：n1在传统的控制系统中用以动态系统建模，充当对象模型；n2在反馈控制系统中直接充当控制器的作用；n3在传统控制系统中起优化计算作用；n4
37、与其他智能控制方法如模糊逻辑、遗传算法、专家控制等相融合。92 基于BP神经网络控制参数自学习PID控制 BP神经网络具有逼近任意非线性函数的能力，而且结构和学习算法简单明确。通过神经网络自身的学习，可以找到某一最优控制律下的P，I，D参数。基于BP神经网络的PID控制系统结构如图所示，控制器由两个部分组成：经典的PID控制器：直接对被控对象进行闭环控制，并且KP,KI,KD三个参数为在线整定；神经网络NN：根据系统的运行状态，调节PID控制器的参数，以期达到某种性能指标的最优化。即使输出层神经元的输出状态对应于PID控制器的三个可调参数KP,KI,KD，通过神经网络的自学习、调整权系数，从而
38、使其稳定状态对应于某种最优控制律下的PID控制器参数。9394 基于BP神经网络的PID控制算法可归纳如下：1).事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0),w(3)li(0)，选定学习速率和平滑因子，k=1；2).采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)；3).对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入；4).前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)；5).计算PID控制器的控制输出u(k)
39、，参与控制和计算；6).计算修正输出层的权系数w(3)li(k)；7).计算修正隐含层的权系数w(2)ij(k)；8).置k=k+1，返回到“2）”。95 改进型BP神经网络控制参数自学习PID控制n将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。但实际上，系统的预测输出值是不易直接测得的，通常的做法是建立被控对象的预测数学模型，用该模型所计算的预测输出来取代预测处的实测值，以提高控制效果。96(1)采用线性预测模型的BP神经网络PID控制器 97 采用线性预测模型的采用线性预测模型的BP神经网络神经网络PID控制系统
40、算法如下控制系统算法如下：1).事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0),w(3)li(0)，选定学习速率和平滑因子，k=1；2).用线性系统辨识法估计出参数矢量(k)，从而形成一步预报模型式；3).采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)；4).对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入；5).前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)；6).计算PID控制器的控制输出u(k)，参与控制和计
41、算；7).计算 和 ；8).计算修正输出层的权系数w(3)li(k)；9).计算修正隐含层的权系数w(2)ij(k)；10).置k=k+1，返回到“2）”。)1(ky)(/)1(kuky98 采用线性预测模型的采用线性预测模型的BP神经网络神经网络PID控制系统算法如下控制系统算法如下：99(2)采用非线性预测模型的BP神经网络PID控制器100 基于BP神经网络的PID控制算法可归纳如下：1).事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0),w(3)li(0)，选定学习速率和平滑因子，k=1；2).采样得到r(k)和y(k)，计算e
42、(k)=z(k)=r(k)-y(k)；3).对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入；4).前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)；5).计算PID控制器的控制输出u(k)，参与控制和计算；6).前向计算NNM的各层神经元的输入和输出，NNM的输出为 ，计算修正隐含层和输出层的权系数；7).计算 ；8).计算修正输出层的权系数w(3)li(k)；9).计算修正隐含层的权系数w(2)ij(k)；10).置k=k+1，返回到“2）”。)1(ky)(/)1(kuky101生物神经元模型
43、人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部之间的多种多样的连接方式也蕴含了变化莫测的反应方式。103人工神经网络模型n人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构
44、模型。BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使输出误差信号最小。5.2 前向神经网络前向神经网络104BP网络的标准学习算法-学习过程n正向传播：n输入样本输入层各隐层输出层n判断是否转入反向传播阶段：n若输出层的实际输出与期望的输出（教师信号）不符n误差反传n误差以某种形式在各层表示修正各层单元的权值n网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止10
45、54)采用动态步长；5)与其他全局搜索算法相结合；6)限制连接权的取值范围，避免学习过程的振荡；7)模拟退火算法等。BP网络学习算法的改进106107 改进型BP神经网络控制参数自学习PID控制n将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。但实际上，系统的预测输出值是不易直接测得的，通常的做法是建立被控对象的预测数学模型，用该模型所计算的预测输出来取代预测处的实测值，以提高控制效果。5).前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)；6).计算PID控制器的控制输出u(k)，参与控制和计算；7).计算 和 ；8).计算修正输出层的权系数w(3)li(k)；9).计算修正隐含层的权系数w(2)ij(k)；10).置k=k+1，返回到“2）”。)1(ky)(/)1(kuky108 采用线性预测模型的采用线性预测模型的BP神经网络神经网络PID控制系统算法如下控制系统算法如下：
