1、第十九章第十九章 神经网络模型神经网络模型一个引例一个引例 1981年生物学家格若根（W.Grogan）和维什（W.Wirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96
2、1.30 Apf1.74 1.36 Af问题：现抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？方法：把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属Af类；用小圆圈“。”表示，得到的结果见下图：图 飞蠓的触角长和翼长 根据图示，可考虑作一直线，就可将两类飞蠓分开。例如；取A（1.44，2.10）和 B(1.10，1.16)，过A、B两点作一条直线：y 1.47x -0.017其中x表示触角长；y表示翼长 分类规则：
3、设一个蚊子的数据为（x,y）如果y1.47x -0.017，则判断蚊子属Apf类 如果y1.47x -0.017；则判断蚊子属Af类 分类直线图 分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类缺陷：根据什么原则确定分类直线？若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为y=1.39x+0.071分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28,1.84)属于Af类 哪一分类直线才是正确的呢？因此如何来确定这个判别直线是一个值得研究的问题 一般地讲，应该充分利用已知的数据信息
4、来确定判别直线再如，如下的情形已经不能用分类直线的办法：新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。神经网络模型的生物学背景神经网络模型的生物学背景 人类大脑大约包含有10111012个神经元，每个神经元与大约103105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。神经生理学和神经神经生理学和神经解剖学的研究结果表明，解剖学的研究结果表明，神经元是脑组织的基本神经元是脑组织的基本单元，是神经系统结构单元，是神经系统结构与功能的单位。与功能的单位。生物神经元在结构上由：生物神经元在结构上由：细胞体细胞体(Cell body)(C
5、ell body)树突树突(Dendrite)(Dendrite)轴突轴突(Axon)(Axon)突触突触(Synapse)(Synapse)四部分组成。用来完成神经四部分组成。用来完成神经元间信息的接收、传递和处元间信息的接收、传递和处理。理。生物神经元的信息处理机理：生物神经元的信息处理机理：神经元间信息的产生、传神经元间信息的产生、传递和处理是一种电化学活动。递和处理是一种电化学活动。信息输入信息输入信息传播与处理信息传播与处理信息传播与处理（整合）信息传播与处理（整合）信息传播与处理结果：兴奋与抑制信息传播与处理结果：兴奋与抑制信息输出信息输出 突触是神经元之间相互连接的接口部分，即一
6、个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。神经元的功能特性神经元的功能特性 （1）时空整合功能。（2）神经元的动态极化性。（3）兴奋与抑制状态。（4）结构的可塑性。（5）脉冲与电位信号的转换。（6）突触延期和不应期。（7）学习、遗忘和疲劳。生物神经网络生物神经网络:由多个生物神经元以确定方式和拓扑结构相互连接由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。即形成生物神经网络。生物神经网络的功能不是单个神经元信息处理功生物神经网络的功能不是单个神经元信息处理功能的简单叠加能的简单叠加,而且神经元之间的突触连接方式和连接而且神
7、经元之间的突触连接方式和连接强度也是不同的并且具有可塑性（这点非常重要），强度也是不同的并且具有可塑性（这点非常重要），这使神经网络在宏观呈现出千变万化的复杂的信息处这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。理能力。人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，属于仿生学的一部分，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。已在模式识别、机器学习、计算机图像处理、专家系统等各个方面得到广泛的应用，成为人工智能研究中的活跃领域。人工神经网络人工神
8、经网络神经元的人工模型（神经元的人工模型（MP模型模型）人工神经网络的组成与结构人工神经网络的组成与结构人工神经网络的组成人工神经网络的组成 人工神经网络是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元人工神经元。人工神经网络可看成是以人工神经元为节点，用有向加用有向加权弧连接起来的有向图。权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突突触树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。用的强弱。x1 x1 w1j o
9、oj j wij o oj j xi xi wnj xn xn (a)多输入多输入单输出单输出 (b)输入加权输入加权 x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)输入加权求和输入加权求和 (d)输入输入-输出函数输出函数处理单元（人工神经元人工神经元）结构示意图人工神经网络的结构人工神经网络的结构更一般的人工神经元更一般的人工神经元示意图（示意图（MPMP模型）模型）称为作用函数或激发函数称为作用函数或激发函数作用函数作用函数求和操作求和操作1()()niijijijyf xfw uijnjjiiuwx1 对于第i
10、个处理单元（神经元）来说，假设来自其他处理单元（神经元）j的信息为uj，它们与本处理单元的互相作用强度即连接权值为wji,j=1,2,n,处理单元的内部阈值为i。那么本处理单元（神经元）的输入为从而处理单元的输出为)(1ijnjjiiuwfyf函数决定节点（神经元）的输出。人工神经元的工作过程人工神经元的工作过程,处理单元的净输入为injjjiuw1njjjiuw1 )(ixf i )(ixf i 信息输入信息输入 )(ixf i 信息传播与处理：加权求和信息传播与处理：加权求和 )(ixf i 信息传播信息传播 )(ixf i 信息传播与处理：非线性信息传播与处理：非线性 )(ixf i 信
11、息输出信息输出(1)(1)阈值型传递函数，如：阈值型传递函数，如：阈值型函数又称阶跃函数，它表示激活值x和其输出f(x)之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，采用阶跃作用函数的神经元，称为阈值逻辑单元。1,0()1,0 xf xx1,0()0,0 xf xx f(x)1.0 x0(2)S(2)S型传递函数型传递函数 对称型对称型SigmoidSigmoid函数函数 xxeexf11)(0,11)(xxeexf或或S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为传递函数的神经元也具有饱和特性，是最常用的一类激发函数。非非对称型对称型Si
12、gmoidSigmoid函数函数 xexf11)(或或0,11)(xexf(3)(3)分段线性转移函数分段线性转移函数（a a）线性作用函数：输出等于输入，即）线性作用函数：输出等于输入，即 xxfy)(（b b）饱和线性作用函数）饱和线性作用函数 110010)(xxxxxfy（c c）对称饱和线性作用函数）对称饱和线性作用函数 111111)(xxxxxfy 线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。(4)(4)高斯函数高斯函数 2221(
13、)2xf xe该函数也是常用的一类激发函数。由多个神经元组成的单层网络结构图示bi为第i个（i=1,2,s）神经元的阈值，即MP模型的阈值量i由多个单层（2层）网络组成的多层网络图示单单纯纯层层次次型型结结构构神经网络模型的典型拓扑结构神经网络模型的典型拓扑结构 u y 神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。感知器、BP神经网络和径向基函数神经网络都属于这种类型。层层内内有有连连接接层层次次型型结结构构 神经网络中有的在同一层中的各神经元相互有连接,通过层内神经元的相互结合，可以实现
14、同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。输输出出层层到到输输入入层层有有连连接接反反馈馈 网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。全全互互连连型型结结构构 局局部部互互连连型型网网络络结结构构 网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是单向的。Hopfield网络、Boltzman机网络属
15、于这一类。神经网络的学习神经网络的学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出，这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。学习是改变各神经元连接权值的有效方法，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力。学习方法是人工神经网络研究中的核心问题学习方法是人工神经网络研究中的核心问题有监督学习方式有监督学习方式 神经网络根据实际输出与期望输出的偏差，按照一定的准则调整各神经元连接的权系数，见下图。期望输出又称为导师信号，是评价学习的标准，故这种学习方式又称为有导
16、师学习。特点：不能保证得到全局最优解，要求大量训练样本，收敛速度慢，对样本地表示次序变化比较敏感。无导师信号提供给网络，神经网络仅仅根据其输入调整连接权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类操作。无监督学习方式无监督学习方式 Donall Hebb根据生理学中的条件反射机理，于1949年提出的神经元连接强度变化的规则：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 为学习速率，oi、oj为神经元 i 和 j 的输出联想式学习联想式学习 Hebb学习规则学习规则ijijwooHebb学习规则是人工神经网络学习的基本规则，几乎所有神
17、经网络的学习规则都可以看作Hebb学习规则的变形。神经网络的学习规则神经网络的学习规则纠错式学习纠错式学习 Delta()学习规则学习规则 首先考虑一个简单的情况：设某神经网络的输出层中只有一个神经元i，给该神经网络加上输入，这样就产生了输出yi(n)，称该输出为实际输出。对于所加上的输入，我们期望该神经网络的输出为d(n),称为期望输出或目标输出（样本对里面包含输入和期望输出）。实际输出与期望输出之间存在着误差，用e(n)表示：()=()-()ie nd n y n 现在要调整权值，是误差信号e(n)减小到一个范围。为此，可设定代价函数或性能指数E(n)：21()=()2E ne n 反复调
18、整突触权值使代价函数达到最小或者使系统达到一个稳定状态（及突触权值稳定不变），就完成了该学习过程。该学习过程成为纠错学习，或Delta学习规则。wij 表示神经元xj到xj学的突触权值，在学习步骤为n时对突触权值的调整为：()=()()ijjw ne n x n学习速学习速率参数率参数则(1)=()+()ijijijw nw nw n人工神经网络的仿真人工神经网络的仿真 人工神经网络的运行一般分为训练和仿真两个阶段。训练的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供仿真阶段使用。神经网络的仿真过程实质上是神经网络根据网络输入数据，通过数值计算得出相应网络输出的过程。通过仿真，可
19、以及时了解当前神经网络的性能从而决定是否对网络进行进一步的训练。反向传播模型及其网络结构反向传播模型及其网络结构反向传播模型反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。四、反向传播模型及其学习算法四、反向传播模型及其学习算法B-P算法的网络结构
20、是一个前向多层网络，如图所示。四、反向传播模型及其学习算法四、反向传播模型及其学习算法反向传播网络的学习算法反向传播网络的学习算法B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。四、反向传播模型及其学习算法四、反向传播模型及其学习算法
21、B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样例集中的每一个样例重复（3）（5）的步骤，直到对整个训练样例集的误差达到要求时为止。四、反向传播模型及其学习算法四、反向传播模型及其学习算法 在以上的学习过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展
22、，是B-P学习算法必须解决的问题。四、反向传播模型及其学习算法四、反向传播模型及其学习算法B-P算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。缺点：（1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。四、反向传播模型及其学习算法四、反向传播模型及其学习算法简单网络的简单网络的B-P算法算法简单网络 假设有P个训
23、练样本，即有P个输入输出对（Ip,Tp）,p=1,P,其中 输入向量为 ,TpmppiiI),.,(1目标输出向量为（实际上的）TpnppttT),.,(1网络输出向量为（理论上的）TpnppooO),.,(1简单网络的简单网络的B-P算法算法nipipiot12)(min（p=1,P）（2）记wij为从输入向量的第j(j=1,m)个分量到输出向量的第i(i=1,n)个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数wij，使误差平方和达最小：记 Delta学习规则:pipipiotPppjpipjPppipiijiiotw11)(（4）ijijij
24、www（3）ijw表示递推一次的修改量，则有称为学习的速率学习的速率 简单网络的简单网络的B-P算法算法ipm=-1,wim=(第i个神经元的阈值)（5）注：由（1）式，第i个神经元的输出可表示为mjpjijpiiwfo1)(特别当f是线性函数时 biwaomjpjijpi1)(（6）简单网络的简单网络的B-P算法算法多层前馈网络 多层前馈网络多层前馈网络（l）输入层不计在层数之内，它有N0个神经元设网络 共有L层；输出层为第L层；第 k层有Nk个神经元假设：假设：(2)设)(iuk表示第k层第i神经元所接收的信息 wk(i,j)表示从第k-1层第j个元到第k层第i个元的权重，)(iak表第k
25、层第i个元的输出（3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输(4)设信息传输的方向是从输入层到输出层方向；因此称为前向网络没有反向传播信息（5）表示输入的第j个分量)(0ja假设：假设：在上述假定下网络的输入输出关系可以表示为：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7）其中k(i)表示第k层第i个元的阈值.五、应
26、用举例五、应用举例1 问题描述问题描述 在金属成形过程设计中，需要知道施于工件与模具之间的润滑剂的摩擦特性以及工件材料的流动应力，以优化成形过程。金属环锻压实验是测定介面摩擦特性和材料流动应力的最简单的试验方法。用上界法绘制不同摩擦因素条件下的标定曲线族，曲线自变量为环内径减小的百分比（）和环高度缩减的百分比（），应变量是摩擦因素（m）和流动应力（）。应用举例应用举例1 用神经网络测定 训练样本1600个，四层反向传播网络，分别用2、12、12、2个神经元。学习规则用改进的规划。应用举例应用举例1应用举例应用举例2 已知的两类蚊子的数据如表1：翼长 触角长 类别1.78 1.14 Apf1.9
27、6 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目标值目标值0.90.90.90.10.90.90.90.1 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目标t0.10.10.10.10.10.10.1 输入数据有15个，即,p=1,15;j=1,2;对应15个输出。建模：（输入层，中间层，输出层，每层的元素应取多少个
28、？）建立神经网络 规定目标为：当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：)3,2()2,2()1,2()3,1()2,1()1,1(1111111wwwwwwW)3,1()2,1()1,1(2222wwwW)()3,(jjwii为阈值 其中分析如下：为第一层的输出，同时作为第二层的输入。)2()2()2,2()1()1,2()2()1()2()2,1()1()1,1()1(101011101011awawuawawu)1()1(11ufa)2()2(11ufa其中，为阈值，为传递函数if1)3(0a若令（作为一固定输入）（阈值作为固定输入神经
29、元相应的权系数）jjw)3,(12,1j3101010101131010101011)(),2()3()3,2()2()2,2()1()1,2()2()(),1()3()3,1()2()2,1()1()1,1()1(jjjajwawawawujajwawawawu则有：xexf11)(取传递函数为)()(11iufia=)(exp(111iu2,1i则同样，取,1)3(1a)3,1(2w)1(exp(11)1()(),1()1(2231122uajajwuj（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：令p=0具体算法如下：具体算法如下：)0(1W=rand(2,3)
30、;)0(2W=rand(1,3);(2)根据输入数据利用公式算出网络的输出 3101010101131010101011)(),2()3()3,2()2()2,2()1()1,2()2()(),1()3()3,1()2()2,1()1()1,1()1(jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2,1i,1)3(1a)1(exp(11)1()(),1()1(2231122uajajwuj取取（3）计算 xexf11)(因为 所以 2)1()(xxeexf)1()1()1()1(222ufat2222)1(exp(1/()1(exp()1()1(uuat（4）取（或其他正数，可调整大小）1.0)()1(1ip(5)计算 和:),()1(1jiWp)()1(1ip222)1(2)1(2)1(exp(1/()1(exp(),1()1(uuiWpp)()(),(),()1(0)1(1)(1)1(1jaijiWjiWppppj=1,2,3,i=1,2,3,计算 j=1,2,3),1()1(2jWP)()1(),1(),1()1(1)1(2)(2)1(2jajWjWppppj=1,2,3
