1、第四章第四章 误差反向传播神经网络误差反向传播神经网络 4.1 误差反向网络的提出 4.2 BP神经网络结构基本思想 4.3 BP神经网络处理的单元模型 4.4 BP神经网络学习算法 4.5 BP网络的分析-梯度下降学习方法 4.6 BP人工神经网络模型的改进4.1 误差反向网络的提出误差反向网络的提出1986 年,Romelhart 和McCelland 提出了误差反向传播算法( Error Back Propagation Algorithm ，简称BP 算法) ,由于多层前馈网络的训练经常采用误差反向传播算法，所以人们也常把多层前馈网络称为BP 网络。BP算法采用非线性连续变换函数，使隐
2、含层神经元具有了学习能力。其基本思想直观、易于理解，数学意义明确、步骤分明，所以BP 网络成为目前应用最广的神经网络。183 4 修改权值阈值修改权值阈值教师教师信号信号4.2 BP神经网络结构基本思想神经网络结构基本思想184.2 BP神经网络结构基本思想神经网络结构基本思想BP算法的主要思想是把训练过程分为两个阶段：第一阶段(正向传播过程)给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值。第二阶段(反向传播过程)若在输出层不能得到期望的输出值，那么逐层递归地计算实际输出与期望输出之差值，以便根据差值调节权值。185 4.3 BP神经网络处理的单元模型神经网络处理的单元模型1
3、86 w1jx1j w2jx2jxnwnjyj xe11xfjsjes11)(fyjjniijw1ijxs阈值j的作用反应在s型生长曲线上是使曲线向右平移j个单位，在BP网络里它起到了神经元兴奋水平的作用。 187 4.3 BP神经网络处理的单元模型神经网络处理的单元模型Sigmoid函数的一阶导数： 1112xxeexfxxxeee111 xfxf14.4 BP神经网络学习算法神经网络学习算法三层前馈网中: 输入模式k向量为X = ( x1 , x2 , ,x n) T ，对应输入模式k的期望输出向量为Y = ( y1 , y2 , , yq ) T ；中间隐含层的净输入向量为S=(s1,s
4、2 , ,sp)T，输出向量为B = (b1 , b2 , ,bp) T ；输出层L=(l1,l2 , ,lq)T，实际输出向量C=（c1,c2 , ,cq)T；=j（j=1,2 , ,p为，=t(t=1,2.q)为V = ( V1 , V2 , ,V m) ，W = ( W1 ,W2 , , Wr)。188 189 qtttcyqE11RMEE1810 （1）计算中间隐含层各个神经元的净输入和输出 j=1,2,.,p（2）计算输出层各个神经元的净输入和实际输出 t=1,2,.,q（3）根据给定期望，计算输出层各个神经元的校正误差 （4）计算隐含层各个神经元的校正误差4.4 BP神经网络学习算
5、法神经网络学习算法jniijw1ijxs jjsfb tpjjjttbvl1 ttlfc ttttlfcyd jqttjtjsfdve1 xfxfxf11811 （5）修正隐含层至输出层的连接权值V和输出层神经元的阈值，其中学习速率为，01 j=1,2,.,p，t=1,2,.,q（6）修正输入层至隐含层的连接权值W和隐含层神经元的阈值，其中学习速率为，01 4.4 BP神经网络学习算法神经网络学习算法jtjtbdvttdijijxewjje1812 一、BP网络的主要能力 1、非线性映射能力2、泛化能力3、容错能力4.5 BP网络的分析网络的分析-梯度下降学习方法梯度下降学习方法二、BP算法的
6、局限性1、存在局部极小问题2、存在平坦区，收敛速度慢3、网络结构选择不一1813 1、BP 人工神经网络结构的自我调整在BP人工神经网络拓扑结构中, 输入节点与输出节点是由问题的本身决定的, 关键在于隐层的层数与隐节点的数目。只需一个隐层的神经网络, 它只要隐节点足够多, 就可以以任意精度逼近一个非线性函数。相对来说, 隐节点数的选取很困难。隐节点少了, 学习过程不可能收敛；隐节点多了, 网络性能下降, 节点冗余。为了找到合适的隐节点数, 最好的办法是在网络的学习过程中, 根据环境要求, 自组织地学习、调整自己的结构, 最后得到一个大小合适的神经网络模型。4.6 BP人工神经网络模型的改进人工
7、神经网络模型的改进 从少到多：初始值： ， 先设置较多隐节点nm2lognlm 1814 2、BP 神经网络学习参数的自适应学习BP神经网络模型实际上是一个多元函数的优化问题,即以连结权系数为变量, 误差函数最小为目标的优化问题。当求出对连结权的梯度后, 对连结权进行修正时, 学习速率、实际上是一个沿负梯度方向的步长问题, 步长过大将使误差函数发生振荡, 步长过小, 收敛过慢。并且在不同的点, 可选步长也不一样。总之, 不存在原BP 算法中所提到的固定学习速率。4.6 BP人工神经网络模型的改进人工神经网络模型的改进 1815 4.6 BP人工神经网络模型的改进人工神经网络模型的改进3.附加动
8、量法附加动量法使网络在修正其权值时, 不仅考虑误差在梯度上的作用, 而且考虑在误差曲面上变化趋势的影响,其作用如同一个低通滤波器, 它允许网络忽略网络上的微小变化特性, 在没有附加动量的作用下, 网络可能陷入浅的局部极小值, 利用附加动量的作用则有可能滑过这些局部极小值。 n为训练次数，为动量因子，一般取0.95左右 1nwwEnwijijij1816 4. 引入放大因子5. 用蚁群优化算法选择最优初始权值蚁群优化算法是一种对离散优化问题进行求解的通用型框架。在某条具体路径当中所经过的蚂蚁数量越多，相应的信息条件密集性也就越大，从而这一路径被选取的概率也就越大，其呈现出的是一种正反馈的现状情况。每一只蚂蚁在仅穿过任一节点一次的情况之时，对被选用的权值节点进行明确的记录，从而该区域之中的节点也就组成了一组候选权值，在所有蚂蚁均完成了首次选择后，依据全局更新策略来对信息素的密度进行更新。直至满足于最大进化代数，也就得到了最佳的权值组合。4.6 BP人工神经网络模型的改进人工神经网络模型的改进 问题？问题？
