1、1、BP6.2 基于基于BP神经网络的建模神经网络的建模BP网络结构 含一个隐含层的含一个隐含层的BP网络结构如图网络结构如图1 1所示，所示，图中图中 为输入层神经元，为输入层神经元，为隐层神经元，为隐层神经元，为输出层神经元。为输出层神经元。ijk图图1 BP1 BP神经网络结构神经网络结构 2、BP网络的在线逼近网络的在线逼近 BP网络逼近的结构如图网络逼近的结构如图2所示，图中所示，图中k为网络的为网络的迭代步骤，迭代步骤，u(k)和和y(k)为网络的输入。为网络的输入。y(k)为被控对为被控对象实际输出，象实际输出，yn(k)为为BP网络的输出。将系统输出网络的输出。将系统输出y(k
2、)及输入及输入u(k)的值作为神经网络的值作为神经网络BP的输入，将系的输入，将系统输出与网络输出的误差作为神经网络的调整信号。统输出与网络输出的误差作为神经网络的调整信号。图2 BP神经网络逼近的结构 用于逼近的用于逼近的BP网络如图网络如图3所示。所示。)(kyn)(ku)(kyijw2jwjxjxix图图3 用于逼近的用于逼近的BP网络。网络。BP算法的学习过程由正向传播和反向算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从传播组成。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一
3、层神经层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输元的状态。如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误由梯度下降法调整各层神经元的权值，使误差信号减小。差信号减小。iiijjxwxjxjjexfx11)()1(jjjjxxxxjjjkxwx2)()()(kykyken2)(keE21()nky kx222()()kjjjjxEwe ke kxww 222)()1(jjjwtwtw()nij
4、ijijyEwe kww ijjjijjjijjjjjnijnxxxwxxxwwxxxxywy)1(22ijijijwkwkw)()1()1()()()1(22222kwkwwkwkwjjjjj)1()()()1(kwkwwkwkwijijijijij1,01,0Jacobian(t)1ux jjjjjjjjjnnwxxwxxxxxykuykuy1211kkk3、BP网络的优缺点网络的优缺点 BP网络的优点为：网络的优点为：（1）只要有足够多的隐层和隐层节点，）只要有足够多的隐层和隐层节点，BP网络可以网络可以逼近任意的非线性映射关系；逼近任意的非线性映射关系；（2）BP网络的学习算法属于全局
5、逼近算法，具有较网络的学习算法属于全局逼近算法，具有较强的泛化能力。强的泛化能力。（3）BP网络输入输出之间的关联信息分布地存储在网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而出关系有较小的影响，因而BP网络具有较好的容网络具有较好的容错性。错性。BP网络的主要缺点为：网络的主要缺点为：（1）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；（2）目标函数存在多个极值点，按梯度下降）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；法进行学习，很容易陷入局部极小值；（3
6、）难以确定隐层及隐层节点的数目。目前，）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。尚无很好的方法，仍需根据经验来试凑。由于由于BP网络具有很好的逼近非线性映射的能力，网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。有着较为广泛的应用。由于由于BP网络具有很好的逼近特性和泛化能力，网络具有很好的逼近特性和泛化能力，可用
7、于神经网络控制器的设计。但由于可用于神经网络控制器的设计。但由于BP网络收网络收敛速度慢，难以适应实时控制的要求。敛速度慢，难以适应实时控制的要求。4、BP网络在线逼近仿真实例网络在线逼近仿真实例 使用使用BP网络对如下对象逼近：网络对如下对象逼近：BP网络逼近程序见网络逼近程序见chap6_1.m23)1(1)1()()(kykykuky5、输入输出数据的、输入输出数据的BP网络建模网络建模 由于神经网络具有自学习、自组织和并行处理由于神经网络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联想能力，因此，等特征，并具有很强的容错能力和联想能力，因此，神经网络对输入输出数据具有建模
8、能力。神经网络对输入输出数据具有建模能力。输输 入入输输 出出1001001000.500101表表1 31 3个训练样本个训练样本 在神经网络建模中，根据标准的输入输在神经网络建模中，根据标准的输入输出模式对，采用神经网络学习算法，以标准出模式对，采用神经网络学习算法，以标准的输入输出模式作为学习样本进行训练，通的输入输出模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模型足要求后，得到的神经网络权值构成了模型的知识库。的知识库。当待输入模式与训练样本中的某个输入模当待输入模式与训练样本中的某个输入模式
9、相同时，神经网络输出的结果就是与训练样式相同时，神经网络输出的结果就是与训练样本中相对应的输出模式。当输入模式与训练样本中相对应的输出模式。当输入模式与训练样本中所有输入模式都不完全相同时，则可得到本中所有输入模式都不完全相同时，则可得到与其相近样本相对应的输出模式。当输入模式与其相近样本相对应的输出模式。当输入模式与训练样本中所有输入模式相差较远时，就不与训练样本中所有输入模式相差较远时，就不能得到正确的输出结果，此时可将这一输入输能得到正确的输出结果，此时可将这一输入输出数据作为新的样本进行训练，使神经网络获出数据作为新的样本进行训练，使神经网络获取新的知识，并存储到网络的权值矩阵中，从取
10、新的知识，并存储到网络的权值矩阵中，从而增强网络的建模能力。而增强网络的建模能力。BP网络的训练过程如下：正向传播是输入网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转到了期望的输出，则学习算法结束；否则，转至反向传播至反向传播 以第以第p个样本为例，用于训练的个样本为例，用于训练的BP网络结网络结构如图构如图4所示。所示。图图4 BP4 BP神经网络结构神经网络结构 网络的学习算法如下：网络的学习算法如下：（1）前向传播：计算网络的输出。）前向传播：计算网络的输出。隐层神经元的输入为所有
11、输入的加权之和：隐层神经元的输入为所有输入的加权之和：隐层神经元的输出隐层神经元的输出 采用采用S函数激发函数激发 ：iiijjxwxjxjxjxjjexfx11)()1(jjjjxxxx则输出层神经元的输出：输出层神经元的输出：jjjllxwx 网络第网络第 个输出与相应理想输出个输出与相应理想输出 的误差为：的误差为：第第p个样本的误差性能指标函数为：个样本的误差性能指标函数为：其中其中N为网络输出层的个数。为网络输出层的个数。0lxlllxxe0NllpeE1221l（2）反向传播：采用梯度下降法，调整各层）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下：间的权值。权值的
12、学习算法如下：输出层及隐层的连接权值输出层及隐层的连接权值 学习算法为：学习算法为：jlwjljllljlpjlxewxewEwjljljlwkwkw)()1(其中其中隐层及输入层连接权值隐层及输入层连接权值 学习算法为：学习算法为：ijwNlijllijpijwxewEw1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxxwx)1(ijijijwkwkw)()1(如果考虑上次权值对本次权值变化的影响，如果考虑上次权值对本次权值变化的影响，需要加入动量因子需要加入动量因子 ，此时的权值为：，此时的权值为：11kwkwwkwkwjljljljljl)1()()()1(twtww
13、twtwijijijijij其中其中 为学习速率，为学习速率，为动量因子。为动量因子。1,01,0仿真实例：仿真实例：取标准样本为取标准样本为3 3输入输入2 2输出样本，如表输出样本，如表4-14-1所所示。示。输输 入入输输 出出1001001000.500101表2 训练训练样本 BP网络模式识别程序包括网络训练程序网络模式识别程序包括网络训练程序chap6_2a.m和网络测试程序和网络测试程序chap6_2b.m输输 入入实际输实际输 出出1001001000.500101表表3 3 测试样本测试样本 6.1 传统的建模方法传统的建模方法 神经网络应用于系统建模的一个优点是神经网络应用
14、于系统建模的一个优点是通过直接学习系统的输入输出数据使所要求通过直接学习系统的输入输出数据使所要求的误差准则函数达到最小，从而辨识出隐含的误差准则函数达到最小，从而辨识出隐含在系统输入输出的关系。利用神经网络建模在系统输入输出的关系。利用神经网络建模的基本结构图如图的基本结构图如图5所示所示.6、BP网络离线建模网络离线建模图图5 5 基本的离线神经网络建模结构基本的离线神经网络建模结构 其中模块其中模块Plant为实际系统，为实际系统，NN为用神经网为用神经网络建立的实际系统等效模型网络输入为络建立的实际系统等效模型网络输入为u和和y。u为控制输入，为控制输入，y为对象的输出，为对象的输出，
15、为神经网络为神经网络的输出。的输出。y 仿真实例仿真实例使用使用BP网络对下列对象进行建模：网络对下列对象进行建模：在在BP网络中，网络中，网络输入信号为网络输入信号为2个，即个，即 ，和和 。网络初始权值及高斯函数参数初始权值可取随网络初始权值及高斯函数参数初始权值可取随机值，也可通过仿真测试后获得。机值，也可通过仿真测试后获得。sssG251332)(ku(1)y k 输入信号为正弦信号：输入信号为正弦信号：网络隐层神经元个数取网络隐层神经元个数取6，网络结构为，网络结构为2-6-1，网络的初始权值取随机值。网络的学习参数网络的初始权值取随机值。网络的学习参数取取 训练样本取训练样本取200组。组。BP网络离线训练程序见网络离线训练程序见chap6_3a.m。BP网网络在线估计程序见络在线估计程序见chap6_3b.m。)sin(25.0(k)tu05.05.0
