1、人工神经网络概述人工神经网络概述内容1、神经网络的基本概念2、感知器与BP网络3、例子：BP神经网络优化化学反应条件 1 神经网络的基本概念 以数学和物理方法以及信息处理的角度对以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（模型，就称为人工神经网络（Artificial Neural Network，缩写，缩写 ANN）。）。T.Koholen的定义：的定义：“人工神经网络人工神经网络是由具是由具有适应性的简单单元组成的广泛并行互连有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统的网
2、络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。对真实世界物体所作出的交互反应。1.1人工神经网络的定义1.1 人工神经网络的定义 美国神经网络学者Nielsen的定义 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。1.2 神经网络的基本特征和应用 结构特征：并行处理 分布式存储 容错性 能力特征：自学习 自组织 自适应性1.2 神经
3、网络的基本特征和应用在各个行业均有应用，擅长的有：模式识别人工智能控制工程优化分析和联想记忆信号处理1.3 生物神经网络生物神经网络 人类的大脑大约有人类的大脑大约有1.4 1011个神经细胞个神经细胞（神经元）。每个神经（神经元）。每个神经元有数以千计的通道同元有数以千计的通道同其它神经元广泛相互连其它神经元广泛相互连接，形成复杂的生物神接，形成复杂的生物神经网络。经网络。1.3 生物神经网络生物神经网络 生物神经元结构细胞体：处理树突：输入轴突：输出突触：接口 1.3 生物神经网络生物神经网络生物神经元状态 静息 极化 兴奋 去极化 抑制 超极化兴奋与抑制：当传入神经元的冲动，经整和，使细
4、胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此，神经元具有学习与遗忘的功能。1.4 人工神经元模型 人工神经元模型 心理学家McCulloch和数学家W.Pitts提出的M-P模型数学模型 j 神经元j的阈值；wij 神经元i到 j 的突触连接权系数；f()神经元转移函数。1.4 人工神经元模型1.4 人工神经元模型（2）非线性转移函数单极性Sigmoid函数双极性Sigmoid函数1.4 人工神经元模型（3
5、）分段线性转移函数1.5 人工神经网络模型 根据连接关系分类层次型结构互联型结构 根据信息流向分类前馈型网络反馈型网络1.5 人工神经网络的学习 网络运行一般分为训练阶段和工作阶段。网络运行一般分为训练阶段和工作阶段。训练的目的是为了从训练的数据中提取隐训练的目的是为了从训练的数据中提取隐含的知识和规律，并存储于网络中供工作含的知识和规律，并存储于网络中供工作阶段使用。阶段使用。神经网络能够通过对样本的学习训练，不神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这使网络的输出不断地接近期望的输出。这一
6、过程称为神经网络的学习或训练，其本一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。质是可变权值的动态调整。1.5 人工神经网络的学习（1）有导师学习（有监督学习有监督学习）在学习过程中，网络根据实际输出与期望输出的比较，进行联接权系的调整，将期望输出称导师信号是评价学习的标准。神经网络比较输入实际输出期望输出1.5 人工神经网络的学习（2）无导师学习（无监督学习无监督学习）无导师信号提供给网络，网络能根据其特有的结构和学习规则，进行联接权系数的调整，此时，网络的学习评价标准隐含于其内部神经网络输入实际输出1.5 人工神经网络的学习（3）再励学习（强化学习）把学习看为试探评价过程，学
7、习机制选择一个输出作用于环境，环境的状态改变，并产生再励信号反馈至学习机，学习机依据再励信号与环境当前的状态，再选择下一个输出作用于环境，选择的原则是使受到奖励的可能性增大神经网络2神经网络1输入输出环境1.6 常用的神经网络 常用的前向神经网络感知器BP网络（误差向后传播神经网络）径向基函数网络（RBF神经网络）常用的反馈神经网络Hopfield网络Boltzmann机网络Kohonen网络（自组织特征映射模型）2 感知器与BP网络2.1 感知器基本感知器 是一个具有单层计算神经元的两层网络。只能对线性可分输入矢量进行分类。n个输入向量x1,x2,xn 均为实数，w1i，w2i,wni 分别
8、是n个输入的连接权值，b是感知器的阈值，传递函数f一般是阶跃函数，y 是感知器的输出。通过对网络权值的训练，可以使感知器对一组输入矢量的响应成为0或1的目标输出，从而达到对输入矢量分类识别的目的。2.1 感知器 单层感知器的学习法：2.1 感知器 多层感知器：在输入层和输出层之间加入一层或多层隐单元，构成多层感知器。提高感知器的分类能力。两层感知器可以解决“异或”问题的分类及识别任一凸多边形或无界的凸区域。更多层感知器网络，可识别更为复杂的图形。2.2 BP网络网络 多层前馈网络的反向传播（BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。网络结构网络结构见图，
9、u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。2.2 BP网络网络已知网络的输入/输出样本，即导师信号。BP学习算法由正向传播和反向传播组成：正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。正向传播正向传播反向传播反向传播2.2 BP网络网络BP学习算法基本思想：设算法的输入输出样
10、本(导师信号)为u1,t1,u2,t2,uQ,tQ即共Q个样本。或记为uq,tq,q=1,Q 网络训练的目的，是使对每一个输入样本，调整网络参数，使输出均方误差最小化。2.2 BP网络网络BP学习算法基本思想：考虑迭代算法，设初始权值为w0,k时刻权值为wk,则使用泰勒级数展开，有：问题：如何选择 ，使J最小？最直接的方法就是选择这样每一步都能保证 从而使J最终可收敛到最小。这就是梯度下降算法，也是BP学习算法的基本思想。2.2 BP网络网络BP学习算法步骤:设置初始权系数w0为较小的随机非零值；给定输入/输出样本对，计算网络输出,完成前向传播 计算目标函数J。如J,训练成功，退出；否则转入
11、反向传播计算 由输出层，按梯度下降法将误差反向传播，逐层调整权值。2.2 BP网络网络 优点 学习完全自主；可逼近任意非线性函数；缺点 算法非全局收敛；收敛速度慢；3 例子：BP神经网络优化化学反应条件 问题描述：过碳酸钠是一种强氧化剂，其水溶液可用作医疗杀菌剂、口腔消毒剂。由于过碳酸钠对湿度和温度很敏感，容易分解，其有效氧含量和稳定性还有待提高。为改进过碳酸钠的工艺，筛选出新的复合稳定剂，利用BP神经网络对其工艺参数进行考察，并利用仿真结果进行预测，其方法及步骤如下：步骤1：确定影响过碳酸钠工艺条件的主要因素及考察范围 步骤2：确定BP神经网络结构 采用3层BP网络模型，即输入层、输出层和隐
12、含层。4个输入向量X1、X2、X3、X4分别对应原料配比、反应温度、反应时间、稳定剂加入量四个考察因素，2个输出向量Y1、Y2分别对应目标函数收率和活性氧含量，其拓扑结构如图。步骤3：用Matlab仿真%定义输入向量X和输出向量Y（训练样本）X1=0.416 0.454 0.50 0.556 0.625 0.769 1.0X2=-10 0 10-15-5 5 15X3=40 85 25 70 10 55 100X4=1.5167 1.23333 0.9500 0.6667 0.3833 0.1 1.8Y1=81.4 93.6 95.0 98.0 78.1 87.3 96.3Y2=13.5 13
13、.9 14.1 14.5 10.0 13.7 14.2X=X1;X2;X3;X4Y=Y1;Y2%构建BP神经网络、定义网络训练次数、显示方式、误差要求net=newcf(minmax(X),10,2,tansig,purelin,trainlm);net.trainparam.epochs=3000;net.trainparam.show=100;net.trainparam.goal=0.00001;%进行网络训练和仿真：net,tr=train(net,X,Y);%进行仿真预测XX1=0.556 0.556 0.556 0.556 0.556 0.556 0.556XX2=-15-15-15-15-15-15-15XX3=85 85 85 85 85 85 85XX4=1.5167 1.23333 0.9500 0.6667 0.3833 0.1 1.8XX=XX1;XX2;XX3;XX4YY=sim(net,XX)perf=sse(e)若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点网络训练误差曲网络训练误差曲线线
