人工神经网络原理、应用.ppt

1、人工神经网络原理、应用纲要1.人工神经网络原理2.人工神经网络优势3.人工神经网络的应用4.人工神经网络研究趋势5.结束语2022-11-161.人工神经网络原理人之所以有智能，是因为大脑中存在一个1000亿个神经元构成的生物神经网络;生物神经网络十分复杂，具有高度智能;人们力图抓住主要特点，构成人工神经网络，形成具有一定智能能力的信息处理工具。2022-11-161.1 神经系统 的复杂性2022-11-162022-11-162022-11-162022-11-162022-11-162022-11-162022-11-16What are(artificial)neural networ

2、ks?It is a network with interactions,in attempt to mimicking the brain UNITs:artificial neuron(linear or nonlinear input-output unit),small numbers,a few hundreds INTERACTIONs:simply by weights,how strong a neuron affects others STRUCTUREs:could be feedforward,feedback or recurrent It is still far t

3、oo naive,and the development of the field relies on all of us2022-11-16 1.1.2 生物神经元人的大脑由人的大脑由1012个神经元构成，神经元互相连个神经元构成，神经元互相连接成神经网络接成神经网络神经元组成：细胞体为主体1873年,意大利 Cajai 银渗透法 发现Golgi 体神经元功能：刺激、兴奋、传导、效应 形状图 突触传递信息特点2022-11-16神经元示意图2022-11-16突触传递信息特点(1)时延性:（0.31ms）(2)综合性：时间与空间的累加(3)类型：兴奋与抑制(4)脉冲与电位转换:（D/A功能）

4、(5)速度：1150m/s(6)不应期（死区）：35ms(7)不可逆性（单向）(8)可塑性:强度可变,有学习功能 脉冲 2022-11-16 1.1.3 人脑神经网络n脑神经系统主要组成部分n大脑皮层由许多功能区组成大脑皮层由许多功能区组成（运动、听觉、视觉等）神经元群 其区域性结构其区域性结构：遗传 其功能其功能：后天对环境的适应于学习得来 （自组织特性Self-Organization）子功能模块的并行关系子功能模块的并行关系 a)大脑处理信息的特点 b)生物学研究成果 2022-11-16 a)大脑处理信息的特点 n分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神

5、经网络中的记忆反映在神经元间的突触连接强度上(weights）;n并行处理：NN既是处理器又是存储器（并行处理不同于并行机）;n信息处理与存储合一：每个元兼有二者功能;n可塑性与自组织性：可塑性是学习记忆的基础;n鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。2022-11-16b)BNN研究成果H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g.自激振荡 chaos.多重稳定性等2022-11-16HH方程式中，I为膜电流，V为膜电位相对于静息膜

6、电位Er的变化，VK,VNa,Vl分别为钾离子、钠离子和氯离子与其他离子形成的相对电位。CM为单位面积的膜电容，gk,gNa,gl 分别为钾离子、钠离子通道和漏电流通道的电导。43KKNaNa()()()MlldVICg n V Vg mhV Vg V Vdt2022-11-161.2 人工神经网络n研究大脑的目的：a）揭示功能造福人类 b）构造ANN用于工程及其他领域n（生物神经网络的模型化：ANN）BNN modeling ANN ANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。2022-11-16神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它

7、一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。2022-11-16人工神经网络内容1.2.1 人工神经元模型 （Artificial Neuron model）1.2.2 人工神经网络的构成 （structure of ANN）1.2.3 人工神经网络的学习 （learning or training of ANN）2022-11-161.2.1 人工神经元模型 BNN 信息传递过程 为 MISO 系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度

8、有关（时间总合效应）。各通道都对电位产生影响（空间总合效应）。2022-11-16神经元模型（1）n神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。2022-11-16神经元模型（2）n。2022-11-16抽象可得数学表达式：wi 数值（weights)b 阀值（threshold）f(s)用函数（activated transfer function）1Riiisw xb()yf s2022-1

9、1-16几种常用的作用函数(1)、阀值型（硬限制型)(2)、线性型(3)、S型函数（Sigmoid）(4)、辐射基函数2022-11-16(1)、阀值型（硬限制型）0*0 0*1 )*(bPWbPWbPWfA生物学背景：神经细胞的兴奋与抑制；单极性2022-11-160*1 0*1 )*(bPWbPWbPWfA生物学背景：神经细胞的兴奋与抑制：双极性2022-11-16(2)、线性型a)全线性 n bPWbPWfA*)*(生物学背景：神经细胞的比例作用（全方位）2022-11-16b)正线性0*n 0*0 )*(bPWbPWbPWfA生物学背景：神经细胞的线性比例作用（单方向）2022-11-

10、16(3)、S型函数（Sigmoid）a)对数正切 y=1/(e-n+1)生物学背景：神经细胞的非线性比例作用（单向）2022-11-16b)双曲正切 y=tanh(n)生物学背景：神经细胞的非线性比例作用（全方位）2022-11-16（4）辐射基函数a)高斯函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用2022-11-16b)三角波函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用的线性近似2022-11-161.2.2 人工神经网络的构成n基本模型n连接的几种基本形式n前向网络（feed-forward Networks）n回归网络（recurrent Networks）n互联

11、网络（全互连与局部互连）n也可是以上几种形式的组合2022-11-16人工神经网络种类1).前馈型 感知器、线性网络（ADALINE),BP网络 RBF 网络，2).反馈型 Hopfield 网络3).竞争型 ART，SOFM等2022-11-16前向网络n结构图2022-11-16前向网络特点 1).神经元分层排列，可又多层 2).层间无连接 3).方向由入到出 感知网络（perceptron即为此）应用最为广泛n 2022-11-16回归网络全反馈结构图2022-11-16Inner RNN结构图2022-11-16回归网络特点nOutput 与 Input相连（全反馈）特点：1.内部前向

12、 2.输出反馈到输入 例：Fukushima网络nInner recurrent 特点：层间元互相连接2022-11-16互联网络n结构图 2022-11-16互联网络特点n每个元都与其它元相连 例：Hopfield Boltzmann机 2022-11-161.2.3人工神经网络的学习 ANN研究中的核心问题 How to determine the weights(加权系数)n学习规则简介 2022-11-16关于学习问题学习：实例学习 举一反三的能力机器学习:从数据中归纳出规律,进行预测或者对其性质作出判断神经网络启发式学习支持向量机-统计学习理论2022-11-16学习规则1）直接设计

13、计算 e.g.Hopfield 作优化计算2）学习得到,即通过训练(training)2022-11-16常用学习规则a)Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)学习规则 误差校正规则 梯度方法 （BP即为其中一种）jiijijjijijFyy 2022-11-16c)相近学习规则 使 ART SOFM 自组织竞争用此规则ijiijiij2022-11-16BP网络模型BP网络模型如图2.4所示:.输入层隐含层输出层图2.4 多层前向神经网络结构.2022-11-16Matlab形式Nnd11nf.m 描述输出与加权系数的关系nndemos（chap11 de

14、mo1）network function2022-11-16BP学习算法（加权值的修改方法 2121kikiikikiijijjiijwabwpbl 2022-11-16BP网络训练的几种模式1)批处理模式(batch mode)2)训练过程以所有样本为一个epoch。训练时计算出所有样本的整体误差后，加权系数才调整。3)matlab 函数 trainb，非直接调用，用net.trainFcn说明4)即，每一次输入样本j时，计算该样本j对应的误差ej和相应的权值修正量 dwj，但不进行权值修改，而是等到全部样本输入完毕后，计算所有样本累计对应的权值修正量,dw(k)=dwj 进行一次权值修正。

15、本方法适用于离线计算。2022-11-162)模式学习模式(pattern mode)3)训练过程输入一个样本，计算学习误差，调整加权系数。matlab 函数 trainc，trains,trainr非直接调用，用net.trainFcn 说明即。每一次计算得到的dwj都应用来修正加权值，下一次输入样本到网络时，利用新修正的加权值计算网络输出。模式学习适用于在线（自适应）修正权值。2022-11-16BP算法的改进 BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。（1）带动量因子算法；（2）自适应学习速率；（3）高阶学习算法；（4）改变性能指标函数 2022-11-

16、1611/16/2022神经网络原理与应用55RBF网络的Matlab 形式2022-11-16RBF网络的学习n中心和宽度：随机选择或优化学习n输出权矩阵：反向传播或者最小二乘方法学习2022-11-162.人工神经网络优势 任何精度逼近任意连接非线性函数（NL系统的统一描述）对复杂不确定问题具有自适应、学习能力 并行机制，解决实时计算问题，具有冗余性容错能力 信息融合（Fusion），多媒体技术 神经计算：用于优化、矩阵求逆，解方程等计算 易于VLSI、光学IC、计算机虚拟实现NN2022-11-16统一的建模方法由于非线性系统的多样性和复杂性，n传统方法常常无能为力n神经网络提供了一种统

17、一建模的方法，无论是静态或动态非线性系统2022-11-16自适应、学习能力u 传统方法 对线性系统方法成熟、有效u 神经网络 线性、非线性均有效2022-11-16并行机制u 传统的并行计算机制与神经网络不同u 神经网络每一单元均为具有计算能力的单元u 可用于解决实时计算问题，具有冗余性容错能力2022-11-16神经计算n用于优化、矩阵求逆，解方程等计算2022-11-16神经计算机实现l 易于VLSI、光学IC、计算机虚拟实现NNl 神经芯片相当于FPGA，可实现算法级的通用编程2022-11-163.人工神经网络的应用应用十分广泛n 模式识别与分类n 自动控制n 信号处理与滤波n 系统

18、优化各类系统：工程、金融、经济、社会2022-11-16模式识别与分类n手写数字识别n汉字识别n分类2022-11-16英文字母识别2022-11-16肌电信号实时辨识2022-11-16肌电信号实时辨识选择节点上的小波包分解原始 EMG信号小波包变换的参数计算小波包的节点能量原始特征向量特征投影降维后的特征向量使用ANN进行模式分类辨识结果2022-11-16肌电信号实时辨识肌电信号实时辨识肌电信号实时辨识 虚拟现实显示虚拟现实显示视频演示2022-11-16优化计算l将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的

19、能量函数收敛于极小值时，问题的最优解也随之求出。l如果联接权矩阵W和输入I，把优化问题中的目标函数、约束条件与Hopfield的能量函数联系起来，电路达到的平衡点就是能量函数的极小点，也是优化中满足约束条件下的目标函数的极小点，达就可以利用人工神经网络来完成优化问题。l例：TSP 问题2022-11-16HNN 优化10城市TSP2022-11-16NN在AC上的应用 1）系统辨识 2）系统控制 3）优化计算 4）故障诊断及容错控制2022-11-161）系统辨识系统辨识 NN系统辨识的统一模式 NN非算法性，可用参数为加权 NN模型作为物理实现，可用于在线控制 问题：网络模型、结构选择、快速

20、学习算法、收敛性分析、输入激励信号选择 2022-11-16倒立摆系统NN辨识 NNARX模型检验结果 2022-11-162）系统控制n控制 提供某种模型 充当各类控制器 作为计算部件实现优化计算对不确定问题：NL系统的自适应控制 线性-NL 无模型直接自适应（single Neuron 控制器）2022-11-16应用举例1）神经网络温度控制2）神经网络智能同期控制3）2022-11-16神经网络PID温度控制用于控制封闭式电热炉，设定值为用于控制封闭式电热炉，设定值为500时时2022-11-162022-11-16实时仿真试验2022-11-163）优化计算u神经网络求解代数方程u神经

21、网络在预测控制在线求矩阵逆u神经网络在LQR问题中解ARE2022-11-164）故障诊断及容错控制n神经网络用于故障诊断 1)基于模型（BP）2)基于自组织网络（SOM）n神经网络用于容错控制 1）基于整体性设计 2）基于监督学习控制器2022-11-16应用中存在的主要问题1)ANN结构确定需一定经验，存在过拟合和欠拟合现象2)ANN 学习系统为迭代算法，为一非线性优化问题，收敛性分析较困难3)ANN系统本质为非线性系统，其动态系统分析与设计存在一定困难4)目前缺少相应的ANN硬件,实现有一定困难。2022-11-16神经网络工具箱1）MATLAB NN toolbox 通用工具箱，有多种

22、模型2）nnsysyid 3）nnctrl 适用于非线性系统建模和控制2022-11-164.人工神经网络研究趋势简要回顾发展历程1）用于控制系统时,常常利用稳定性原理设计学习算法;2）第3代神经网络脉冲神经网络(SNN)，用于处理生物信息有特有优势;2022-11-16ANN的发展史20世纪40年代：兴起与萧条 1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出：形式神经元的数学描述与构造方法 与阀值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设：学习过程发生在突触上 Hebb规则：jiij2022

23、-11-1620世纪50年代,第一次高潮 1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN 基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮2022-11-1620世纪60年代,低潮n1969年年 Minsky和和Papert编写的编写的Perceptron 出版，使出版，使NN的研究进入低潮的研究进入低潮 Problems：single lager P.仅可解线性问题，NL XOR无法求解；求解XOR 应该是MLP，但MLP是否有意义，理论上不能得到有力证明 当时现状：数字计算机

24、发达，认为可解决一切问题 工业水平上，NNC不存在 但工作并未但工作并未停止。停止。2022-11-16n1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller）n1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory）Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论n其它NL系统理论 Prigogine 非平衡系统的自组织理论 Haken 协同学2022-11-1620世纪80

25、年代 第二次高潮Reasons:1）AI理论、Neumann计算机功能受挫（智能、视觉处理等）2）ANN有新成果、脑科学、神经科学、VLSI、光电技术的发展 2022-11-16uJ.J.Hopfield 1982年年 Hopfield网络模型：网络能量、网络稳定性判据 1984年年 HNN用电子线路 实现 HNN用途：联想记忆、优化计算机的新途径u1984年年 Hilton 引入模拟退火法，提出Boltzmann机网络u1986年年 Rumelhart提出EBP学习算法，解决了MLP隐含层的 weights 学习问题（error Back-Propagation）2022-11-16n198

26、7年年 Nielson提出了对向传播（Counter Propagation）神经网络n1988年年 L.O.Chua提出细胞神经网络（CNN）模型，n1988 Broomhead and Lowe提出 RBF网络n1990 Vapnik 支持向量机SVMn自自1958年来已有近年来已有近40种种NN model2022-11-16History spiking neural networks (Feng,Cogs)Vapnik(1990)-support vector machineBroomhead&Lowe (1988)-Radial basis functions(RBF)Linske

27、r(1988)-Informax principleRumelhart,Hinton -Back-propagation&Williams(1986)Kohonen(1982)-Self-organizing mapsHopfield(1982)-Hopfield NetworksMinsky&Papert(1969)-Perceptrons Rosenblatt(1960)-PerceptronMinsky(1954)-Neural Networks(PhD Thesis)Hebb(1949)-The organization of behaviourMcCulloch&Pitts(1943

28、)-neural networks and artificial intelligence were born2022-11-16NN研究学术机构 1987年 国际神经网络学会 定期召开ICNN会议 1988年 IEEE Transaction on Neural Networks创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会2022-11-16AC需求处理不断复杂的对象完成不断复杂的设计在对象和环境的知识所知甚少的情况下达到以上两点要求2022-11-16AC历史n1932年 Nyquist反馈放大器 n20世纪60年代 状态空间理论n20世纪70年代 大系统

29、理论n20世纪90年代 智能控制方法及理论2022-11-16第3代神经网络 SNN几种主要形式1）SNN2）LSM3）ESN2022-11-16Spike Neural Networks2022-11-16reach-to-grasp分类生物实验装置示意图 CHTCRTMTTHTCenter HitOne Target OnCenter OffCenter ReleaseTarget OffTarget HitTarget ReleaseTrial EndTrial StartCenter On2022-11-16reach-to-grasp分类结果 SNN与ANN分类正确率比较 2022-

30、11-16液体状态机(LSM)2022-11-16Leaky Integrate Fire(LIF)神经元LIF示意图2022-11-16轨迹建模实验记录的三维运动轨迹实验方案示意图2022-11-16运动方向分类及轨迹建模21222324252627280.650.70.750.80.850.90.951方向分类的结果随着训练集变大方向分类的结果随着训练集变大而变大而变大分类精度分类精度训练数据集训练数据集-40-35-30-25-20-15-10-50-80-60-40-20020010203040506070 orientation 8X cmY cm Z cmoriginal trac

31、kforecasted track轨迹拟合2022-11-16回声状态神经网络(ESN)ESN最先是由Jaeger提出来的，它是一种离散型的神经网络，其中内部网络包含了比传统的递归神经网络多得多的神经元，它们彼此稀疏连接，构成了一个动态存储器适用于时间序列数据的学习。输出Wout是唯一需要训练的权值矩阵，其他的权值均是根据经验在一定范围内随机给定并且一经给定则保持不变。2022-11-16回声特性当满足一定的条件时，内部神经元的激活状态是对历史输入数据及教师输出信号的一种映射。outout(),(1),.,(1),(2)()()()(),(1),.(1),(2).iiiie u n u nd nd nd ny nx ne u n u ny ny n2022-11-16建模结果 训练数据 测试数据2022-11-165.结束语u神经网络是处理非线性系统的一种有效方法u神经网络在工程系统中得到了广泛应用u神经网络可以、也应该与其他智能方法相结合，以取得更好的效果2022-11-16