1、神经网络实用教程神经网络实用教程学习资料与课程内容学习资料与课程内容2022-12-242教材教材书名：神经网络实用教程出版社：机械工业出版社出版日期：2008年2月作者：张良均 曹晶 蒋世忠2022-12-2432022-12-244课件、实验及学习支持网站1、智能中国网：2、神经网络在线：http:/ body)(Cell body)p树突树突(Dendrite)(Dendrite)p轴突轴突(Axon)(Axon)p突触突触(Synapse)(Synapse)p 用来完成神经元间信息的接收、传递用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有和处理。人类大脑皮层约有100100亿
2、个神经元，亿个神经元，6060亿个神经突触以及它们的连接体亿个神经突触以及它们的连接体2022-12-2492022-12-2410 存存储储器器 指指令令 输输入入设设备备 运运算算器器 输输出出设设备备 控控制制器器冯冯.诺诺依依曼曼体体系系计计算算机机p人脑与计算机信息人脑与计算机信息处理比较：处理比较：p记忆与联想能力记忆与联想能力p学习与认知能力学习与认知能力p信息加工能力信息加工能力p信息综合能力信息综合能力p信息处理速度信息处理速度p 2022-12-24111.1.21.1.2人工神经元模型人工神经元模型p人工神经元是人工神经网络操作的基本信息处理人工神经元是人工神经网络操作的
3、基本信息处理单位单位,是神经网络设计的基础。是神经网络设计的基础。p人工神经元模型可以看成是由三种基本元素组成：人工神经元模型可以看成是由三种基本元素组成：(1)一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制。(2)一个加法器 用于求输入信号对神经元的相应突触加权之和。(3)一个激活函数 用来限制神经元输出振幅。激活函数也称为压制函数，因为它将输入信号压制(限制)到允许范围之内的一定值。另外，可以给一个神经元模型加一个外部偏置，其作另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。用是增加或降低激活函数的网络
4、输入。2022-12-24121.1.21.1.2人工神经元模型人工神经元模型2022-12-24131.1.21.1.2人工神经元模型人工神经元模型p一个神经元可以用以下公式表示：一个神经元可以用以下公式表示：m1kikiiuw xf()kkkyub2022-12-24141.1.21.1.2人工神经元模型人工神经元模型p激活函数主要的三种形式：激活函数主要的三种形式：阶梯函数分段线性函数10f00vvv（）1,1f,111,1vvvvv 2022-12-24151.1.21.1.2人工神经元模型人工神经元模型p非线性函数非线性函数单极S型函数双极S型函数2022-12-24161.1.31
5、.1.3神经网络的结构及工作方式神经网络的结构及工作方式p人工神经网络是一个由许多简单的并行人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处于网络的结构、连接强度以及各单元的处理方式理方式p根据神经元的不同连接方式，可将神经根据神经元的不同连接方式，可将神经网络分为两大类：网络分为两大类：分层网络相互连接型网络 2022-12-24171.1.31.1.3神经网络的结构及工作方式神经网络的结构及工作方式p分层网络分层网络单纯的前向网络具有反馈的前向网络 层内互联的前向网络p相互连接型网络相互连接型网络
6、 2022-12-24181.1.31.1.3神经网络的结构及工作方式神经网络的结构及工作方式2022-12-24191.1.4 神经网络的学习p学习方式学习方式有导师学习（有监督学习）无导师学习（无监督学习）再励学习2022-12-24201.1.4 神经网络的学习p学习算法：学习算法是指针对学习问题学习算法：学习算法是指针对学习问题的明确规则，不同的学习算法对神经元的的明确规则，不同的学习算法对神经元的权值调整的表达式是不同的。权值调整的表达式是不同的。p算法分类算法分类Hebb学习算法 学习算法随机学习算法竞争学习算法2022-12-24211.1.4 神经网络的学习pHebbHebb学
7、习算法学习算法由Donald O.Hebb提出。如果两个神经元同时兴奋，则它们之间的突触连接加强。如果神经元 是神经元 的上层结点，用 分别表示两神经元的激活值(输出)，表示两个神经元之间的连接权，则Hebb学习规则可以表示为:式中式中 表示学习速率表示学习速率Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形ij,ijv vijwijijwvv2022-12-24221.1.4 神经网络的学习p 学习算法学习算法误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习 权值调整公式：调整目标是使下述公式所表达的误
8、差为最小ijjiwv q211()()2oooed ky k2022-12-24231.1.4 神经网络的学习p随机学习算法随机学习算法误差学习算法通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理这种情况。经典随机学习算法模拟退化算法模拟退化算法遗传算法。遗传算法。2022-12-24241.1.4 神经网络的学习p竞争学习算法竞争学习算法竞争学习属于无导师算法 神经元通过互相竞争来做出不同的响应竞争获胜的神经元按规则修正权值经典竞争学习神经网络自组织特征映射网络自组织特征映射网络(Self-Organization Map(Self-Organization M
9、ap，SOM)SOM)自适应共振网络自适应共振网络(Adaptive Resonace Theory(Adaptive Resonace Theory，ART)ART)2022-12-24251.2 神经网络的特点及其应用p神经网络的特点神经网络的特点 并行分布式处理 非线性处理 具有自学习功能 神经网络可采用硬件实现 2022-12-24261.2 神经网络的特点及其应用p神经网络的应用领域神经网络的应用领域 语音识别语音识别娃娃语音识别娃娃图像识别与理解人脸检测人脸检测2022-12-24271.2 神经网络的特点及其应用p神经网络的应用领域神经网络的应用领域机器人智能故障检测智能故障检测医学应用医学图像处理医学图像处理2022-12-2428p神经网络的应用领域神经网络的应用领域国防军事应用航天器姿态控制航天器姿态控制导弹的智能引导导弹的智能引导 2022-12-2429小结小结p生物神经网络构成生物神经网络构成p人工神经网络模型人工神经网络模型p人工神经网络结构及工作方式人工神经网络结构及工作方式p人工神经网络学习方法人工神经网络学习方法p人工神经网络特点人工神经网络特点p人工神经网络应用人工神经网络应用2022-12-2430 谢谢！谢谢！
