《人工神经网络理论、设计及应用》课件第二章基础知识.ppt

1、第二章第二章 神经网络基础知识神经网络基础知识p生物神经元p人工神经元模型p人工神经网络模型神经生理学和神经解剖学的研究结果神经生理学和神经解剖学的研究结果表明，神经元表明，神经元(Neuron)(Neuron)是脑组织的基本单是脑组织的基本单元，是人脑信息处理系统的最小单元。元，是人脑信息处理系统的最小单元。p生物神经元生物神经元p生物神经网络生物神经网络2.12.1人工神经网络的生物学基础人工神经网络的生物学基础2.1.12.1.1生物神经元生物神经元 生物神经元在结构上由生物神经元在结构上由:细胞体细胞体(Cell body)、树突树突(Dendrite)、轴突轴突(Axon)、突触突触

2、(Synapse)四部分组成。用来完成四部分组成。用来完成神经元间信息的接收、神经元间信息的接收、传递和处理。传递和处理。人工神经网络的生物学基础人工神经网络的生物学基础人工神经网络的生物学基础人工神经网络的生物学基础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生 神经元间信息的产生、传递和处理是神经元间信息的产生、传递和处理是一种电化学活动。一种电化学活动。神经元状态：神经元状态：膜电位：膜电位：人工神经网络的生物学基础人工神经网络的生物学基础人工神经网络的生物学基础人工神经网络的生物学基础2.1.2 2.1.2 生物神经元的信息处理机理

3、生物神经元的信息处理机理二二信信息息的的传传递递与与接接收收人工神经网络的生物学基础人工神经网络的生物学基础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理空间整合：空间整合：同一时刻产生的刺激所引起的同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。膜电位变化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。人工神经网络的生物学基础人工神经网络的生物学基础2.1.3 2.1.

4、3 生物神经网络生物神经网络 由多个生物神经元以确定方式和拓扑结由多个生物神经元以确定方式和拓扑结构构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。神经元之间的突触连接方式和连接强度神经元之间的突触连接方式和连接强度不不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。人工神经网络的生物学基础人工神经网络的生物学基础2.22.2神经元的人工模型神经元的人工模型 神经元及其突

5、触是神经网络的基本神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先器件。因此，模拟生物神经网络应首先模拟生物神经元模拟生物神经元 人工神经元人工神经元(节节点点)从三个方面进行模拟从三个方面进行模拟:p节点本身的信息处理能力节点本身的信息处理能力p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)决定人工神决定人工神经网络整体经网络整体性能的三大性能的三大要素要素p节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的

6、强度(通过学习来调整通过学习来调整)神经元的人工模型神经元的人工模型2.2.12.2.1神经元的建模神经元的建模(1)(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)(2)神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)(6)神经元本身神经元本身是非时变的是非时变的，即其突触时延和突触强度，即其突触时延和突触强度 均为常数。均为常数。(3)(3)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞,主要取决

7、于突触延搁；主要取决于突触延搁；(5)(5)忽略忽略时间整合作用和不应期；时间整合作用和不应期；模型的六点假设：模型的六点假设：神经元的人工模型神经元的人工模型假设假设1 1：多输入单输出：多输入单输出p图(a)表明，正如生物神经元有许多激励输入一表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许祥，人工神经元也应该有许多的的输入信号，图中信号，图中每个输入的大小用确定数值每个输入的大小用确定数值x xi i表示，它们同时输表示，它们同时输入神经元入神经元j j，神经元的单输出用，神经元的单输出用o oj j表示。表示。神经元的人工模型神经元的人工模型假设假设2 2：输入类型：兴奋性

8、和抑制性：输入类型：兴奋性和抑制性p 生物神经元具有不同的突触性质和突触强度，其对输生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。所起的作用比另外一些输入更为重要。图图(b)(b)中对神经中对神经元的每一个输入都有一个加权系数元的每一个输入都有一个加权系数w wijij，称为权重值，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制其正负模拟了生物神经元中突触的兴奋和抑制，其，其大小则代表了突触的不同连接强度。则代表了突触的不同连接强度。神经元的人工模型神经元的人工模

9、型假设假设3 3：空间整合特性和阈值特性：空间整合特性和阈值特性p 作为作为ANNANN的基本处理单元，必须对全部输入信号进行整的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图合，以确定各类输入的作用总效果，图(c)(c)表示组合输表示组合输人信号的人信号的“总和值总和值”，相应于生物神经元的膜电位。，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时入总和超过阈值时,神经元才被激活而发放脉冲神经元才被激活而发放脉冲,否否则神经元不会产生输出信号。则神经元不会产生输出信号。神经元的人工

10、模型神经元的人工模型神经元的输出神经元的输出p 图图(d)(d)人工神经元的输出也同生物神经元一样仅有一人工神经元的输出也同生物神经元一样仅有一个，如用个，如用o oj j表示神经元输出，则输出与输入之间的对表示神经元输出，则输出与输入之间的对应关系可用图应关系可用图(d)(d)中的某种非线性函数来表示，这种函中的某种非线性函数来表示，这种函数一般都是非线性的。数一般都是非线性的。神经元的人工模型神经元的人工模型神经元模型示意图神经元模型示意图神经元的人工模型神经元的人工模型2.2.2神经元的数学模型神经元的数学模型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出

11、间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。)()(jn1iiijjTtxwf1to(2.1)(2.2)神经元的人工模型神经元的人工模型n1iiijjtxwttne)()(2.3)netnetj j=W Wj jT TX X W Wj j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(2.4)2.2.22.2.2神经元的数学模型神经元的数学模型神经元的人工模型神经元的人工模型XWTjn0

12、iiijjjjxwnetTtne(2.5)oj=f(netj)=f(W Wj jT TX X)(2.6)2.2.22.2.2神经元的数学模型神经元的数学模型神经元的人工模型神经元的人工模型2.2.32.2.3神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区神经元各种不同数学模型的主要区别在于采用了不同的别在于采用了不同的转移函数转移函数，从而使，从而使神经元具有不同的信息处理特性。神经神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络元的信息处理特性是决定人工神经网络整体性能的整体性能的三大要素之一三大要素之一，反映了神经，反映了神经元输出与其激活状态之间的关

13、系，最常元输出与其激活状态之间的关系，最常用的转移函数有用的转移函数有4 4种形式。种形式。神经元的人工模型神经元的人工模型(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(2.7)0 x0 f(x)1.0 x02.2.32.2.3神经元的转移函数神经元的转移函数神经元的人工模型神经元的人工模型(2)非线性转移函数非线性转移函数xe11f(x)xxxe1e11e12f(x)f(x)1.0 0.5x0 f(x)1.0 0 x-1.02.2.32.2.3神经元的转移函数神经元的转移函数神经元的人工模型神经元的人工模型(3)分段线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xx

14、c (2.9)1 xc x f(x)1.0 x0 xc2.2.32.2.3神经元的转移函数神经元的转移函数神经元的人工模型神经元的人工模型(4)概率型转移函数概率型转移函数x/Te11P(1)温度参数温度参数2.2.32.2.3神经元的转移函数神经元的转移函数神经元的人工模型神经元的人工模型p节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)人工神经网络模型人工神经网络模型2.32.3人工神经网络模型人工神经网络模型p分类：分类：按网络连接的拓扑结构分类层次型结

15、构层次型结构互连型网络结构互连型网络结构按网络内部的信息流向分类前馈型网络前馈型网络反馈型网络反馈型网络人工神经网络模型人工神经网络模型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 ：p层次型结构：将神经元按功能分成若干层，层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各如输入层、中间层（隐层）和输出层，各层层顺序顺序相连。相连。p互连型网络结构：网络中互连型网络结构：网络中任意两个节点之任意两个节点之间都可能存在连接间都可能存在连接路径路径.人工神经网络模型人工神经网络模型2.3.1网络拓扑结构类型网络拓扑结构类型 层层次次型型结结构构 2.32.3人工神经

16、网络模型人工神经网络模型人工神经网络模型人工神经网络模型输输出出层层到到输输入入层层有有连连接接 人工神经网络模型人工神经网络模型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 层层内内有有连连接接层层次次型型结结构构 2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人工神经网络模型人工神经网络模型全互连型结构全互连型结构 2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人工神经网络模型人工神经网络模型局局部部互互连连型型网网络络结结构构 2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人工神经网络模型人工神经网络模型2.3.22.3.2网络信息流向类型网络信息流向类型

17、p前馈型网络前馈型网络前馈前馈:网络信息处理的方向是从输入层到各网络信息处理的方向是从输入层到各隐层再到输出层逐层进行隐层再到输出层逐层进行p反馈型网络反馈型网络在反馈网络中所有节点都具有信息处理功能，在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时而且每个节点既可以从外界接收输入，同时又可以向外界输出。又可以向外界输出。人工神经网络模型人工神经网络模型前前馈馈型型网网络络 2.3.22.3.2网络信息流向类型网络信息流向类型人工神经网络模型人工神经网络模型反反馈馈型型网网络络 人工神经网络模型人工神经网络模型2.3.22.3.2网络信息流向类型网络信息流向类型p

18、节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)神经网络学习神经网络学习 神经网络能够通过对样本的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值络的学习或训练，其本质是可变权值的动态调整。的动态调整。2.42.4神经网络学习神经网络学习神经网络学习神经网

19、络学习神经网络的学习类型：神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习2.42.4神经网络学习神经网络学习神经网络学习神经网络学习学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况 ）w0j -1 w1j x1 X wij j oj xj xn wnj Wj r(Wj,X，dj)学习信号 X 生成器 dj )()()()(ttd,t,trjjjXXWW)()()()()()(ttd,t,trt1tjjjjXXWWW神经网络学习神经网络学习2.4神经网络学习神经网络学习表2.1 常用学习规则一览表权值调

20、整学习规则向量式元素式权 值初始化学习方式转移函数HebbianXXWW)(Tjjfi)(xfwTjijXW0无导师任意PerceptronXXWW)(Tjjjsgn-di)(xsgn-dwTjjijXW任意有导师二进制DeltaXW)()(jjjjnetf-odijjjijxnetf-odw)()(任意有导师连续Widrow-HoffXXWW)(Tjjj-diTjjijx-dw)(XW任意有导师任意相关XWjjdijijxdw0有导师任意Winner-take-all)(mmWXW)(iimmwx W随机、归一化无导师连续Outstar)(jjWdW)(kjkkjwdw0有导师连续第二章小结第二章小结 重点介绍了生物神经元的结构及其信息处理机制、重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。理性能的三大要素。p(1)(1)生物神经元的信息处理生物神经元的信息处理p(2)(2)人工神经元模型人工神经元模型p(3)(3)人工神经网络模型人工神经网络模型p(4)(4)神经网络学习神经网络学习