1、神经信息学 平行分布式理论框架平行分布式理论框架史忠植史忠植shizzics.ict.acshizzics.ict.ac中科院计算所中科院计算所2022-11-11目目 录录1.神经计算神经计算2.并行分布式理论框架并行分布式理论框架3.交互与竞争神经网络交互与竞争神经网络4.误差反向传播神经网络误差反向传播神经网络5.Hopfield5.Hopfield神经网络神经网络2022-11-11神经神经网络网络l一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。l神经网络从两个方面上模拟大脑：神经网络获取的知识是从外界环境中学习得来的。内部神经元的连接
2、强度，即突触权值，用于储存获取的知识。2022-11-11发展发展历史历史 l萌芽期（萌芽期（20世纪世纪40年代）年代）人工神经网络的研究最早可以追溯到人类开始人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到研究自己的智能的时期，到1949年止。年止。1943年，心理学家年，心理学家McCulloch和数学家和数学家Pitts建立起了著名的阈值加权和模型，简称为建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 949年，心理学家年，心理学家D.O.Heb
3、b提出神经元之提出神经元之间突触联系是可变的假说间突触联系是可变的假说Hebb学习律。学习律。2022-11-11发展发展历史历史l第一高潮期（第一高潮期（19501968）以以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单等为代表人物，代表作是单级感知器（级感知器（Perceptron）。）。可用电子线路模拟。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽许多部门都开始大批地投入此项研究，希望尽快占领制高点。快占领制高点。2022-1
4、1-11发展发展历史历史l反思期（反思期（19691982）M.L.Minsky和和S.Papert，Perceptron，MIT Press，1969年年 异或异或”运算不可表示运算不可表示 二十世纪二十世纪70年代和年代和80年代早期的研究结果年代早期的研究结果 2022-11-11发展发展历史历史l第二高潮期（第二高潮期（19831990）1982年，年，J.Hopfield提出提出Hopfield网络网络l用用Lyapunov函数函数作为网络性能判定的能量函数，作为网络性能判定的能量函数，建立建立ANNANN稳定性的判别依据稳定性的判别依据l阐明了阐明了ANNANN与动力学的关系与动力
5、学的关系l用非线性动力学的方法来研究用非线性动力学的方法来研究ANNANN的特性的特性l指出信息被存放在网络中神经元的联接上指出信息被存放在网络中神经元的联接上 2022-11-11发展发展历史历史l第二高潮期（第二高潮期（19831990）1984年，年，J.Hopfield设计研制了后来被人们设计研制了后来被人们称为称为Hopfield网网-Tank-Tank 电路。较好地解决了著电路。较好地解决了著名的名的TSP问题，找到了最佳解的近似解，引起问题，找到了最佳解的近似解，引起了较大的轰动。了较大的轰动。1985年，年，UCSD的的Hinton、Sejnowsky、Rumelhart等人所
6、在的并行分布处理（等人所在的并行分布处理（PDP）小组的研究者在小组的研究者在Hopfield网络中引入了随机机网络中引入了随机机制，提出所谓的制，提出所谓的Boltzmann机机。2022-11-11发展发展历史历史 1986年，并行分布处理小组的年，并行分布处理小组的Rumelhart等等研究者重新独立地提出多层网络的学习算法研究者重新独立地提出多层网络的学习算法BP算法算法，较好地解决了多层网络的学习问，较好地解决了多层网络的学习问题。（题。（Paker1982和和Werbos1974年）年）自适应共振理论（ART）自组织特征映射理论2022-11-11发展发展历史历史 Hinton 等
7、人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一(S.Amari)开创和发展的基于统计流形的方法应用于人工神经网络的研究,l国内首届神经网络大会国内首届神经网络大会是是1990年年12月在北京举行月在北京举行的的。2022-11-11并行分布式理论框架并行分布式理论框架 1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton：Parallel and Distributed Processing,MIT Press,Cambridge2022-11-11并行分布式理论框架并行分布式理论框架PDP模型模型
8、1）一组处理单元一组处理单元（PE或或AN）2）处理单元的处理单元的激活状态激活状态（ai）3）每个处理单元的每个处理单元的输出函数输出函数（fi）4）处理单元之间的连处理单元之间的连接模式接模式5）传递规则传递规则（wijoi）6）把处理单元的输入及当前状态结合起来产生激把处理单元的输入及当前状态结合起来产生激活值的活值的激活规则激活规则（Fi）7）通过经验修改连接强度的通过经验修改连接强度的学习规则学习规则8）系统运行的环境（系统运行的环境（样本样本集合）集合）2022-11-11神经网络的维数神经网络的维数lVarious types of neuronslVarious network
9、 architectureslVarious learning algorithmslVarious applications2022-11-11自组织神经网络的典型结构交互与竞争交互与竞争IACIAC神经网络神经网络竞争层竞争层输入层输入层2022-11-11竞争学习竞争学习)()(iTiiXXXXXX 类 1 类 2 类 1 类 2 T T (a)基 于 欧 式 距 离 的 相 似 性 测 量 (b)基 于 余 弦 法 的 相 似 性 测 量相似性测量相似性测量欧式距离法欧式距离法2022-11-11iiTXXXXcos 类 1 类 2 类 1 类 2 T T (a)基 于 欧 式 距 离
10、 的 相 似 性 测 量 (b)基 于 余 弦 法 的 相 似 性 测 量相似性测量相似性测量余弦法余弦法竞争学习竞争学习2022-11-11竞争学习规则竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称神经元，而其它神经元的状态被抑制，故称为为Winner Take All。竞争学习竞争学习原理原理2022-11-11寻找获胜神经元寻找获胜神经
11、元 当网络得到一个输入模式向量时，当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神似性比较，并将最相似的内星权向量判为竞争获胜神经元。经元。欲使两单位向量最相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即：)(max,.,2,1*XWXWTjmjTj竞争学习原理竞争学习原理2022-11-11 从上式可以看出，欲使两单位向量的欧式距离从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：最小，须使两向量的点积最大。即：)(max,.,2,1
12、*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj竞争学习原理竞争学习原理2022-11-113.3.网络输出与权值调整网络输出与权值调整*01)1(jjjjtoj)()()()()1(*jjjjjttttWXWWWW)()1(ttjjWW j j j j*步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率继续训练，直到学习率衰减到衰减到0 0。竞争学习原理竞争学习原理2022-11-11单层感知器单层感知器模型模型 o1 oj om W1 Wj Wm x1 x2 xi xn前馈神经网络前馈
13、神经网络Tni,.,x,.x,xx)(21XTmi,.,o,.o,oo)(21OTnjijjjj,.,w,.w,ww)(21W2022-11-11净输入：净输入：niiijjmjxwnet1,.,2,1输出：输出：)()()(XWTjn0iiijjjjsgnxwsgnTnetsgnoojx1-1xn单层感知器单层感知器2022-11-11感知器的功能感知器的功能(1)设输入向量设输入向量X=(x1,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出：输出：则由方程则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。确定了二维平面上的一条分界线。ojx
14、1-1x2单计算节点感知器单计算节点感知器单层感知器单层感知器2022-11-11感知器的功能感知器的功能 x1 *O *O *O O *O x2 *O O O O单层感知器单层感知器2022-11-11感知器的功能感知器的功能(2)设输入向量设输入向量X=(x1,x2,x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo输出：输出：则由方程则由方程 w1jx1+w2jx2+w3j x3Tj=0 (3.4)确定了三维空间上的一个分界平面确定了三维空间上的一个分界平面。x2ojx1x3-1单层感知器单层感知器2022-11-11 x1 *O *O *O O *
15、O x2 *O O O x3感知器的功能感知器的功能单层感知器单层感知器2022-11-11多层感知器多层感知器x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnW(1)W(2)W(3)W(L)网络的拓扑结构网络的拓扑结构2022-11-11 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类用两计算层感知器解决用两计算层感知器解决“异或异或”问题。问题。“异或异或”的真值表的真值表x1x2y1y2o001011100111多层感知器多层感知器2022-11-11
16、o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类用两计算层感知器解决用两计算层感知器解决“异或异或”问题问题“异或异或”的真值表的真值表x1x2y1y2o001010101111多层感知器多层感知器2022-11-11 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类用两计算层感知器解决用两计算层感知器解决“异或异或”问题。问题。“异或异或”的真值表的真
17、值表x1x2y1y2o0011011010011111多层感知器多层感知器2022-11-11 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类例四例四 用两计算层感知器解用两计算层感知器解决决“异或异或”问题。问题。“异或异或”的真值表的真值表x1x2y1y2o00110011011001111110多层感知器多层感知器2022-11-11具有不同隐层数的感知器的分类能力对比具有不同隐层数的感知器的分类能力对比 感知器结构 异或问题 复杂问题 判决域形状 判决域 无隐层
18、半平面 单隐层 凸 域 双隐层 任意复杂 形状域多层感知器多层感知器2022-11-11基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型 o1 ok ol W1 Wk Wl y1 y2 yj ym V1 Vm x1 x2 xi xn-1 xn误差反向传播（误差反向传播（BPBP）网路）网路2022-11-11基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型输入向量：输入向量：X=(x1,x2,xi,xn)T隐层输出向量：隐层输出向量：Y=(y1,y2,yj,ym)T输出层输出向量：输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量：期望输出向量：d=(d1,d2,dk
19、,dl)T输入层到隐层之间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)误差反向传播（误差反向传播（BPBP）网路）网路2022-11-113.4.1 基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型)(kknetfo对于输出层：对于输出层：k=1,2,lm0jjjkkywnetk=1,2,l对于隐层：对于隐层：j=1,2,mj=1,2,m)(jjnetfyn0iiijjxvnet误差反向传播（误差反向传播（BPBP）网路）网路2022-11-113.4.1 基于基于BP算法的
20、多层前馈网络模型算法的多层前馈网络模型双极性双极性Sigmoid函数：函数：xxe1e1xf)(单极性单极性Sigmoid函数：函数：xe11xf)(误差反向传播（误差反向传播（BPBP）网路）网路2022-11-11一、网络误差一、网络误差 定义与权值调整思路定义与权值调整思路输出误差输出误差E定义：定义：221E)(Od l1k2kkod21)(将以上误差定义式展开至隐层：将以上误差定义式展开至隐层：l1k2kknetfd21E)(l1k2m0jjjkkywfd21)(BPBP学习算法学习算法2022-11-11一、网络误差与权值调整一、网络误差与权值调整进一步展开至输入层：进一步展开至输
21、入层：l1k2m0jjjkknetfwfd21E)(l1k2m0jn0iiijjkkxvfwfd21)(BPBP学习算法学习算法2022-11-11BP学习算法学习算法jkjkwEwj=0,1,2,m;k=1,2,lijijvEvi=0,1,2,n;j=1,2,m式中负号表示梯度下降，常数式中负号表示梯度下降，常数(0,1)表示比例系数。表示比例系数。在全部推导过程中，对输出层有在全部推导过程中，对输出层有j=0,1,2,m;k=1,2,l 对隐层有对隐层有 i=0,1,2,n;j=1,2,mBPBP学习算法学习算法2022-11-11对于输出层，式对于输出层，式(3.4.9a)可写为可写为j
22、kkkjkjkwnetnetEwEw对隐层，式对隐层，式(3.4.9b)可写为可写为ijjjijijvnetnetEvEv对输出层和隐层各定义一个误差信号，令对输出层和隐层各定义一个误差信号，令 koknetE(3.4.11a)jyjnetEyjxiBPBP算法推导算法推导2022-11-11初始化 V、W、Emin,、q=1，p=1,E=0输入样本，计算各层输出：m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW计算误差：P1pl1k2kkod21E)(计算各层误差信号：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(调整各层权值：m
23、10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,.,Y p 增 1,q 增 1 pP？N N E=0,p=1 EEmin Y 结束(1)初始化；初始化；P1ppP1RMEEE(4)计算各层误差信号；计算各层误差信号；(5)调整各层权值；调整各层权值；(6)检查是否对所有样本完成一次检查是否对所有样本完成一次 轮训；轮训；(7)检查网络总误差是否达到精检查网络总误差是否达到精 度要求。度要求。(2)输入训练样本对输入训练样本对X Xp、d dp计算各层输出；计算各层输出；(3)计算网络输出误差；计算网络输出误差；BPBP算法的程序实现算法的程序实现2022
24、-11-11初始化 V、W计数器 q=1，p=1输入第一对样本计算各层输出计算误差：P1pl1k2kkod21E)(Y p 增 1 pP？N用 E 计算各层误差信号 调整各层权值 q 增 1 N ErmsEmin E=0,p=1 Y 结束然后根据总误差计算各层的误差然后根据总误差计算各层的误差信号并调整权值。信号并调整权值。P1pl1k2pkpkod21E)(总 另一种方法是在所有样本输另一种方法是在所有样本输入之后，计算网络的总误差：入之后，计算网络的总误差：BPBP算法的程序实现算法的程序实现2022-11-11(1)非线性映射能力非线性映射能力 多层前馈网能学习和存贮大量输入多层前馈网能
25、学习和存贮大量输入-输出模输出模式映射关系，而无需事先了解描述这种映射关式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式系的数学方程。只要能提供足够多的样本模式对供对供BP网络进行学习训练，它便能完成由网络进行学习训练，它便能完成由n维输维输入空间到入空间到m维输出空间的非线性映射。维输出空间的非线性映射。多层前馈网多层前馈网(感知器感知器)的主要能力的主要能力2022-11-11(2)泛化能力泛化能力 当向网络输入训练时未曾见过的非样本数据当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确时，网络也能完成由输入空间向输出空间的正确
26、映射。这种能力称为多层前馈网的泛化能力。映射。这种能力称为多层前馈网的泛化能力。(3)容错能力容错能力 输入样本中带有较大的误差甚至个别错误对网输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。络的输入输出规律影响很小。多层前馈网多层前馈网(感知器感知器)的主要能力的主要能力2022-11-11 误差函数的可调整参数误差函数的可调整参数的个数的个数 nw 等于各层权值数加等于各层权值数加上阈值数，即：上阈值数，即：)1()1(mlnmnw 误差误差 E 是是 nw+1 维空间中维空间中一个形状极为复杂的曲面，该一个形状极为复杂的曲面，该曲面上的每个点的曲面上的每个点的“高度高度
27、”对对应于一个误差值，每个点的坐应于一个误差值，每个点的坐标向量对应着标向量对应着 nw 个权值，因此个权值，因此称这样的空间为误差的权空间。称这样的空间为误差的权空间。BPBP算法的局限性算法的局限性2022-11-11误差曲面的分布有两个特点：误差曲面的分布有两个特点：特点之一：存在平坦区域特点之一：存在平坦区域 jokikywE)1()(kkkkokoood f(x)1.0 0.5x030mjjjkywBPBP算法的局限性算法的局限性2022-11-11特点之二：存在多个极小点特点之二：存在多个极小点 多数极小点都是多数极小点都是局部极小局部极小，即使，即使是全局极小往往也不是唯一的，但
28、其是全局极小往往也不是唯一的，但其特点都是误差梯度为零。特点都是误差梯度为零。误差曲面的平坦区域误差曲面的平坦区域会使训练次会使训练次数大大增加，从而影响了收敛速度；数大大增加，从而影响了收敛速度；而而误差曲面的多极小点误差曲面的多极小点会使训练陷入会使训练陷入局部极小，从而使训练无法收敛于给局部极小，从而使训练无法收敛于给定误差。定误差。BPBP算法的局限性算法的局限性2022-11-11标准的标准的BP算法在应用中暴露出不少内在的缺陷：算法在应用中暴露出不少内在的缺陷：易形成局部极小而得不到全局最优；易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；训练次数多使得学习效
29、率低，收敛速度慢；隐节点的选取缺乏理论指导；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。训练时学习新样本有遗忘旧样本的趋势。针对上述问题，国内外已提出不少有效的改进算法，针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中下面仅介绍其中3种较常用的方法。种较常用的方法。标准标准BPBP算法的改进算法的改进2022-11-111 增加动量项增加动量项)1()(ttWXW为动量系数，一般有为动量系数，一般有(0 0，1 1)2 自适应调节学习率自适应调节学习率 设一初始学习率，若经过一批次权值调整后使设一初始学习率，若经过一批次权值调整后使总误差总误差，则本次调整无效，且
30、，则本次调整无效，且=(1 1)。标准标准BPBP算法的改进算法的改进2022-11-113 引入陡度因子引入陡度因子 实现这一思路的实现这一思路的具体作法是，在原转具体作法是，在原转移函数中引入一个陡移函数中引入一个陡度因子度因子/11neteo o 1 =1 1 21 net 0标准标准BPBP算法的改进算法的改进2022-11-11概述概述 Hopfield Hopfield网络是神经网络发展历史上的一个重要的里网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家程碑。由美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982
31、年提出，是一种单层反馈神经网络。年提出，是一种单层反馈神经网络。HopfieldHopfield网络是一种由非线性元件构成的反馈系统，其稳网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。定状态的分析比前向神经网络要复杂得多。19841984年，年，HopfieldHopfield设计并研制了网络模型的电路，并成功地解决了设计并研制了网络模型的电路，并成功地解决了旅行商旅行商(TSP)(TSP)计算难题计算难题(优化问题优化问题)。Hopfield Hopfield网络分为离散型和连续型两种网络模型，分网络分为离散型和连续型两种网络模型，分别记作别记作DHNN(D
32、iscrete Hopfield Neural Network)DHNN(Discrete Hopfield Neural Network)和和CHNN(Continues Hopfield Neural Network)CHNN(Continues Hopfield Neural Network)。Hello,Im John Hopfield2022-11-11离散离散Hopfield Hopfield 神经网络神经网络2022-11-11离散离散Hopfield Hopfield 神经网络神经网络l网络模型表示法二2022-11-11离散离散Hopfield Hopfield 神经网络神经
33、网络l相关参数说明l任意神经元 i与 j间的突触权值为，神经元之间连接是对称的，神经元自身无连接.l每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 l设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。ijwiuiv()iv tn1()()iijjijj iv tw u tb(1)f()iiv tv t2022-11-11离散离散Hopfield Hopfield 神经网络神经网络l激励函数n1n11()0(1)1()0,ijjijj iiijjijj iw v tbv tw v
34、tb2022-11-11离散离散Hopfield Hopfield 神经网络神经网络l离散Hopfield网络的运行规则l(1)串行(异步)工作方式 l在任时刻，只有某神经元(随机的或确定的选择)依上式变化，而其他神经元的状态不变。l(2)并行(同步)工作方式 l在任一时刻，部分神经元或全部神经元的状态同时改变。2022-11-11离散离散Hopfield Hopfield 神经网络神经网络l串行(异步)工作方式运行步骤l第一步 对网络进行初始化；l第二步 从网络中随机选取一个神经元；l第三步 按式(2-5)求出该神经元i的输出；l第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时
35、网络中的其他神经元的输出保持不变；l第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。2022-11-11离散离散Hopfield Hopfield 神经网络神经网络l稳定状态l若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态l网络为对称连接，即；神经元自身无连接l 能量函数在网络运行中不断降低，最后达到稳定()()0v ttv tt nnn1111E2ijijiiijiijj iw vvbv 2022-11-11离散离散Hopfield Hopfield 神经网络神经网络l网络中神经元能量函数变化量n11E2iijijiiiijw vv
36、bv Hopfield网络状态向着能量函数减小的网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系方向演化。由于能量函数有界，所以系统必然会趋于稳定状态统必然会趋于稳定状态。nn11n1EE(1)E()11(1)(1)()()221(1)()2iiiijijiiijijiiiiijijiiijjiiijttw v tvbv tw v t vbv tv tv tw vb E0i2022-11-11连续连续Hopfield Hopfield 神经网络神经网络网络模型网络模型2022-11-11连续连续Hopfield Hopfield 神经网络神经网络l稳定性分析l将下式代入得：NN11
37、EEiiiijjiijijdvudvddw vIdtdvdtRdt 因为因为连续连续Hopfield网络模型是稳定的网络模型是稳定的N1iiiijjijiduuCw vIdtRN1E()iiiidudvdCdtdtdt 1N1f()iiiidvdvCdtdt 1N1f()iiiiidvdvCdvdt 1N21f()()iiiiidvdvCdvdt 21f()0,0,0,iiiiidvdvCdvdv又E0ddt2022-11-11连续连续Hopfield Hopfield 神经网络神经网络l连续Hopfield网络模型的主要特性l1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有
38、Sigmoid特性；l2)具有时空整合作用；l3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。l4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。lHopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来 2022-11-11Hopfield Hopfield 神经网络的神经网络的MATLABMATLAB实现实现函函 数数 名名功功 能能satlin()饱和线性传递函数饱和线性传递函数satlins()对称饱和线性传递函数对称饱和线性传递函
39、数newhop()生成一个生成一个Hopfield回归网络回归网络nnt2hop()更新更新NNT 2.0 Hopfield回归网回归网络络lMATLAB中Hopfield网络的重要函数和功能 2022-11-11Hopfield Hopfield 神经网络的神经网络的MATLABMATLAB实现实现l MATLAB中与Hopfield网络有关的重要函数和功能l newhop()l功能 生成一个Hopfield回归网络。l格式 net=newhop(T)l说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经
40、常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins()函数，层中的神经元有来自它自身的连接权和阈值。2022-11-11Hopfield Hopfield 神经网络的神经网络的MATLABMATLAB实现实现lMATLAB中与Hopfield网络有关的重要函数和功能lsatlins()l功能 对称饱和线性传递函数l格式 A=satlins(N)lA输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1
41、。2022-11-11Hopfield Hopfield 神经网络的神经网络的MATLABMATLAB实现实现l设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。由点阵构成由点阵构成的数字的数字1由点阵构成由点阵构成的数字的数字22022-11-11程序程序2022-11-11稳定性分析稳定性分析 l网络的稳定性是与收敛性不同的问题网络的稳定性是与收敛性不同的问题 lCohen和和Grossberg1983年年:Hopfield网络的网络的稳定性定理稳
42、定性定理 如果如果Hopfield网络的联接权矩阵是对角线为网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的的对称矩阵，则它是稳定的 l用著名的用著名的LyapunovLyapunov函数作为函数作为HopfieldHopfield网络的能网络的能量函数量函数 2022-11-11LyapunovLyapunov函数函数能量函数能量函数 l作为网络的稳定性度量作为网络的稳定性度量lwijoioj：网络的一致性测度。：网络的一致性测度。lxjoj：神经元的输入和输出的一致性测度。：神经元的输入和输出的一致性测度。ljoj：神经元自身的稳定性的测度：神经元自身的稳定性的测度。h1jjjn1jj
43、jh1ih1jjiijooxoow21E2022-11-11当ANk的状态从ok变成ok 1、ANk是输入神经元是输入神经元 kkkkkkkkhkj&1jkjjkhkj&1jjkkjhkj&1jjjnkj&1jjjhki&1ihkj&1jjiijooxoow21oow21oow21ooxoow21Ekkkkhkjjjkkjhkjjjjnkjjjjhkiihkjjjiijooxoowooxoow&1&1&1&1&1212022-11-11当当ANANk k的状态从的状态从o ok k变成变成o ok kEEEwkk=0)(1kkkkhjjkjooxowkkkonet)()()()(&1kkkkk
44、khkjjjkkkjooooxooow)(&1kkkkhkjjjkjooxow2022-11-11=-(netk-k)oklANk状态的变化：状态的变化：ok=(o=(ok k-o-ok k)lok=0，=0ok0，ok=1&ok=0，ok由由0 0变到变到1，netkk，netk-k0所以，所以，-(netk-k)ok0故故0结论：网络的目标函数总是下降结论：网络的目标函数总是下降ok0,ok=0&ok=1，ok由由1 1变到变到0netkk，netk-k0-(netk-k)ok0故故0yi=0if neti1 11 12 21/22022-11-11基本基本BAMBAM的稳定的稳定lKos
45、ko(1987)：l基本的双联存储器无条件稳定基本的双联存储器无条件稳定联接权矩阵是互联接权矩阵是互为转置矩阵。为转置矩阵。l当输入向量的维数与输出向量的维数相同时，当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵为方阵，此时如果联接矩阵W是对称的，则是对称的，则基本的双联存储器退化成一个基本的双联存储器退化成一个Hopfield网网 2022-11-11异联想记忆 l样本集样本集：S=(X1,Y1)，(X2,Y2),(Xs,Ys)l权矩阵权矩阵s1iiTiYXW网络需要对输入向量进行循环处理的情况网络需要对输入向量进行循环处理的情况当输入向量中含有当输入向量中含有“噪音噪音
46、”样本集所含的信息超出网络的容量样本集所含的信息超出网络的容量 2022-11-11容量容量 lKosko（1987），一般情况下，相联存储器的容量不会），一般情况下，相联存储器的容量不会超过网络最小层神经元的个数超过网络最小层神经元的个数min lHaines和和Hecht-Nielson（1988），），“非均匀非均匀”网络的网络的容量最多可以达到容量最多可以达到2min lR.J.McEliece、E.C.Posner、E.R.Rodemichl用户随机地选择用户随机地选择L L个状态个状态l每个向量中有每个向量中有4+log4+log2 2minmin个分量为个分量为1，其它为，其它为
47、-1l98%的向量成为稳定状态的向量成为稳定状态 222)4min(logmin68.0L2022-11-11HopfieldHopfield网解决网解决TSPTSP问题问题l1985年，年，J.J.Hopfield和和D.W.Tank用神经网用神经网求解求解TSP。试验表明，当城市的个数不超过。试验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的时，多可以给出最优解的近似解。而当城市的个数超过个数超过30时，最终的结果就不太理想了时，最终的结果就不太理想了 ln n个城市间存在个城市间存在n!/(2n)n!/(2n)条可能路径条可能路径 l设问题中含有设问题中含有n个城市
48、个城市,用用n*n个神经元构成网个神经元构成网络络 2022-11-11HopfieldHopfield网解决网解决TSPTSP问题问题ldxy城市城市X与城市与城市Y之间的距离；之间的距离；lyxi城市城市X的第的第i个神经元的状态：个神经元的状态：1城市城市X在第在第i个被访问个被访问yxi=0城市城市X不在第不在第i个被访问个被访问lwxi,yj城市城市X的第的第i个神经元到城市个神经元到城市Y的第的第j个个神经元的连接权。神经元的连接权。2022-11-11Hopfield网用于解决TSP问题例如：四个城市例如：四个城市X、Y、Z、W城市名城市名访问顺序标示访问顺序标示1234X010
49、0Y0001Z1000W00102022-11-11Hopfield网用于解决TSP问题 l连接矩阵连接矩阵 wxi,yj=-Axy(1-ij)Bij(1-xy)C dxy(ji+1+ji-1)1如果如果i=jij=0如果如果ij 2022-11-11网络的能量函数网络的能量函数xxzizizixixzxixiixzxzixixiijxjxiyyydDnyCyyByyAE11222222022-11-11网络的能量函数网络的能量函数 l仅当所有的城市最多只被访问一次时取得极小仅当所有的城市最多只被访问一次时取得极小值值0。xiijxjxiyyA2A、B、C、D为惩罚因子为惩罚因子第第1项项20
50、22-11-11网络的能量函数网络的能量函数l仅当每次最多只访问一个城市时取得极小值仅当每次最多只访问一个城市时取得极小值0。ixzxzixiyyB2第第2项项2022-11-11网络的能量函数网络的能量函数l当且仅当所有的当且仅当所有的n个城市一共被访问个城市一共被访问n次时才取次时才取得最小值得最小值0。22xixinyC第第3项项2022-11-11网络的能量函数网络的能量函数l表示按照当前的访问路线的安排，所需要走的表示按照当前的访问路线的安排，所需要走的路径的总长度路径的总长度 xxzizizixixzyyydD112第第4项项2022-11-11HopfieldHopfield网解
