1、韩力群 施彦 制作第6章 反馈神经网络韩力群 施彦 制作第6章 反馈神经网络6.1离散型离散型Hopfield神经网络神经网络6.2连续型连续型Hopfield神经网络神经网络6.3 Hopfield网络应用与设计实例网络应用与设计实例6.4双向联想记忆双向联想记忆(BAM)神经网络神经网络6.5 随机神经网络随机神经网络韩力群 施彦 制作 Hopfield网络分为离散型和连续型两种网络模型，分别网络分为离散型和连续型两种网络模型，分别记作记作DHNN(Discrete Hopfield Neural Network)和和CHNN(Continues Hopfield Neural Netwo
2、rk)，本章重点讨论前，本章重点讨论前一种类型。一种类型。根据神经网络运行过程中的信息流向，可分为前馈式和根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。矩阵决定，而与网络先前的输出状态无关。美国加州理工学院物理学家美国加州理工学院物理学家J.J.Hopfield教授于教授于1982年年提出一种单层反馈神经网络，后来人们将这种反馈网络称提出一种单层反馈神经网络，后来人们将这种反馈网络称作作Hopfield 网。网。第第6 6章章 反馈神经网络反馈神经网络韩力
3、群 施彦 制作6.1.1 网络的结构与工作方式网络的结构与工作方式 离散型反馈网络的拓扑结构离散型反馈网络的拓扑结构 x1 x2 xi xn T1 T2 Ti Tn 6.1离散型离散型Hopfield神经网络神经网络韩力群 施彦 制作(1)网络的状态网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。表示。)net(fxjjj=1,2,n 所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT 反馈网络的输入就是网络的状态初始值，表示为反馈网络的输入就是网络的状态初
4、始值，表示为X(0)=x1(0),x2(0),xn(0)T 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为化规律为韩力群 施彦 制作0101sgnjjjjnetnetnetx）（j=1,2,n (6.1)DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 nijiijjTxwnet1)(j=1,2,n (6.2)对于对于DHNN网，一般有网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的
5、输出，表示为的稳定状态就是网络的输出，表示为 t)t(limX韩力群 施彦 制作(2)网络的异步工作方式网络的异步工作方式 ijtxijtnettxjjj)()(sgn)1(6.3)(3)网络的同步工作方式网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即态，即)(sgn)1(tnettxjjj=1,2,n (6.4)网络运行时每次只有一个网络运行时每次只有一个神经元神经元 j 进行状态的调整计算，其它神进行状态的调整计算，其它神经元的状态均保持不变，即经元的状态均保持不变，即韩力群 施彦 制作6.1.2.1
6、网络的稳定性网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网网实质上是一个离散的非线性动力学系统。网络从初态络从初态X(0)开始，若能经有限次递归后，其状态不再发开始，若能经有限次递归后，其状态不再发生变化，即生变化，即X(t+1)X(t)，则称该网络是稳定的。，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态：(a)(b)(c)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子 韩力群 施彦 制作若网络是不稳定的，由于若网络是不稳定的，由于DHNNDHNN网每网每个节点的状态只有个节点的状态只有1 1和和-
7、1-1两种情况，两种情况，网络不可能出现无限发散的情况，而网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网只可能出现限幅的自持振荡，这种网络称为有限环网络。络称为有限环网络。(a)(b)(c)如果网络状态的轨迹在某个确定的如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。散到无穷远，这种现象称为混沌。(a)(b)(c)韩力群 施彦 制作网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，称为网络的 吸引子吸引子。如果把问题的解编码为网络的吸引
8、子，如果把问题的解编码为网络的吸引子，从初态向吸引子演从初态向吸引子演变变的过程便是求解计算的过程。的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是入含有部分记忆信息的样本时，网络的演变过程便是从从部分信息寻找全部信息部分信息寻找全部信息，即，即联想回忆联想回忆的过程。的过程。定义定义6.1 若网络的状态若网络的状态X 满足满足X=f(WX-T)则称则称X为网络的吸引子。为网络的吸引子。6.1.2.2 吸引子与能量函数吸引子与能量函数 韩力群 施彦 制作定理定理6.1 对于对
9、于DHNN 网，若网，若按异步方式按异步方式调整网络状态，调整网络状态，且连接权矩阵且连接权矩阵W 为对称阵为对称阵，则对于任意初态，网络都最，则对于任意初态，网络都最终收敛到一个吸引子。终收敛到一个吸引子。定理定理6.1证明：证明：定义网络的能量函数为：定义网络的能量函数为：TXWXX)t()t()t()t(ETT21(6.5)令网络的能量改变量为令网络的能量改变量为E，状态改变量为，状态改变量为X，有，有)()1()(tttEEE(6.6)()1()(tttXXX(6.7)6.1.2.2 吸引子与能量函数吸引子与能量函数 韩力群 施彦 制作将式将式(6.4)、(6.6)代入代入(6.5)，
10、则网络能量可进一步展开为，则网络能量可进一步展开为)t(E)1t(E)t(E)()()(21)()()()()()(21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(6.8)()()()(21ttTttTTXWXWXX将将 代入上式代入上式，并考虑到，并考虑到W为为对称矩阵，有对称矩阵，有 Tjtxt 0,.,0),(,0,.,0)(XjjjnijiijjwtxTxwtxtE)()()()(2211 6.1.2.2 吸引子与能量函数吸引子与能量函数 韩力群 施彦 制作)t(net)t(x)t(Ejj(6.9)上式中可能出现的情况：
11、上式中可能出现的情况：情况情况a：xj(t)=-1,xj(t+1)=1,由式由式(6.7)得得xj(t)=2,由式由式(6.1)知，知，netj(t)0，代入式，代入式(6.9)，得，得E(t)0。情况情况b：xj(t)=1,xj(t+1)=-1,所以所以xj(t)=-2,由式由式(6.1)知，知，netj(t)0，代入式，代入式(6.9)，得，得E(t)P，则权值矩阵为记忆样本的外积和，则权值矩阵为记忆样本的外积和 P1pTpp)(XXW(6.16)6.1.3 网络的权值设计网络的权值设计 韩力群 施彦 制作若取若取wjj=0，上式应写为，上式应写为 P1pTppI)(XXW(6.17)式中
12、式中I为单位矩阵。上式写成分量元素形式，有为单位矩阵。上式写成分量元素形式，有 ji0jixxwP1ppjpiij(6.18)下面检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。因为因为P个样本个样本Xp，p=1,2,P，x-1,1n 是两两正交的，有是两两正交的，有 kpnkpkTp0)(XX韩力群 施彦 制作kPpTppkI XXXWX1)()(1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)(因为因为n P，所以有，所以有 ppppPnPnffXXXWX)sgn()(）（可见给定样本可见给定样本 Xp，p=1,2,P 是吸引子。是吸引子。韩力群 施彦 制
13、作6.1.4 6.1.4 网络的信息存储容量网络的信息存储容量当网络规模一定时，所能记忆的模式是有限的。对于所容许的当网络规模一定时，所能记忆的模式是有限的。对于所容许的联想出错率，网络所能存储的最大模式数联想出错率，网络所能存储的最大模式数PmaxPmax称为网络容量。称为网络容量。网络容量与网络的规模、算法以及记忆模式向量的分布都有关网络容量与网络的规模、算法以及记忆模式向量的分布都有关系。系。DHNN网的所有记忆模式都存储在权矩阵网的所有记忆模式都存储在权矩阵W中。由于多个存储中。由于多个存储模式互相重叠，当需要记忆的模式数增加时，可能会出现所谓模式互相重叠，当需要记忆的模式数增加时，可
14、能会出现所谓“权值移动权值移动”和和“交叉干扰交叉干扰”。韩力群 施彦 制作可以看出，可以看出，W阵对要记忆的模式阵对要记忆的模式Xp，p=1,2,P，是累加实现的。，是累加实现的。每记忆一个新模式每记忆一个新模式Xp，就要向原权值矩阵，就要向原权值矩阵Wp-1加入一项该模式的外积加入一项该模式的外积XpXp，从而使新的权值矩阵，从而使新的权值矩阵Wp从原来的基础上发生移动。如果在加入从原来的基础上发生移动。如果在加入新模式新模式Xp之前存储的模式都是吸引子，应有之前存储的模式都是吸引子，应有Xk=f(Wp-1Xk)，k=1,2,p-1，那么在加入模式，那么在加入模式Xp之后由于权值移动为之后
15、由于权值移动为Wp，式，式Xk=f(WpXk)就不一就不一定对所有定对所有k(=1,2,p-1）均同时成立，也就是说网络在记忆新样本的）均同时成立，也就是说网络在记忆新样本的同时可能会遗忘已记忆的样本。同时可能会遗忘已记忆的样本。随着记忆模式数的增加，权值不断移动，各记忆模式相互交叉，当模随着记忆模式数的增加，权值不断移动，各记忆模式相互交叉，当模式数超过网络容量式数超过网络容量Pmax时，网络不但逐渐遗忘了以前记忆的模式，而时，网络不但逐渐遗忘了以前记忆的模式，而且也无法记住新模式。且也无法记住新模式。6.1.4 6.1.4 网络的信息存储容量网络的信息存储容量韩力群 施彦 制作事实上，当网
16、络规模事实上，当网络规模n一定时，要记忆的模式数越多，联想时出错的一定时，要记忆的模式数越多，联想时出错的可能性越大；反之，要求的出错概率越低，网络的信息存储容量上限可能性越大；反之，要求的出错概率越低，网络的信息存储容量上限越小。研究表明存储模式数越小。研究表明存储模式数P超过超过0.15n时，联想时就有可能出错。错时，联想时就有可能出错。错误结果对应的是能量的某个局部极小点，或称为伪吸引子。误结果对应的是能量的某个局部极小点，或称为伪吸引子。提高网络存储容量有两个基本途径：一是改进网络的拓扑结构，二是提高网络存储容量有两个基本途径：一是改进网络的拓扑结构，二是改进网路的权值设计方法。常用的
17、改进方法有：反复学习法、纠错学改进网路的权值设计方法。常用的改进方法有：反复学习法、纠错学习法、移动兴奋门限法、伪逆技术、忘记规则和非线性学习规则等。习法、移动兴奋门限法、伪逆技术、忘记规则和非线性学习规则等。6.1.4 6.1.4 网络的信息存储容量网络的信息存储容量韩力群 施彦 制作6.2连续型连续型Hopfield神经网络神经网络 1984年年Hopfield把把DHNN进一步发展成连续型进一步发展成连续型Hopfield网网络，缩写为络，缩写为CHNN网。网。CHNN的基本结构与的基本结构与 DHNN相似，相似，但但CHNN中所有神经元都同步工作，各输入输出量均是随中所有神经元都同步工
18、作，各输入输出量均是随时间连续变化的模拟量，这就使得时间连续变化的模拟量，这就使得 CHNN比比 DHNN在信在信息处理的并行性、实时性等方面更接近于实际生物神经网息处理的并行性、实时性等方面更接近于实际生物神经网络的工作机理。络的工作机理。CHNN可以用常系数微分方程来描述，但用模拟电子线路可以用常系数微分方程来描述，但用模拟电子线路来描述，则更为形象直观，易于理解也便于实现。来描述，则更为形象直观，易于理解也便于实现。韩力群 施彦 制作6.2连续型连续型Hopfield神经网络神经网络6.2.1 网络的拓朴结构网络的拓朴结构在连续在连续Hopfield网中，所有神经元都随时间网中，所有神经
19、元都随时间 t并行更新，网络状态随时并行更新，网络状态随时间连续变化。图间连续变化。图6.4(a)给出了基于模拟电子线路的给出了基于模拟电子线路的CHNN的拓扑结构的拓扑结构。韩力群 施彦 制作6.2连续型连续型Hopfield神经网络神经网络 可以看出可以看出CHNN模型可与电子线路直接对应，每一个神经模型可与电子线路直接对应，每一个神经元可以用一个运算放大器来模拟，神经元的输入与输出分元可以用一个运算放大器来模拟，神经元的输入与输出分别用运算放大器的输入电压别用运算放大器的输入电压uj和输出电压和输出电压vj表示，表示，j1，2n，而连接权而连接权wij用输入端的电导表示，其作用是把第用输
20、入端的电导表示，其作用是把第i个神经元的输出反馈到第个神经元的输出反馈到第j个神经元作为输入之一。每个个神经元作为输入之一。每个运算放大器均有一个正相输出和一个反相输出。与正相输运算放大器均有一个正相输出和一个反相输出。与正相输出相连的电导表示兴奋性突触，而与反相输出相连的电导出相连的电导表示兴奋性突触，而与反相输出相连的电导表示抑制性突触。另外，每个神经元还有一个用于设置激表示抑制性突触。另外，每个神经元还有一个用于设置激活电平的外界输入偏置电流活电平的外界输入偏置电流Ij，其作用相当于阈值。，其作用相当于阈值。韩力群 施彦 制作6.2连续型连续型Hopfield神经网络神经网络 CHNN模
21、型对生物神经元的功能做了大量简化，只模仿了模型对生物神经元的功能做了大量简化，只模仿了生物系统的几个基本特性：生物系统的几个基本特性：S型转移函数；型转移函数；信息传递过程中的时间常数；信息传递过程中的时间常数；神经元间的兴奋及抑制性连接神经元间的兴奋及抑制性连接 神经元间的相互作用和时空作用神经元间的相互作用和时空作用韩力群 施彦 制作网络的能量函数可写为网络的能量函数可写为 由定理由定理6.66.6可知，随着状态的演变，网络的能量总是降低的。只有当网路中所有节点的可知，随着状态的演变，网络的能量总是降低的。只有当网路中所有节点的状态不再改变时，能量才不再变化，此时到达能量的某一局部极小点或
22、全局最小点，状态不再改变时，能量才不再变化，此时到达能量的某一局部极小点或全局最小点，该能量点对应着网络的某一个稳定状态。该能量点对应着网络的某一个稳定状态。HopfieldHopfield网用于联想记忆时，正是利用了这些局部极小点来记忆样本，网络的存贮容网用于联想记忆时，正是利用了这些局部极小点来记忆样本，网络的存贮容量越大，说明网络的局部极小点越多。然而在优化问题中，局部极小点越多，网络就量越大，说明网络的局部极小点越多。然而在优化问题中，局部极小点越多，网络就越不容易达到最优解而只能达到较优解。越不容易达到最优解而只能达到较优解。为保证网络的稳定性，要求网络的结构必须对称，否则运行中可能
23、出现极限环或混沌为保证网络的稳定性，要求网络的结构必须对称，否则运行中可能出现极限环或混沌状态。状态。(6.26)n1jjjn1jn1ijiijIvvvw21E韩力群 施彦 制作6.3 Hopfield网络应用与设计实例网络应用与设计实例Hopfield网络在图象、语音和信号处理、模式分类与识别、知网络在图象、语音和信号处理、模式分类与识别、知识处理、自动控制、容错计算和数据查询等领域已经有许多成识处理、自动控制、容错计算和数据查询等领域已经有许多成功的应用。功的应用。Hopfield网络的应用主要有联想记忆和优化计算两类，其中网络的应用主要有联想记忆和优化计算两类，其中DHNN网主要用于联想
24、记忆，网主要用于联想记忆，CHNN网主要用于优化计算。网主要用于优化计算。韩力群 施彦 制作6.3.2应用应用CHNN网解决优化计算问题网解决优化计算问题用用CHNN网解决优化问题一般需要以下几个步骤：网解决优化问题一般需要以下几个步骤：对于特定的问题，要选择一种合适的表示方法，使得神经网络的输出与问题对于特定的问题，要选择一种合适的表示方法，使得神经网络的输出与问题的解相对应；的解相对应；构造网络能量函数，使其最小值对应与问题的最佳解；构造网络能量函数，使其最小值对应与问题的最佳解；将能量函数与式将能量函数与式(6.26)中的标准形式进行比较，可推出神经网络的权值与偏流中的标准形式进行比较，
25、可推出神经网络的权值与偏流的表达式，从而确定了网络的结构；的表达式，从而确定了网络的结构；由网络结构建立网络的电子线路并运行，其稳态就是在一定条件下的问题优由网络结构建立网络的电子线路并运行，其稳态就是在一定条件下的问题优化解。也可以编程模拟网络的运行方式，在计算机上实现。化解。也可以编程模拟网络的运行方式，在计算机上实现。韩力群 施彦 制作6.3.2应用应用CHNN网解决优化计算问题网解决优化计算问题本节介绍应用本节介绍应用CHNN解决解决TSP问题的网络设计。问题的网络设计。TSP问题是一个经典的人工智能难题。对问题是一个经典的人工智能难题。对 n个城市而言，可能的路径总数为个城市而言，可
26、能的路径总数为 n!2n。随着随着 n的增加，路径数将按指数率急剧增长，即所谓的增加，路径数将按指数率急剧增长，即所谓“指数爆炸指数爆炸”。当。当 n值较大时，用值较大时，用传统的数字计算机也无法在有限时间内寻得答案。例如，传统的数字计算机也无法在有限时间内寻得答案。例如，n50时，即使用每秒一亿次时，即使用每秒一亿次运算速度的巨型计算机按穷举搜索法，也需要运算速度的巨型计算机按穷举搜索法，也需要51048年时间。即使是年时间。即使是 n20个城市，个城市，也需求解也需求解350年。年。1985年年 HoPfield和和 Tank两人用两人用 CHNN网络为解决网络为解决 TSP难题开辟了一条
27、崭新的途径，获难题开辟了一条崭新的途径，获得了巨大的成功。其基本思想是把得了巨大的成功。其基本思想是把TSP问题映射到问题映射到 CHNN网络中去，并设法用网络能网络中去，并设法用网络能量代表路径总长。这样，当网络的能量随着模拟电子线路状态的变迁，最终收敛于极量代表路径总长。这样，当网络的能量随着模拟电子线路状态的变迁，最终收敛于极小值小值(或最小值或最小值)时，问题的较佳解时，问题的较佳解(或最佳解或最佳解)便随之求得。此外，由于模拟电子线路中便随之求得。此外，由于模拟电子线路中的全部元件都是并行工作的，所以求解时间与城市数的多少无关，仅是运算放大器工的全部元件都是并行工作的，所以求解时间与
28、城市数的多少无关，仅是运算放大器工作所需的微秒级时间，显著地提高了求解速度，充分展示了神经网络的巨大优越性。作所需的微秒级时间，显著地提高了求解速度，充分展示了神经网络的巨大优越性。韩力群 施彦 制作韩力群 施彦 制作6.4双向联想记忆双向联想记忆(BAM)神经网络神经网络联想记忆网络的研究是神经网络的重要分支，在各种联联想记忆网络的研究是神经网络的重要分支，在各种联想记忆网络模型中，双向联想记忆想记忆网络模型中，双向联想记忆(Bidirectional Associative Memory，缩写为，缩写为 BAM)网络的应用最为广泛。网络的应用最为广泛。Hopfield网可实现自联想网可实现
29、自联想 CNP网可实现异联想网可实现异联想 BAM网可实现双向异联想网可实现双向异联想BAM网有离散型、连续型和自适应型等多种形式，本节网有离散型、连续型和自适应型等多种形式，本节重点介绍常用的离散型重点介绍常用的离散型 BAM网络。网络。韩力群 施彦 制作6.4双向联想记忆双向联想记忆(BAM)神经网络神经网络联想记忆网络的研究是神经网络的重要分支，在各种联想记忆联想记忆网络的研究是神经网络的重要分支，在各种联想记忆网络模型中，由网络模型中，由B Bkoskokosko于于19881988年提出的双向联想记忆年提出的双向联想记忆(Bidirectional Associative Memor
30、y(Bidirectional Associative Memory，缩写为，缩写为 BAM)BAM)网络的应用最为网络的应用最为广泛。前面介绍的广泛。前面介绍的HopfieldHopfield网可实现自联想，网可实现自联想，CNPCNP网可实现异联网可实现异联想，而想，而BAMBAM网可实现双向异联想。网可实现双向异联想。BAMBAM网有离散型、连续型和网有离散型、连续型和自适应型等多种形式，本节重点介绍常用的离散型自适应型等多种形式，本节重点介绍常用的离散型 BAM BAM网络。网络。韩力群 施彦 制作6.4.1 BAM网结构与原理网结构与原理 BAM网的拓扑结构如图网的拓扑结构如图6.7
31、所示。该网是一种双层双向网所示。该网是一种双层双向网络，当向其中一层加入输入信号时，另一层可得到输出。络，当向其中一层加入输入信号时，另一层可得到输出。由于初始模式可以作用于网络的任一层，信息可以双向传由于初始模式可以作用于网络的任一层，信息可以双向传播，所以没有明确的输入层或输出层，可将其中的一层称播，所以没有明确的输入层或输出层，可将其中的一层称为为X层，有层，有n个神经元节点，另一层称为个神经元节点，另一层称为Y层，有层，有m个神经个神经元节点。两层的状态向量可取单极性二进制元节点。两层的状态向量可取单极性二进制0或或1，也可以，也可以取双极性离散值取双极性离散值1或或-1。如果令由。如
32、果令由X到到 Y的权矩阵为的权矩阵为W，则，则由由Y到到X的权矩阵便是其转置矩阵的权矩阵便是其转置矩阵WT。韩力群 施彦 制作BAM网的拓扑结构如图网的拓扑结构如图6.7所示。所示。该网是一种双层双向网络，当向其中一层加入输入信号时，另该网是一种双层双向网络，当向其中一层加入输入信号时，另一层可得到输出。一层可得到输出。6.4.1 BAM网结构与原理网结构与原理韩力群 施彦 制作6.4.1 BAM网结构与原理网结构与原理由于初始模式可以作用于网络的任一层，信息可以双向传由于初始模式可以作用于网络的任一层，信息可以双向传播，所以没有明确的输入层或输出层，可将其中的一层称为播，所以没有明确的输入层
33、或输出层，可将其中的一层称为X层，有层，有n个神经元节点，另一层称为个神经元节点，另一层称为Y层，有层，有m个神经元节点。个神经元节点。两层的状态向量可取单极性二进制两层的状态向量可取单极性二进制0或或1，也可以取双极性离散，也可以取双极性离散值值1或或-1。如果令由。如果令由X到到 Y的权矩阵为的权矩阵为W，则由，则由Y到到X的权矩阵便的权矩阵便是其转置矩阵是其转置矩阵WT。韩力群 施彦 制作6.4.1 BAM网结构与原理网结构与原理图图6.8 BAM网的双向联想过程网的双向联想过程BAMBAM网实现双向异联想的过程是网络运行从动态网实现双向异联想的过程是网络运行从动态到稳态的过程。到稳态的
34、过程。韩力群 施彦 制作由图由图6.8(a)和和(b)，有，有 X(t+1)=fxWTfyWX(t)(6.33a)Y(t+1)=fyWfxWTY(t)(6.33b)对于经过充分训练的权值矩阵，当向对于经过充分训练的权值矩阵，当向BAM网络一侧输入有残网络一侧输入有残缺的已存储模式时，网络经过有限次运行不仅能再另一侧实缺的已存储模式时，网络经过有限次运行不仅能再另一侧实现正确的异联想，而且在输入侧重建了完整的输入模式。现正确的异联想，而且在输入侧重建了完整的输入模式。韩力群 施彦 制作6.4.2能量函数与稳定性能量函数与稳定性若若BAM网络的阈值为网络的阈值为0，能量函数定义为，能量函数定义为
35、BAM网双向联想的动态过程就是能量函数量沿其状态空间中网双向联想的动态过程就是能量函数量沿其状态空间中的离散轨迹逐渐减少的过程。当达到双向稳态时，网络必落的离散轨迹逐渐减少的过程。当达到双向稳态时，网络必落入某一局部或全局能量最小点。入某一局部或全局能量最小点。WXYYWXTTT2121E韩力群 施彦 制作6.4.3 BAM网的权值设计网的权值设计对于离散对于离散BAM网络，一般选转移函数网络，一般选转移函数f()=sgn()。当网络只需存储。当网络只需存储一对模式一对模式(X1，Y1)时，若使其成为网络的稳定状态，应满足条件时，若使其成为网络的稳定状态，应满足条件 sgn(WX1)=Y1 (
36、6.36a)sgn(WTY1)=X1 (6.36b)容易证明，若容易证明，若W是向量是向量Y1和和X1外积，即外积，即W=Y1X1TW=X1Y1T则式则式(6.36)的条件必然成立。的条件必然成立。韩力群 施彦 制作6.4.3 BAM网的权值设计网的权值设计P1pTpp)(XYWP1pTppT)(YXW当需要存储当需要存储P对模式时，将以上结论扩展为对模式时，将以上结论扩展为P对模式的外积和，从而得到对模式的外积和，从而得到Kosko提出的权值学习公式提出的权值学习公式 (6.37a)用外积和法设计的权矩阵，不能保证任意用外积和法设计的权矩阵，不能保证任意P对模式的全部正确联想，但对模式的全部
37、正确联想，但下面的定理表明，如对记忆模式对加以限制，用外积和法设计下面的定理表明，如对记忆模式对加以限制，用外积和法设计BAM网网具有较好的联想能力。具有较好的联想能力。(6.37b)韩力群 施彦 制作6.4.4 BAM网的应用网的应用BAMBAM网络的设计比较简单，只需由几组典型输入、输出向量构网络的设计比较简单，只需由几组典型输入、输出向量构成权矩阵。运行时，由实测到的数据向量与权矩阵作内积运算成权矩阵。运行时，由实测到的数据向量与权矩阵作内积运算便可得到相应的信息输出。这是一种大规模并行处理大量数据便可得到相应的信息输出。这是一种大规模并行处理大量数据的有效方法，具有实时性和容错性。更具
38、魅力的是，这种联想的有效方法，具有实时性和容错性。更具魅力的是，这种联想记忆法无需对输入向量进行预处理便可直接进入搜索，省去记忆法无需对输入向量进行预处理便可直接进入搜索，省去了编码与解码工作。了编码与解码工作。韩力群 施彦 制作6.5 随机神经网络随机神经网络如果将如果将BP算法中的误差函数看作一种能量函数，则算法中的误差函数看作一种能量函数，则BP算法通过算法通过不断调整网络参数使其能量函数按梯度单调下降，而反馈网络不断调整网络参数使其能量函数按梯度单调下降，而反馈网络使通过动态演变过程使网络的能量函数沿着梯度单调下降。使通过动态演变过程使网络的能量函数沿着梯度单调下降。结果是结果是常常导
39、致网络落入局部极小点而达不到全局最小点。常常导致网络落入局部极小点而达不到全局最小点。其其原因是，网络的误差函数或能量函数是具有多个极小点的非线原因是，网络的误差函数或能量函数是具有多个极小点的非线性空间，而所用的算法却一味追求网络误差或能量函数的单调性空间，而所用的算法却一味追求网络误差或能量函数的单调下降。也就是说，算法赋予网络的是只会下降。也就是说，算法赋予网络的是只会“下山下山”而不会而不会“爬爬山山”的能力。的能力。局部极小问题局部极小问题需要需要通过改进算法来解决。通过改进算法来解决。韩力群 施彦 制作6.5 随机神经网络随机神经网络随机网络可赋予网络既能随机网络可赋予网络既能“下
40、坡下坡”也能也能“爬山爬山”的本领，因而的本领，因而能有效地克服上述缺陷。能有效地克服上述缺陷。在学习阶段，随机网络不像其它网络那样基于某种确定性算法在学习阶段，随机网络不像其它网络那样基于某种确定性算法调整权值，而是按某种概率分布进行修改；调整权值，而是按某种概率分布进行修改；在运行阶段，随机网络不是按某种确定性的网络方程进行状态在运行阶段，随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态的转移。演变，而是按某种概率分布决定其状态的转移。图图6.106.10给出了随机网络算法与梯度下降算法区别的示意图。给出了随机网络算法与梯度下降算法区别的示意图。E E 0 W
41、0 W (a)梯度下降算法 (b)随机网络算法韩力群 施彦 制作6.5.1模拟退火原理模拟退火原理模拟退火算法模拟退火算法的的基本思想是模拟金属退火过程。基本思想是模拟金属退火过程。金属退火过程大致是，先将物体加热至高温，使其原子处于高速金属退火过程大致是，先将物体加热至高温，使其原子处于高速运动状态，此时物体具有较高的内能；然后，缓慢降温，随着温运动状态，此时物体具有较高的内能；然后，缓慢降温，随着温度的下降，原子运动速度减慢，内能下降；最后，整个特体达到度的下降，原子运动速度减慢，内能下降；最后，整个特体达到内能最低的状态。内能最低的状态。模拟退火过程相当于沿水平方向晃动托盘，温度高则意味
42、着晃模拟退火过程相当于沿水平方向晃动托盘，温度高则意味着晃动的幅度大，小球肯定会从任何低谷中跳出，而落入另一个低动的幅度大，小球肯定会从任何低谷中跳出，而落入另一个低谷。晃动托盘的力度要合适，并且还要由强至弱谷。晃动托盘的力度要合适，并且还要由强至弱(温度逐渐下降温度逐渐下降)，小球才不，小球才不至于至于因为有了因为有了“爬山爬山”的本领而越爬越高。的本领而越爬越高。韩力群 施彦 制作6.5.1模拟退火原理模拟退火原理随机网络的权值调整：随机网络的权值调整：在随机网络学习过程中，先令网络权值作随机变化，然后计算变在随机网络学习过程中，先令网络权值作随机变化，然后计算变化后的网络能量函数。化后的
43、网络能量函数。网络权值的修改应遵循以下准则：若权值变化后能量变小，则接网络权值的修改应遵循以下准则：若权值变化后能量变小，则接受这种变化；否则也不应完全拒绝这种变化，而是按预先选定的受这种变化；否则也不应完全拒绝这种变化，而是按预先选定的概率分布接受权值的这种变化。其目的在于赋予网络一定的概率分布接受权值的这种变化。其目的在于赋予网络一定的“爬爬山山”能力。能力。实现这一思想的一个有效方法就是实现这一思想的一个有效方法就是Metropo1isMetropo1is等人提出的模拟退火等人提出的模拟退火算法。算法。韩力群 施彦 制作6.5.1模拟退火原理模拟退火原理模拟退火算法：模拟退火算法：设设X
44、 X代表某一物质体系的微观状态代表某一物质体系的微观状态(一组状态变量，如粒子的速度和位置一组状态变量，如粒子的速度和位置等等)，E E(X X)表示该物质在某微观状态下的内能，对于给定温度表示该物质在某微观状态下的内能，对于给定温度T T，如果体系，如果体系处于热平衡状态，则在降温退火过程中，其处于某能量状态的概率与温处于热平衡状态，则在降温退火过程中，其处于某能量状态的概率与温度的关系遵循度的关系遵循BoltzmannBoltzmann分布规律。分布函数为分布规律。分布函数为由式由式(6.38)(6.38)可以看出，当温度一定时，物质体系的能量越高，其处于该可以看出，当温度一定时，物质体系
45、的能量越高，其处于该状态的概率就越低，因此物质体系的内能趋向于向能量降低的方向演状态的概率就越低，因此物质体系的内能趋向于向能量降低的方向演变。变。KTEEP/)(exp()(X(6.38)图图6.11能量状态的概率曲线与温度的关系能量状态的概率曲线与温度的关系韩力群 施彦 制作6.5.1模拟退火原理模拟退火原理用随机神经网络解决优化问题时，通过数学算法模拟了以上退用随机神经网络解决优化问题时，通过数学算法模拟了以上退火过程。模拟方法是火过程。模拟方法是：定义一个网络温度以模仿物质的退火温度定义一个网络温度以模仿物质的退火温度 取网络能量为欲优化的目标函数取网络能量为欲优化的目标函数 网络运行
46、开始时温度较高，调整权值时允许目标函数网络运行开始时温度较高，调整权值时允许目标函数偶尔向增大的方向变化，以使网络能跳出那些能量的偶尔向增大的方向变化，以使网络能跳出那些能量的局部极小点。随着网络温度不断下降至局部极小点。随着网络温度不断下降至0 0，最终以概率，最终以概率1 1稳定在其能量函数的全局最小点，从而获得最优解稳定在其能量函数的全局最小点，从而获得最优解韩力群 施彦 制作6.5.2 Boltzmann机机G.E.HintonG.E.Hinton等人于等人于19831983年年19861986年提出一种称为年提出一种称为BoltzmannBoltzmann机的机的随机神经网络。在这种
47、网络中神经元只有两种输出状态，即单随机神经网络。在这种网络中神经元只有两种输出状态，即单极性二进制的极性二进制的0 0或或1 1。状态的取值根据概率统计法则决定，由于。状态的取值根据概率统计法则决定，由于这种概率统计法则的表达形式与著名统计力学家这种概率统计法则的表达形式与著名统计力学家L.BoltzmannL.Boltzmann提提出的出的BoltzmannBoltzmann分布类似，故将这种网络取名分布类似，故将这种网络取名 Boltzmann Boltzmann机。机。韩力群 施彦 制作6.5.2.1 BM机的拓扑结构与运行原理机的拓扑结构与运行原理(1)BM机的拓扑结构机的拓扑结构 介
48、于介于DHNN网的全互连结构与网的全互连结构与BP网的层次结构之间。网的层次结构之间。从形式上看，从形式上看，BM机与单层反馈网络机与单层反馈网络DHNN网相似，具有对称权值网相似，具有对称权值，即，即wij=wji，且，且wii=0。从神经元的功能上看，从神经元的功能上看，BM机与三层机与三层BP网相似，具有输入节点、网相似，具有输入节点、隐节点和输出节点。隐节点和输出节点。BM机的三类节点之间没有明显的层次，连接形式可用图机的三类节点之间没有明显的层次，连接形式可用图6.12中的中的有向图表示。有向图表示。图6.12 BM机的拓扑结构韩力群 施彦 制作6.5.2.1 BM机的拓扑结构与运行
49、原理机的拓扑结构与运行原理(2)神经元的转移概率函数神经元的转移概率函数 设设BM机中单个神经元的净输入为机中单个神经元的净输入为与与DHNN网不同的是，以上净输入并不能通过符号转移函数直网不同的是，以上净输入并不能通过符号转移函数直接获得确定的输出状态，实际的输出状态将按某种概率发生，接获得确定的输出状态，实际的输出状态将按某种概率发生，神经元的净输入可通过神经元的净输入可通过S型函数获得输出某种状态的转移概率型函数获得输出某种状态的转移概率ijiijjTxwnet)(TnetjjeP/)(111(6.39)韩力群 施彦 制作6.5.2.1 BM机的拓扑结构与运行原理机的拓扑结构与运行原理对
50、于同一净输入，温度对于同一净输入，温度T较高时概率曲线变化平缓，对于同一较高时概率曲线变化平缓，对于同一净输入净输入Pj(1)与与Pj(0)的差别小；而的差别小；而T温度低时概率曲线变的陡峭温度低时概率曲线变的陡峭，对于同一净输入，对于同一净输入Pj(1)与与Pj(0)的差别大。的差别大。Pj(1)T=0.8 1.0 T=2.0 T=4.0 0.5 -5 0 5 netj图图6.13 神经元状态概率与净输入和温度的关系神经元状态概率与净输入和温度的关系韩力群 施彦 制作6.5.2.1 BM机的拓扑结构与运行原理机的拓扑结构与运行原理(3)网络能量函数与运行的搜索机制网络能量函数与运行的搜索机制
