1、第五章第五章 反馈神经网络反馈神经网络 Hopfield Hopfield网络分为离散型和连续型两种网络模型，网络分为离散型和连续型两种网络模型，分别记作分别记作DHNN(Discrete Hopfield Neural Network)DHNN(Discrete Hopfield Neural Network)和和CHNN(Continues Hopfield Neural Network)CHNN(Continues Hopfield Neural Network)，本章，本章重点讨论前一种类型。重点讨论前一种类型。根据神经网络运行过程中的信息流向，可分为前馈式根据神经网络运行过程中的信息
2、流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。权矩阵决定，而与网络先前的输出状态无关。美国加州理工学院物理学家美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一种单层反馈神经网络，后来人们将这种反馈网络年提出一种单层反馈神经网络，后来人们将这种反馈网络称作称作Hopfield Hopfield 网。网。5.1.1 5.1.1 网络的结构与工作方式网络的结构与工作方式 离散型反馈网络的拓扑结构离散型反馈网络的拓扑结构 x1 x2
3、 xi xn T1 T2 Ti Ti 5.15.1离散型离散型HopfieldHopfield神经网络神经网络(1)(1)网络的状态网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称网中的每个神经元都有相同的功能，其输出称为状态，用为状态，用 xj 表示。表示。)net(fxjjj=1,2,n 所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT 反馈网络的输入就是网络的状态初始值，表示为反馈网络的输入就是网络的状态初始值，表示为X(0)=x1(0),x2(0),xn(0)T 反馈网络在外界输入激发下，从初始状态进入动态演反馈网络在外
4、界输入激发下，从初始状态进入动态演变过程，变化规律为变过程，变化规律为0101sgnjjjjnetnetnetx）（j=1,2,n (5.1)DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 nijiijjTxwnet1)(j=1,2,n (5.2)对于对于DHNN网，一般有网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为的稳定状态就是网络的输出，表示为 t)t(limX(2)(2)网络的异步工作方式网络的异步工作方式 ijtxijtnettx
5、jjj)()(sgn)1(5.3)(3)(3)网络的同步工作方式网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即同时调整状态，即)(sgn)1(tnettxjjj=1,2,n (5.4)网络运行时每次只有一个神经元进行状态的调整计算，网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即其它神经元的状态均保持不变，即5.1.2.1 网络的稳定性网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网网实质上是一个离散的非线性动力学系统。网络从初态络从初态X(0)开始，若能经有限次递归后，其
6、状态不再发开始，若能经有限次递归后，其状态不再发生变化，即生变化，即X(t+1)X(t)，则称该网络是稳定的。，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态：(a)(b)(c)5.1.2 网络的稳定性与吸引子网络的稳定性与吸引子 若网络是不稳定的，由于若网络是不稳定的，由于DHNNDHNN网每个节点的状态只有网每个节点的状态只有1 1和和-1-1两种情况，网络不可能出现无两种情况，网络不可能出现无限发散的情况，而只可能出现限发散的情况，而只可能出现限幅的自持振荡，这种网络称限幅的自持振荡，这种网络称为有限环网络。为有限环
7、网络。(a)(b)(c)如果网络状态的轨迹在某个确如果网络状态的轨迹在某个确定的范围内变迁，但既不重复定的范围内变迁，但既不重复也不停止，状态变化为无穷多也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，个，轨迹也不发散到无穷远，这种现象称为浑沌。这种现象称为浑沌。(a)(b)(c)网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，称为网络的 吸引子吸引子。如果把吸引子视为问题的解，如果把吸引子视为问题的解，从初态朝吸引子演变从初态朝吸引子演变的过程的过程便是求解计算的过程。便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输若把需记忆的样本信息存储于网络不同的吸引子，
8、当输入含有部分记忆信息的样本时，网络的演变过程便是入含有部分记忆信息的样本时，网络的演变过程便是从从部分信息寻找全部信息部分信息寻找全部信息，即，即联想回忆联想回忆的过程。的过程。定义定义5.1 若网络的状态若网络的状态X 满足满足X=f(WX-T)则称则称X为网络的吸引子。为网络的吸引子。5.1.2.2 吸引子与能量函数吸引子与能量函数 定理定理5.1 对于对于DHNN 网，若网，若按异步方式按异步方式调整网络状态，调整网络状态，且连接权矩阵且连接权矩阵W 为对称阵为对称阵，则对于任意初态，网络都最，则对于任意初态，网络都最终收敛到一个吸引子。终收敛到一个吸引子。定理定理5.1证明：证明：定
9、义网络的能量函数为：定义网络的能量函数为：TXWXX)t()t()t()t(ETT21(5.5)令网络的能量改变量为令网络的能量改变量为E，状态改变量为，状态改变量为X，有，有)()1()(tttEEE(5.6)()1()(tttXXX(5.7)5.1.2.2 吸引子与能量函数吸引子与能量函数 将式将式(5.4)、(5.6)代入代入(5.5)，则网络能量可进一步展开为，则网络能量可进一步展开为)t(E)1t(E)t(E)()()(21)()()()()()(21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(5.8)()()()(2
10、1ttTttTTXWXWXX将将 代入上式代入上式，并考虑到，并考虑到W为为对称矩阵，有对称矩阵，有 Tjtxt 0,.,0),(,0,.,0)(XjjjnijiijjwtxTxwtxtE)()()()(2211)t(net)t(x)t(Ejj(5.9)上式中可能出现的情况：上式中可能出现的情况：情况情况a a：xj(t)=-1,xj(t+1)=1,由式由式(5.7)得得xj(t)=2,由式由式(5.1)知，知，netj(t)0，代入式，代入式(5.9)，得，得E(t)0。情况情况b b：xj(t)=1,xj(t+1)=-1,所以所以xj(t)=-2,由式由式(5.1)知知，netj(t)0，
11、代入式，代入式(5.9)，得，得E(t)P，则权值矩阵为记忆样本的外积和，则权值矩阵为记忆样本的外积和 P1pTpp)(XXW(5.16)5.1.3 网络的权值设计网络的权值设计 若取若取wjj=0，上式应写为，上式应写为 P1pTppI)(XXW(5.17)式中式中I为单位矩阵。上式写成分量元素形式，有为单位矩阵。上式写成分量元素形式，有 ji0jixxwP1ppjpiij(5.18)下面检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。因为因为P个样本个样本Xp，p=1,2,P，x-1,1n是两两正交的，有是两两正交的，有 kpnkpkTp0)(XXkPpTppkI XXXWX1)()(1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)(因为因为nP，所以有，所以有 ppppPnPnffXXXWX)sgn()(）（可见给定样本可见给定样本Xp，p=1,2,P是吸引子。是吸引子。
