1、BP网络和BP算法v线性不可分问题：感知器模型的局限线性不可分问题：感知器模型的局限v三层感知器三层感知器v多层网络的表达能力多层网络的表达能力vBP网络：多层感知器网络：多层感知器vBP算法：反向传播算法的思想和流程，算法：反向传播算法的思想和流程，训训练协议，隐含层的作用，实用技术练协议，隐含层的作用，实用技术反向传播算法（BP算法）v敏感度的反向传播反向传播算法（BP算法）vBP算法流程：算法流程：Step1：选定权系数初值选定权系数初值Step2：重复下述过程直至收敛重复下述过程直至收敛(对各个样本依对各个样本依次计算次计算)vStep2.1 前馈前馈:从前向后各层计算各单元从前向后各
2、层计算各单元jxjijiinetx11jjjnetxf nete反向传播算法（BP算法）vStep2.2:对输出层计算对输出层计算vStep2.3:从后向前计算各隐层从后向前计算各隐层vStep2.4:计算并保存各个权值修正量计算并保存各个权值修正量jj1jjjjjyxxx1jjjjkkkxx ijjix反向传播算法（BP算法）vStep2.5:修正权值修正权值 1ijijijtt以上算法是对每个样本作权值修正（单样本）以上算法是对每个样本作权值修正（单样本）也可以对各个样本计算也可以对各个样本计算 后求和，按照总误差修后求和，按照总误差修正权值（批处理）正权值（批处理）jBP算法的训练协议v
3、训练协议训练协议(学习协议学习协议)：神经网络训练过程中神经网络训练过程中如何根据训练样本调整权值如何根据训练样本调整权值v三种最有用的训练协议：三种最有用的训练协议：随机训练随机训练(stochastic training):模式随机从训模式随机从训练集中选取，每输入一个模式，权值就更新一次练集中选取，每输入一个模式，权值就更新一次成批训练成批训练(batch training):所有模式一次全部所有模式一次全部送入网络，然后才进行一次权值更新送入网络，然后才进行一次权值更新在线训练在线训练(online training):每种模式只提供一每种模式只提供一次，每提供一种模式，权值更新一次次
4、，每提供一种模式，权值更新一次BP算法的训练协议v随机反向传播随机反向传播BP算法的训练协议v成批反向传播成批反向传播累计更新累计更新BP算法的训练协议v在线反向传播隐含层的作用v隐含层的作用：隐含层的作用：学习到一组非线性映射，将样本映学习到一组非线性映射，将样本映射到线性可分的空间射到线性可分的空间v非线性弯曲能力，本质上是一种非线性的特征映射非线性弯曲能力，本质上是一种非线性的特征映射v异或问题的例子：异或问题的例子：隐含层的作用v隐含层的非线性弯曲能力隐含层的非线性弯曲能力1-60个回合的非线性映射和个回合的非线性映射和误差的变化误差的变化总误差总误差各个模式上的误差各个模式上的误差B
5、P算法的优缺点v优点：优点：理论基础牢固理论基础牢固 推导过程严谨推导过程严谨 物理概念清晰物理概念清晰 通用性好通用性好 所以，它是目前用来训练所以，它是目前用来训练多层前向网络多层前向网络（BP网络）网络）较好的算法。较好的算法。BP算法的优缺点v缺点：缺点：BP算法只能收敛于算法只能收敛于局部最优解局部最优解，不能保证收敛，不能保证收敛于全局最优解；于全局最优解；当隐层元的数量足够多时，网络对训练样本的识当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，别率很高，但对测试样本的识别率有可能很差，即网络的即网络的推广能力推广能力有可能较差。有可能较差。BP
6、算法的实用技术v输出函数（激活函数）输出函数（激活函数）v输入信号尺度变换输入信号尺度变换vc c类问题的目标输出类问题的目标输出v带噪声的训练法带噪声的训练法v人工人工“制造制造”数据数据v隐单元数隐单元数v权值初始化权值初始化v学习率学习率v冲量项冲量项v权值衰减权值衰减BP算法的实用技术v输出函数（激活函数）应具备的性质输出函数（激活函数）应具备的性质非线性：非线性：非线性特征映射，否则三层网络将等同非线性特征映射，否则三层网络将等同于两层网络的计算能力于两层网络的计算能力饱和性：饱和性：存在最大和最小值，即输出有上下界存在最大和最小值，即输出有上下界连续性：连续性：在整个自变量范围内都
7、有定义在整个自变量范围内都有定义光滑性：光滑性：在整个自变量范围内一阶导数存在在整个自变量范围内一阶导数存在最好有单调性：最好有单调性：导数在自变量范围内不变号，避导数在自变量范围内不变号，避免引入不必要的局部极值免引入不必要的局部极值Sigmoid函数满足上述性质，因此被广泛采用函数满足上述性质，因此被广泛采用BP算法的实用技术v输入信号尺度变换输入信号尺度变换鱼分类的例子：鱼分类的例子：x1:质量质量 x2:长度长度vx1=1500克，克，x2=0.3米，则网络权值的调整主要由米，则网络权值的调整主要由x1 控制控制 v x1=1.5千克，千克，x2=300毫米，则网络权值的调整主要由毫米
8、，则网络权值的调整主要由x2控制控制 解决方案：解决方案：输入特征尺度变换，使得输入特征尺度变换，使得v每个特征在整个训练集上的均值为零每个特征在整个训练集上的均值为零v每个特征的方差相同，如都为每个特征的方差相同，如都为1.0规范化规范化BP算法的实用技术vc c类问题的目标输出类问题的目标输出Sigmoid函数的饱和值函数的饱和值1.716永远不可能达到，永远不可能达到，存在误差存在误差c c类问题的判决准则：类问题的判决准则：如果样本如果样本x属于第属于第i类，则类，则第第i个输出单元的目标输出为个输出单元的目标输出为+1，其他输出单元，其他输出单元为为-1例如：例如：四类情况，四类情况
9、，x属于第属于第3类类，目标输出则为，目标输出则为 （-1，-1,+1，-1）BP算法的实用技术v带噪声的训练法带噪声的训练法当训练集很小时，当训练集很小时，可以构造一个虚拟的或替代的训练模可以构造一个虚拟的或替代的训练模式来使用式来使用（建立概率模型）（建立概率模型），就好像它们是从源分布中，就好像它们是从源分布中抽样出来的正常的训练模式抽样出来的正常的训练模式在没有具体特定信息时，一个自然的假设就是此代替模在没有具体特定信息时，一个自然的假设就是此代替模式应该加入一个式应该加入一个d维噪声，以获得真实的训练点维噪声，以获得真实的训练点这种有噪声的训练方法实际上可用于任一分类方法，尽这种有噪
10、声的训练方法实际上可用于任一分类方法，尽管对于高度局部化的分类器（如最近邻分类器）它通常管对于高度局部化的分类器（如最近邻分类器）它通常并不改善准确率并不改善准确率BP算法的实用技术v人工人工“制造制造”数据数据在训练模式不足的情况下，有时可以人工制造一在训练模式不足的情况下，有时可以人工制造一些训练些训练 样本样本需要利用问题的先验知识，如某种需要利用问题的先验知识，如某种“几何不变几何不变性性”，制造出一些能传达更多信息的训练样本，制造出一些能传达更多信息的训练样本数据变换：数据变换：例如字符识别问题中例如字符识别问题中v旋转旋转v缩放缩放v字符笔画宽窄变化字符笔画宽窄变化BP算法的实用技
11、术v隐单元数：隐单元数：隐单元个数决定了网络的表达能力，从隐单元个数决定了网络的表达能力，从而决定了判决边界的复杂度而决定了判决边界的复杂度简单问题需要较少的隐单元简单问题需要较少的隐单元复杂问题需要较多隐单元复杂问题需要较多隐单元过少隐单元造成神经网络表示能力下降过少隐单元造成神经网络表示能力下降过多隐单元造成对训练集的过多隐单元造成对训练集的“过拟合过拟合”v经验规则经验规则选取隐单元个数，使得网络中总的权值数大致为选取隐单元个数，使得网络中总的权值数大致为样本数的样本数的1/10BP算法的实用技术v权值初始化权值初始化ijjiijjkkkxx fnet 若若 则则 无法更新无法更新权值初
12、始化方法：权值初始化方法：假设一个隐单元可以接收假设一个隐单元可以接收d个输入单元的输入个输入单元的输入 初始权值应该在初始权值应该在 上均匀分布上均匀分布 此时，隐单元的净激活范围：此时，隐单元的净激活范围：-1net+1 Sigmoid函数在函数在-1net+1的范围内几乎是线性的的范围内几乎是线性的0jkij1,1ddBP算法的实用技术v学习率：学习率：不同学习率的收敛效果不同学习率的收敛效果vSigmoid网络的学习率：网络的学习率：初始化学习率约为初始化学习率约为0.1；如；如果发散，则调小学习率；如果学习速度过慢，则调果发散，则调小学习率；如果学习速度过慢，则调大学习率。大学习率。
13、BP算法的实用技术v冲量项（冲量项（momentummomentum）v 问题：问题：在在 的区域，权值无法更的区域，权值无法更新新 0J wwBP算法的实用技术v冲量项（冲量项（momentummomentum）误差曲面的误差曲面的“平坦区平坦区”较小，学较小，学习速度慢习速度慢解决方法：解决方法：如果让当前学习保持上一步学如果让当前学习保持上一步学习的习的“惯性惯性”，则可以较快，则可以较快 通过通过“平坦区平坦区”“惯性惯性”的度量：冲量的度量：冲量 J wwBP算法的实用技术v冲量项（冲量项（momentummomentum）上一步（第上一步（第m步）的更新量步）的更新量第第m+1步的
14、步的BP算法更新量算法更新量带冲量的反向传播学习规则带冲量的反向传播学习规则 1mmm BPm 11BPmmmm0101退化为退化为BP算法算法匀速学习匀速学习通常取：通常取：0.9BP算法的实用技术v带冲量的随机反向传播算法带冲量的随机反向传播算法BP算法的实用技术v带冲量的随机反向传播算法带冲量的随机反向传播算法BP算法的实用技术v权值衰减权值衰减一种简化网络以及避免过拟合的方法是加入一个一种简化网络以及避免过拟合的方法是加入一个启发式规则：即启发式规则：即权值应当比较小权值应当比较小实践中，实践中，较小的权值往往可以提高神经网络性能。较小的权值往往可以提高神经网络性能。小权值更加适合线性
15、的模型小权值更加适合线性的模型基本方法：基本方法：从具有从具有“非常多非常多”的权值网络开始，的权值网络开始，在训练中衰减所有的权值在训练中衰减所有的权值oldwww1newoldww01神经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络径向基函数网络v径向基函数网络（径向基函数网络（RBF
16、网络）网络）是一种常用的前馈神是一种常用的前馈神经网络。经网络。v 特征：特征：只有一个隐层；只有一个隐层；隐层单元采用隐层单元采用径向基函数径向基函数作作为输出函数；为输出函数；输入层到输隐层单元间的权输入层到输隐层单元间的权值固定为值固定为1；输出结点为线性求和单元输出结点为线性求和单元隐层到输出结点的权值可调隐层到输出结点的权值可调径向基函数网络v径向基函数的作用往往是局部的，离中心越远函数径向基函数的作用往往是局部的，离中心越远函数值越小。值越小。常用的径向基函数是高斯函数常用的径向基函数是高斯函数。ikxxxix其中：其中：输入向量输入向量第第i个隐结点的中心个隐结点的中心v径向基函
17、数径向基函数（Radial Basis Function）：）：某种沿某种沿径向对称的标量函数径向对称的标量函数。通常定义为空间中任意一点。通常定义为空间中任意一点到某一中心之间欧氏距离的单调函数。记为：到某一中心之间欧氏距离的单调函数。记为：22exp2iixxkxx径向基函数网络v可以从两个方面理解可以从两个方面理解RBF网络网络 函数逼近：函数逼近：把网络看成对未知函数把网络看成对未知函数 f(x)的逼近的逼近器。一般任何函数都可以表示成一组基函数的加器。一般任何函数都可以表示成一组基函数的加权和，这相当于用隐层单元的输出函数构成一组权和，这相当于用隐层单元的输出函数构成一组基函数来逼近
18、基函数来逼近f(x)。线性分类：线性分类：把隐层看做是对输入的非线性映射把隐层看做是对输入的非线性映射（通常将低维线性不可分的样本映射到高维空（通常将低维线性不可分的样本映射到高维空间），再用线性分类器（输出结点的输出函数是间），再用线性分类器（输出结点的输出函数是线性函数）分类。线性函数）分类。RBF网络学习算法vRBF网络中有三组参数可调：网络中有三组参数可调：隐层基函数的中心、方差，以及隐层结点与输隐层基函数的中心、方差，以及隐层结点与输出结点之间的权值。出结点之间的权值。vRBF网络学习算法的两个阶段网络学习算法的两个阶段 确定确定RBF函数的中心：函数的中心：无师学习无师学习 训练隐
19、层与输出结点之间的权值：训练隐层与输出结点之间的权值：有师学习有师学习RBF网络学习算法vStep1：对所有样本的输入进行聚类（可以对所有样本的输入进行聚类（可以采用采用k均值聚类算法），求得各隐层结点均值聚类算法），求得各隐层结点RBF函数的中心。函数的中心。vStep2：当当RBF函数的中心函数的中心ci确定后，训练隐确定后，训练隐层与输出结点之间的权值。这是一个线性优层与输出结点之间的权值。这是一个线性优化问题。化问题。RBF网络的优缺点vRBFRBF网络与网络与BPBP网络主要的不同点是：网络主要的不同点是：在非线性映射在非线性映射上采用了不同的输出函数，分别为径向基函数与上采用了不同
20、的输出函数，分别为径向基函数与Sigmoid函数。函数。前者的作用是局部的，后者的作用前者的作用是局部的，后者的作用是全局的是全局的。v已经证明，已经证明，RBF网络具有唯一最佳逼近的特性，且网络具有唯一最佳逼近的特性，且无局部极小。无局部极小。v径向基函数、隐层结点个数难以确定，目前尚无解径向基函数、隐层结点个数难以确定，目前尚无解决方案。决方案。v隐层结点隐层结点RBF函数的中心难以求解，阻碍了函数的中心难以求解，阻碍了RBF网网络的广泛应用。络的广泛应用。神经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神
21、经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络竞争学习和侧抑制v前馈网络属于监督学习，需要同时提供输入样本和前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。可以用于完成相应的理想输出。可以用于完成分类任务分类任务。v引入竞争机制（引入竞争机制（侧抑制侧抑制）的前馈网络可以实现无监）的前馈网络可以实现无监督学习，完成督学习，完成聚类任务聚类任务。v竞争学习网络在二层前馈网络的输出层加上了侧抑竞争学习网络在二层
22、前馈网络的输出层加上了侧抑制。制。竞争学习和侧抑制v侧抑制是在输出层各个单元之间相互用较大的侧抑制是在输出层各个单元之间相互用较大的负权负权值值输入对方的输出。输入对方的输出。v竞争的结果是：竞争的结果是：具有较大输入的单元输出为具有较大输入的单元输出为1，其，其他单元的输出都为他单元的输出都为0。TjijijinetxW X1 0 jkjnetnetjkyelse竞争学习和侧抑制v网络学习时，先随机初始化权值，为了防止某个输网络学习时，先随机初始化权值，为了防止某个输出单元的权值过大，造成不应有的侧重，在学习过出单元的权值过大，造成不应有的侧重，在学习过程中程中随时将权向量进行归一化处理随时
23、将权向量进行归一化处理，即：，即：2ijijiji i jjjiynetxv当样本为归一化样本当样本为归一化样本(|x|=1)时，学习可以按如下时，学习可以按如下算法进行：算法进行：神经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络自组织特征映射网络 v生物神经学的研究发现，人的大脑皮层中神
24、经网络生物神经学的研究发现，人的大脑皮层中神经网络的功能是分区的，每个区域完成各自的功能。记忆的功能是分区的，每个区域完成各自的功能。记忆也是一样，一个特定区域记忆一类特殊的事务，另也是一样，一个特定区域记忆一类特殊的事务，另一个区域记忆另外一些事务。一个区域记忆另外一些事务。v处于空间位置不同的神经元，各自对输入模式的不处于空间位置不同的神经元，各自对输入模式的不同特征敏感。同特征敏感。v大脑中分布着大量的协同作用的神经元群体，同时，大脑中分布着大量的协同作用的神经元群体，同时，大脑网络又是一个复杂的反馈系统，包括局部反馈大脑网络又是一个复杂的反馈系统，包括局部反馈和整体反馈。聚类现象对大脑
25、的信息处理起着重要和整体反馈。聚类现象对大脑的信息处理起着重要作用。作用。自组织特征映射网络v相近的神经元之间共同兴奋，而对较远的神经元则相近的神经元之间共同兴奋，而对较远的神经元则存在着侧向抑制的现象，抑制其兴奋。存在着侧向抑制的现象，抑制其兴奋。更远的又是更远的又是弱兴奋。这种局部交互形式被形象地比喻为弱兴奋。这种局部交互形式被形象地比喻为“墨西墨西哥草帽哥草帽”。自组织特征映射网络v自组织特征映射网络由芬兰学者自组织特征映射网络由芬兰学者 Kohonen于于1981年提出年提出自组织特征映射网络v自组织特征映射网络结构：自组织特征映射网络结构：自组织特征映射网络vKohonen依据这样的
26、思想提出了一种神经网络，一依据这样的思想提出了一种神经网络，一般称为自组织特征映射网络般称为自组织特征映射网络(Self-Organizing Feature Map,SOM或或SOFM)vSOM网络是一个两层网络，包括网络是一个两层网络，包括输入层输入层和和竞争层竞争层，输入层的神经元个数等于输入层的神经元个数等于特征的维数特征的维数，竞争层的神，竞争层的神经元组成一个经元组成一个方阵方阵。v输入层和竞争层之间是全互连的，竞争层的神经元输入层和竞争层之间是全互连的，竞争层的神经元之间之间训练时存在着侧向抑制训练时存在着侧向抑制，识别时没有任何连接。识别时没有任何连接。自组织特征映射网络v自组
27、织特征映射网络的识别过程自组织特征映射网络的识别过程 当当SOM网络训练好之后，我们网络训练好之后，我们希望用网络中的希望用网络中的某个区域对应某一类模式某个区域对应某一类模式 当输入一个待识模式时，计算输入特征矢量与网当输入一个待识模式时，计算输入特征矢量与网络中每个神经元权值之间络中每个神经元权值之间矢量内积矢量内积，以内积，以内积大大者者作为作为胜元胜元，也就是兴奋程度最大的神经元，也就是兴奋程度最大的神经元 然后根据这个然后根据这个胜元所在的区域胜元所在的区域确定待识模式的类确定待识模式的类别别 自组织特征映射网络v也可以采用输入特征与神经元权值之间的也可以采用输入特征与神经元权值之间
28、的欧氏距离欧氏距离确定胜元。采用欧氏距离时，以确定胜元。采用欧氏距离时，以最小值最小值确定胜元。确定胜元。v令输入特征矢量为令输入特征矢量为 ，第，第 j 个神经元的个神经元的权值为权值为 ，则有：，则有：12,TNx xxX12,TjjjjNwwwW1221NjjijiidxwXW1NTjjijiidw xW X欧氏距离：欧氏距离：矢量内积：矢量内积：自组织特征映射网络v自组织特征映射网络的学习过程自组织特征映射网络的学习过程 网络学习的指导思想：网络学习的指导思想：SOM网络的学习也是一个迭代的网络的学习也是一个迭代的算法。在第算法。在第 t 次迭代中要有一个以胜元次迭代中要有一个以胜元N
29、g(t)为中心的为中心的邻邻域域，称为，称为胜出域胜出域。在这个邻域内的神经元权值得到增强，在这个邻域内的神经元权值得到增强，邻域之外的神经元受到抑制或不增强。邻域之外的神经元受到抑制或不增强。邻域的形状可以选择方形、圆形或多边形。邻域的形状可以选择方形、圆形或多边形。自组织特征映射网络 Nj*(0)Nj*(0)Nj*(1)Nj*(1)Nj*(2)Nj*(2)v随着学习的进行，胜出域变窄随着学习的进行，胜出域变窄，胜出神经元附近的，胜出神经元附近的神经元数变少。因此，学习方法是一种从粗调整向微神经元数变少。因此，学习方法是一种从粗调整向微调整变化，最终达到预定目标的过程。调整变化，最终达到预定
30、目标的过程。自组织特征映射网络v自组织特征映射网络可以较好地完成自组织特征映射网络可以较好地完成聚类任聚类任务务，其中每一个神经元结点对应一个聚类中，其中每一个神经元结点对应一个聚类中心。心。v与普通聚类算法不同，与普通聚类算法不同，类别间相似性大的类类别间相似性大的类别在自组织特征映射网络结点平面上距离也别在自组织特征映射网络结点平面上距离也较近较近。v可以可以根据各个类别在平面上的相对位置进行根据各个类别在平面上的相对位置进行类别的合并和类别之间关系的分析类别的合并和类别之间关系的分析。自组织特征映射网络v自组织映射分析（自组织映射分析（SOMA）：）：将样本集（原像）映射到自组织网络网络
31、的神经元平面上（像），统计各个结点的原像数目（像密度），将像密度较高且较集中的结点对应的样本识别为一类。这种方法不仅无需事先确定类别数，而且能够更好地适应样本不同的分布情况。自组织映射像密度图自组织映射像密度图神经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络Hopfield神经网络vHop
32、field网络：网络：是神经网络发展是神经网络发展历史上的一个重要的里程碑。由历史上的一个重要的里程碑。由美国加州理工学院物理学家美国加州理工学院物理学家J.J.Hopfield教授于教授于1982年提出，是年提出，是一种一种单层反馈神经网络单层反馈神经网络。vHopfield利用利用中的中的方法研究方法研究Hopfield 神经网络的稳定性，神经网络的稳定性，并建立了求解优化计算问题的方程。并建立了求解优化计算问题的方程。Hopfield神经网络v1984年，年，Hopfield设计并研制了网络模型的设计并研制了网络模型的电路，并成功地解决了经典的组合优化问题电路，并成功地解决了经典的组合优
33、化问题旅行商问题旅行商问题(Traveling Salesmen Problem，TSP)。vHopfield网络在网络在及及等领域等领域得到了成功的应用，拓宽了神经网络的应用得到了成功的应用，拓宽了神经网络的应用范围范围Hopfield神经网络神经网络vHopfield神经网络是特殊的反馈网络，除了神经网络是特殊的反馈网络，除了满足反馈网络的性质外，还满足：满足反馈网络的性质外，还满足：全连接网络：全连接网络：即网络中任意两个即网络中任意两个不相同的不相同的单元之单元之间都有连线间都有连线权值对称：权值对称：而且这种连接是而且这种连接是对称的对称的,即即wij=wji。无自反馈：无自反馈：w
34、ii=0。v由于满足对称条件，由于满足对称条件，Hopfield神经网络是稳神经网络是稳定的，只有孤立吸引子定的，只有孤立吸引子Hopfield神经网络神经网络vHopfield网络模型表示网络模型表示Hopfield神经网络vHopfield网络是网络是单层对称全反馈网络单层对称全反馈网络，根据输出函，根据输出函数选取的不同，可分为数选取的不同，可分为离散型离散型(DHNN)和和 连续型连续型(CHNN)两种两种vDHNN(Discrete Hopfield Neural Network)：输输出函数为符号函数（阶跃函数），主要用于联想记出函数为符号函数（阶跃函数），主要用于联想记忆。忆。v
35、CHNN(Continues Hopfield Neural Network)：输出函数为输出函数为S型函数，主要用于优化计算。型函数，主要用于优化计算。Hopfield神经网络vHopfield网已成功地用于多个领域，应网已成功地用于多个领域，应用方式主要有两种：用方式主要有两种：联想存取联想存取优化计算优化计算联想存储器v人脑中则是由内容联想起其他内容，此种方式的存人脑中则是由内容联想起其他内容，此种方式的存储器称为储器称为联想存储器联想存储器。又称。又称内容寻址存储器内容寻址存储器。vHopfield神经网络的孤立吸引子可以用作联想存储神经网络的孤立吸引子可以用作联想存储器。吸引域的存在
36、，意味着可以输入有噪声干扰的器。吸引域的存在，意味着可以输入有噪声干扰的的、残缺的或是部分的信息而联想出完整的信息。的、残缺的或是部分的信息而联想出完整的信息。v为此，需要为此，需要正确地设置权值矩阵正确地设置权值矩阵，使得吸引子恰好，使得吸引子恰好对应于要存储的信息。对应于要存储的信息。v通常，计算机中的存储器都是用地址进行访问的，通常，计算机中的存储器都是用地址进行访问的，而在而在优化计算vHopfield网络作优化计算的基本原理：网络作优化计算的基本原理：Hopfield神经网络的能量函数表征网络状态的变神经网络的能量函数表征网络状态的变化趋势，并可以依据化趋势，并可以依据Hopfield工作运行规则不断工作运行规则不断进行状态变化，最终能够达到的某个极小值的目进行状态变化，最终能够达到的某个极小值的目标函数。标函数。网络收敛就是指能量函数达到极小值网络收敛就是指能量函数达到极小值。如果把一个如果把一个最优化问题的目标函数转换成网络的最优化问题的目标函数转换成网络的能量函数能量函数，把，把问题的变量对应于网络的状态问题的变量对应于网络的状态，那，那么么Hopfield神经网络就能够用于解决优化组合问神经网络就能够用于解决优化组合问题，如题，如TSP问题（问题（1985年）年）。
