1、第7章 竞争神经网络概述Hamming网络自组织映射网络学习矢量量化主分量分析仿真实例 概 述人脑神经系统：1.学习的自主性2.信息存储的自组织性3.学习和记忆的弹性4.脑神经元的侧抑制性5.Bottom-Up & Top-Down（视觉、听觉） 概 述神经网络的结构：1.前向网络（BP、RBF、PNN）2.反馈网络（Hopfield、Boltzmann）3.竞争网络（SOM、ART、PCA、SNN） 前向网络 反馈网络 竞争网络结论：结构上均能反映神经元之间的连接特点结论：结构上均能反映神经元之间的连接特点 但竞争网络更能体现对环境的自适应性但竞争网络更能体现对环境的自适应性 概 述竞争网络
2、的特点：1.网络结构：输入与输出之间采用前向连接，输出层各单元之间采用侧向连接；2.学习机制：采用自组织学习模型，即在无导师指导下寻找输入数据空间中的重要模式或特征。实现方法：利用不同的竞争学习算法，使得输实现方法：利用不同的竞争学习算法，使得输出神经元之间相互竞争，以确定最能代表输入出神经元之间相互竞争，以确定最能代表输入模式的竞争获胜者。模式的竞争获胜者。Hamming网络网络结构：Hamming网络网络参数：前向子网输入：前向子网输出：前向子网激励： 其中： 为阈值， 为饱和值1IINiijjjuw x1()IIiivf u10,( ),ccxfxxxuxu当当常数当cuHamming网
3、络竞争子网权值： 其中：竞争子网输出： 其中：1,klklWkl当当21(1)( )Mkkllly nfw y n21()()ff 01/MHamming网络网络的学习算法： Step1 设置变量和参量 输入样本：X(n)= x1(n), x2(n), , xN(n)T 前向子网权值： 实际输出：Y(n)= y1(n), y2(n), , yM(n)T 学习速率： 迭代步数：n代表网络的第n次训练，n1代表竞争子网的迭代步数，N为总的训练次数。IIIIT12( )( ),( ),.,( )iiiiNWnwn wnwnHamming网络 Step 2 初始化 随机初始化前向权值 并满足条件： ，
4、i=1，2，M 按前式初始化 ， 、 均选取前述的分段线性函数。IijwI11NijjwIIklw1()f 2()f Hamming网络Step 3 选取训练样本X。Step 4 计算竞争子网的初始输入 ，i=1，2，M Step 5 进行竞争子网的迭代 ，k=1，2，M 11(0)Nkiijjjyvfw x121(1)()kklk ly nfy nyHamming网络 Step 6 观察竞争子网的输出，当输出达到要求（只有一个输出为正，其余为零）则转到Step 7,否则n1等于n1+1,转到Step 5继续迭代。 Step 7 将输出最大的神经元c定为获胜神经元，并将其输出yc(n)置为1，
5、其他神经元的输出置为0。 Step 8 更新获胜神经元c的权值向量III(1)( )( )cccXWnWnWnpHamming网络 Step 9 判断网络当前的训练次数n是否大于N，如果小于，则n等于n+1，回到Step 3进行新的一次训练，否则结束网络训练过程。 注意事项：权值更新规则中的p表示输入向量X（限制为二进制输入）中元素为1的个数，以满足权值约束条件；实际的输入可不限制为二进制；只有获胜神经元对应的权值得到调整；Hamming网络网络受初始化的影响较大，易产生“死”神经元；网络分类的稳定性较差；Hamming网是最简单的竞争网络，体现了竞争网络的基本思想。自组织映射网络自组织现象“
6、加强中心而抑制周围”，即生物神经元不仅加强自身，而且加强周围邻近的神经元，同时抑制离它距离较远的神经元；模型函数“墨西哥草帽”函数；自组织映射网络Kohonen于1982年引入了网格状的拓扑结构，并引入变化邻域概念，从微观上模拟生物神经元之间的侧抑制特性，从而提出自组织映射网络模型。自组织映射网络模型：自组织映射网络网络参数： 输入层： X=x1,x2,xNT ； 网络权值： （i=1,2,M；j=1,2,N）； 输出层： ， 其中： 为线性激励函数ijw1Niijjjuw x( )iivf u()f 自组织映射网络网络的学习算法： 竞争 合作 更新Step 1 设置变量和参量输入样本：X(n
7、)= x1(n), x2(n), , xN(n)T ;权值向量：Wi(n)= wi1(n), wi2(n), , wiN(n)T i=1,M;迭代步数：N;自组织映射网络Step 2 初始化初始学习速率： ;初始权值：Wi(0) ;归一化： ， 其中： ，(0)XXX(0)(0)(0)iiiWWW21(0)(0)NiijjWw 21NiiXx自组织映射网络 Step 3 输入训练样本 ; Step 4 竞争（获胜神经元为c）： , i=1,2,M Step 5 合作与更新：对获胜神经元拓扑邻域Nc(n) 内的兴奋神经元，采用Hebb更新规则XminciiXW XW(1)( )( )( )iii
8、WnWnn XWn自组织映射网络 Step 6 修改学习速率 、拓扑邻域Nc(n)以及归一化权值： ( )n( )(0) 1n nN( )(0) 1INTccnN nNN(1)(1)(1)iiiW nWnW n自组织映射网络 Step 7 判断迭代次数n是否超过N,如果n=N就转到step 3，否则结束迭代过程。 注意事项：采用欧式距离测度实现竞争；学习速率和拓扑邻域修改规则的选取；对输入空间的近似；拓扑排序；非线性特征选择。学习矢量量化 Kohonen在1989年提出学习矢量量化，实现竞争网络结构的有监督学习。学习矢量量化竞争学习有监督学习学习矢量量化竞争学习有监督学习网络模型：学习矢量量化
9、学习算法：Step 1 设置变量和参量训练样本：X(n)= x1(n), x2(n), , xN(n)T ；权值矢量：Wi(n)= wi1(n), wi2(n), , wiN(n)T i=1,2,M ；学习速率： ；迭代步数：n为迭代次数，N为迭代总次数。( )n学习矢量量化 Step 2 随机初始化权值向量Wi(0) 及学习速率 ； Step 3 输入训练样本X； Step 4 计算距离，求获胜神经元c： ， i=1,2,M Step 5 根据分类的正确性调整权值： 用 代表与获胜神经元权值向量相联系的类，用 代表与输入向量相联系的类 (0)minciiXW XWcWLiXL学习矢量量化 S
10、tep 5 如果 = ，则 否则，当 ，有 其他神经元保持权值向量不变； Step 6 学习速率调整： iXLcWL(1)( )( )( )cccW nW nn XW niXLcWL(1)( )( )( )cccW nW nn XW n( )(0) 1n nN学习矢量量化 Step 7 判断迭代次数n是否超过N，如果n=N就转到Step 3，否则结束迭代过程。 注意事项：网络中加入分类信息指导学习；随机初始化的权值导致学习的不稳定；作为自组织映射系统的性能提升方法。主分量分析特征提取 线性关系 二阶矩 PCA可以提取数据中的二阶线性关系，通过主分量的形式表现；利用主分量提取网络降低主分量提取中
11、矩阵运算的复杂度。主分量分析方法（PCA、K-L变换）： 在均方误差最优意义下： 原数据空间 特征空间可逆变换T逆变换T -1主分量分析 对m维随机矢量X= x1, x2, , xmT求协方差CX 当EX=0时， 计算CX的特征值和对应的归一化特征向量U1,U2,Um： 由特征向量U1,U2,Um 构成特征空间（m维） TXCEXE XXE XTXCE XXXiiiC UU主分量分析设特征值输入空间 特征空间（投影）： yi=UiTX (i=1,2,m) ，yi即为X的第i个主分量；特征空间 输入空间（重构）：12mTYXU1mi iiXYU yU主分量分析 特征向量所对应的特征值越大，它在重
12、构时的贡献就越大，而特征值越小，该特征向量在重构时的贡献就越小。 重构时只考虑前L个最大的特征值，则 实际上，由前L个特征向量构成的空间是一个低维空间（ ），大大降低了数据维数1LiiiXU yLm主分量分析矩阵运算的复杂度？+神经网络解决的优势？Oja网络模型：主分量分析网络参数：网络输出：权值更新规则：T1Ni iiyW Xw x2(1)( )( )( )( )W nW nyXy W nW ny XyW n主分量分析网络收敛后的性质：1. ；2.W位于CX的最大特征向量的方向上 ；3.输出方差最大：当W位于CX的最大特征向量的方向上时，方差Ey2将达到最大值。211Niiw主分量分析预期效果： 网络实现对输入集合的第1主分量的提取，而训练后的权值向量W就是输入数据分布的自相关矩阵CX的具有最大特征值的特征矢量。基于Sanger算法的网络模型： 主分量分析网络参数： 网络输出： （i=1,2,M） 权值更新规则： （i=1,2,M）T1NiiijjjyW Xw x121(1)( )( )( )iiiiiiijjjW nW ny xy W ny y W n主分量分析预期效果： 网络收敛后M个输出神经元对应的权值向量将位于CX的前M个主分量方向上，而网络的输出对应于输入向量X的前M个主分量，即网络实现了对输入数据分布的前M个主分量的提取。
