1、2006-12-27北京科技大学 自动化系 付冬梅 623349672006-12-27北京科技大学 自动化系 付冬梅2p自组织竞争神经网络类型自组织竞争神经网络类型自适应共振理论(Adaptive Resonance Theory，ART)网络自组织特征映射(self-Organizing Map，SOM)网络对传(Counter Propagation，CP)网络协同神经网络(Synergetic Neural NetworkSNN)2006-12-27北京科技大学 自动化系 付冬梅3p由芬兰学者Teuvo Kohonen于1981年提出。p基本上为输入层和映射层的双层结构,映射层的神经元
2、互相连接，每个输出神经元连接至所有输入神经元。Im Teuvo Kohonen2006-12-27北京科技大学 自动化系 付冬梅4 神经网络系统中的一个主要特点是它具有学习功能。通过神经网络系统中的一个主要特点是它具有学习功能。通过学习它可以提取一组数据中的重要特征或找出其内在规律和学习它可以提取一组数据中的重要特征或找出其内在规律和本质属性（如分布特征，或按某种特征聚类），不断调整本本质属性（如分布特征，或按某种特征聚类），不断调整本身的学习过程，通常把网络的这种功能称为自学习或自组织身的学习过程，通常把网络的这种功能称为自学习或自组织功能。这种无教师监督，能自动的向环境学习，并根据学习功能
3、。这种无教师监督，能自动的向环境学习，并根据学习所得到的重要特征来记忆知识的网络统称为自组织神经网络。所得到的重要特征来记忆知识的网络统称为自组织神经网络。自组织特征映射（自组织特征映射（SOFM,Self-Organizing Feature Map）是芬兰学者是芬兰学者Kohonen提出的一种神经网络模型，它模拟了哺乳提出的一种神经网络模型，它模拟了哺乳动物大脑皮质神经的侧抑制、自组织等特性，动物大脑皮质神经的侧抑制、自组织等特性，1984年年Kohonen将芬兰语音精确地组织为因素图，将芬兰语音精确地组织为因素图，1986年又将运动指令组织年又将运动指令组织成运动控制图，由于这些成功应用
4、使成运动控制图，由于这些成功应用使SOFM引起世人的高度重引起世人的高度重视，形成一类很有特色的无师训练神经网络模型。视，形成一类很有特色的无师训练神经网络模型。2006-12-27北京科技大学 自动化系 付冬梅5 SOFM网络的思想来源网络的思想来源 SOFM网络的结构模型网络的结构模型 SOFM神经元的基本功能函数神经元的基本功能函数 SOFM的基本学习算法的基本学习算法 仿真实例仿真实例 几点注意事项几点注意事项 2006-12-27北京科技大学 自动化系 付冬梅610.1 SOFM网络的思想来源网络的思想来源自组织特征映射的思想来源有两个方面自组织特征映射的思想来源有两个方面人脑的自组
5、织性人脑的自组织性人脑的矢量量化人脑的矢量量化 尽管目前人们对脑细胞如何组织来协调处理复杂信息的过尽管目前人们对脑细胞如何组织来协调处理复杂信息的过程和机理还不十分清楚，但已有以下几点共识：程和机理还不十分清楚，但已有以下几点共识：n人脑的自组织性人脑的自组织性(1)(1)原始信息如一句话、一个图形是多维信号，图形可看成一原始信息如一句话、一个图形是多维信号，图形可看成一个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟回，但本质上是一个二维平面的拓扑变形，脑皮层的每个回，但本质上是一个二维平面的拓扑变形，脑皮层的每个细胞可视作二维平面上一个点
6、。多维信号传递到脑皮层的细胞可视作二维平面上一个点。多维信号传递到脑皮层的过程可视作高维空间信号到二维空问信号的降维映射，降过程可视作高维空间信号到二维空问信号的降维映射，降维过程去掉了原始信号的次要特征维过程去掉了原始信号的次要特征,保留了其主要特征。保留了其主要特征。2006-12-27北京科技大学 自动化系 付冬梅7(2)(2)信号空间信号空间 中具有相近特征的信号被映射到脑皮层中相近中具有相近特征的信号被映射到脑皮层中相近区域时，大致保留了信号在区域时，大致保留了信号在 中的概率分布特征及拓扑结中的概率分布特征及拓扑结构特征，即大脑有自动归类能力，将信号物以类聚。构特征，即大脑有自动归
7、类能力，将信号物以类聚。(3)(3)以响应最强的一个神经元为中心，形成一个区域，大致以响应最强的一个神经元为中心，形成一个区域，大致来说，中心强度大，离中心越远越弱。来说，中心强度大，离中心越远越弱。(4)(4)神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈实现的，对自己给予最大正反馈，对邻居给予一定正反馈，实现的，对自己给予最大正反馈，对邻居给予一定正反馈，对远处的细胞则给予负反馈即抑制。对远处的细胞则给予负反馈即抑制。nRnR2006-12-27北京科技大学 自动化系 付冬梅8 图10.1是反馈强度的示意图，平面上细胞按离中心神经元j的
8、距离分成三个区域：近距离的侧激励区；稍远一些有一个抑制作用的环形区域；环外是一个弱激励区，在初步分析时可忽略。图10.2用黑点大小表示侧激励区各神经细胞兴奋的强弱。图10.1 侧抑制作用示意圈 图10.2 气泡示意图 2006-12-27北京科技大学 自动化系 付冬梅9 矢量量化是矢量量化是2020世纪世纪8080年代提出的一种数据压缩方法，年代提出的一种数据压缩方法，广泛用于语音及图像数据的传输，其基本思想是将输入空广泛用于语音及图像数据的传输，其基本思想是将输入空间划分成多个不相交的超多面体，每个超多面体可称为一间划分成多个不相交的超多面体，每个超多面体可称为一个区域，每个区域中选一个代表
9、点，称为码本向量，这样个区域，每个区域中选一个代表点，称为码本向量，这样凡同一区域的点均用码本向量来表示，数据可大大压缩。凡同一区域的点均用码本向量来表示，数据可大大压缩。如何根据信号的特点来划分区域，如何由代表点重构信号如何根据信号的特点来划分区域，如何由代表点重构信号(语音、图象语音、图象)而不致与原信号失真等问题，本课堂不计划而不致与原信号失真等问题，本课堂不计划详述，感兴趣的同学可以参考有关文献。详述，感兴趣的同学可以参考有关文献。n人脑的矢量量化人脑的矢量量化2006-12-27北京科技大学 自动化系 付冬梅1010.2 SOFM网络的结构模型网络的结构模型 最初的自组织特征映射是一
10、个单层网络(见图10.3)。各神经元处在一个平面上，一般用矩形或六边形等排列方式。输入端处于平面之外的下侧，每个输入端口与所有神经元均有连接,称为前向权,它们可以迭代调整。在神经元平面上侧，实际上每个神经元还有一个输出端,不再画出,平面上各单元采用全连接，称为侧向权，以构成抑制引起竞争。为了图形的清晰,图3未画出侧向权。侧向抑制机制是通过邻域和学习因子实现的，具体表现见后面的学习算法。2006-12-27北京科技大学 自动化系 付冬梅11 竞争层竞争层输入层输入层SOFMSOFM神经网络结构神经网络结构10.2 SOFM网络的结构模型网络的结构模型2006-12-27北京科技大学 自动化系 付
11、冬梅12图图10.3 10.3 最初的最初的SOFMSOFM网络结构示意图网络结构示意图2006-12-27北京科技大学 自动化系 付冬梅1310.3 SOFM神经元的基本功能函数神经元的基本功能函数ijw12,TiiiinwwwwL记 为j个输入端指向第i神经元的权，令 神经元i的输出可以采用两种方式:1)内积形式 1,nTiijjijw xw xw x 2)欧氏距离形式 122()iiijjjdwxwx采用这两种函数目的在于衡量输入矢量 与单位的权矢量 之间匹配的程度，内积越大或距离 越小，与 匹配程度越高。xiwidxiw（10.1）（10.2）2006-12-27北京科技大学 自动化系
12、 付冬梅14 当所有的权与输入向量均归一化处理 ，后，1iw 1x 以上两种表示等价。简单证明如下：2222,2,22,iiiiiiiiiidwxwx wxw ww xx xww xxw x =-2+=所以（10.2）的极小对应（10.1）的极大。不过归一化处理后。所有权向量都处在单位球面上，损失了一个维数。当权向量维数高的时候，这种损失对结果影响不会太大，如若维数低，则影响不能忽略，最好用不要归一化处理，直接用（10.2）式。（10.3）2006-12-27北京科技大学 自动化系 付冬梅1510.4 SOFM的基本学习算法的基本学习算法 SOFM网络算法的主要生物学依据来源于大脑的侧向交互原
13、理，即所谓的墨西哥草帽效应：相邻近的神经元之间的局部交互的方式是侧向交互，它遵从下列有关规则：1)以发出信号的神经元为圆心，对该神经元近邻的神经元的交互作用表现为兴奋性侧反馈；2)以发出信号的神经元为圆心，对该神经元远邻的神经元的交互作用表现为抑制性侧反馈。生物学上的近邻是指从发出信号的神经元为圆心半径约为50500m左右的神经元；远邻是指半径为200m2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。2006-12-27北京科技大学 自动化系 付冬梅16 这种局部交互方式如图10.4所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。图图10.4
14、 10.4 墨西哥帽示意图墨西哥帽示意图2006-12-27北京科技大学 自动化系 付冬梅17n无教师学习无教师学习 学习是无师的，其目的是调整前向权，但调整过程也体现了侧抑制作用。学习算法步骤如下：Step1 权值初始化，将每个 赋以一个小的随机值 。ijw(0)ijwxStep2 输入训练样本矢量 ，令t=0。Step3 用公式(10.2)计算 与所有前向权量矢量之间的距离 x22()iidw txStep4 选择获胜单元c，使 22mincidd2006-12-27北京科技大学 自动化系 付冬梅18Step6 令t:=t+1转Step3。Step7 当 时，停止对当前样本的学习，转Ste
15、p2。Step8 重复Step2Step7，直至所有样本使用完毕。()cw tStep5 调整 (1)()()(),()(1)(),()ijijjijcijijcw tw tt xw tiN tw tw t iN t式中 是学习因子，随时间而递减，范围 ,是c的领域，其半径随t而减小。()t0()1t()cN t0tT2006-12-27北京科技大学 自动化系 付冬梅19 关于学习率函数 的选择。原则上可选一个单调下降函数，至于是线性下降还是负指数下降没有硬性规定，只有一些经验法则。如采用线性下降函数，根据Konhonen本人的经验，前10000步下降要快。后10000步下降要慢。()t 关于
16、领域 的形状及收缩规律，也只有经验法则。形状一般取矩形、六边形或圆形。为简单起见半径 的缩小可采用线性下降函数，但注意不要下降到0。如果 1，则退化为独活型竞争。()cN t()cr N()cr N2006-12-27北京科技大学 自动化系 付冬梅20图10.5是两种形状领域的逐步缩小示意图。图10.5 领域逐步缩小示意图2006-12-27北京科技大学 自动化系 付冬梅21关于学习率 和领域 大小的一种统一考虑如下：取()t()cN t220()()exp(/()tciicthth errt0(0)1cihh式中 是常数，是t的单减函数，常数 ，是第i个神经元在平面上的坐标，是获胜单元c在平
17、面上的坐标。这种处理方法实际上是以全部神经元位领域，只不过离c远的地方学习率很小可以忽略罢了。2()t012(,)Tiiirr r12(,)Tiiirr r2006-12-27北京科技大学 自动化系 付冬梅22函 数 名功 能newsom()创建一个自组织特征映射神经网络plotsom()绘制自组织特征映射网络的权值矢量vec2ind()将单值矢量组变换成下标矢量compet()竞争传输函数midpoint()中点权值初始化函数learnsom()自组织特征映射权值学习规则函数10.5 MATLAB中中SOFM网络的重要函数和基本功能网络的重要函数和基本功能2006-12-27北京科技大学 自
18、动化系 付冬梅23nnewsom()newsom()功能功能 创建一个自组织特征映射网络函数格式 net=newsom(PR，D1，D2，.，TFCN，DFCN，OLR，OSTEPS，TLR，TND)说明 net为生成的新BP神经网络；PR为网络输入矢量取值范围的矩阵Pmin Pmax；D1，D2，.为神经元在多维空间中排列时各维的个数；TFCN为拓扑函数，缺省值为hextop；DFCN为距离函数，缺省值为linkdist；OLR为排列阶段学习速率，缺省值为0.9；OSTEPS为排列阶段学习次数，缺省值为1000；TLR为调整阶段学习速率，缺省值为0.02，TND为调整阶段领域半径，缺省值为1
19、。10.5 MATLAB中中SOFM网络的重要函数和基本功能网络的重要函数和基本功能2006-12-27北京科技大学 自动化系 付冬梅24n plotsom()plotsom()功能功能 绘制自组织特征映射网络图的权值向量函数格式格式 (1)plotsom(pos)(2)plotsom(W，D，ND)说明说明 式中pos是网络中各神经元在物理空间分布的位置坐标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于1的神经元以直线连接；W为神经元权值矩阵；D为根据神经元位置计算出的间接矩阵；ND为领域半径，缺省值为1；函数返回神经元权值的分布图，图中每两个间距小于ND的神经元以直线连接。10.
20、5 MATLAB中中SOFM网络的重要函数和基本功能网络的重要函数和基本功能2006-12-27北京科技大学 自动化系 付冬梅25nyec2ind()yec2ind()功能功能 将单值向量组变换成下标向量格式格式 ind=vec2ind(vec)说明说明 式中，vec为m行n列的向量矩阵x，x中的每个列向量i，除包含一个1外，其余元素均为0，ind为n个元素值为1所在的行下标值构成的一个行向量。10.5 MATLAB中中SOFM网络的重要函数和基本功能网络的重要函数和基本功能2006-12-27北京科技大学 自动化系 付冬梅26n compet()compet()功能功能 竞争传输函数。格式格
21、式 A=compet(N,FP)A=compet(N,FP)说明说明 compet is a neural transfer function.Transfer compet is a neural transfer function.Transfer functions calculate a layers output from its net input.functions calculate a layers output from its net pet(N,FP)takes N and optional function compet(N,FP)takes N and option
22、al function parameters,parameters,N N：S x Q matrix of net input(column)vectorsS x Q matrix of net input(column)vectors FP FP：Struct of function parameters(ignored)Struct of function parameters(ignored)10.5 MATLAB中中SOFM网络的重要函数和基本功能网络的重要函数和基本功能2006-12-27北京科技大学 自动化系 付冬梅2710.5 MATLAB中中SOFM网络的重要函数和基本功能网络
23、的重要函数和基本功能n midpoint()midpoint()功能功能 中点权值初始化函数。格式格式 W=midpoint(S,PR)说明说明 midpoint is a weight initialization function that sets weight(row)vectors to the center of the input ranges.midpoint(S,PR)takes two arguments,S：Number of rows(neurons)PR：R x Q matrix of input value ranges=Pmin Pmaxand returns a
24、n S x R matrix with rows set to(Pmin+Pmax)/2.2006-12-27北京科技大学 自动化系 付冬梅2810.5 MATLAB中中SOFM网络的重要函数和基本功能网络的重要函数和基本功能n learnsom()learnsom()功能功能 自组织特征映射权值学习规则函数。格式格式 dW,LS=learnsom(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)说明说明 W：S x R weight matrix(or S x 1 bias vector)P：R x Q input vectors(or ones(1,Q)Z：S x Q weight
25、ed input vectors N：S x Q net input vectors A：S x Q output vectors T：S x Q layer target vectors E：S x Q layer error vectors gW：S x R weight gradient with respect to performance gA：S x Q output gradient with respect to performance D：S x S neuron distances LP：Learning parameters,none,LP=LS：Learning sta
26、te,initially should be=dW：S x R weight(or bias)change matrix LS：New learning state2006-12-27北京科技大学 自动化系 付冬梅29n例2-5 人口分类是人口统计中的一个重要指标，现有1999共10个地区的人口出生比例情况如下：q出生男性百分比分别为：0.5512 0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965 0.5103 0.5003;q出生女性百分比分别为：0.4488 0.4877 0.4913 0.4999 0.3988 0.4702 0.5000
27、0.5035 0.4897 0.4997 10.6 SOFM网络仿真实例网络仿真实例2006-12-27北京科技大学 自动化系 付冬梅30例1 源程序10.6 SOFM网络仿真实例网络仿真实例建立一个自组织神经网络对上述数据分类，给定某个地区的男、女出生比例分别为0.5，0.5，测试训练后的自组织神经网络的性能，判断其属于哪个类别。解答：MATLAB代码如下：P=0.55120.51230.50870.50010.60120.52980.50000.49650.51030.5003;0.4488 0.4877 0.49130.49990.39880.47020.50000.50350.4897
28、0.4997;%创建一个自组织神经网络，0 1;0 1表示输入数据的取值范围在0，1之%间，3，4表示竞争层组织结构为3 4，其余参数取默认值net=newsom(0 1;0 1,3 4);net.trainParam.epochs=500;net=init(net);net=train(net,P);y=sim(net,P);%获取训练后的自组织神经网络的权值w1=net.IW1,1;%绘出训练后自组织神经网络的权值分布图plotsom(w1,net.layers1.distances);2006-12-27北京科技大学 自动化系 付冬梅3110.6 SOFM网络仿真实例网络仿真实例2006
29、-12-27北京科技大学 自动化系 付冬梅32类别类别1类别类别2类别类别5类别类别4类别类别3测试数据测试数据属于类别属于类别510.6 SOFM网络仿真实例网络仿真实例2006-12-27北京科技大学 自动化系 付冬梅338 8用 个神经元的SOFM网络来学习单位正方形内均匀分布的训练数据。训练样本随机产生（见图10.6a），测试样本取单位正方形内均匀点阵（见图10.6b），用方法一测试结果见图10.6c。当输入测试向量（1，1）时，神经元11最活跃，而当输入测试向量（8，8）时，神经元（8，8）最活跃。显然（c）图与（b）图的概率分布及拓补结构特征完全一致。10.6 SOFM网络仿真实例
30、网络仿真实例2006-12-27北京科技大学 自动化系 付冬梅34图10.7是同样数据的方法二测试结果，=100 ，=500，=2000，=10000=10000。可以看出，初始时随机分布的权到。可以看出，初始时随机分布的权到迭代改进迭代改进100100步以后显现出初步规律，步以后显现出初步规律，20002000次后规律更加明次后规律更加明显，约显，约1000010000次后权向量的概率分布及拓补结构就与测试数次后权向量的概率分布及拓补结构就与测试数据基本一致了。据基本一致了。01T02T03T040TT图10.7 方法2显示结果 2006-12-27北京科技大学 自动化系 付冬梅3510.6
31、 几点注意事项几点注意事项(1)为使映射精确，迭代次数 要适当地大，据经验至少要等于神经元个数的500倍，但与 的维数无关。0Tx(2)前1000步，可以从一个接近1的数开始下降，下降率适当大点，这个阶段可称之为有序化。在1000步以后减小下降率，从 逐步下降为0，这个阶段可称为精调。()t(1000)(3)邻域 太小则映射可能不是全局有序化的，会出现马赛克效应，使本来应该映射到同一区域的却分别映射到几个不相邻的小区域。前1000步 可线性缩小，精调时可保持在适当小的数值上不变。(0)cNcN2006-12-27北京科技大学 自动化系 付冬梅36关于SOFM，kohonen本人有几点评论，叙述
32、如下：(1)目前的SOFM只是极端简化地模拟了人脑的自组织映射功能，如要用作大型的数据库势必大大增加网络神经元的数目，这不是一种好办法。伟人与一般人的大脑在尺度上并没有什么区别，似乎是通过对信号子集进行编码来实现，这种抽象表示的分层结构越发达运算和联想能力越强。(2)SOFM网与其它神经网络的主要区别在于，其他网络重点强调并行处理，神经元的自组织性放在第二位，而SOFM网在并行处理的同时特别强调了自组织性。(3)SOFM的主要发展方向有两个：实行真正的分层结构，即若干层SOFM级联起来；将一个大的平面划分成不同的区域，每个区域用一种SOFM，每个区域对应不同的信号源，好像人类脑皮层不同区域分管视、听、嗅、味、触各种不同感觉一样。同时这些区域的边界不需要很清晰。2006-12-27北京科技大学 自动化系 付冬梅37Mikkulainen构建的构建的Dislex模型模型 2006-12-27北京科技大学 自动化系 付冬梅38Sardnet模型示意图模型示意图 2006-12-27北京科技大学 自动化系 付冬梅39
