《人工神经网络理论、设计及应用》课件第四章som.ppt

1、第四章第四章 自组织神经网络自组织神经网络4.1竞争学习的概念与原理4.2自组织特征映射神经网络自组织神经网络的典型结构自组织神经网络的典型结构 第四章第四章 自组织神经网络自组织神经网络竞争层竞争层输入层输入层第四章第四章 自组织神经网络自组织神经网络自组织学习自组织学习(self-organized learning)：通过自动寻找样本中的内在规律和本通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数质属性，自组织、自适应地改变网络参数与结构。与结构。自组织网络的自组织功能是通过竞争自组织网络的自组织功能是通过竞争学习（学习（competitive learning）实现

2、的。）实现的。4.1竞争学习的概念与原理4.1.1 4.1.1 基本概念基本概念分类分类分类是在类别知识等导师信号的指分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的导下，将待识别的输入模式分配到各自的模式类中去。模式类中去。聚类聚类无导师指导的分类称为聚类，聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而的目的是将相似的模式样本划归一类，而将不相似的分离开将不相似的分离开。相似性测量欧式距离法)()(iTiiXXXXXX 类 1 类 2 类 1 类 2 T T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量4.1.1 基本概念基本概念 相

3、似性测量相似性测量余弦法余弦法4.1.1 基本概念基本概念iiTXXXXcos类 1 类 2 类 1 类 2 T T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量4.1.2 4.1.2 竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称神经元，而其它神经元的状态被抑制，故称为为Winner Ta

4、ke All。竞争学习规则竞争学习规则Winner-Take-All1.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全部进行归一化处理；全部进行归一化处理；(j=1,2,(j=1,2,m),m)Tnjjnnjjxxxx12121.XXX向量归一化之向量归一化之 *向量归一化之向量归一化之 *竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量时，当网络得到一个输入模式向量时，竞争层的所有神经元对应

5、的内星权向量均与其进行相竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神似性比较，并将最相似的内星权向量判为竞争获胜神经元。经元。欲使两单位向量最相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即：)(max,.,2,1*XWXWTjmjTj 从上式可以看出，欲使两单位向量的欧式距离从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：最小，须使两向量的点积最大。即：)(max,.,2,1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*X

6、WTj竞争学习规则竞争学习规则Winner-Take-All竞争学习规则竞争学习规则胜者为王胜者为王(Winner-Take-All)3.3.网络输出与权值调整网络输出与权值调整*01)1(jjjjtoj)()()()()1(*jjjjjttttWXWWWW)()1(ttjjWW j j j j*步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率继续训练，直到学习率衰减到衰减到0 0。*竞争学习的几何意义竞争学习的几何意义竞争学习的几何意义竞争学习的几何意义 *1W *jW *)()()()(*ttttjpWXWh *)(*1tjW )(tpX jW mW *竞争学习游戏竞争

7、学习游戏将一维样本空间的将一维样本空间的12个样本分为个样本分为3类类竞争学习游戏竞争学习游戏w1w2w3x训练样本集训练样本集o1o1o1例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：89.3611X8012X5.4413X7014X13.5315X竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：0101)0(1W

8、180101)0(2W x5 x3 x1 w2 w1 x2 x4 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4

9、 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5

10、-7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3

11、3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7

12、7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4

13、 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5

14、 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4

15、3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5

16、x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3

17、 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5

18、x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4

19、4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3

20、x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7

21、 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1

22、x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.

23、5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2

24、x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5

25、 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2 x4

26、w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4

27、4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2 x4 w1

28、w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2

29、 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 4.2自组织特征映射神经网络自组织特征映射

30、神经网络（Self-Organizing feature Map）p19811981年芬兰年芬兰HelsinkHelsink大学的大学的T.KohonenT.Kohonen教授提出教授提出一种自组织特征映射网，简称一种自组织特征映射网，简称SOMSOM网，又称网，又称KohonenKohonen网。网。p KohonenKohonen认为：一个神经网络接受外界输认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这程是自动

31、完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性一看法提出来的，其特点与人脑的自组织特性相类似。相类似。SOMSOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是神经元的组织原理是有序排列有序排列。因此当人脑通过感官。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的接受外界的特定时空信息时，大脑皮层的特定特定区域区域兴兴奋奋，而且类似的外界信息在对应区域是，而且类似的外界信息在对应区域是连续映象连续映象的。的。对于某一图形或某一频率的特定兴奋过程，神经对于某一图形或某一频率的特定

32、兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。征映射网中竞争机制的生物学基础。SOMSOM网的拓扑结构网的拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。息的视网膜，输出层模拟做出响应的大脑皮层。(a)一维线阵 (b)二维平面线阵SOMSOM网的权值调整域网的权值调整域 SOMSOM网的获胜神经元对其邻近神经元的网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，影响是由近及远，由兴奋逐渐转变为抑制，

33、因此其学习算法中不仅获胜神经元本身要调因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种程度不同地调整权向量。这种调整可用三种函数表示：函数表示：SOMSOM网的权值调整域网的权值调整域 以获胜神经元为中心设定一个邻域半径，该以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为半径圈定的范围称为优胜邻域优胜邻域。在。在SOMSOM网学习算法网学习算法中，优胜邻域内的所有神经元均按其离开获胜神中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。经元的距离远近不同程度地

34、调整权值。优胜邻域开始定得很大，但其大小随着训练优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。次数的增加不断收缩，最终收缩到半径为零。SOMSOM网的运行原理网的运行原理p 训练阶段 *W4 W1*W2 *W3*W5 *W1 W2 *W3*W5 *W4 w1 w2 w3 w4 w5 *W1 W2 *W3*W5 *W4 *W1 W2 *W3*W5 *W4SOM网的运行原理p 工作阶段工作阶段SOMSOM网的学习算法网的学习算法(1)(1)初始化初始化 对输出层各权向量赋小随机数并进行归一化对输出层各权向量赋小随机数并进行归一化处理，得到处理，得到 ，j=1,2,j

35、=1,2,m m；建立初始优胜邻域；建立初始优胜邻域N Nj j*(0)(0)；学习率学习率h h 赋初始值。赋初始值。jW(2)接受输入接受输入 从训练集中随机选取一个输入模式并进行从训练集中随机选取一个输入模式并进行归一化处理，得到归一化处理，得到 ，p 1,2,P。pX(3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,m，从中选出点积最大的获胜节点从中选出点积最大的获胜节点j*。pXjW(4)定义优胜邻域定义优胜邻域Nj*(t)以以j*为中心确定为中心确定t 时刻的权值调整域，时刻的权值调整域，一般初始邻域一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中

36、Nj*(t)随训练时间逐随训练时间逐渐收缩。渐收缩。Kohonen 学习算法学习算法KohonenKohonen学习算法学习算法 Nj*(0)Nj*(0)Nj*(1)Nj*(1)Nj*(2)Nj*(2)SOM网的学习算法(5)(5)调整权值调整权值 对优胜邻域对优胜邻域N Nj j*(t t)内的所有节点调整权值：内的所有节点调整权值：i=1,2,i=1,2,n n j j N Nj j*(t t)式中，式中，是训练时间是训练时间t t 和邻域内第和邻域内第j j 个神经元与获个神经元与获胜神经元胜神经元 j j*之间的拓扑距离之间的拓扑距离N N 的函数，该函数一般的函数，该函数一般有以下规

37、律：有以下规律：)(),()()1(twxNttwtwijpiijijh),(NthhhNt,KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法(5)(5)调整权值调整权值NetNt)(),(hhh(t)h(t)h(t)h(0)h(0)h(0)0 t 0 t 0 t(6)(6)结束检查结束检查 学习率是否衰减到零或某个预定的学习率是否衰减到零或某个预定的正小数？正小数？KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法初始化、归一化权向量 W：jW，j=1,2,m；建立初始优胜邻域 Nj*(0)学习率h(t)赋初始值输入归一化样本pX

38、，p1,2,P计算点积pTjXW，j=1,2,m选出点积最大的获胜节点 j*定义优胜邻域 Nj*(t)对优胜邻域 Nj*(t)内节点调整权值：)()()()(twxN,ttw1twijpiijijhi=1,2,n jNj*(t)N)(thminh Y结束K o h o n e nK o h o n e n学习算法程序流程学习算法程序流程功功 能能 分分 析析(1)(1)保序映射保序映射将输入空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。例例1 1：动物属性特征映射。：动物属性特征映射。动 物 属 性 鸽 子 母 鸡 鸭 鹅 猫 头鹰 隼 鹰 狐 狸 狗 狼

39、猫 虎 狮 马 斑 马 牛 小 中 大 2只 腿 4只 腿 毛 蹄 鬃 毛 羽 毛 猎 跑 飞 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0

40、0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 功能分析功能分析 鸭 马 牛 斑马 虎 鹅 狼 猫 隼 头 狮 鸽 鹰 狗 鹰 母鸡 狐 猫(2)(2)数据压缩数据压缩 将高维空间的样本在保持拓扑结构不变的条将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。件下投影到低维空间。(3)(3)特征抽取特征抽取

41、高维空间的向量经过特征抽取后可以在低维高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。特征空间更加清晰地表达。例例2 2：SOMSOM网用于字符排序。网用于字符排序。A BC D E FG H I GK L M NO P Q RS T U VW X Y Z1 2 3 45 6x01 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3x10 0 0 0 0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3x20 0 0 0 0 0 0 0 0 0 1 2

42、 3 4 5 6 7 8 3 3 3 3 6 6 6 6 6 6 6 6 6 6x30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 1 2 3 4 2 2 2 2 2 2x40 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6功能分析功能分析 A B C D E F G H K L M N O P Q R I S W J T X 1 2 3 4 5 6 U Y V Z B C D E Q R Y Z A P X F N O W 1 G M 2 H K L T U 3 I 4 J S V 5 6