自组织神经网络课件.ppt

1、自组织神经网络自组织神经网络 主讲人：李丹（主讲人：李丹（20092420315）小组成员：李晨（小组成员：李晨（20092420314）李丁（李丁（20092420316）自组织神经网络自组织神经网络 采用有导师学习规则的神经网络是以网络的误差或能量采用有导师学习规则的神经网络是以网络的误差或能量函数作为算法准则。而在很多情况下，人在认知过程中没有函数作为算法准则。而在很多情况下，人在认知过程中没有预知的正确模式，人获得大量知识常常是靠预知的正确模式，人获得大量知识常常是靠“无师自通无师自通”，即通过对客观事物的反复观察，分析与比较，自行揭示其内即通过对客观事物的反复观察，分析与比较，自行揭

2、示其内在规律，并对具有共同特征的事物进行正确归类。对于人的在规律，并对具有共同特征的事物进行正确归类。对于人的这种学习方式，基于有导师学习策略的神经网络是无能为力这种学习方式，基于有导师学习策略的神经网络是无能为力的。的。自组织神经网络的无导师学习方式更类似于人类大脑中自组织神经网络的无导师学习方式更类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织自适应地改变网络参数与结的内在规律和本质属性，自组织自适应地改变网络参数与结构。这种学习方式大大拓宽神经网络在模式识别与分类方面构。这种学习方式大大拓

3、宽神经网络在模式识别与分类方面的应用。的应用。自组织网结构上属于层次型网络，有多种类型。自组织网结构上属于层次型网络，有多种类型。如：自组织特征映射（如：自组织特征映射（Self Organizing Feature Map）网络）网络SOM）；）；对偶（向）传播（对偶（向）传播（Counter Propagation Network)网络网络CPN)；自适应共振理论（自适应共振理论（Adaptive Resonance Theory)网络网络ART等。等。其共同特点是都具有竞争层。其共同特点是都具有竞争层。最简单的网络结构具有一个输入层和一个竞争层。最简单的网络结构具有一个输入层和一个竞争层

4、。输入模式输入模式输出模式输出模式竞争层竞争层 输入层负责接受外界信息输入层负责接受外界信息并将输入模式向竞争层传递，并将输入模式向竞争层传递，起观察作用。起观察作用。竞争层负责对该模式进竞争层负责对该模式进行行“分析比较分析比较”，找出规律以，找出规律以正确分类。正确分类。这种功能是通过下面要介这种功能是通过下面要介绍的竞争机制实现的。绍的竞争机制实现的。竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。的几个基本概念。4.1.1.1 模式、分类、聚类与相似性模式、分类、聚类与相似性模式：一般当网络涉及识别

5、、分类问题时，常用输入模式（而不称输入模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入 样本）；样本）；分类：将待识别的输入模式划分为各自的模式类中去；分类：将待识别的输入模式划分为各自的模式类中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划 归一类；归一类；相似性：输入模式的聚类依据。相似性：输入模式的聚类依据。4.1.1.2 相似性测量相似性测量 神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式

6、向量间的距离作为聚类判据。较两个向量的距离，因而可用模式向量间的距离作为聚类判据。模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。4.1 竞争学习的概念与原理竞争学习的概念与原理（1）欧式距离法）欧式距离法X和和Xi 两向量欧式距离两向量欧式距离:)()(iTiiXXXXXX 两个模式向量的欧式距离越小，两个模式越相似，当两个模式完全相两个模式向量的欧式距离越小，两个模式越相似，当两个模式完全相同时，其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出同时，其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许

7、超过某一最大值规定，不允许超过某一最大值 T，则最大欧式距离，则最大欧式距离 T 就成为一种聚类判就成为一种聚类判据。据。（2）余弦法）余弦法计算两个模式向量夹角的余弦：计算两个模式向量夹角的余弦：两个模式向量越接近，其类角越小，余弦越大。当两个模式向量完全两个模式向量越接近，其类角越小，余弦越大。当两个模式向量完全相同时，其夹角余弦为相同时，其夹角余弦为1。若同类内各模式向量间的夹角规定不大于若同类内各模式向量间的夹角规定不大于T，则，则成为一种聚类判据。成为一种聚类判据。余弦法适合模式向量长度相同或模式特征只与向量方向相关的相似性测量。余弦法适合模式向量长度相同或模式特征只与向量方向相关的

8、相似性测量。iiTXXXXcos4.1.1.3 侧抑制与竞争侧抑制与竞争 自组织网络（竞争型神经网络）构成的基本思想是网络的竞争层自组织网络（竞争型神经网络）构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的“胜者胜者”，这一获胜神经元则表示对输入模式的识别。，这一获胜神经元则表示对输入模式的识别。体现了物生体现了物生神经细胞的侧抑制竞争机制。神经细胞的侧抑制竞争机制。实验表明，人眼的视网膜、脊髓和海马中存一种侧抑制现象，即，实验表明，人眼的视网膜、脊髓和海马中存一种侧抑制现象，即，当一个神经

9、细胞兴奋后，会对其周围的神经细胞产生抑制作用。当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。这种侧抑制使神经细胞之间呈现出竞争，开始时可能多个细胞同这种侧抑制使神经细胞之间呈现出竞争，开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用时兴奋，但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也最强，其结果使其周围神经细胞兴奋程度减弱，从而该神经细胞是也最强，其结果使其周围神经细胞兴奋程度减弱，从而该神经细胞是这次竞争的这次竞争的“胜者胜者”，其它神经细胞在竞争中失败。，其它神经细胞在竞争中失败。最强的抑制关系是竞争获胜者最强的抑制关系是竞争获胜者“惟我

10、独兴惟我独兴”，不允许其它神经元兴，不允许其它神经元兴奋，这种抑制方式也称为胜者为王。奋，这种抑制方式也称为胜者为王。自组织网络在竞争层神经元之间的连自组织网络在竞争层神经元之间的连线，它们是模拟生物神经网络层内神经元线，它们是模拟生物神经网络层内神经元相互抑制现象的权值，这类抑制性权值满相互抑制现象的权值，这类抑制性权值满足一定的分布关系，如距离近的抑制强，足一定的分布关系，如距离近的抑制强，距离远的抑制弱。距离远的抑制弱。这种权值（或说侧抑制关系）一般是这种权值（或说侧抑制关系）一般是固定的，训练过程中不需要调整，在各类固定的，训练过程中不需要调整，在各类自组织网络拓朴图中一般予以省略。自

11、组织网络拓朴图中一般予以省略。（不（不省略时，也只看成抑制关系的表示，不作省略时，也只看成抑制关系的表示，不作为网络权来训练）。为网络权来训练）。4.1.1.4 向量归一化向量归一化 不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向不变长度为不变长度为1的单位向量。单位向量进行比较时，只需比较向量的夹角。的单位向量。单位向量进行比较时，只需比较向量的夹角。X向量的归一化：向量的归一化：TnjjnnjjnjjxxxxxxXXX222214、1、2竞争学习原理（规则）竞争学习原理（规则）竞争学习采用的规则是胜者为王，该算法可分

12、为竞争学习采用的规则是胜者为王，该算法可分为3个步骤。个步骤。得到得到：X),2,1(mjWj(1)向量归一化向量归一化将自组织网络中的当前输入模式向量将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星权向量和竞争层中各神经元对应的内星权向量Wj(j=1,2,m)全部进行归一化处理。全部进行归一化处理。(2)寻找获胜神经元寻找获胜神经元 此式看出，欲两单位向量的欧式距离最小，须使两向量的点积最大。此式看出，欲两单位向量的欧式距离最小，须使两向量的点积最大。即即)(max),2,1(*XWXWjmjj 因此，求最小欧式距离的问题就转化为按此式求最大点积的问题，因此，求最小欧式距离的问

13、题就转化为按此式求最大点积的问题，而且权向量与输入向量的点积正是竞争层神经元的净输入。而且权向量与输入向量的点积正是竞争层神经元的净输入。(3)网络输出与权值调整网络输出与权值调整 胜者为王竞争学习算法规定，获胜者为王竞争学习算法规定，获胜神经元输出为胜神经元输出为1，其余输出为零。，其余输出为零。即即只有获胜神经元才有权调整其权向量，调整后权向量为只有获胜神经元才有权调整其权向量，调整后权向量为式中式中 学习章，一般其值随着学习的进展而减小。可以看出，当学习章，一般其值随着学习的进展而减小。可以看出，当 时，对应神经无的权值得不到调整，其实质是时，对应神经无的权值得不到调整，其实质是“胜者胜

14、者”对它们进行了强测对它们进行了强测抑制，不允许它们兴奋。抑制，不允许它们兴奋。01)1(toj*jjjj)()1()()()()1(*tWtWWXtWWtWtWjjJjjjj*jjjj 应注意，归一化后的权向量经过调整后得到的新向量不再是单位向应注意，归一化后的权向量经过调整后得到的新向量不再是单位向量，需要重新归一化。步骤（量，需要重新归一化。步骤（3）完成后回到步骤（）完成后回到步骤（1）继续训练，直到）继续训练，直到学习率学习率 衰减到零。衰减到零。1,0(*jj 4.2自组织特征映射（自组织特征映射（SOM）神经网络）神经网络4.2.1SOM网络的生物学基础网络的生物学基础 生物学研

15、究表明：人的大脑皮层中，存在许多不同功能的神经网络区生物学研究表明：人的大脑皮层中，存在许多不同功能的神经网络区域，每个功能区域完成各自的特定功能，如视觉、听觉、语言理解和运动域，每个功能区域完成各自的特定功能，如视觉、听觉、语言理解和运动控制等等。控制等等。当人脑通过感官接受外界的特定时空信息时，将引起大脑皮层的特定当人脑通过感官接受外界的特定时空信息时，将引起大脑皮层的特定区域兴奋。每个区域有若干神经元组成，当该区域兴奋时，总是以某一个区域兴奋。每个区域有若干神经元组成，当该区域兴奋时，总是以某一个神经元（细胞）为兴奋中心，呈现出墨西哥帽（神经元（细胞）为兴奋中心，呈现出墨西哥帽（Mexi

16、can Hat）式兴奋分）式兴奋分布。布。1981年芬兰学者年芬兰学者kohonen提出一个称为自组织特征映提出一个称为自组织特征映射（射（Self Organization Feature Map-SOM或或SOFM）网络，）网络，前面说的大脑神经细胞兴奋规律等，在该网络中都得到了反前面说的大脑神经细胞兴奋规律等，在该网络中都得到了反应。应。网络区域中的这种兴奋与抑制规律，将依据外界输入环网络区域中的这种兴奋与抑制规律，将依据外界输入环境的不同，神经元（细胞）要靠竞争机制来决定胜负。境的不同，神经元（细胞）要靠竞争机制来决定胜负。大脑的这种区域性结构，虽有遗传因素，但，各区域大脑的这种区域性

17、结构，虽有遗传因素，但，各区域的功能大部分是后天通过的功能大部分是后天通过 环境的适应和学习得到的，这就环境的适应和学习得到的，这就是神经网络的自组织（是神经网络的自组织（self organization）特征）特征.4.2.2 SOM网络的拓扑结构与权值调整域网络的拓扑结构与权值调整域4.2.2.1 拓扑结构拓扑结构 SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。见有一维线阵

18、和二维平面阵。网络实现将任意维输入模式在输出层映射成一维离散图形。网络实现将任意维输入模式在输出层映射成一维离散图形。网络实现将任意维输入模式在输出层映射成二维离散图形。网络实现将任意维输入模式在输出层映射成二维离散图形。4.2.3 SOM网络的运行原理与学习算法网络的运行原理与学习算法SOM网络的运行原理网络的运行原理 SOM网络表现为：网络随机输入模式时，对某个特定的输入模式，网络表现为：网络随机输入模式时，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。按生物区域神经兴奋机制，输出层会有某个节点产生最大响应而获胜。按生物区域神经兴奋机制，获胜神经元对其邻近神经元存在一种侧抑制

19、（竞争）机制。获胜神经元对其邻近神经元存在一种侧抑制（竞争）机制。SOM网络的侧抑制方式是：以获胜神经元为中心权值调整量最强，网络的侧抑制方式是：以获胜神经元为中心权值调整量最强，且由近及远地逐渐递减程度不同的调整权向量直到抑制。理论上按墨且由近及远地逐渐递减程度不同的调整权向量直到抑制。理论上按墨西哥帽分布调整权值，但其计算上的复杂性影响了网络训练的收敛性。西哥帽分布调整权值，但其计算上的复杂性影响了网络训练的收敛性。因此在因此在SOM网的应用中常采用与墨西哥帽函数类似的简化函数或其他网的应用中常采用与墨西哥帽函数类似的简化函数或其他一些方式（如优胜域）。一些方式（如优胜域）。以获胜神经元为

20、中心设定一个邻域以获胜神经元为中心设定一个邻域优胜域优胜域。优胜邻域内的所。优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始可定义得较大，但其大小随着训练次数的增加不断收缩，胜邻域开始可定义得较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。最终收缩到半径为零。SOM网络的学习算法网络的学习算法 SOM网络采用的学习算法称网络采用的学习算法称Kohonen算法，是在胜者为王算法基算法，是在胜者为王算法基础上加以改进而成。其主要区别在于调整权向量的侧抑制方式不同。胜础上加以改进而成。其主要

21、区别在于调整权向量的侧抑制方式不同。胜者为王算法中，获胜神经元对周围神经元的抑制是者为王算法中，获胜神经元对周围神经元的抑制是“封杀封杀”式的式的（只获只获胜神经调整权向量，周围其它无权调整）胜神经调整权向量，周围其它无权调整）。当输入模式的类别改变时，获胜节点也会改变。获胜节点对周围的当输入模式的类别改变时，获胜节点也会改变。获胜节点对周围的节点因侧抑制作用也产生较大的响应，于是，获胜节点及其优胜邻域内节点因侧抑制作用也产生较大的响应，于是，获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作程度不同的调整。的所有节点所连接的权向量均向输入向量的方向作程度不同的调整。网络通过自

22、组织方式，用大量训练样本调整网络的权值，最后使输网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经元，对应的内星权向量成为各出层各节点成为对特定模式类敏感的神经元，对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时，代表这两类输入模式类的中心向量。并且当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而，在输出层形成能够反映样本模式类分布的节点在位置上也接近。从而，在输出层形成能够反映样本模式类分布情况的有序特征图。情况的有序特征图。Kohonen算法采用优胜域思想，模拟生物区域神经兴奋竞争机制。算法采用优胜域思想，模

23、拟生物区域神经兴奋竞争机制。4.2.4 SOM网络的功能网络的功能SOM网络的功能特点之一是：保序映射，即能将输网络的功能特点之一是：保序映射，即能将输入空间的样本模式类有序地映射在输出层上。入空间的样本模式类有序地映射在输出层上。例例 动物属性特征映射动物属性特征映射1989年年Kohonen给出一个给出一个SOM网的著名应用实例，网的著名应用实例，即把不同的动物按其属性映射到二维输出平面上，使即把不同的动物按其属性映射到二维输出平面上，使属性相似的动物在属性相似的动物在SOM网输出平面上的位置也相近。网输出平面上的位置也相近。训练集选了训练集选了16种动物，每种动物用一个种动物，每种动物用

24、一个29维向量来维向量来表示。前表示。前16个分量构成符号向量（不同的动物进行个分量构成符号向量（不同的动物进行16取取1编码），后编码），后13个分量构成属性向量，描述动个分量构成属性向量，描述动物的物的13种属性的有或无（用种属性的有或无（用1或或0表示）。表示）。16种动物的属性向量（种动物的属性向量（29维向量的后维向量的后13个分量）个分量）动物动物属性属性鸽鸽子子母母鸡鸡鸭鸭 鹅鹅 猫猫头头鹰鹰隼隼鹰鹰狐狐狸狸狗狗狼狼猫猫虎虎狮狮马马斑斑马马牛牛小小1111110000100000中中0000001111000000大大00000000000111112只只腿腿1111111000

25、0000004只只腿腿0000000111111111毛毛0000000111111111蹄蹄0000000000000111 动物动物属性属性鸽鸽子子母母鸡鸡鸭鸭 鹅鹅 猫猫头头鹰鹰隼隼鹰鹰狐狐狸狸狗狗狼狼猫猫虎虎狮狮马马斑斑马马牛牛鬃毛鬃毛0000000000000110羽毛羽毛1111111000000000猎猎0000111101111000跑跑0000000011011110飞飞1001111000000000泳泳0011000000000000 SOM网输出平面上有网输出平面上有1010个神经元，个神经元，16个动物模式轮个动物模式轮番输入训练，最后输出平面呈现番输入训练，最后输出

26、平面呈现16种动物属性特征映射，属性种动物属性特征映射，属性相似的挨在一起，实现了特征的有序分布。相似的挨在一起，实现了特征的有序分布。1010神经元神经元X向量（向量（29维）维）前前16个分量个分量（16取取1，表达，表达动物种类。）动物种类。）后后13个分量（表达动物属性）个分量（表达动物属性）鸭鸭鹅鹅鸽鸽母鸡母鸡马马斑马斑马牛牛隼隼狼狼虎虎狮狮猫猫狗狗狐狐猫头鹰猫头鹰鹰鹰动物属性特征映射动物属性特征映射 SOM网的功能特点之二是数据压缩。网的功能特点之二是数据压缩。将高维空间的样本在保持拓扑结构不变的条件下投影到将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如上例中输入样本

27、空间为低维空间。如上例中输入样本空间为29维，通过维，通过SOM网后压网后压缩为二维平面的数据。缩为二维平面的数据。SOM网的功能特点之三是特征抽取。（规律的发现）网的功能特点之三是特征抽取。（规律的发现）在高维模式空间，很多模式的分布具有复杂的结构，从在高维模式空间，很多模式的分布具有复杂的结构，从数据观察很难发现其内在规律。当通过数据观察很难发现其内在规律。当通过SOM网映射到低维输网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。出空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的向量经过特征抽取后可以在低维特征空间更加即高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种规律发现。如上例是一种规律发现。如上例29维映射到二维后，相近属性的动维映射到二维后，相近属性的动物实现了聚类分布的特点。物实现了聚类分布的特点。SOM网有许多应用实例：如的听写打字机（声音识别），网有许多应用实例：如的听写打字机（声音识别），解决旅行商最优路经问题，皮革外观效果分类等。解决旅行商最优路经问题，皮革外观效果分类等。谢谢！