1、4.5 自适应共振理论自适应共振理论思考并回答以下几个问题思考并回答以下几个问题p神经网络的学习和记忆特性神经网络的学习和记忆特性学习过程的本质？网络将知识存储（记忆）在什么地方？对于感知器/BP网络/SOM网络学习时，当新样本输入时，权值的改变对旧样本的影响是什么？自适应共振理论（自适应共振理论（ARTART）p历史历史1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(Adaptive Resonance Theory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.
2、Grossberg提出了ATR网络。p共振现象的一些例子共振现象的一些例子自适应共振理论自适应共振理论共振现象共振现象p鱼洗鱼洗p寺院无人敲而响的磬寺院无人敲而响的磬p军队过桥军队过桥p雪崩雪崩p人类认知（图像）人类认知（图像）当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。自适应共振理论自适应共振理论ARTART网络学习算法的基本流程网络学习算法的基本流程环环境境输输入入模模式式与储存与储存的典型的典型向量模向量模式进行式进行比较比较神经网络的神经网络的连接权值连接权值选择最相似的作为该模式的代表选择最相似的作
3、为该模式的代表类，并调整与该类别相关的权值，类，并调整与该类别相关的权值，以使以后与该模式相似的输入再以使以后与该模式相似的输入再与该模式匹配时能得到更大的相与该模式匹配时能得到更大的相似度。似度。相似度的参考门限相似度的参考门限需要在网络中设立一个新的模需要在网络中设立一个新的模式类，同时建立与该模式类相式类，同时建立与该模式类相连的权值，用以代表和存储该连的权值，用以代表和存储该模式以及后来输入的所有同类模式以及后来输入的所有同类模式。模式。G2 R 门限 G1 C Reset 输入 XC C 比较层比较层R R 识别层识别层ResetReset 复位信号复位信号G G1 1和和G G2
4、2 逻辑控制信号逻辑控制信号4.5.1.14.5.1.1网络系统结构网络系统结构4.5.1.14.5.1.1网络系统结构网络系统结构 R 层 t1j tij tnj c1 ci cn G1 x1 xI xn(1)C(1)C 层结构层结构 该层有该层有n n个节点，每个节点接受来自个节点，每个节点接受来自3 3个方面的信号：个方面的信号：来自外界的输入信号来自外界的输入信号x xi i；来自来自R R 层获胜神经元的外星向量的返层获胜神经元的外星向量的返回信号回信号T Tj j；来自来自G G1 1的控制信号。的控制信号。C C 层节点的输出层节点的输出c ci i是根据是根据2/32/3的的“
5、多多数表决数表决”原则产生的，即输出值原则产生的，即输出值c ci i与与x xi i、t tijij 、G G1 1 3 3个信号中的多数信号值相同个信号中的多数信号值相同。G G1 1=1=1，反馈回送信号为，反馈回送信号为0 0，C C层输出层输出应由输入信号决定，有应由输入信号决定，有C=XC=X。反馈回送信号不为反馈回送信号不为0 0，G G1 1=0=0，C C层输层输出应取决于输入信号与反馈信号的比较出应取决于输入信号与反馈信号的比较情况，如果情况，如果x xi i=，则，则c ci i=x xi i。否则。否则c ci i=0=0。网络系统结构网络系统结构4.5.1.14.5.
6、1.1网络系统结构网络系统结构r1 rj rm b11 b1j b1m bn1 bnj bnm bi1bijbim C 层（2 2）R R层结构层结构vR R 层有层有m m 个节点，用以表示个节点，用以表示m m 个个输入模式类。输入模式类。m m可动态增长，以设立可动态增长，以设立新模式类。新模式类。v由由C C 层向上连接到层向上连接到R R 第第j j 个节点个节点的内星权向量用的内星权向量用B Bj j=（b b1j1j，b b2j2j，,b,bnjnj）表示。）表示。vC C 层的输出向量层的输出向量C C 沿沿m m个内星权向个内星权向量量B Bj j(j=1,2,j=1,2,m
7、,m)向前传送，到达向前传送，到达R R 层各个神经元节点后经过竞争在产层各个神经元节点后经过竞争在产生获胜节点生获胜节点j j*，指示本次输入模式的，指示本次输入模式的所属类别。所属类别。v获胜节点输出获胜节点输出=1=1，其余节点输出，其余节点输出为为0 0。R R 层各模式类节点的典型向量层各模式类节点的典型向量。网络系统结构网络系统结构(3)(3)控制信号控制信号 控制信号控制信号G G2 2的作用的作用是检测输入模式是检测输入模式X X 是否为是否为0 0，它等于，它等于X X 各分量的各分量的逻辑逻辑“或或”，如果，如果x xi i(i=1,2,i=1,2,n,n)为全为全0 0，
8、则，则G G2 2=0=0，否则，否则G G2 2=1=1。控制信号控制信号G G1 1的作用的作用是在网络开始运行时为是在网络开始运行时为1 1，以使，以使C=XC=X，其后为，其后为0 0以以使使C C 值由输入模式和反馈模式的比较结果决定。设值由输入模式和反馈模式的比较结果决定。设R R 层输出向量各层输出向量各分量的逻辑分量的逻辑“或或”用用R R0 0表示，则信号表示，则信号G G1 1=，当，当R R 层输出向量层输出向量R R 的各分量为全的各分量为全0 0而输入向量而输入向量X X不是零向量时，不是零向量时，G G1 1=1=1，否则，否则G G1 1=0=0。控制信号控制信号
9、ResetReset的作用的作用是使是使R R层竞争获胜神经元无效，如果根据某层竞争获胜神经元无效，如果根据某种事先设定的测量标准，与种事先设定的测量标准，与X X未达到预先设定的相似度未达到预先设定的相似度，表明两，表明两者未充分接近，于是系统发出者未充分接近，于是系统发出ResetReset信号使竞争获胜神经元无效。信号使竞争获胜神经元无效。02RG网络系统结构网络系统结构4.5.1.2 4.5.1.2 网络运行原理网络运行原理相似程度可能出现的两种情况：相似程度可能出现的两种情况：相似度超过参考门限相似度超过参考门限 选该模式类作为当前输入模式的代表类。权值调选该模式类作为当前输入模式的
10、代表类。权值调整规则是，整规则是，相似度超过参考门限的模式类调整其相应的相似度超过参考门限的模式类调整其相应的内外星权向量，内外星权向量，以使其以后遇到与当前输入模式接近的以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；样本时能得到更大的相似度；对其它权值向量则不做任对其它权值向量则不做任何变动。何变动。相似度不超过门限值相似度不超过门限值需在网络输出端设立一个代表新模式类的节点，需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。用以代表及存储该模式，以便于参加以后的匹配过程。网络运行原理网络运行原理4.5.1.2 4.5.1.2 网络运行原
11、理网络运行原理对于每一个输入，模式网络运行过程可归纳为四个阶段：对于每一个输入，模式网络运行过程可归纳为四个阶段：(1)(1)匹配阶段匹配阶段 网络在没有输入之前处于等待状态，此时输入端网络在没有输入之前处于等待状态，此时输入端X X0 0，因此信，因此信号号G G2 20 0，R R0 0=0=0。当输入不全为。当输入不全为0 0的模式的模式X X 时，时，G G2 21 1，R R0 0=0=0，使得，使得G G1 1=1=1。G G1 1为为1 1时允许输入模式直接从时允许输入模式直接从C C层输出，并向前传至层输出，并向前传至R R 层，层，与与R R 层节点对应的所有内星向量层节点对
12、应的所有内星向量B Bj j 进行匹配计算：进行匹配计算：j=1,2,j=1,2,，m m (4.22)(4.22)选择具有最大匹配度选择具有最大匹配度(即具有最大点积即具有最大点积)的竞争获胜节点：的竞争获胜节点：使获胜节点输出使获胜节点输出 =1=1，其它节点输出为，其它节点输出为0 0。niiijTjjxbnet1XBmax*jjjnetnet*jr网络运行原理网络运行原理(2)(2)比较阶段比较阶段 R R层输出信息通过外星向量返回层输出信息通过外星向量返回到到C C层。层。R R 层获胜节点所连的外星权层获胜节点所连的外星权向量激活，从节点向量激活，从节点j j*发出的发出的n n个
13、权值个权值信号返回到信号返回到C C 层的层的n n个节点。此时，个节点。此时，R R层输出不全为零，层输出不全为零，R R0 0=1=1，而，而G G1 1=0=0，所，所以以C C 层最新输出状态层最新输出状态C C取决于由取决于由R R 层层返回的外星权向量和网络输入模式返回的外星权向量和网络输入模式X X的比较结果，即，的比较结果，即，i=1,2,i=1,2,n,n。由于。由于外星权向量是外星权向量是R R 层模式类的典型向量层模式类的典型向量，该比较结果，该比较结果C C反映了在匹配阶段反映了在匹配阶段R R 层竞争排名第一的模式类的典型向量层竞争排名第一的模式类的典型向量与当前输入
14、模式与当前输入模式X X 的相似程度。相似的相似程度。相似程度的大小可用相似度程度的大小可用相似度N N0 0 反映，定义反映，定义为：为：R 层 t1j tij tnj c1 ci cn G1 x1 xI xnniiniiijjTcxtN110*tX设输入模式样本中的非零分量数为：设输入模式样本中的非零分量数为：niixN11网络运行原理网络运行原理4.5.1.2 4.5.1.2 网络运行原理网络运行原理4.5.1.2 4.5.1.2 网络运行原理网络运行原理(2)(2)比较阶段比较阶段 用于比较的警戒门限为用于比较的警戒门限为，在，在0 01 1范围取值范围取值。检查输入模式与模式类典。检
15、查输入模式与模式类典型向量之间的相似性是否低于警戒门限，如果有型向量之间的相似性是否低于警戒门限，如果有N N0 0/N/N1 1表明表明X X与获胜节点对应的类别模式非常接近，称与获胜节点对应的类别模式非常接近，称X X 与与 发生发生“共振共振”，第一第一阶段的匹配结果有效，网络进入学习阶段。阶段的匹配结果有效，网络进入学习阶段。*jT网络运行原理网络运行原理4.5.1.2 4.5.1.2 网络运行原理网络运行原理(3)(3)搜索阶段搜索阶段 网络发出网络发出Reset Reset 重置信号后即进入搜索阶段，重置信号的作用是使前重置信号后即进入搜索阶段，重置信号的作用是使前面通过竞争获胜的
16、神经元受到抑制，并且在后续过程中受到持续的抑制，面通过竞争获胜的神经元受到抑制，并且在后续过程中受到持续的抑制，直到输入一个新的模式为止。由于直到输入一个新的模式为止。由于R R 层中的竞争获胜的神经元被抑制，从层中的竞争获胜的神经元被抑制，从而再度出现而再度出现R R0 0=0=0，G G1 1=1 1，因此网络又重新回到起始的匹配状态。，因此网络又重新回到起始的匹配状态。由于上次获胜的节点受到持续的抑制，此次获胜的必然是上次匹配程由于上次获胜的节点受到持续的抑制，此次获胜的必然是上次匹配程度排在第二的节点，将该节点对应的外星权向量与输入模式进行匹配计算度排在第二的节点，将该节点对应的外星权
17、向量与输入模式进行匹配计算。如果对。如果对R R层所有的模式类，在比较阶段的相似度检查中相似度都不能满层所有的模式类，在比较阶段的相似度检查中相似度都不能满足要求，说明当前输入模式无类可归，需要在网络输出层增加一个节点来足要求，说明当前输入模式无类可归，需要在网络输出层增加一个节点来代表并存储该模式类，为此将其内星向量代表并存储该模式类，为此将其内星向量 设计成当前输入模式向量，设计成当前输入模式向量，外星向量外星向量 各分量全设为各分量全设为1 1。*jB*jT网络运行原理网络运行原理(4)(4)学习阶段学习阶段 在学习阶段要对发生共振的获胜节点对应的模式类加强学习，在学习阶段要对发生共振的
18、获胜节点对应的模式类加强学习，使以后出现与该模式相似的输入样本时能获得更大的共振。使以后出现与该模式相似的输入样本时能获得更大的共振。ARTART网络运行中存在两种记忆方式：网络运行中存在两种记忆方式：短期记忆：短期记忆：C C 层和层和R R 层输出信号称为短期记忆，用层输出信号称为短期记忆，用STMSTM（Short Short time memorytime memory）表示，短期记忆在运行过程中会不断发生变化；）表示，短期记忆在运行过程中会不断发生变化；长期记忆：长期记忆：两层之间的内外星权向量称为长期记忆，用两层之间的内外星权向量称为长期记忆，用LTMLTM(Long(Long t
19、ime memory)time memory)表示，长期记忆在运行过程中不会变化。表示，长期记忆在运行过程中不会变化。网络运行原理网络运行原理4.5.1.2 4.5.1.2 网络运行原理网络运行原理4.5.1.3 4.5.1.3 网络的学习算法网络的学习算法 ART ART网络可以用学习算法实现，学习算法从软件角度体网络可以用学习算法实现，学习算法从软件角度体现了网络的运行机制，与系统结构图并不一一对应。现了网络的运行机制，与系统结构图并不一一对应。训练可按以下步骤进行：训练可按以下步骤进行：(1)(1)网络初始化网络初始化 从从C C 层向层向R R 层的内星权向量层的内星权向量B Bj j
20、 赋予相同赋予相同的较小数值，如的较小数值，如 (4.25)(4.25)从从R R 层到层到C C 层的外星权向量层的外星权向量T Tj j 各分量均赋各分量均赋1 1 (4.26)(4.26)nbij11)0(mjni,.,2,1,.,2,11ijtmjni,.,2,1,.,2,14.5.1.3 4.5.1.3 网络的学习算法网络的学习算法(2)(2)网络接受输入网络接受输入 给定一个输入模式，给定一个输入模式，X X(x x1 1,x,x2 2,，x xn n)，x xi i(0,10,1)n n。(3)(3)匹配度计算匹配度计算 对对R R层所有内星向量层所有内星向量B Bj j计算与输
21、入模式计算与输入模式X X的匹配度：的匹配度：，j=1,2,j=1,2,，m m。niiijTjxb1XB(4)(4)选择最佳匹配节点选择最佳匹配节点 在在R R层有效输出节点集合层有效输出节点集合J J*内选择竞争内选择竞争获胜获胜 的最佳匹配节点的最佳匹配节点j j*，使得，使得*01jjjjrj(5)(5)相似度计算相似度计算 R R 层获胜节点层获胜节点j j*通过外星送回获胜模式类的典通过外星送回获胜模式类的典型向量，型向量，C C层输出信号给出对向量和层输出信号给出对向量和X X的比较结果，的比较结果，i=1,2,i=1,2,n,n，由，由此结果可计算出两向量的相似度为此结果可计算
22、出两向量的相似度为4.5.1.3 4.5.1.3 网络的学习算法网络的学习算法niicN10niixN11(6)(6)警戒门限检验警戒门限检验 如果如果N N0 0/N/N1 1，表明表明X X应归为代表的应归为代表的模式类，转向步骤模式类，转向步骤(8)(8)调整权值。调整权值。(8)(8)调整网络权值调整网络权值 修改修改R R层节点层节点j j*对应的权向量，网络的学习采用对应的权向量，网络的学习采用了了 两种规则，外星向量的调整按以下规则两种规则，外星向量的调整按以下规则:i=1,2,i=1,2,n,n；j j*J J*(4.27)(4.27)iijijxtttt)()1(*(7)(7
23、)搜索匹配模式类搜索匹配模式类 若有效输出节点集合若有效输出节点集合J J*不为空不为空，转向步骤，转向步骤(4)(4)重选匹配模式类；若重选匹配模式类；若J J*为空集为空集，需在，需在R R层增加一个节点。设新增节点的层增加一个节点。设新增节点的序号为序号为n nc c，应使，应使 ,i=1,2,i=1,2,n,n,此时有效输出节点集合此时有效输出节点集合为为J J*=1,2,1,2,m,m+1,m,m+1,m+n,m+nc c,转向步骤转向步骤(2)(2)输入新模式。输入新模式。1,ccinntXBniijijniiijiijijttttxttxtttb11)1(5.0)1()(5.0)
24、()1(*内星向量的调整按以下规则内星向量的调整按以下规则:i=1,2,i=1,2,n ,n (4.28)(4.28)4.5.1.3 4.5.1.3 网络的学习算法网络的学习算法 ARTART网络的特点：网络的特点：非离线学习非离线学习 即不是对输入集样本反复训练后才开始即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。运行，而是边学习边运行实时方式。每次最多只有一个输出节点为每次最多只有一个输出节点为l l 每个输出节点可看成每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量一类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。较近时
25、，代表它的输出节点才响应。通过调整警戒门限的大小可调整模式的类数通过调整警戒门限的大小可调整模式的类数 小，模小，模式的类别少，式的类别少，大则模式的类别多。大则模式的类别多。T)1,0,0,0,1,0,1,0,1,0,0,0,1,0,0,0,1,0,1,0,1,0,0,0,1(BXT)1,0,0,0,1,0,1,0,1,0,1,1,1,1,1,0,1,0,1,0,1,0,0,0,1(CXT)1,0,0,0,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,1,1,0,0,0,1(DXT)1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,
26、1(AX设设=0.7=0.7，取初始权值，取初始权值b bijij=1/1/(1+n1+n)=)=1/261/26,t tijij=1.=1.例一例一 模式分类模式分类例一例一 模式分类模式分类4.5.1.4 4.5.1.4 网络的应用网络的应用第第1 1步：步：输入模式输入模式X X A A，将，将R R 层的层的4 4个节点中输出最大的个节点中输出最大的一个命名为节点一个命名为节点1 1，有，有j j*=1=1。由于初始化后。由于初始化后t tijij=1=1，所以相，所以相似度似度N N0 0/N/N1 1=1=1，大于警戒门限，大于警戒门限，故第一个模式被命名为第，故第一个模式被命名为
27、第一类模式。按式一类模式。按式(4.27)(4.27)修改节点修改节点1 1的内星权向量，得的内星权向量，得 T)1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,1(1T11/21,251,191,131,71,1bbbbb按式按式(4.28)(4.28)修改节点修改节点1 1的外星权向量，得的外星权向量，得其余仍为初始值其余仍为初始值1/261/26。对比输入模式。对比输入模式X X A，可以看出，以上，可以看出，以上调整结果将模式调整结果将模式X X A 存储在神经元存储在神经元1 1的内外星权向量中。的内外星权向量中。例一例一 模式分类模式
28、分类第第2 2步：步：输入模式输入模式X X B B 时，时，R R层只有一个已存储模式，故不存层只有一个已存储模式，故不存在类别归属的竞争，只需判断该模式与已存储模式在类别归属的竞争，只需判断该模式与已存储模式T T1 1=X=X A A 的的相似度，得相似度，得N N0 0/N/N1 1=5/95/9=0.7=0.7。从相似度可以看出，模式。从相似度可以看出，模式X XB B 有有9 9个黑象素，而个黑象素，而X X A A 与与X X B B 只有只有5 5个黑象素完全重合，故相似个黑象素完全重合，故相似度检验不合格。由于度检验不合格。由于R R层已没有其它已存储模式类可供选择层已没有其
29、它已存储模式类可供选择，需动用一个新节点，命名为节点，需动用一个新节点，命名为节点2 2，用以代表新模式，用以代表新模式X X B B。节 点节 点 2 2 的 外 星 权 向 量 为的 外 星 权 向 量 为T T2 2=X=X B B ，内 星 权 向 量 为，内 星 权 向 量 为其余分量均为初始值。其余分量均为初始值。19/22,252,212,192,172,132,92,72,52,1bbbbbbbbb例一例一 模式分类模式分类第第3 3步：步：输入模式输入模式X X C C 时，节点时，节点1 1和节点和节点2 2进行竞争进行竞争 节点节点1 1净输入为净输入为1.217 1.2
30、17 节点节点2 2净输入为净输入为1.1011.101节点节点1 1获胜。计算获胜。计算T T1 1与与X X的相似度，得的相似度，得N N0 0/N/N1 1=5/135/13=0.7=0.7节点节点1 1失效后，网络应在其余的存储模式类节点中搜索，失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点对于本例，只能取节点2 2作为获胜节点。于是计算作为获胜节点。于是计算X XC C与代与代表表X X B B 的的T T2 2 的相似度，得的相似度，得N N0 0/N/N1 1=9=9/13/13=0.7=0.7该结果仍不能满足要求，只能把模式视为第该结果仍不能满足要求，只能把模
31、式视为第3 3类模式。并类模式。并按式按式(4.27)(4.27)和式和式(4.28)(4.28)修改节点修改节点3 3的内外星权向量。的内外星权向量。例一例一 模式分类模式分类第第4 4步步：输入模式：输入模式X X D D 后，节点后，节点1 1、节点、节点2 2和节点和节点3 3参加竞参加竞争，结果是节点争，结果是节点3 3 获胜，计算模式获胜，计算模式X X D D与与X X C C的相似度，得的相似度，得N N0 0/N/N1 1=13/17=0.765=13/17=0.765=0.7=0.7于是于是X X D D 归入已存储的归入已存储的X X C C类，并按式类，并按式(4.27
32、)(4.27)和式和式(4.28)(4.28)修改节点修改节点3 3的内外星权向量。的内外星权向量。例一例一 模式分类模式分类例一例一 模式分类模式分类例一例一 模式分类模式分类 分分类类 分分类类注意！注意！p值的选择对分类过程的影响很大。值的选择对分类过程的影响很大。p值过大，导致分类剧增。值过大，导致分类剧增。p值太小，则不同的模式均划为同一类值太小，则不同的模式均划为同一类别。别。例一例一 模式分类模式分类例二例二 带噪声模式分类带噪声模式分类实际分类结果样本序号期望分类结果=0.95=0.90=0.8512345678910111212341122334412345678739812
33、3456777387123415263344例二例二 带噪声模式分类带噪声模式分类(1)(1)竞争学习策略竞争学习策略 竞争学习是自组织网络中最常采用的一种学习策竞争学习是自组织网络中最常采用的一种学习策略，略，胜者为王胜者为王是竞争学习的基本算法。该算法将输入是竞争学习的基本算法。该算法将输入模式向量同竞争层所有节点对应的权向量进行比较，模式向量同竞争层所有节点对应的权向量进行比较，将将欧式距离最小欧式距离最小的判为竞争获胜节点，并的判为竞争获胜节点，并仅允许获仅允许获胜节点调整权值胜节点调整权值。按照胜者为王的竞争学习算法训。按照胜者为王的竞争学习算法训练竞争层的结果必将使各节点的权向量成
34、为输入模式练竞争层的结果必将使各节点的权向量成为输入模式的的聚类中心聚类中心。(2)SOM(2)SOM神经网络神经网络SOMSOM 网络模型中的竞争机制具有生物学基础。网络模型中的竞争机制具有生物学基础。SOMSOM网的结构特点是输出层神经元可排列成线阵或平面阵。网的结构特点是输出层神经元可排列成线阵或平面阵。在网络训练阶段，对某个特定的输入模式，输出层会有某个节点产在网络训练阶段，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。获胜节点及其优胜邻域内的所有节点所连接的权生最大响应而获胜。获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作不同程度的调整，调整力度依邻
35、域内各节向量均向输入向量的方向作不同程度的调整，调整力度依邻域内各节点距获胜节点的远近而逐渐衰减。点距获胜节点的远近而逐渐衰减。网络通过自组织方式，用大量训练样本调整网络的权值，最后使输网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经细胞，对应的内星权向量成出层各节点成为对特定模式类敏感的神经细胞，对应的内星权向量成为各输入模式类的中心向量。为各输入模式类的中心向量。当两个模式类的特征接近时，代表这两类的节点在位置上也接近。当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而在输出层形成能够反映样本模式类分布情况的有序特征图。从而在输出层
36、形成能够反映样本模式类分布情况的有序特征图。(3)CPN(3)CPN神经网络神经网络 CPNCPN神经网络是由神经网络是由KohonenKohonen的自组织网和的自组织网和GrossbergGrossberg的的外星网组合而成的，其拓扑结构与三层外星网组合而成的，其拓扑结构与三层BPBP网相同。网相同。CPNCPN网网的隐层为竞争层，按照胜者为王规则进行竞争。只有竞争的隐层为竞争层，按照胜者为王规则进行竞争。只有竞争获胜节点可以调整其内外星权向量，内星权向量采用无导获胜节点可以调整其内外星权向量，内星权向量采用无导师的竞争学习算法进行调整，调整的目的是使权向量不断师的竞争学习算法进行调整，调
37、整的目的是使权向量不断靠近当前输入模式类，从而将该模式类的典型向量编码到靠近当前输入模式类，从而将该模式类的典型向量编码到获胜神经元的内星权向量中。输出层采用有导师的外星学获胜神经元的内星权向量中。输出层采用有导师的外星学习规则调整，调整的目的是使外星权向量不断靠近并等于习规则调整，调整的目的是使外星权向量不断靠近并等于期 望 输 出，从 而 将 该 输 出 编 码 到 外 星 权 向 量 中。期 望 输 出，从 而 将 该 输 出 编 码 到 外 星 权 向 量 中。(4)ART(4)ART神经网络神经网络 ARTART网接的运行分为网接的运行分为4 4个阶段：个阶段：匹配阶段接受来自环境的
38、输入匹配阶段接受来自环境的输入模式，并在输出层与所有存储模式类进行匹配竞争，产生获胜节点；模式，并在输出层与所有存储模式类进行匹配竞争，产生获胜节点；比较阶段按参考门限检查该输入模式与获胜模式类的典型向量之间比较阶段按参考门限检查该输入模式与获胜模式类的典型向量之间的相似程度，相似度达标进入学习阶段，不达标则进入搜索阶段；的相似程度，相似度达标进入学习阶段，不达标则进入搜索阶段；搜索阶段对相似度不超过参考门限的输入模式重新进行模式类匹配，搜索阶段对相似度不超过参考门限的输入模式重新进行模式类匹配，如果与所有存储模式类的匹配不达标，就需要在网络中设立一个新的如果与所有存储模式类的匹配不达标，就需
39、要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式；及后来输入的所有同类模式；学习阶段对相似度超过参考门限的所学习阶段对相似度超过参考门限的所有模式类，选择最相似的作为该模式的代表类，并调整与该类别相关有模式类，选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。的相似度。给定给定5 5个个4 4维输入模式如下：维输入模式如下：试设计一个具有试设计一个具
40、有5 5 5 5神经元平面阵的神经元平面阵的SOMSOM网，建议学习率网，建议学习率(t)(t)在前在前10001000步训练中从步训练中从0.50.5线性下降至线性下降至0.040.04，然后在训练到，然后在训练到10,00010,000步时步时减小至减小至0 0。优胜邻域半径初值设为。优胜邻域半径初值设为2 2个节点个节点(即优胜邻域覆盖整个输即优胜邻域覆盖整个输出平面出平面)，10001000个训练步时减至个训练步时减至0(0(即只含获胜节点即只含获胜节点)。每训练。每训练200200步步保留一次权向量，观察其在训练过程中的变化。给出训练结束后保留一次权向量，观察其在训练过程中的变化。给出训练结束后，5 5个输入模式在输出平面的映射图。个输入模式在输出平面的映射图。00011X00112X01113X00104X11115X
