1、INSTITUTE OF COMPUTING TECHNOLOGYINSTITUTE OF COMPUTING TECHNOLOGY2023-2-81神经信息学神经信息学 自组织网络自组织网络-自适应谐振理论自适应谐振理论史忠植史忠植中科院计算所中科院计算所INSTITUTE OF COMPUTING TECHNOLOGY2023-2-82目目 录录1 ART的结构的结构 2 ART的初始化的初始化 3 ART的实现的实现识别、比较识别、比较 、查找查找、训练训练4 ART2 4 ART2 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-83自适应谐振理论自适应
2、谐振理论l自适应共振理论自适应共振理论ART(Adaptive Resonance Theory)模型是美国模型是美国Boston大学的大学的SGrossberg和和ACarpenet在在1976年提出的。年提出的。lART是一种自组织神经网络结构，是无教师是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，的学习网络。当在神经网络和环境有交互作用时，对环境信息的编码会自发地在神经网中产生，则对环境信息的编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。认为神经网络在进行自组织活动。ART就是这就是这样一种能自组织地产生对环境认识编码的神经网样一种能自组织地
3、产生对环境认识编码的神经网络理论模型。络理论模型。网络的可塑性需要的网络的可塑性需要的4 4项功能项功能INSTITUTE OF COMPUTING TECHNOLOGY2023-2-84自适应谐振理论自适应谐振理论Grossberg一直对人类的心理和认识活动感兴趣，一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学项活动，建立人类的心理和认知活动的一种统一的数学模型和理论。模型和理论。ART模型是基于下列问题的求解而提出的：模型是基于下列问题的求解而提出的：l1对于
4、一个学习系统，要求它有适应性及稳定性，对于一个学习系统，要求它有适应性及稳定性，适应性可以响应重要事件，稳定性可以存储重要事件。适应性可以响应重要事件，稳定性可以存储重要事件。这种系统的设计问题。这种系统的设计问题。l2学习时，原有的信息和新信息如何处理，保留学习时，原有的信息和新信息如何处理，保留有用知识，接纳新知识的关系如何及解决的问题。有用知识，接纳新知识的关系如何及解决的问题。l3对外界信息与原存储的信息结合并决策的问题。对外界信息与原存储的信息结合并决策的问题。INSTITUTE OF COMPUTING TECHNOLOGY2023-2-85自适应谐振理论自适应谐振理论ART理论已
5、提出了三种模型结构，即理论已提出了三种模型结构，即ARTt，ART2，ART3。lART1用于处理二进制输入的信息；用于处理二进制输入的信息；lART2用于处理二进制和模拟信息这两种输用于处理二进制和模拟信息这两种输人；人；lART3用于进行分级搜索。用于进行分级搜索。lART理论可以用于语音、视觉、嗅觉和字符理论可以用于语音、视觉、嗅觉和字符识别等领域。识别等领域。INSTITUTE OF COMPUTING TECHNOLOGY2023-2-86ART总体结构图 X识别层识别层C(B)P(T)RC复位复位G2G1识别控制识别控制比较控制比较控制比较层比较层复位控制复位控制精度控制参数精度控
6、制参数INSTITUTE OF COMPUTING TECHNOLOGY2023-2-87ARTART的结构的结构X=(x1，x2，xn)R=(r1，r2，rm)C=(c1，c2，cn)P=(p1，p2，pn)Ti=(ti1，ti 2，ti n)Bi=(b1i，b2i，bni)INSTITUTE OF COMPUTING TECHNOLOGY2023-2-88ART的结构ltij表示识别层的第表示识别层的第i个神经元到比较层的第个神经元到比较层的第j个个神经元的联接权神经元的联接权lbij表示比较层的第表示比较层的第i个神经元到识别层的第个神经元到识别层的第j个个神经元的联接权神经元的联接权l
7、pi为比较层的第为比较层的第i个神经元的网络输入个神经元的网络输入mjjijitrp1INSTITUTE OF COMPUTING TECHNOLOGY2023-2-89比较层和识别层比较层和识别层rmr2r1T1p1c1TBB1x1G1p2c2cnpn复位复位 G2复位复位 G2T2TmBmB2XnG1x2 G1复位复位 G2识别层识别层比较层比较层INSTITUTE OF COMPUTING TECHNOLOGY2023-2-810ART ArchitectureINSTITUTE OF COMPUTING TECHNOLOGY2023-2-811ART ArchitectureINSTI
8、TUTE OF COMPUTING TECHNOLOGY2023-2-812ART ArchitectureINSTITUTE OF COMPUTING TECHNOLOGY2023-2-813ART ArchitectureINSTITUTE OF COMPUTING TECHNOLOGY2023-2-814ART Architecture INSTITUTE OF COMPUTING TECHNOLOGY2023-2-815ART Architecture INSTITUTE OF COMPUTING TECHNOLOGY2023-2-816比较层输出信号控制 G1=(r1r2rm)(x1
9、x2xn)识别层输出信号控制识别层输出信号控制 G2=x1x2xn INSTITUTE OF COMPUTING TECHNOLOGY2023-2-817比较层比较层 l执行执行2/32/3规则规则 ci=1 xi+pi+G122 ci=0 xi+pi+G1 2 2kikikm1jjijittrtrpC=X P=Tk ci=xipi 待命期待命期工作周期工作周期 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-818识别层识别层 l识别层实现竞争机制识别层实现竞争机制lBk与与C有最大的点积有最大的点积 n1iiikcb X的的“暂定暂定”代表代表RNk所获得的
10、网络输入为所获得的网络输入为 mj1|cbmaxcbn1in1iiijiik与与RN1，RN2，RNm相对应相对应向量向量B1，B2，Bm代表不同分类代表不同分类 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-819系统复位控制系统复位控制 X与与C的相似度的相似度 s，当前处于激发态的，当前处于激发态的RNk所对应的所对应的Bk、Tk为为X的类表示；的类表示；s，此，此RNk所对应的所对应的Bk、Tk不能很好地代不能很好地代表表X，需要重新寻找，需要重新寻找 n1iin1iixcsINSTITUTE OF COMPUTING TECHNOLOGY2023-2
11、-820ARTART的初始化的初始化 lT的初始化的初始化l矩阵矩阵T的所有元素全为的所有元素全为1 lB的初始化的初始化b bijijL/(L-1+n)L/(L-1+n)ln为输入向量的维数；为输入向量的维数；L为一个大于为一个大于1的常数，其值的常数，其值应该与输入向量的位数相关应该与输入向量的位数相关lT Tk k、B Bk k是是RNRNk k对应类的两种不同表示对应类的两种不同表示 l的初始化的初始化l0,1 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-821ART的实现 l四个阶段：识别、比较、查找、训练四个阶段：识别、比较、查找、训练l一、识别
12、一、识别 lX(非非0 0向量向量)未被加在网上时未被加在网上时lG2=0 G2=0 lR=(rR=(r1 1，r r2 2，r rm m)=(0)=(0，0 0，0)0)lX(非非0 0向量向量)被加在网络上时被加在网络上时lG1=G2=1 G1=G2=1 lR=0R=0导致导致P=(pP=(p1 1，p p2 2，p pm m)=(0)=(0，0 0，0)0)INSTITUTE OF COMPUTING TECHNOLOGY2023-2-822ARTART的实现的实现l在识别层，每个在识别层，每个RNk完成的操作完成的操作l计算计算b bikikc ci i l接收来自其它接收来自其它RN
13、的抑制信号，并向其它的的抑制信号，并向其它的RN发出发出抑制信号抑制信号 l确定自己的输出状态确定自己的输出状态 l完成输出完成输出 lRNRN之间的抑制连接与抑制信号之间的抑制连接与抑制信号l如果如果RNRNk k输出输出1 1，则表明，在本轮识别中，则表明，在本轮识别中，X X暂暂时被认为时被认为是属于该是属于该RNRNk k所对应的类所对应的类 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-823比较比较 lX归于归于RNk，RNk的输出值的输出值1被分别以权重被分别以权重tkj传送到比传送到比较层较层 l向量向量P就是向量就是向量Tk lT的初始化及训
14、练保证了的初始化及训练保证了T的每个元素取值为的每个元素取值为0或者或者1 lBk与与T k根据根据RNk进行对应，互为变换形式进行对应，互为变换形式 l如果对于所有的如果对于所有的j，1jjn，pj=xj，则表示，则表示X获得良获得良好的匹配。如果存在好的匹配。如果存在j，使得，使得pjxj，则表明，则表明X与相应的与相应的“类类”的代表向量并不完全一致的代表向量并不完全一致 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-824比较比较l当系统复位控制模块计算当系统复位控制模块计算X和和C的相似度的相似度s l如果如果s，表明本轮所给出的类满足精度要求。查，
15、表明本轮所给出的类满足精度要求。查找成功，系统进入训练周期找成功，系统进入训练周期 l如果如果s，表明本轮所给类不满足精度要求。，表明本轮所给类不满足精度要求。l复位模块要求识别层复位，使所有复位模块要求识别层复位，使所有RN输出输出0l系统回到开始处理系统回到开始处理X的初态，重新进行搜索的初态，重新进行搜索l复位信号屏蔽本次被激发的复位信号屏蔽本次被激发的RN，在下一轮匹配中，在下一轮匹配中，该该RN被排除在外，以便系统能够找到其它更恰当被排除在外，以便系统能够找到其它更恰当的的RN INSTITUTE OF COMPUTING TECHNOLOGY2023-2-825查找查找 l如果如果
16、s，认为网络查找成功，此时分类完，认为网络查找成功，此时分类完成，无需再查找成，无需再查找 l如果如果s0.5时，选择时，选择RN1就不能满足精度要求，此时就不能满足精度要求，此时网络就需要进入查找工作阶段网络就需要进入查找工作阶段1、RN1获胜获胜2 2、C C取值（取值（1 1，0 0，0 0，0 0，0 0）3 3、5.05151iiiixcsINSTITUTE OF COMPUTING TECHNOLOGY2023-2-832查找查找4、s，所以对网络进行训练：，所以对网络进行训练：T2=C。显然，其原值被破坏了。而当我们选择一个适当显然，其原值被破坏了。而当我们选择一个适当的的L，同
17、时在调整，同时在调整B时保留，这个问题就可以避时保留，这个问题就可以避免了。免了。INSTITUTE OF COMPUTING TECHNOLOGY2023-2-840训练训练 l网络的分类并不是一成不变的网络的分类并不是一成不变的 l继续使用上面例子中的输入向量，取继续使用上面例子中的输入向量，取L=6，初，初始化使始化使B的所有元素均取值的所有元素均取值0.61、X1的输入导致的输入导致RN1被激发；被激发；B1被训练后取值被训练后取值为（为（1，0，0，0，0）2 2、输入、输入X2时，时，RN1、RN2所获得的网络输入分所获得的网络输入分别为别为1和和1.8，这导致，这导致RN2被激发
18、；被激发；B2被训练后被训练后取值为（取值为（0.6，0，0，0.6，0.6）INSTITUTE OF COMPUTING TECHNOLOGY2023-2-841训练训练3、如果如果X1再次被输入，再次被输入，RN1、RN2所获得的网所获得的网络输入分别为络输入分别为1和和0.6，从而正确的神经元被激，从而正确的神经元被激发；如果发；如果X2再次被输入，再次被输入，RN1、RN2所获得的所获得的网络输入分别为网络输入分别为1和和1.8，从而也仍然有正确的，从而也仍然有正确的神经元被激发神经元被激发4 4、当、当X3被输入时，被输入时，RN1、RN2所获网络输入分所获网络输入分别为别为1和和1
19、.2，从而，从而RN2被激发，此时，被激发，此时，T2=（1，0，0，1，1）被 送 入 比 较 层，使 得）被 送 入 比 较 层，使 得C=T2X3=X3。从而导致。从而导致s=1INSTITUTE OF COMPUTING TECHNOLOGY2023-2-842训练训练5、网络进入训练：网络进入训练：T2、B2被修改被修改T2=（1，0，0，1，0）B2=（6/7，0，0，6/7，0）6 6、当再次输入、当再次输入X2时，时，RN1、RN2所获得的网络所获得的网络输入分别为：输入分别为：1和和12/7，这再次导致，这再次导致RN2被激发。被激发。但是，此时识别层送给比较层的但是，此时识
20、别层送给比较层的T2=（1，0，0，1，0）。从而有）。从而有s=2/3，如果系统的复位控制，如果系统的复位控制参数参数2/3，此时系统会重新为，此时系统会重新为X3选择一个新选择一个新的神经元的神经元l可以让可以让ART在训练完成后，再投入运行在训练完成后，再投入运行 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-843ART ImplementationINSTITUTE OF COMPUTING TECHNOLOGY2023-2-844ART ImplementationINSTITUTE OF COMPUTING TECHNOLOGY2023-2-84
21、5ART ImplementationINSTITUTE OF COMPUTING TECHNOLOGY2023-2-846ART AlgorithmINSTITUTE OF COMPUTING TECHNOLOGY2023-2-847ART AlgorithmINSTITUTE OF COMPUTING TECHNOLOGY2023-2-848ART AlgorithmINSTITUTE OF COMPUTING TECHNOLOGY2023-2-849ART AlgorithmINSTITUTE OF COMPUTING TECHNOLOGY2023-2-850ART2 INSTITUTE
22、 OF COMPUTING TECHNOLOGY2023-2-851ART2INSTITUTE OF COMPUTING TECHNOLOGY2023-2-852ART2INSTITUTE OF COMPUTING TECHNOLOGY2023-2-853ART2INSTITUTE OF COMPUTING TECHNOLOGY2023-2-854ART2INSTITUTE OF COMPUTING TECHNOLOGY2023-2-855ART2 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-856ART2INSTITUTE OF COMPUTING TECHNOLOGY2023-2-857ART2INSTITUTE OF COMPUTING TECHNOLOGY2023-2-858ART2 INSTITUTE OF COMPUTING TECHNOLOGY2023-2-859ART2
