神经网络-配套-Ch16pres课件.ppt

1、161自适应谐振理论(ART)162竞争网络学习过程稳定性问题 稳定性：当有许多输入送进一个竞争网络时，不能保证网络总是形成稳定聚类，即不能保证权值会最终收敛。可塑性：网络的自适应性，即先前学到的内容被后面的学习内容破坏掉。稳定性/可塑性二难问题如何能让网络既能最大限度地接纳新的模式，同时又能保证较少地影响已学到的模式？163基本的ART体系结构第1层第2层调整子系统重置增益控制期望值输入ART1：处理二值离散信号；ART2：处理连续模拟信号；ART3：兼容前两种结构的功能并将两层网络扩大为任意多层网络。164ART 子系统第1层比较输入模式和期望值L1-L2 连接(Instars)完成聚类操

2、作W1:2的每一行是一个原型模式第2层竞争,对比度增强L2-L1连接(Outstars)期望值完成模式回忆W2:1的每一列是一个原型模式调整子系统当期望值和输入不匹配时重置废除当前取胜的神经元165ART1的第1层增益控制期望值二值向量二值向量166第1层的操作dn1t()dt-n1t()b+1n1t()pW2:1a2t +n1t()b-1+W-1a2t +=a1hardlim+n1=hardlim+n 1,n00,n0=并联模型：激励输入(与期望值比较)抑制输入(增益控制)Outstar回忆167第1层的激励输入pW2:1a2t +假设第2层的神经j竞争获胜（采用“胜者全得”的竞争方法）：W

3、2:1a2w12:1w22:1wj2:1wS22:1001wj2:1=pW2:1a2+pwj2:1+=(W2:1的第j列)因此，激励输入是输入模式与L2-L1期望值的和：168第1层的抑制输入W-1a2t W-11 111 111 11=当第2层活跃时（一个神经元竞争获胜），增益控制是一个元素全为1的 维向量，当第2层不活跃时（所有神经元的输出是零），增益控制是一个0向量。增益控制：1S169稳定状态分析：情况Idni1dt-ni1b+1ni1 piwi j2:1aj2j1=S2+ni1b-1+aj2j1=S2+=情况I：第2层不活跃(每个a2j=0)dni1dt-ni1b+1ni1 pi+=

4、在稳定状态时：a1p=因此，如果第2层不活跃：0ni1b+1ni1pi+1pi+ni1b+1pi+=ni1b+1pi1pi+-=Pi取值为0或11610稳定状态分析：情况II情况II：第2层活跃(一个a2j=1)dni1dt-ni1b+1ni1 piwi j2:1+ni1b-1+=在稳定状态：0ni1b+1ni1 piwi j2:1+ni1b-1+1piwi j2:11+ni1b+1piwi j2:1+b-1+=ni1b+1piwi j2:1+b-12piwi j2:1+-=我们希望第1层使用逻辑AND运算结合输入向量和来自第2层的期望值：n1i0,如果w2:1i,j 和 pi 等于1；n1i

5、0,如果w2:1i,j 或 pi 等于0。b+12 b-10b+1b-10b+12 b-1b+1a1pwj2:1=因此，如果第2层活跃并且偏置满足上述条件：1611第1层小结如果第2层活跃(一个a2j=1)且满足 ：a1pwj2:1=如果第2层不活跃(每个 a2j=0)：a1p=b+12 b-1b+11612第1层的例子=0.1,+b1=1 和-b1=1.5W2:11 10 1=p01=0.1dn11dt-n111n11 p1w1 22:1+n111.5+n111n11 01+n111.5+3n110.5=0.1dn21dt-n211n21 p2w2 22:1+n211.5+n211n21 1

6、1+n211.5+4n210.5+=dn11dt-30n115=dn21dt-40n215+=设第2层活跃，并且神经元2赢得竞争。1613例子的响应n11t 16-1e30t=n21t 18-1e40 t=pw22:1011101a1=1614ART1的第2层加强中心抑制周围保证输出为二值信号用于“加强中心/抑制周围”式反馈连接1615第2层的操作激励输入加强中心反馈Instar识别抑制输入抑制周围反馈并联模型：n2t()b-2+W-2f2n2t()()?b+2n2t()W+2f2n2t()()W1:2a1+dn2t()dt-n2t()=1616第2层的例子0.1=b+211=b-211=W1

7、:2w1:21Tw1:22T0.5 0.510=f2n()10 n 2,n00,n0=0.1dn12t()dt-n12t()1n12t()f2n12t()()w1:21Ta1+n12t()1+f2n22t()()+=0.1dn22t()dt-n22t()1n22t()f2n22t()()w1:22Ta1+n22t()1+f2n12t()().+=（快于线性，胜者全得）考虑有两个神经元的一层：1617例子的响应w1:22Ta1n22t w1:21Ta1n12t a201=ta110=1618第2 层小结ai21,ifw1:2iTa1maxw1:2jTa1=0,otherwise=1619调整子系

8、统目的：判定L2-L1期望值(a1)与输入模式(p)之间是否充分的匹配。1620调整子系统的操作dn0t()dt-n0t()b+0n0t()W+0pn0t()b-0+W-0a1+=W+0pa a apapjj1=S1ap2=激励输入当激励输入大于抑制输入时，调整子系统就会被驱动。抑制输入W-0a1b b ba1baj1t j1=S1ba12=Pj取值为0或11621稳定状态的操作0n0b+0n0 ap2n0b-0+ba12+=1ap2ba12+n0b+0ap2b-0ba12+=b+0b-01=设重置警戒n0b+0ap2b-0ba121ap2ba12+-=n00ifa12p2-ab-r=警戒值决

9、定了由原型向量创建的分类(或聚类)的粗略情况。因为a1=pwj2:1，总有 ，所以当 p与wj2:1不充匹配时重置将发生。警戒值r必须满足0 r 1，即a b。如果r接近1，a1必须非常接近p，否则将引起重置；如果r接近0，a1不接近p也能防止重置。212ap，则当0212apba时，00n，也即：1622调整子系统的例子=0.1,a=3,b=4(r=0.75)p11=a110=0.1dn0t()dt-n0t()1n0t()3 p1p2+n0t()1+4 a11a21+=dn0t()dt-110n0t()20+=tn0t 1623调整子系统小结a01,ifa12p2r0,其它=1624学习规则

10、：L1-L2 和 L2-L1ART1网络有两个分别的学习规则：一个用于L1-L2连接(instar)，调W1:2的值；另一个用于L2-L1连接(outstar)，调W2:1的值。当输入和期望值适当的匹配时，两个连接是同时更新的。匹配的过程以及随后的适应过程被称为谐振。调整子系统重置增益控制期望值1625子集/超集二难问题W1:21 1 01 1 1=w1:21110=w1:22111=a1110=设那么其原型模式是：我们认为1w1:2是2w1:2的子集，因为w1:2中有1的地方2w1:2中也有1。W1:2a11 1 01 1 111022=如果第1层的输出是那么第2层的输入将是：尽管第一个原型

11、向量与a1相等而与第二个不等，两个原型向量都有与a1相同的内积。这称为 子集/超集 二难问题。ART1第一层没有对输入模式规格化所导致1626子集/超集二难的解决格式化原型模。W1:212-12-013-13-13-=W1:2a112-12-013-13-13-110123-=现在我们得到想要的结果：第一个原型模式与输入有最大的内积。1627L1-L2：学习规则dw1:2it dt-ai2t b+w1:2it W+a1t w1:2it b-+W-a1t ,=带竞争的Instar学习W+1 000 100 01=b-000=b+111=W-0 111 011 10=其中当第2层神经元i活跃时，i

12、w1:2 向着a1 的方向移动。iw1:2的元素参与竞争且元素被限制在0与1之间，因此iw1:2被规格化（见书P358对规格化的解释）。加强中心连接抑制周围连接上限偏置下限偏置1628快速学习dwi j1:2t dt-ai2t 1wi j1:2t aj1t wi j1:2t ak1t kj=快速学习：假设第1层和第2层的输出在权值到达稳定状态前保持恒定不变。设 a2i(t)=1,求稳定状态的权值：01wi j1:2aj1wi j1:2ak1kj=情况 I:a1j=101wi j1:2wi j1:2a121a121+wi j1:2+=wi j1:2a121+-=情况 II:a1j=00wi j1

13、:2a12=wi j1:20=小结w1:2ia1a121+-=iw1:2被规格化（见书P358的解释）其中，以保证分母不等于011629学习规则：L2-L1Outstar学习：dwj2:1t dt-aj2t wj2:1t a1t +=快速学习(假设第1层和第2层的输出在权值到达稳定状态前保持恒定不变)：设 a2j(t)=1,求稳定状态的权值：0wj2:1a1+=wj2:1a1=或W2:1 的第 j 列 收敛到第 1 层的输出 a1，a1 是输入模式与先前原型模式的结合。原型模式被修改为合并当前的输入模式。1630ART1 算法总结0)W2:1矩阵所有元素的初始值置为 1，这样第二层一个新神经元

14、竞争获胜，谐振就会发生，因为此时必有 ，意味着W2:1 中的任一未经训练的列都是一个有效的空白记录，从而可以与任何输入模式发生匹配。W1:2矩阵的每一行都应该是W2:1中各列的规格化表示，所有元素的初始值置为 。a1p=2)计算第2层的输入，第2层中拥有最大输入的神经元被激活：ai21,ifw1:2iTa1maxw1:2kTa1=0,otherwise=在有多个相等的最大输入情况，具有最小下标的神经元视为胜者。3)计算 L2-L1 的期望值：W2:1a2wj2:1=1)提交输入模式。因为第2层不活跃：r1|/|221a)1/(1S1631ART1 算法总结(续)4)调整第 1 层的输出使它包含 L2-L1 期望值：a1pwj2:1=5)调整子系统判定期望值与输入模式的匹配程度：a01,ifa12p2r0,其它=6)如果 a0=1,那么置 a2j=0,抑制它直到发生谐振(足够的匹配)，返回第 1 步。如果 a0=0,继续第7步。7)谐振发生。更新 W1:2 的第 j 行：w1:2ja1a121+-=8)更新 W2:1 的第 j 列：9)撤消输入模式，恢复第 2 层中所有抑制的神经元，然后返回第 1 步接收新的输入模式。wj2:1a1=