《人工神经网络理论、设计及应用》课件第四章cpn.ppt

1、4.44.4对偶传播神经网络对偶传播神经网络 19871987年，美国学者年，美国学者Robert Hecht-NielsenRobert Hecht-Nielsen提出提出对偶传播神经网络模型对偶传播神经网络模型(Counter-Propagation(Counter-Propagation NetworkNetwork，缩写为，缩写为CPN)CPN)d1 dk dl o1 ok ol W1 Wk Wl 输输 出出 层层 y1 y2 yj ym 竞竞 争争 层层 V1 Vm 输输 入入 层层 x1 x2 xi xn-1 xn对对偶偶传传播播网网络络 4.4.1 4.4.1 网络结构与运行原理

2、网络结构与运行原理 X X(x x1 1,x,x2 2,x,xn n)T T Y Y(y y1 1,y,y2 2,y,ym m)T T，y yi i0,10,1，i i=1,2,=1,2,m,m O O(o o1 1,o,o2 2,o,ol l)T T d d(d d1 1,d,d2 2,d,dl l)T T V=V=(V V1 1,V,V2 2,V,Vj j,V,Vm m)W=W=(W W1 1,W,W2 2,W,Wk k,W,Wl l)对偶传播神经网络对偶传播神经网络网络各层的数学描述如下：网络各层的数学描述如下：o1 ok ol o1 ok ol W1 Wk Wl W1 Wk Wl y1

3、 y2 yj*ym y1 y2 y j*ym V1 Vm V1 Vm x1 xi xn x1 xi xn (a)竞竞争争产产生生获获胜胜节节点点 (b)获获胜胜节节点点外外星星向向量量决决定定输输出出对偶传播神经网络对偶传播神经网络CPNCPN网运行过程网运行过程4.4.2 CPN4.4.2 CPN的学习算法的学习算法 第一阶段用竞争学习算法对输入层至隐层的内第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练，步骤如下：星权向量进行训练，步骤如下：(1)(1)将所有内星权随机地赋以将所有内星权随机地赋以0 01 1之间的初始值，并归一化为单位长之间的初始值，并归一化为单位长度，训练集内的

4、所有输入模式也要进行归一化。度，训练集内的所有输入模式也要进行归一化。(2)(2)输入一个模式输入一个模式X Xp p，计算净输入，计算净输入netnetj j=，j=1,2,j=1,2,m,m。(3)(3)确定竞争获胜神经元。确定竞争获胜神经元。(4)CPN(4)CPN网络的竞争算法不设优胜邻域，因此只调整获胜神经元的内网络的竞争算法不设优胜邻域，因此只调整获胜神经元的内星权向量，调整规则为星权向量，调整规则为(5)(5)重复步骤重复步骤(2)(2)至步骤至步骤(4)(4)直到下降至直到下降至0 0。需要注意的是，权向量经。需要注意的是，权向量经过调整后必须重新作归一化处理。过调整后必须重新

5、作归一化处理。)()()()1(*ttttjjjWXWWXVTj对偶传播神经网络对偶传播神经网络4.4.2 CPN4.4.2 CPN的学习算法的学习算法 第二阶段采用外星学习算法对隐层至输出层的外星权向量进行训第二阶段采用外星学习算法对隐层至输出层的外星权向量进行训练，步骤如下：练，步骤如下：(1)(1)输入一个模式对输入一个模式对X Xp p,d,dp p，计算净输入，计算净输入netnetj j=，j=1,2,j=1,2,m,m，(2)(2)确定竞争获胜神经元，使确定竞争获胜神经元，使 (4.17)(4.17)(3)(3)调整隐层到输出层的外星权向量，调整规则为调整隐层到输出层的外星权向量

6、，调整规则为 (4.18)(4.18)o ok k由下式计算由下式计算 XVTj*10jjjjyjlk,.,m,jtodttWtWkkjkjk,.,2,121)()()()1(lkjjkkywto1)(kjjkjkwywto*)(4.19)(4.20)对偶传播神经网络对偶传播神经网络4.4.2 CPN4.4.2 CPN的学习算法的学习算法lk,.,m,jtodttWtWkkjkjk,.,2,121)()()()1(kjjkjkwywto*)(4.18)(4.20)外星权向量调整规则外星权向量调整规则:*)()()()()1(jjtwdttWjjtWtWjkkjkjkjk(4.21)(4)(4)

7、重复步骤重复步骤(1)(1)至步骤至步骤(3)(3)直到下降至直到下降至0 0。对偶传播神经网络对偶传播神经网络4.4.3 4.4.3 对偶传播神经网络对偶传播神经网络4.4.3.1 4.4.3.1 双获胜节点双获胜节点CPNCPN网网输输入入模模式式 期期望望输输出出 （1 0 0 1 0 0 1 0 0）输输入入模模式式 期期望望输输出出 （1 0 0 1 0 0 1 0 0）(a)训训练练集集 (b)训训练练时时单单节节点点获获胜胜 (c)运运行行时时对对复复合合模模式式 双双节节点点获获胜胜4.4.3.2 4.4.3.2 双向双向CPNCPN网网 X Y X Y Y Y=f(X X)X X =f(Y Y )当向网络输入当向网络输入(X X,0 0)时，网络输出为时，网络输出为(Y Y,0 0)；当向网络；当向网络输入输入(0 0,Y Y )时，网络输出为时，网络输出为(0 0,X X )，当向网络输入，当向网络输入(X X,Y Y)时，时，网络输出为网络输出为(Y Y,X X )。4.4.4 CPN4.4.4 CPN网络的应用网络的应用 H C1 C2 C3 C4 L S H S L (a)烟叶颜色样本烟叶颜色样本 (b)CPN 网络网络