1、2.2 连接主义方法连接主义方法 Parallel Distributed Processing(PDP)Parallel Distributed Processing(PDP)主张主张智能出现于简单的通过相互连接作用的单元构成的系统中，且系统通过学习可以调整神经元之间的连接表达表达输入参数的建立输出结果的解释实现实现训练 网络学习的过程输输入入输输出出单元单元连接连接 适用的任务适用的任务 分类：分类：判定输入数值属于哪一类 模式识别模式识别：辨识数据中的结构或模式 联想记忆联想记忆：基于内容的记忆唤醒 预测预测：根据输入值，通过推理给出结果 优化优化：约束下的“最佳”状态John Von
2、Neuman(19031957)美籍匈美籍匈牙利人数学家，对人牙利人数学家，对人工智能的贡献：工智能的贡献：细胞自动机细胞自动机 celluar automata 神经计算 neurally inspired approaches to computationDonald Olding Hebb19041985,加拿大加拿大心理学家心理学家，对人工智，对人工智能的贡献：能的贡献：细胞集合细胞集合 Cell assembly赫布律赫布律Hebbian Rule 脊椎动物神经元结构脊椎动物神经元结构树突树突树突树突突触突触突触突触胞体胞体胞体胞体轴突轴突神经细胞工作状态神经细胞工作状态毫秒毫秒 k
3、1 k2 kp(.)x1x2xpuk输出输出yk k激活函数激活函数输入输入基本神经元模型基本神经元模型组成三要素：组成三要素：连接、求和、激活函数连接、求和、激活函数数学表达式：数学表达式：激活函数的类型：激活函数的类型：阈值函数阈值函数：分段线性函数分段线性函数：pjjkjkxu0)(kkkuykkkkkkuuu,0,1)(11,01,2)1(1,1)(kkkkkkkkkkkuuuuu激活函数激活函数Sigmoid函数：函数：)(exp(11)(kkkkkuu连续可导 有向图表示神经网络有向图表示神经网络Niiixw0 x0=-1x1x2xpykw1w2wnw0输输入入权权重重Niiixw
4、f0)(激活函数激活函数 有向图表示神经元有向图表示神经元 相关概念相关概念网络拓扑：网络拓扑：独立神经独立神经元之间的元之间的连接模式连接模式学习算法：学习算法：网络训练网络训练方法方法编码系统：编码系统：输入数据输入数据和输出结和输出结果的解释果的解释MP模型（模型（McCulloch-Pitts Neuron）yAND0,10,1)sgn(222vvvyxv1iiixwT真值表真值表x1 x2 y-1 -1 -1 1 -1 -1-1 1 -1 1 1 1yAND=x1 x2w0=-2x1x2w1=1w2=1x0=1yOR0,10,1)sgn(112vvvyxv1iiixwT 真值表真值表
5、x1 x2 y-1 -1 -1 1 -1 1-1 1 1 1 1 1yOR=x1 x2w0=-1x1x2w1=1w2=1x0=1输入节点输入节点输入层 隐层 输出层 前馈网络前馈网络输出节点输出节点 计算单元计算单元 输入单元输入单元输入节点输入节点输出节点输出节点反馈网络反馈网络环境环境教师教师学习学习系统系统误差信号误差信号-+环境状态信号环境状态信号期望响应期望响应实际响应实际响应环境环境学习学习系统系统环境状态环境状态环境环境学习学习系统系统评价评价输出输出作用作用状态状态输入输入0,10,1)sgn(112vvvyxv1iiixwTw0=-1x1x2w1=1w2=1x0=1yiiii
6、xxwsigndcw)(e=0，wi=0e0，wi 0e0，wi 0学习过程：通过权重学习过程：通过权重调节，使得网络输出调节，使得网络输出平均误差最小化平均误差最小化e=d-yiiiiiicxwecxweexwsignd2,02,02,0,2 1,1)(,1,1 e=d-yiiiiiiiiiixwwxxwwxxwxwxw,0,0,0,02211e=d-yiiiiiiiiiixwwxxwwxxwxwxw,0,0,0,02211T1)(n)(n),.,x(n),x,xnn21xT1)(n)(n),.,(n),nn21w)()(sgn()y(nnnxwTx(n)y(n)-d(n)w(n)1)w(n
7、X1（n）x0=1 1 0Od0d=1d=-1133x)(12-4x)(10.5-2x)(x(n)x(n)(n)sgn(wd(n)21w(n)T75.1,5.2)0(w111x)(2.751.5-1175152w(1)w(0)w(2)1111221w(1)2O(1)-d(1)11175152sgn1O.,.)(1.751-1-0.575251w(2)w(2)w(3)1-0.510.5-221w(2)2O(1)-d(1)110.5-75251sgn2O.,.)(0,1012.752131.751-w(3)w(3)w(4)1313221w(3)2O(3)-d(3)1131,1.75sgnO(3)2
8、.752w(4)w0012-021w(4)0O(4)-d(4)112-75.2,2sgn)4(O0d=1d=-1sigmoid函数：函数：)exp(11)(00NiiiNiiiiixwxwfowiEwi wi 梯度下降学习梯度下降学习要求函数连续可导要求函数连续可导jiijiiiijxxwoodcw)()(2)(21iiiodE)()(21(2iiiiiiiodoodoEkiiikiikwoodwooEwE)(kiiikiiiiixxwfwoxwfo)()(kiiiiikxxwfodwE)()(kiiiiikxxwfodcw)()()()()(nyndnekkkkkneEJ)(212kknen
9、)(21)(2j单元误差信号：单元误差信号：设设j单元平方误差：单元平方误差：y0=-1yk(n)ik(n)i(n)()yi(n)ji(n)j(n)()yj(n)-1dj(n)ej(n)()()(nyndnejjj)(212nej输出端总平方误差：输出端总平方误差：c c包括所有输出单元包括所有输出单元设训练集样本总数为设训练集样本总数为N N，平方误差均值：，平方误差均值：目标函数目标函数E EAVAVBPBP算法推导：算法推导：对于节点对于节点j j)(21)(2nenEjcj)(11nENENnAV)()()()()(0nvnynynnvjjjiPijij连接连接权重变化权重变化引起的均
10、方误差变化率，即：引起的均方误差变化率，即：权值修正量：权值修正量：局部梯度局部梯度)()()()()()1()()()()()()()()()()()(nynvnenynvnennvnvnynynenenEnnEijjjijjjjijjjjjjji)()()()()()()()(nynnynvnennEnijijjjjiji j为输出单元为输出单元:i为隐元为隐元:j为输出单元：为输出单元：)()()()(nvnyndnjjj)()()()(nvnynEnjjjcjjnenE)(21)(2jijjjjjijjinynvnvnenenynenenynE)()()()()()()()()()()
11、()()()()()()()()(nynnvnvnvnenyndneiqijijjjjjjjyj(n)dj(n)ej(n)yi(n)yk(n)()()()()(0nvnynynnvjjjiPijij两种网络训练方式两种网络训练方式 每个样本修改一次权值每个样本修改一次权值 所有样本依次输入后，计算平均误差所有样本依次输入后，计算平均误差,根根 据平均误差修改权值据平均误差修改权值)()()()()()()()()()(nnnnvnenynEnnynvjijjijjjjijiij)()()()(nnnvnjijiii)()()(nynnikiikyj(n)dj(n)ej(n)yi(n)yk(n)
12、j(n)ik(n)训练周期：全部样本输入一次称为一个训练周期训练周期：全部样本输入一次称为一个训练周期终止条件：网络以周期为单位进行训练，直到误差终止条件：网络以周期为单位进行训练，直到误差 函数达到最小或小于一个给定值函数达到最小或小于一个给定值)()()()1(0)()(nynnvliTiljilj)(1)()()()(exp(1 1)(exp(11)(exp(1 11)(exp()(exp(1)(exp()()()()(exp(11)()()(2)()(2)()(2)()(2)()()()()()(nynynynynvnvnvnvnvnvnvnynvnvnyljljljljljljljl
13、jljljljljjljlj)()()0(nxnyjj)()()(nOnyjLj)(1)()()()()(nOnOnenjjLjLjklkjlkljljljljnnnynynen)()()(1)()()()1()1()()()()()()()()1(1)()()(nynnnljljljiljiXORXOR的一个简单网络解的一个简单网络解x1x2y3yx1x3-x2x1 x2 x3 y0 0 0 01 0 0 10 1 0 11 1 1 0 x0 30 31 32 41 43 42y0 4014001400训练周期，结果：训练周期，结果：30=2.6 40=7.0 43=-11.0 31=-7.
14、0 41=-5.0 32=-7.0 42=-4.0 x1 x2 x3 y0 0 f3(0-7.0+0-7.0+12.6)f4(0-5.0+0-4.0+1-11.0+1 7.0)=01 0 f3(1-7.0+0-7.0+12.6)f4(1-5.0+0-4.0+1-11.0+1 7.0)=10 1 f3(0-7.0+1-7.0+12.6)f4(0-5.0+1-4.0+1-11.0+1 7.0)=11 1 f3(1-7.0+1-7.0+12.6)f4(1-5.0+1-4.0+0-11.0+1 7.0)=0竞争学习竞争学习 赢者通吃赢者通吃 Winner-Take-All 无监督学习无监督学习 赢者：
15、最大激活测试赢者：最大激活测试 x1x1xjxmABNwinner)1()1()(nWnXcnW赢者通吃学习规则赢者通吃学习规则 Kohonen Learning RuleiiiiWXWXWXWX2)(|22x11.09.42.58.00.57.97.02.81.27.8x11.06.42.17.72.28.47.00.83.06.1O1-11-11-1-111-1K网学习网学习 Kohonen net Learning已知：数据表已知：数据表 求：求：K网无监督分类网无监督分类 1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 1 2 3 4 5 6 7 8 9 10
16、 8 7 6 5 4 3 2 1 11 12 21 22x1x2o1o2初始化：初始化：A：W=11,12=7,2 B：W=21,22=2,9K K网：自组织网络网：自组织网络 无监督学习无监督学习 AB|X(n)-W(n)|W(n+1)=W(n)+(X(n)-W(n)竞争学习规则竞争学习规则 与与X X接近的节点，接近的节点，W W调整，使得更接近调整，使得更接近X X 其他节点，其他节点，W W不变不变|(x1,x2)-(11,12)|1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1|(1,1)-(7,2)|=(1-7)2+(1-2)2=37|(1,1)-(2,9)
17、|=(1-2)2+(1-9)2=65WinnerAW(2)=W(1)+(X(1)-W(1)W(2)=W(1)+(X(1)-W(1)=(7,2)+0.5(1-7),(1-2)=(7,2)+(-3,-5)=(4,1.5)|(9.4,6.4)-(4,1.5)|=53.17|(9.4,6.4)-(2,9)|=60.15WinnerAW(3)=(4,1.5)+0.5(9.4-4),(6.4-1.5)=(6.7,4)|(2.5,2.1)-(6.7,4)|=21.25|(2.5,2.1)-(2,9)|=47.86WinnerAW(4)=(6.7,4)+0.5(2.5-6.7),(2.1-4)=(4.6,3.
18、1)1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 Outstar NetworkOutstar 学习：学习：YXW-T-A LayerO LayerJI111000000000 训练训练K网，找到Winnner，所有的Winner连接置1,其他神经元连接置0 如果所有输入为同一类，根据输出期望直接连接Winner与相应输出节点的连接值如果输入类不同，利用监督矢量Y进行输出层学习，调整outstar层连接权重,规则如下：W(n+1)=W(n)+(Y-W(n)例：已知：数据如表，表中+1安全；-1 危险 x1-推进系统的引擎速度，数据范围0,10 x2-推进系统的引擎温
19、度，数据范围0,10 数据超范围时，报警x1,x2,s,dWinner A:x1,x2,1,0Winner B:x1,x2,0,1X1X2safedangerousSDAB SA DA SB SB初始化初始化:WA=SA,DA=0,0 WA(n+1)=WA(n)+(Y-WA(n)Y=1,0,=0.2 WA(1)=0,0+0.2(1,0-0,0)=0.2,0 WA(2)=0.2,0+0.2(1,0-0.2,0)=0.36,0 WA(3)=0.36,0+0.2(1,0-0.36,0)=0.49,0 WA(4)=0.49,0+0.2(1,0-0.49,0)=0.59,0 WA(5)=0.59,0+0
20、.2(1,0-0.59,0)=0.67,0 WA(n)1,0另一类竞争学习另一类竞争学习支持向量机支持向量机 SVM Support Vector Machine支持向量：支持向量：所学概念样本所学概念样本最大可分的最小数据集合最大可分的最小数据集合线性分类器线性分类器假设前提假设前提:数据独立同分布数据独立同分布 1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 赫布机遇学习赫布机遇学习 Hebbian Coincidence Learning赫布学习理论赫布学习理论 神经生理学的观察神经生理学的观察关键词：细胞集合关键词：细胞集合 Cell assemblyCell
21、 assembly 由成百个突触大规模连接的神经元细胞组l 细胞集合的产生：细胞集合的产生：简单而关键的简单而关键的特征特征重复输入重复输入传感器产生细胞集合，同时，细胞集合促进传感器产生细胞集合，同时，细胞集合促进周周围细胞集合围细胞集合响应而形成另外的细胞集合响应而形成另外的细胞集合l细胞集合激活：关键特征再次输入传感器，这细胞集合激活：关键特征再次输入传感器，这组细胞集合都有可能被激活组细胞集合都有可能被激活，继而，响应它们继而，响应它们而形成的细胞集合也会激活而形成的细胞集合也会激活 l细胞集合之间的联系：有正有负，并可以被改细胞集合之间的联系：有正有负，并可以被改变，变，一个细胞集合
22、的激活将会提高与它有正相一个细胞集合的激活将会提高与它有正相关的细胞集合的活动，而减弱那些与它们有负关的细胞集合的活动，而减弱那些与它们有负相关的细胞集合的活动相关的细胞集合的活动l细胞集合反映形式：任何时刻，被激活的细胞细胞集合反映形式：任何时刻，被激活的细胞集合决定了传感器输入信息的反应集合决定了传感器输入信息的反应l 细胞集合的反映时间：细胞组合容易受到细胞集合的反映时间：细胞组合容易受到“需需要满足要满足”的影响（例如对饥饿、口渴的满足等的影响（例如对饥饿、口渴的满足等等）而增强它们之间的联系等）而增强它们之间的联系l细胞集合激活顺序：当前激活的细胞集合会预细胞集合激活顺序：当前激活的
23、细胞集合会预先把与它相联系的细胞集合作为后续者，使得先把与它相联系的细胞集合作为后续者，使得它们激活后这些后续者很容易被激活它们激活后这些后续者很容易被激活 正联系细胞对负联系细胞对Hebbian LearningOiOjOiOj+-+-+)sgn(jioo无监督无监督 Hebbian Learning条件反射学习条件反射学习 随机选择的刺激作为希望的条件反射随机选择的刺激作为希望的条件反射巴浦洛夫巴浦洛夫 Pavlov 实验模型实验模型训练：每次铃声，给狗食物训练：每次铃声，给狗食物 无条件刺激无条件刺激反射：铃声引起狗的食欲反射：铃声引起狗的食欲 有条件反射有条件反射构建神经网络构建神经网
24、络 W(n+1)=W(n)+sgn(W(n)X(n)YX1X2X3X4X5X6 wf(X)=sgn(WX)视觉视觉听觉听觉输入模式：1,-1,1,-1,1,-1 无条件刺激无条件刺激 新刺激新刺激假定：网络对无条件刺激响应为假定：网络对无条件刺激响应为“正正”权重向量：权重向量：1,-1,1 与输入无条件刺激相同与输入无条件刺激相同 权重向量：权重向量：0,0,0 与输入新刺激与输入新刺激网络初始权重：网络初始权重：1,-1,1,0,0,0 训练网络：输入模式训练，希望网络权重的学习训练网络：输入模式训练，希望网络权重的学习对新刺激产生对新刺激产生“正正”响应响应 WX=1,-1,1,0,0,
25、0 1,-1,1,-1,1,-1T =1+1+1=3 sgn(3)=1W(2)=1,-1,1,0,0,0+0.21,-1,1,-1,1,-1 =1.2,-1.2,1.2,-0.2,0.2,-0.2WX=1.2,-1.2,1.2,-0.2,0.2,-0.2 1,-1,1,-1,1,-1T =1.2+1.2+1.2+0.2+0.2+0.2 =4.2 sgn(4.2)=1W(3)=1.2,-1.2,1.2,-0.2,0.2,-0.2+0.21,-1,1,-1,1,-1 =1.4,-1.4,1.4,-0.4,0.4,-0.4再进行再进行10次迭代后次迭代后W(13)=3.4,-3.4,3.4,-2.4
26、,2.4,-2.4测试网络测试网络无条件刺激：无条件刺激：1,-1,1,1,1,-1sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,1,1,1,-1T)=sgn(3.4+3.4+3.4-2.4+2.4+2.4)=sgn(12.6)=1无条件刺激：无条件刺激：1,-1,1,1,-1,-1sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,1,1,-1,-1T)=sgn(3.4+3.4+3.4-2.4-2.4+2.4)=sgn(7.8)=1产生正响应产生正响应产生正响应产生正响应网络对原始刺激的敏网络对原始刺激的敏感增强了
27、感增强了新刺激：新刺激：1,1,1,-1,1,-1sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,1,1,-1,1,-1 T)=sgn(3.4-3.4+3.4+2.4+2.4+2.4)=sgn(10.6)=1新刺激：新刺激：1,-1,-1,1,1,-1 新模式稍变新模式稍变 新食物或铃声新食物或铃声sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,-1,1,1,-1 T)=sgn(3.4+3.4-3.4-2.4+2.4+2.4)=sgn(5.8)=1新模式新模式产生正响应！产生正响应！新模式稍变新模式稍变产生正响应！产生正
28、响应！Hebbian Learning Hebbian Learning 产生了什么？产生了什么？新旧刺激不断重复产生，新旧刺激不断重复产生，使得网络使得网络建立建立了在了在新刺激新刺激和旧响应之间的联想和旧响应之间的联想有有监督监督Hebbian LearningHebbian Learning构建神经网络训练网络实现一组模式之间的联想x1 x2 x3 xny1 y2 ym联想模式序列：联想模式序列：,学习规则：学习规则：ij=djxi X=x1,x2,xn Y=d1,d2,dm W=YXDXXXWfnW)()(期望输出期望输出nmmmnnxyxyxyxyxyxyxyxyxyYX.11222
29、1212111iiXYnWnW)()1()()(.)2()2()1()1()1(10,.,0,0)0(nXnYXYXYnWW线性吸引子线性吸引子 liner associator联想记忆和线性吸引子联想记忆和线性吸引子联想模式对联想模式对,联想记忆模式联想记忆模式异联想异联想 heteroassociative：如果随机矢量：如果随机矢量X比任比任何其他样例更靠近何其他样例更靠近Xi，则联想结果为，则联想结果为Yi自联想自联想 autoassociative:除除Xi=Yi 之外，所有联之外，所有联想与异联想相同；每个模式想与异联想相同；每个模式Xi 与自身相关，用于与自身相关，用于部分缺失或
30、劣化刺激模式部分缺失或劣化刺激模式下的下的全模式记忆全模式记忆插入联想：当插入联想：当X不同于训练样例时不同于训练样例时,X=Xi+i,输出输出矢量矢量Y=Yi+f(Xi+i)x1 x2 x3 xny1 y2 ym)()(.)2()2()1()1()1(10,.,0,0)0(nXnYXYXYnWW定义矢量距离:hangminghangming空间Hn=X=（x1,x2,xn）,xi+1,-1|X,Y|=X|X,Y|=X与与Y Y不相同元素个数不相同元素个数例例|(1,-1,-1,1）,(1,1,-1,1)|H=1|(-1,-1,-1,1）,(1,1,1,-1)|H=4|(1,-1,1,-1）,
31、(1,-1,1,-1)|H=0HangmingHangming矢量补：矢量补：(1,-1,1,-1）,(-1,1,-1,1)互补互补HangmingHangming矢量正交矢量正交|：jijiXXijji,0,1）。（）。（当。网络激活函数定义：nn2211inn22111kiikinn2211nn2211nn2211XYXYXYEXYXYXYY)(XXYYYYXYXYXY)(XYXYXYW)(XfXXXXfWXXfiiiiiiiii存储存储2 2个联想对个联想对：X1=1,-1,-1,-1 Y1=-1,1,1X1=-1,-1,-1,1 Y1=1,-1,1W=Y1X1+Y2X2+YnXn022
32、020022002111111111111111111111111111111111111112211XYXYW网络测试：X=1,-1,-1,-1 y1=-4,sgn(-4)=-1y2=4,sgn(4)=+1y3=4,sgn(4)=+1Y=-1,1,1X=1,-1,1,-1y1=-4,sgn(-4)=-1y2=4,sgn(4)=+1y3=0,sgn(4)=+1Y=-1,1,1022020022002X X存在干扰存在干扰线性吸引子问题及特点可能不存在真实状态到正交矢量模式的映射存储的模式数受矢量空间维数限制，当正交维数不够时，会发生模式之间的串扰输入模式完全匹配样例时，线性吸引子联想到Y；当输入有一定偏差时，线性吸引子联想为Y附近的插值
