1、 ()()g Wg W%12121 (,),(,).NNNWWWWL%L 0,0 1 0.xg xx；，1,0 1 0.xg xx；，11exp()g xx tanh()g xx0y 1 1 =1x22 =1xy 1,0;sgn()1,0.xxx1212 1,1,1.5;2,3,4.wwww1212 1,1,0.5;1,1,1.wwww123-1sgn()123www1122 sgn -ww12(0),(0),0 nwwwL12(,),1,2,jjjjnjJLLjOj sgn()jjwt 1 ()(-)jjjwtwtO0 1()sgn()g xx0.1(0)(0,1,0)TW 1 1 2(1,
2、0),1;(2,0),TT 2 -1。1 2 1 2 ,(,),mmmm ppWWWWLL1.PmmpppWW1().PmmpppgWgW(,)fx y,P x y ,ffxy,(1)-1-2 ,(1)-1-2 x ny nx ny nfx yx nx nx nxfx yy nynyny 0 122(,)fx yxy211,0.0227 0.00395 1.3952JjjjEO 1 2(,),NL1111,Nnnnhww 11 12 1,NwwwL111 .Nnnngw111,PpppHW 1 2(,),PL 1 11 12 1,PWWWWL111().PpppgW 211111 ()2JMP
3、Njjmmppn njmpnOgWgw2 11(,)2JjjjE W wO 21()()2jjE WW (1)()()jjW tW tt 0 1,()=().jjjtOWt11()(),JJjjjjjjmpmmmpmpjjmpEWOg HW 1,()().PjjjjjjmmppmmmmpHWOg H其中，为学习率，而 0 其中，11,jJJpjjpnpnjjjpnppnEEwww 11,().NMjjjpjppnnpjmmpnmhwg hWBP 网络用于求解XOR问题 ,.jjjjmpmppnpnWw ()g x 11exp()g xx tanh()f xxtanh().xxxxeexee 2
4、 1-g(x)g(x);1-g(x).gxfx x 0gx其中，学习率 、动量系数 均在 之间选取。()(1)(),pqpqpqE twtwtw (0,1),0;,0.aEbE如果如果 其中，是误差函数 的改变量,和 是适当的正常数。EEab我们曾利用BP网络来预测上海股市综合指数的涨跌。输入层有13个单元,包括今日最高、最低及收盘指数,当日及三十日平均涨跌值等13个参数.隐层为3-5个单元，输出层为一个单元.输出+1时表示预测第二天涨,输出-1时则表示第二天跌.活化函数选为双曲正切函数(其中=0.65),并采用了惯性项.训练时,采用135天的数据去生成80个训练样本、25个检测样本进行实验。
5、训练样本精度达到95%左右，而检验样本精度在65-80%之间.1()()Ppppg xxc 11,jjJNjxyRRjy1p(),1,jjg xyjJjypcJP,1,ppcxpP pJP 若 ，则1()()Ppppg xx 221()(),()exp().2()ppppPpqqxcRxxRxRx x 22exp2pppxcRx).2pxc 薄板样条函数：2()lg();xxx x 多二次函数：122()(),0;xxcc 逆多二次函数：122()(),0.xxccK 1、给定训练样本 .2、将聚类中心 初始化(例如可选为 )3、将 按距离远近向 聚类，分成 P 组。方法为：若 ，则令：4、计
6、算样本均值，作为新的聚类中心（是类 中所含样本的个数）。5、若新旧 相差很小，则停止否则转31jJNjxRpc1 iPix1jJjx1 Piic1Ppppjx1|min|jjppp Pxcxc pM 1,1,.jPjpxpcxpPM1 PiicK 1、将聚类中心 初始化2、随机选取样本向量 .3、将 按距离远近向 聚类，方法为：若 ，则令：4、调整样本中心 (是给定的学习速率)：5、若新旧 相差很小，则停止否则转2pcjxjx1 Piic1Ppppjx1|min|jjppp Pxcxc pc0(),;,.oldjoldppnewpoldpcxcppccppp2211pppxpxcM、，max1
7、222pdp、，pMppmaxd 利用梯度法，求下面关于 误差函数的极小值1,2,(,)p 211()()2JjjjEyg x 利用最小二乘法(伪逆法)通过 直接进行求解。()1 2 jjyg xjp，用径向基函数(RBF)作为隐单元的“基”，构成隐层空间，隐层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空间内线性不可分问题在高维空间线性可分。RBF网络结构简单、训练简洁、学习收敛速度快，能够逼近任意非线性函数，应用十分广泛。MLP的隐层和输出层的神经元模型是一样的，而RBF网络的隐层神经元和输出层的神经元不仅模型不同，而且在网络中所起的作用也不一样。RBF网络只有一个
8、隐层，而MLP可以有多个隐层；RBF网络的隐层是非线性的，输出层是线性的，而用MLP解决模式分类问题时，它的隐层与输出层通常选非线性的。而解决非线性回归问题时，通常选择线性输出层。RBF网络的基函数计算的是输入向量的和中心的欧氏距离，而MLP隐单元的活化函数计算的是输入单元和连接权值间的内积。MLP是对非线性映射的全局逼近，而RBF网络使用局部指数衰减的非线性函数(如高斯函数)对非线性输入输出进行局部逼近。RBF 网络用于求解XOR问题i(0,0),(1,1)2 2 RBF 网络用于求解XOR问题i(0,0),(1,1)2 2 课堂作业 利用梯度法，求权系数 。K pC221pppxpxcM，
9、pMp 高斯函数211()exp()2NpnppnnpnxcRxW 高斯条函数 221111()exp()exp()22NNnpnnpnpnnppxcxcRx 对给定的误差函数 ，权 、中心和宽度 的梯度反方向分别为 其中，211()2JjjjEyg xpnWpncpnppnpnEeW()pnnpnppnpnpnpnWxcEec2()pnnpnppnpnpnpnWxcEe21,exp()2npnppnppnxcEeR 令 去掉 使 收缩为 0。pn 0;pnW;pnc输入样本向量组成的矩阵：理想输出向量组成的矩阵：所谓线性联想指的是：构造矩阵 ，使得 1(,)JN JXL1(,)JM JYL
10、YW XM NW一般地，使得上式成立的 可能并不存在，或者难于直接求得.因此，我们希望能给出简单而又有效的选取权矩阵的方法，使得线性联想误差尽可能地小。W YWX1()JjjTjWC 常数 1C 1CJ或 。当输入样本向量 标准正交，且 时，有即联想回忆对样本集是完美的.1,JL1C,1,jjWjJL给出两对存储模式向量：1、试构造线性联想权值矩阵 ；2、当上述线性联想网络中输入模式 时，给出运行的结果。11(1,1),(-1,1,1);TT22(-1,1),(1,-1,1).TTW0(1,-1)TA Hopfield 神经网络Hopfield网络拓扑结构考虑具有 个处理单元的网络，每个单元与
11、其它单元都连接（全连接），权矩阵记为 .设网络中已经存储了 个样本模式 根据这些样本模式按某种方式确定了权矩阵 .NWJ1(,),1,2,;jjjTNjJLLW 存储模式应该是(4.1)的稳定点，即 当输入模式 接近于某一存储模式 时，由(4.1)迭代计算所得到的向量应收敛于 ；的选取还应该使收敛过程尽可能地快.1(),1,;1,;NjjmmnnmngWjJ mNLL0VjjWj 利用所存储模式的外积和构造W 拓展定义11()JjjTjWNj1 01 iiJjjikikjWWN 11(),JjjTjWJIN即Hopfield联想记忆模型可描述为：给定输入模式 ，按公式反复迭代，直至收敛，得到最
12、后的输出模式，作为输入模式 的联想.1()kkVg WV0001(,)TNVVVL0V 串行（异步）方式，即每次迭代只改变一个神经单元的状态，而其余 个单元暂时不变.并行（同步）方式，即每次迭代同时更新所有单元的状态.1N()g x 取符号函数，称此时的Hopfield为双极性网络；若 的值域是实数域上某一区间，则称此时的Hopfield为连续值网络.()g x()g x 把要存储的模式由bmp类型的文件转化成1和-1形式的二进制向量；对存储模式使用外积公式计算网络的各个权值。权值得到后随即“固化”，不再改变。把要识别的模式转化成1和-1类型的二进制向量，作为网络的初始状态；根据公式反复迭代，
13、直至网络中所有神经元的状态不再改变；把得到二进制文件还原为bmp图形，输出。(1,-1,1)(-1,1,-1)(1,1)(1,-1)我国31个直辖市、省会巡回路径约有1.331032种。对中国旅行商问题研究的最新结果为15449km。使用Hopfield网络求得的最短路径为15904km。求解联想问题；解决优化问题。()sgn()g xx0.1(0)(0,1,0)TW 1 1 2(1,0),1;(2,0),TT 2 -1。用径向基函数(RBF)作为隐单元的“基”，构成隐层空间，隐层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空间内线性不可分问题在高维空间线性可分。RBF网络结构简单、训练简洁、学习收敛速度快，能够逼近任意非线性函数，应用十分广泛。输入样本向量组成的矩阵：理想输出向量组成的矩阵：所谓线性联想指的是：构造矩阵 ，使得 1(,)JN JXL1(,)JM JYL YW XM NW
