1、12 利用神经网络能解决许多用传统方法无法解决的问题。神经网络在很多领域中都有应用，以实现各种复杂的功能。这些领域包括商业及经济估算、自动检测和监视、计算机视觉、语音处理、机器人及自动控制、优化问题、航空航天、银行金融业、工业生产等。而神经网络是一门发展很快的学科，其应用领域也会随着其发展有更大的拓宽。3 本章将介绍MATLAB神经网络工具箱的应用。在MATLAB神经网络工具箱中提供了丰富的演示实例，用MATLAB语言构造了典型神经网络的激活函数，编写了各种网络设计与训练的子程序，网络的设计者可以根据自己的需要去调用工具箱中有关神经网络的设计训练程序，使自己能够从繁琐的编程中解脱出来。4 MA
2、TLAB神经网络工具箱提供了许多进行神经网络设计和分析的工具函数，这些函数的MATLAB实现，使得设计者对所选定网络进行计算的过程，转变为对函数的调用和参数的选择，这给用户带来了极大的方便，即使不了解算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。有关这些工具函数的使用可以通过help命令得到，本章将对这些函数的功能、调用格式，以及使用方法做详细的介绍。2.1 MATLAB神经网络工具箱函数5 随着MATLAB软件的版本提高，其对应的神经网络工具箱的内容越来越丰富，它包括了很多现有的神经网络的新成果，涉及的网络模型有，感知机网络、线性神经网络、BP神经网络、径向基神经网络、自组织神经
3、网络、学习向量量化神经网络、Elman神经网络、Hopfield神经网络、自适应滤波和控制系统网络等。6 神经网络工具箱提供了很多经典的学习算法，使用它能够快速地实现对实际问题的建模求解。由于其编程简单，这样就给使用者节省了大量的编程时间，使其能够把更多的精力投入到网络设计而不是具体程序实现上。72.1.1 神经网络工具箱中的通用函数神经网络工具箱中的通用函数 MATLAB神经网络工具箱中提供的函数主要分为两大部分。一部分函数是通用的，这些函数几乎可以用于所有类型的神经网络，如神经网络的初始化函数init()、训练函数train()和仿真函数sim()等；另一部分函数则是特别针对某一种类型的神
4、经网络的，如对感知机神经网络进行建立的函数simup()等。表2-1列出了一些通用函数的名称和基本功能。80 0 0.midpoit()线性神经网络的仿真函数simulin()5*ones(3,1);(2,4)1net=newrbe(X,T,SPREAD)式中，vec为m行n列的稀疏矩阵，vec中的每个列向量，除仅包含一个1外，其余元素为0；于是就可以使用它来解决实际问题了。执行结果可得图2-29和图2-30。建立网络函数newfftd()图2-1 硬限幅传输函数曲线计算矢量间的距离函数dist()X=rand(3,2);A=rand(3,2);图2-43 训练后网络权值的分布Es=errsu
5、rf(X,T,W,b,logsig);在某些点上，网络达到稳定，新的输出等于以前的输出，最后的输出矢量可以看作是初始矢量的分类。(3)name传输函数的全称；函数 satlin(N)在给定网络的输入矢量矩阵N时，返回该层的输出矢量矩阵a。Y=sim(net,X)%根据输入X计算PNN网络的输出Y表2-1 神经网络的通用函数和功能函数名函数名功功 能能init()初始化一个神经网络initlay()层-层结构神经网络的初始化函数initwb()神经网络某一层的权值和偏值初始化函数initzero()将权值设置为零的初始化函数train()神经网络训练函数adapt()神经网络自适应训练函数sim
6、()神经网络仿真函数dotprod()权值点积函数normprod()规范点积权值函数netsum()输入求和函数netprod()网络输入的积函数concur()结构一致函数91.初始化神经网络函数初始化神经网络函数init()利用初始化神经网络函数init()可以对一个已存在的神经网络进行初始化修正，该网络的权值和偏值是按照网络初始化函数来进行修正的。其调用格式为：net=init(NET)2.神经网络某一层的初始化函数神经网络某一层的初始化函数initlay()初始化函数initlay()特别适用于层-层结构神经网络的初始化，该网络的权值和偏值是按照网络初始化函数来进行修正的。其调用格式
7、为：net=initlay(NET)103.神经网络某一层的权值和偏值初始化函数神经网络某一层的权值和偏值初始化函数initwb()利用初始化函数initwb()可以对一个已存在的神经网络的NET某一层i的权值和偏值进行初始化修正，该网络对每层的权值和偏值是按照设定的每层的初始化函数来进行修正的。其调用格式为：net=initwb(NET,i)4.神经网络训练函数神经网络训练函数train()利用train()函数可以训练一个神经网络。网络训练函数是一种通用的学习函数，训练函数重复地把一组输入向量应用到一个网络上，每次都更新网络，直到达到了某种准则。停止准则可能是最大的学习步数、最小的误差梯度
8、或者是误差目标等，调用格式为：net,tr,Y,E,Xf,Af=train(NET,X,T,Xi,Ai)11表2-9列出了这些函数的名称和基本功能。未经训练的网络输出BP神经网络学习规则为调整网络的权值和偏值使网络误差的平方和为最小。plotpc(w,b,h)包含从前的一次调用中返回的句柄，它在画新分类线之前，删除旧线。plot(X,T,or,X,y,-k,X,error)8线性神经网络的训练函数trainwh()2)在MATLAB窗口的左下角“Start”菜单中，单击“ToolboxsNeural Network”命令子菜单中的“NNTool”选项。net=newc(Xr,S,lr)y1,y
9、2,y3式中 X为RQ维的Q组输入向量；BP学习规则函数learnbp()对线性神经网络进行离线训练函数initff()可最多对三层神经网络进行初始化，而得到每层的权值和偏值。对于需要分类的模式矢量0;0.Elman神经网络是一种回归网络，它包含一个tansig隐含层和一个purelin输出层，tansig隐含层接收网络输入和自身的反馈，purelin层从tansig隐含层得到输入。创建一个自组织特征映射网络函数newsom()图2-9 输入样本的分类 图2-10 输入样本加网络初始分类线产生一定类别的样本向量函数nngenc()根据神经网络工具箱函数编写的程序ex2_10.设计一个精确径向基
10、网络函数solverbe()net,Y,E,Xf,Af,tr=adapt(NET,X,T,Xi,Ai)函数negdist()调用格式为5.网络自适应训练函数网络自适应训练函数adapt()另一种通用的训练函数是自适应函数adapt()。自适应函数在每一个输入时间阶段更新网络时仿真网络，而这在进行下一个输入的仿真前完成，其调用格式为：net,Y,E,Xf,Af,tr=adapt(NET,X,T,Xi,Ai)6.网络仿真函数网络仿真函数sim()神经网络一旦训练完成，网络的权值和偏值就已经确定了。于是就可以使用它来解决实际问题了。利用sim()函数可以仿真一个神经网络的性能。其调用格式为：Y,Xf
11、,Af,E,perf=sim(net,X,Xi,Ai,T)或 Y,Xf,Af,E,perf=sim(net,Q Ts,Xi,Ai)127.权值点积函数权值点积函数dotprod()网络输入向量与权值的点积可得到加权输入。函数dotprod()的调用格式为：Z=dotprod(W,X)式中，W为SR维的权值矩阵；X为Q组R维的输入向量；Z为Q组S维的W与X 的点积。8.网络输入的和函数网络输入的和函数netsum()网络输入的和函数是通过某一层的加权输入和偏值相加作为该层的输入。调用格式：Z=netprod(Z1,Z2,)式中，Zi为SQ维矩阵。139.网络输入的积函数网络输入的积函数netpr
12、od()网络输入的积函数是通过某一层的加权输入和偏值相乘作为该层的输入。调用格式：Z=netprod(Z1,Z2,)式中，Zi为SQ维矩阵。10.结构一致函数结构一致函数concur()函数concur()的作用在于使得本来不一致的权值向量和偏值向量的结构一致，以便于进行相加或相乘运算，其调用格式为：Z=concur(b,q)式中，b为N1维的权值向量；q为要达到一致化所需要的长度；Z为一个已经一致化了的矩阵。14例例2-1 利用netsum()函数和netprod()函数，对两个加权输入向量Z1和Z2进行相加和相乘。解解 MATLAB的程序如下。Z1=1 2 4;3 4 1;Z2=-1 2
13、2;-5-6 1;%提供两个加权输入向量b=0;-1;q=3;%权值向量和一致化所需要的长度Z=concur(b,q)%计算一致化了的矩阵X1=netsum(Z1,Z2),X2=netprod(Z1,Z2)%计算向量的和与积结果显示：Z=0 0 0 -1 -1 -1X1=0 4 6 -2 -2 2X2=-1 4 8 -15 -24 1 152.1.2 感知机神经网络工具箱函数感知机神经网络工具箱函数 MATLAB神经网络工具箱中提供了大量的与感知机相关的的函数。在MATLAB工作空间的命令行键入“help percept”，便可得到与感知机(Perceptron)相关的函数，进一步利用help
14、命令又能得到相关函数的详细介绍。表2-2列出了这些函数的名称和基本功能。16表2-2 感知机网络的重要函数和功能 函数名函数名功功 能能mae()平均绝对误差性能函数hardlim()硬限幅传输函数hardlims()对称硬限幅传输函数plotpv()在坐标图上绘出样本点plotpc()在已绘制的图上加分类线initp()对感知机神经网络进行初始化trainp()训练感知机神经网络的权值和偏值trainpn()训练标准化感知机的权值和偏值simup()对感知机神经网络进行仿真learnp()感知机的学习函数learnpn()标准化感知机的学习函数newp()生成一个感知机171平均绝对误差性能
15、函数mae()感知机网络学习规则为调整网络的权值和偏值，使网络的平均绝对误差和性能最小。平均绝对误差性能函数的调用格式为：perf=mae(E,w,pp)式中 E为误差矩阵或向量（E=T-Y)。182硬限幅传输函数hardlim()硬限幅传输函数hardlim()通过计算网络的输入得到该层的输出。如果网络的输入达到门限，则硬限幅传输函数的输出为1，否则为0。这表明神经元可用来作出判断或分类。其调用格式为：a=hardlim(N)或 a=hardlim(Z,b)a=hardlim(P)函数hardlim(N)在给定网络的输入矢量矩阵N时，返回该层的输出矢量矩阵a。当N中的元素大于等于零时，返回的
16、值为1，否则为0。函数hardlim(Z,b)用于矢量是成批处理且偏差存在的情况下，此时的偏差b和加权输入矩阵Z是分开传输的。偏差矢量b加到Z中的每个矢量中形成网络输入矩阵。19返回的元素a是1还是0，取决于网络输入矩阵中的元素是大于等于0还是小于0；函数hardlim(P)包含传输函数的特性名并返回问题中的特性，如下的特性可从任何传输函数中获得：(1)delta与传输函数相关的delta函数；(2)init传输函数的标准初始化函数；(3)name传输函数的全称；(4)output包含有传输函数最小、最大值的二元矢量。例利用以下命令可得图2-1。N=-5:0.1:5;a=hardlim(N);
17、plot(N,a)图2-1 硬限幅传输函数曲线 203对称硬限幅传输函数hardlims()对称硬限幅传输函数hardlims()通过计算网络的输入得到该层的输出。如果网络的输入达到门限，则硬限幅传输函数的输出为1，否则为-1。例w=eye(3);b=-0.5*ones(3,1);X=1 0;0 1;1 1;a=hardlims(w*X,b)结果显示：a=1 -1 -1 1 1 1 21例例2-2 建立一个感知机网络，使其能够完成“或”的功能。解解 为了完成“或”函数，建立一个两输入、单输出的一个单层感知机网络。设输入向量为：X=0 0 1 1;0 1 0 1，目标向量为：T=0 1 1 1。
18、激活函数取硬限幅传输函数。根据感知机学习算法的计算步骤，利用MATLAB的神经网络工具箱的有关函数编写的程序如下。ex2_222net=initlay(NET)dW,db=learnp(X,E)竞争传输函数compet()均方误差性能函数的调用格式为：学习向量量化网络能够对任意输入向量进行分类，不管它们是不是线性可分的，这一点比感知机神经网络要优越得多。其他参数定义同函数newff()。为了进一步方便用户，在MATLAB R2007（MATLAB 7.解 (1)根据神经网络工具箱函数trainbp()编写的程序如下。例2-22 设计一个三层BP神经网络，并训练它来识别0,1,2,9,A,F，这
19、16个十六进制已经被数字成像系统数字化了，其结果是对应每个数字有一个53的布尔量网络。双曲正切S型(tan-sigmoid)传输函数利用newfftd()函数可生成一个前馈输入延时BP网络。建立一个向量量化神经网络函数newlvq()当dr取为1时，网络学习结束后权值取值很小，不过网络能“记忆”前几个循环中学习的内容。偏差矢量b加到Z中的每个矢量中形成网络输入矩阵。net=newlin(Xr,S,Id,lr)-15 -24 1例利用以下命令可得图2-37。2用1 1 1;0 0 1;0 1 0;1 0 0;1 1 1表示，等等。net=newc(Xr,S,lr)计算误差曲面函数errsurf(
20、)d=nbdist(2,3)大多数神经元网络的输入可通过表达式N=w*X+b来计算，其中w，b分别为权矢量和偏差矢量。结果显示：epoch=3Wij=1.5028 1.7095y=0 1 1 1 234.绘制样本点的函数plotpv()利用plotpv()函数可在坐标图中绘出已知给出的样本点及其类别，不同的类别使用了不同的符号。其调用格式为：plotpv(X,T)式中 X定义了n个2或3维的样本，它是一个2n维或3n维的矩阵；T表示各样本点的类别，它是一个n维的向量。如果T只含一元矢量，目标0的输入矢量画为“o”；目标1的输入矢量画为“+”；如果T含二元矢量，则输入矢量对应如下：0 0用“o”
21、；0 1用“+”；1 0用“*”；1 1用“”。例 24X=-0.5,-0.5,0.3,-0.1,0.2,0.0,0.6,0.8;-0.5,0.5,-0.5,1.0,0.5,-0.9,0.8,-0.6;T=1 1 0 1 1 0 1 0;plotpv(X,T)对样本不同的类别使用了不同的符号，如图2-2所示。图2-2 样本的分类 25 5.在存在的图上画感知机的分类线函数plotpc()硬特性神经元将输入空间用一条直线（如果神经元有两个输入），或用一个平面（如果神经元有三个输入），或用一个超平面（如果神经元有三个以上输入）分成两个区域。plotpc(w,b)对含权矩阵w和偏差矢量b的硬特性神经
22、元的两个或三个输入画一个分类线。这一函数返回分类线的句柄以便以后调用。plotpc(w,b,h)包含从前的一次调用中返回的句柄，它在画新分类线之前，删除旧线。26 6.感知机神经网络的初始化函数initp()利用initp()函数可建立一个单层（一个输入层和一个输出层）感知机神经网络。其调用格式为：W,b=initp(R,S)或 W,b=initp(X,T)27例利用以下命令，可得图1-54。X=0 0 1 1;0 1 0 1;T=0 1 1 1;W,b=initp(X,T);plotpv(X,T);plotpc(W,b);使用plotpc()函数可以在已绘制的图上加上感知机分类线（MATLA
23、B6.1及以下版本利用此命令不能产生分类线），如图2-3所示。由图可见经过初始化后的网络对输入样本还不能正确进行分类。图2-3 输入样本加网络初始分类线-0.500.511.5-0.500.511.5Vectors to be ClassifiedP(1)P(2)28 7用感知机准则训练感知机的函数trainp()经过初始化建立的感知机，还必须经过训练才能够实际应用。通过训练以决定网络的权值和偏值。对于感知机，其训练过程为：对于给定的输入向量，计算网络的实际输出，并与相应的目标向量进行比较，得到误差，然后根据相应的学习规则调整权值和偏值。重新计算网络在新的权值和偏值作用下的输出，重复上述的权值
24、和偏值的调整过程，直到网络的输出与期望的目标向量相等或者训练次数达到预定的最大次数时才停止训练，之所以要设定最大训练次数，是因为对于有些问题，使用感知机神经网络时是不能解决的，这正是感知机的缺点。训练感知机神经网络trainp()函数的调用格式为：W,B,epochs,errors=trainp(w,b,X,T,tp)29例例2-4 利用trainp()函数训练一个感知机网络，并用训练后的网络对输入样本进行分类。解解 程序如下。ex2_4例利用以上程序，可得如图2-4所示的样本及分类线。用标准化感知机准则训练感知机的函数trainpn()的用法同函数trainp()，即使输入矢量的长度不同，使
25、用标准化感知机准则也使得学习过程收敛很快。图2-4 样本加分类线-0.500.511.5-0.500.511.5Vectors to be ClassifiedP(1)P(2)308.感知机神经网络的仿真函数simup()神经网络一旦训练完成，网络的权值和偏值就已经确定了。于是就可以使用它来解决实际问题了。感知机由一系列硬特性神经元组成，运行速度很快，对简单的分类很有用。利用simup()函数可以测试一个感知机神经网络的性能。其调用格式为：Y=simup(X,w,b)31例例2-5 利用trainp()函数训练一个感知机网络，使其能够完成“或”的功能。解解 根据神经网络工具箱函数编写的程序如下
26、。ex2_5 执行以上程序可得如下结果以及图2-5至图2-8。y=0 1 1 1 由以上结果和图2-7可知，训练后的网络已具有“或”的功能，且可对输入样本进行正确分类 32图2-5 输入样本的分类 图2-6 输入样本加网络初始分类线-0.500.511.5-0.500.511.5Vectors to be ClassifiedP(1)P(2)-0.500.511.5-0.500.511.5Vectors to be ClassifiedP(1)P(2)-0.500.511.5-0.500.511.5Vectors to be ClassifiedP(1)P(2)00.20.40.60.811.
27、21.41.61.8210-1610-1410-1210-1010-810-610-410-2100EpochSum-Squared ErrorSum-Squared Network Error for 2 Epochs图2-7 输入样本加网络训练后的分类线 图2-8 误差曲线 33例例2-6 利用trainp()函数训练一个感知机网络，使其能够对三个输入进行分类。解解 根据神经网络工具箱函数编写的程序如下。ex2_6 执行以上程序可得如下结果以及图2-9至图2-12。y=0 1 0 0 1 1 0 1 34正切S型（Tansig）神经元的求导函数deltatan()(4)output包含有传
28、输函数最小、最大值的二元矢量。solvehop()于是就可以使用它来解决实际问题了。重新计算网络在新的权值和偏值作用下的输出，重复上述的权值和偏值的调整过程，直到网络的输出与期望的目标向量相等或者训练次数达到预定的最大次数时才停止训练，之所以要设定最大训练次数，是因为对于有些问题，使用感知机神经网络时是不能解决的，这正是感知机的缺点。1dW,db=learnp(X,E)因为其它样本则需花很多时间才能同奇异样本所对应的权值变化相匹配。表2-6列出了这些函数名称和基本功能。MATLAB神经网络工具箱中提供的函数主要分为两大部分。或 a=satlin(Z,b)函数barerr(e)绘制每对输入/目标
29、矢量误差e平方和的直方图。执行结果可得图2-29和图2-30。图2-42 输入样本向量的分布X2=-1 4 85，其余神经元输出为0。初始化Elman神经网络函数initelm()函数satlin(Z,b)用于矢量是成批处理且偏差存在的情况下，此时的偏差b和加权输入矩阵Z是分开传输的。0 3表2-9列出了这些函数的名称和基本功能。d=negdist(w,X)感知机网络学习规则为调整网络的权值和偏值，使网络的平均绝对误差和性能最小。-101-101-1.5-1-0.500.511.5P(1)P(2)P(3)Vectors to be Classified-101-101-1.5-1-0.500.
30、511.5P(1)Vectors to be ClassifiedP(2)P(3)-101-101-1.5-1-0.500.511.5P(1)Vectors to be ClassifiedP(2)P(3)00.20.40.60.811.21.41.61.8210-2010-1510-1010-5100105EpochSum-Squared ErrorSum-Squared Network Error for 2 Epochs图2-9 输入样本的分类 图2-10 输入样本加网络初始分类线 图2-11 输入样本加网络训练后的分类线 图2-12 误差曲线 35例例2-7 利用trainp()函数训
31、练一个感知机网络，使其能够将输入分为4类。解解 根据神经网络工具箱函数编写的程序如下。ex2-736执行以上程序可得如下结果以及图2-13和图2-14。y=1 1 1 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 1 1 图2-13 输入样本加网络训练后的分类线 图2-14 误差曲线-2.5-2-1.5-1-0.500.511.52-2-10123Vectors to be ClassifiedP(1)P(2)012345610-2010-1510-1010-5100105EpochSum-Squared ErrorSum-Squared Network Error for 6
32、Epochs379感知机学习函数learnp()感知机神经网络学习规则为调整网络的权值和偏值使网络平均绝对误差性能最小，以便对网络输入矢量正确分类。感知机的学习规则只能训练单层网络，函数调用格式为：dW,db=learnp(X,E)38例例2-8 利用learnp()函数训练建立一个感知机网络，使其能够完成“或”的功能。解解 根据神经网络工具箱函数编写的程序如下。ex2_8结果显示：epoch=5W=1.3626 1.7590y=0 1 1 1 3910标准化感知机学习函数learnpn()感知机学习规则在调整网络的权值和偏值时利用下式从上式可以看出，输入向量X越大，则权值的变化w就越大。当存
33、在奇异样本（即该样本向量同其它所有的样本向量比较起来，特别得大或者特别得小）时，利用以上规则训练时间大为加长。因为其它样本则需花很多时间才能同奇异样本所对应的权值变化相匹配。为了消除学习训练时间对奇异样本的敏感性，提出了一种改进的感知机学习规则，也成为标准化感知机学习规则，标准化感知机学习规则试图使奇异样本和其它样本对权值的变化值的影响均衡，它可通过下式实现TTXEYTXw)(TTEXXYTXXw)(40 标准化感知机的学习函数为learnpn()，其调用格式为：dW,db=learnpn(X,E)式中 X为输入向量矩阵；E为误差向量（E=T-Y）；T表示网络的目标向量；Y表示网络的输出向量；
34、dW为权值变化阵；db为偏值变化阵。相应于标准化感知机学习规则的训练函数为trainpn()，其调用格式为：W,B,epochs,errors=trainpn(w,b,X,T,tp)41利用Levenberg-Marguardt规则训练前向网络或 dy=deltatan(y,e)感知机网络学习规则为调整网络的权值和偏值，使网络的平均绝对误差和性能最小。神经网络某一层的权值和偏值初始化函数initwb()可以看出，结果应该为一个34的矩阵，其中(x,y)是与数据索引行向量中各元素的值和位置相对应的，仅位于x行y列的元素为1，其余元素均为0。平均绝对误差性能函数的调用格式为：w,b=solveho
35、p(T)W,b=solvelin(X,T);y=simulin(X,W,b)函数ind2vec()的调用格式为：计算线性层的最大学习速率其网络输入为权值向量W与输入向量X之间的向量距离乘以偏值b，即 d=radbas(dist(W,X)*b)。函数learnlm()采用了Levenberg-Marguardt优化方法，从而使得学习时间更短。双曲正切S型(tan-sigmoid)传输函数神经网络一旦训练完成，网络的权值和偏值就已经确定了。net=newrbe(X,T,SPREAD)0 3例2-26 利用newc()函数建立一个基本竞争型的神经网络，训练后对以下向量进行分类。d=negdist(w
36、,X)BP神经网络由一系列网络层组成，每一层都从前一层得到输入数据，simuff()函数可仿真最多三层前向网络。例利用以下命令可用目标向量T来测试其是否被存储在网络中，即将目标向量作为输入net=newlin(Xr,S,Id,lr)用函数full()可以看它的非稀疏形式。例例2-9 利用trainpn()函数训练建立一个感知机网络，观察奇异输入样本对训练结果的影响。解解 根据神经网络工具箱函数编写的程序如下。ex2_942 执行以上程序可得如下结果以及图2-15和图2-16。y=1 1 0 0 1-100-80-60-40-20020-40-20020406080100120140Vector
37、s to be ClassifiedP(1)P(2)00.20.40.60.811.21.41.61.8210-2010-1510-1010-5100105EpochSum-Squared ErrorSum-Squared Network Error for 2 Epochs图2-15 输入样本加网络训练后的分类线 图2-16 误差曲线 由图2-16可见利用函数trainpn()，网络训练只需要2步，如果利用函数trainp()，网络训练需要经过60多步。43例例2-10 利用trainpn()函数训练建立一个感知机网络，对“异或”问题进行分类。解解 单层感知机不能解决像逻辑“异或”一类的线性
38、不可分的输入向量的分类问题，解决这一问题的方案，是可以设计一个两层的网络，即含有输入层，隐含层和输出层的结构。设输入向量为：X=0 0 1 1;0 1 0 1，目标向量为：T=0 1 1 0。根据神经网络工具箱函数编写的程序ex2_10.m如下。%ex2_10.m 执行以上程序可得如下结果以及图2-17和图2-18。y=0 1 1 0 44由图2-18可见网络训练只需要4步。需要指出的是，由于隐含层的权值和偏值是随机给定的而且不可调整，故隐含层的输出也是随机的，这样网络有可能有解，也有可能无解，如果网络找不到解，可再次运行网络，以重新初始化隐含层的权值和偏值。如果采用单层网络，对以上问题永远也
39、找不到正确的分类方案。-0.500.511.5-0.500.511.5Vectors to be ClassifiedP(1)P(2)00.511.522.533.5410-2010-1510-1010-5100105EpochSum-Squared ErrorSum-Squared Network Error for 4 Epochs45 11.建立感知机神经网络函数newp()利用newp()函数可建立一个感知机神经网络。其调用格式为：net=newp(Xr,S,Tf,Lf)例建立一个两输入且样本点取值在-1，1之间，而网络只有单个神经元的感知机神经网络，可利用以下命令 net=newp(
40、-1 1;-1 1,1);46 使用plotpc()函数可以在已绘制的图上加上感知机分类线。让它返回得到的分类线的句柄，以便在下一次再绘制分类线时能够将原来的删除。例handle=plotpc(net.iw1,net.b1);式中 net.iw1用来计算网络net的权值，net.b1用来计算网络net的偏值。47例例2-11 利用newp()和train()函数建立并训练一个感知机网络，使其同样能够完成“或”的功能。解解 根据神经网络工具箱函数编写的程序如下。ex2_11 执行结果y=0 1 1 1 48例例2-12 利用train()函数训练一个感知机网络，并选择10个点对其进行测试。解解
41、根据神经网络工具箱函数编写的程序ex2_12.m如下。ex2_12.m 运行以上命令可得如图2-20和图2-21所示的训练过程误差曲线和测试结果。由图可见网络训练只需5步，就能够将它们正确分类，这说明了设计的网络是正确的。492.1.3 线性神经网络工具箱函数线性神经网络工具箱函数 MATLAB神经网络工具箱中提供了大量的与线性网络相关的的工具箱函数。在MATLAB工作空间的命令行键入“help linnet”，便可得到与线性网络相关的函数，进一步利用help命令又能得到相关函数的详细介绍。表2-3列出了这些函数的名称和基本功能。50表2-3 线性网络的重要函数和功能函数名函数名功功 能能ss
42、e()误差平方和性能函数purelin()线性传输函数initlin()线性线性神经的初始化函数solvelin()设计一个线性神经网络simulin()对线性神经网络进行仿真maxlinlr()计算线性层的最大学习速率learnwh()Widrow-hoff的学习函数trainwh()对线性神经网络进行离线训练adaptwh()对线性神经网络进行在线自适应训练newlind()设计一个线性层newlin()新建一个线性层511误差平方和性能函数sse()线性网络学习规则为调整网络的权值和偏值使网络误差平方和性能最小。误差平方和性能函数的调用格式为：perf=sse(E,w,pp)522.线性
43、传输函数purelin()神经元最简单的传输函数是简单地从神经元输入到输出的线性传输函数，输出仅仅被神经元所附加的偏差所修正。线性传输函数常用于Widriw-Hoff或BP准则来训练的神经网络中，该函数调用格式为：a=purelin(N)或 a=purelin(Z,b)a=purelin(P)53(2)在Help窗口右边的Demos页面中，利用鼠标的左键选择Toolboxes|Neural Network|Hopfield shree neuron design节点，则在该窗口的右边出现关于建立一个三神经元Hopfield网络的有关内容，如图2-68所示。a=purelin(P)net=new
44、lvq(Xr,S1,Pc,Lr,Lf)0 3其调用格式为：plotes(W,b,Es,v)解 为了完成“与”函数，建立一个两输入、单输出的一个感知机网络。将数据索引向量变换成向量组函数ind2vec()(4)output包含有传输函数最小、最大值的二元矢量。vec2ind()因此satlin神经元在一定的输入区域内象线性神经元，在超出此区域，则象硬特性神经元，函数调用格式为：maxlinlr()w,b=solvehop(T)Y=simusm(X,w,m,n)当存在奇异样本（即该样本向量同其它所有的样本向量比较起来，特别得大或者特别得小）时，利用以上规则训练时间大为加长。利用以上程序可得如下结果
45、以及图2-47和图2-48。1 1 0 0 1目标向量也被定义成一个416维的目标矩阵T，其每一列的4个元素对应一个数字量，这16个数字量用其所对应的十六进制值表示。函数trainbp()和trainbpx()都是基于梯度下降的训练算法，而函数trainblm()是建立在一种优化方法基础上的训练算法。Tansig神经元的delta函数4:4;b=W;图2-9 输入样本的分类 图2-10 输入样本加网络初始分类线LM方法更新参数（如权值和偏值）的数学表达式为w=(JTJ+I)-1JTe。函数purelin(P)包含传输函数的特性名并返回问题中的特性，如下的特性可从任何传输函数中获得：(1)del
46、ta与传输函数相关的delta函数；(2)init传输函数的标准初始化函数；(3)name传输函数的全称；(4)output包含有传输函数最小、最大值的二元矢量。例利用以下命令可得图2-22。n=-5:0.1:5;b=0;a=purelin(n,b);plot(n,a)-5-4-3-2-1012345-5-4-3-2-1012345图2-22 线性传输函数 54 3.线性神经网络的初始化函数initlin()利用initlin()函数可建立一个单层（一个输入层和一个输出层）线性神经网络。其调用格式为：W,b=initlin(R,S)或 W,b=initlin(X,T)例X=0 0 1 1;0
47、1 0 1;T=0 1 1 1;W,b=initlin(X,T);554.设计一个线性神经网络函数solvelin()同大多数其它神经网络不同的是，只要已知线性神经网络的输入向量和目标向量，就可以直接对其进行设计。使用函数solvelin()设计的线性神经网络，可以不经过训练，直接找出网络的权值和偏值，使得网络的误差的平方和最小。该函数的调用格式为：W,b=solvelin(X,T)56 5.线性神经网络的仿真函数simulin()利用函数solvelin()建立的线性神经网络的权值和偏值就已经根据网络的输入向量和目标向量训练好了。simulin()函数可以测试一个线性神经网络的性能。其调用格
48、式为：Y=simulin(X,w,b)57例例2-13 利用solvelin()函数建立一个线性网络，并对其进行测试。X=1 2 3;T=2.0 4.1 5.9;%给定训练集和目标值W,b=solvelin(X,T);y=simulin(X,W,b)结果显示：y=2.0500 4.0000 5.9500 58 6.计算线性层的最大学习速率函数maxlinlr()函数maxlinlr()用于计算用Widrow-Hoff准则训练的线性网络的最大稳定学习速率。其调用格式为：lr=maxlinlr(X)或 lr=maxlinlr(X,b)例利用以下命令可计算出用Widrow-Hoff准则训练的线性神经
49、元层所用的学习率上限。X=1 2-4 7;0.1 3 10 6;lr=maxlinlr(X)结果显示：lr=0.0069 59 7线性神经网络学习函数learnwh()线性网络采用Widrow-Hoff学习规则，Widrow-Hoff学习规则只能训练单层的线性神经网络，但这并不影响单层线性神经网络的应用，因为对每一个多层线性神经网络而言，都可以设计出一个性能完全相当的单层线性神经网络。当利用函数solvelin()设计的线性神经网络不能调整网络的权值和偏值使网络误差平方和性能最小时，可以应用函数learnwh()和 函数trainwh()来调整网络的权值和偏值。函数learnwh()的调用格式
50、为：dW,db=learnwh(X,E,lr)60 8线性神经网络的训练函数trainwh()函数trainwh()可利用Widrow-Hoff学习规则对线性层的权值进行训练，利用输入矢量，计算该层输出矢量，然后根据产生的误差矢量调整该层的权值和偏差。调用格式为：W,B,epochs,errors=trainwh(w,b,X,T,tp)9.线性神经网络自适应训练函数adaptwh()函数adaptwh()可以利用Widrow-Hoff学习规则对线性层的权值进行自适应调节，在每一步迭代过程中，修改自适应线性网络层的权值、偏差和输出矢量，从而学习并适应环境的变化。其调用格式为：Y,E,W,B=ad
