1、神经网络原理神经网络原理注：由last，next，序数词要求不定式作定语，2.感知器神经生理学和神经解剖学的研究表明，大脑中实际的神经网络一般具有层次结构层次结构，同时结点间的连接很多属于前馈连接，同时这种前馈连接构成的网络（前馈网络）学习过程比较容易，所以首先讨论前馈网络模型。1958年心理学家Frank Rosenblatt及其合作者首先研究了这种前馈层次网络模型，将其称为感知器(Perception)。2.1 感知器概述感知器实例 简单感知器 两层感知器2.1 感知器概述在感知器模型中，输入图形在感知器模型中，输入图形x=(x1,x2,xN)通过各通过各输入端点分配给下一层的各结点，这下
2、一层称为输入端点分配给下一层的各结点，这下一层称为中间层，它可以是一层或多层，最后通过输出层中间层，它可以是一层或多层，最后通过输出层结点得到输出图形结点得到输出图形y=(y1,y2,yn)。在这种前馈网络模型中，没有层内联接，也没有在这种前馈网络模型中，没有层内联接，也没有隔层的前馈联接，每一个结点只能前馈联接到其隔层的前馈联接，每一个结点只能前馈联接到其下一层的所有结点。下一层的所有结点。由于在早期对于含有隐蔽层的多层感知器没有可由于在早期对于含有隐蔽层的多层感知器没有可行的训练算法，所以初期研究的感知器是行的训练算法，所以初期研究的感知器是一层感一层感知器知器（或称简单感知器，通常简称为
3、感知器）。（或称简单感知器，通常简称为感知器）。2.1 感知器概述 感知器的学习是感知器的学习是有指导的学习有指导的学习，其训练算法的基本，其训练算法的基本原理来源于原理来源于Hebb学习律学习律 基本思想：逐步地将样本集中的样本输入到网络中基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中根据输出结果和理想输出之间的差别来调整网络中的权矩阵的权矩阵 感知器特别适合简单的模式分类问题，感知器特别适合简单的模式分类问题，可解决线性可解决线性划分问题划分问题。感知器神经元是在感知器神经元是在MP模型基础上加上了模型基础上加上了学习功能学习功能，其权值可根据设
4、计目的加以调节。其权值可根据设计目的加以调节。2.1 感知器概述 感知器的神经元结构就是感知器的神经元结构就是MP模型：模型：输入与输出的关系：输入与输出的关系：.1p2prpnba1w2wrw1bpwnrjjj10001)(nnnfa2.2 感知器的网络结构 一般感知器结构是单层神经网络，其激活函数为二值一般感知器结构是单层神经网络，其激活函数为二值函数（符号，阈值）：函数（符号，阈值）：1p2prp11wsrw1b2bsb1a2asa1n2nsn.1112.2 感知器的网络结构 权值与偏差权值与偏差 一组输入与输出：一组输入与输出：srssrrrswwwwwwwwwW21222211121
5、1ssbbbB211rrpppP211ssaaaA2112.2 感知器的网络结构 多组输入与输出：多组输入与输出：rqrrqqqrpppppppppP212222111211sqssqqqsaaaaaaaaaA212222111211,111sssqsBBBB，2.2 感知器的网络结构 输入与输出的关系 矩阵形式：矩阵形式：分量形式：分量形式：qsqrrsqsBPWN)(qsqsNFAirjjtijitbpwn1qt,2,10001)(ititititnnnfa2.3 感知器的图形解释 神经元模型：任意一组参数任意一组参数W和和B，在输入矢量空间中，可决定，在输入矢量空间中，可决定 一条（超）
6、直线或（超）平面等，在该直线或平面上一条（超）直线或（超）平面等，在该直线或平面上方输出为方输出为1；在其下方输出为；在其下方输出为0；处理单元实际上是输入信息的分类器，判决输入信处理单元实际上是输入信息的分类器，判决输入信息属于两类中的哪一类（息属于两类中的哪一类（A或或B类）。类）。0001)()*(1nnbpwfbPWfarjjj2.3 感知器的图形解释当输入向量为两个分量时，它构成平面上的两当输入向量为两个分量时，它构成平面上的两维集，此时判决界是一条直线。维集，此时判决界是一条直线。当当s=1和和r=2时，有时，有它是在它是在p1Op2平面的一条直线，上方输出平面的一条直线，上方输出
7、1(A类类)，下方为下方为0（B类）；或相反。类）；或相反。0bPW02211bpwpwbPWp2p12.3 感知器的图形解释当输入向量为三个分量时，它构成三维信号集，当输入向量为三个分量时，它构成三维信号集，此时判决界是一个平面。此时判决界是一个平面。当输入向量为多个分量时，它构成多维信息空间，当输入向量为多个分量时，它构成多维信息空间，此时判决界是一个多维面。此时判决界是一个多维面。2.4 感知器的学习规则 学习规则学习规则用于计算新的权值矩阵用于计算新的权值矩阵W和偏差和偏差B的算法的算法感知器的学习规则感知器的学习规则：1)若第若第i个神经元的输出正确，即个神经元的输出正确，即ai=t
8、i，则与第，则与第i个神经元个神经元连接的权值连接的权值wij和偏差和偏差bi保持不变；保持不变；2)若第若第i个神经元的输出是不正确的，则按如下改变权值个神经元的输出是不正确的，则按如下改变权值和偏差：和偏差：a.若若ai=0,但但ti=1，则权值修正的算法：，则权值修正的算法：wij=wij+pj,bi=bi+1 b.若若ai=1,但但ti=0，则权值修正的算法：，则权值修正的算法：wij=wij-pj,bi=bi-12.4 感知器的学习规则 学习规则伪代码学习规则伪代码 1.初始化权向量初始化权向量W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1 对每个样本（对每个
9、样本（X,Y），重复如下过程：），重复如下过程：2.1.1 输入输入X；2.1.2 计算计算o=F（XW）；）；2.1.3 如果输出不正确，则如果输出不正确，则 当当o=0时，取时，取 W=W+X，当当o=1时，取时，取 W=W-X2.4 感知器的学习规则样本集：样本集：(X,Y)|Y为输入向量为输入向量X对应的输出对应的输出输入向量：输入向量：X=(x1,x2,xn)理想输出向量：理想输出向量：Y=(y1,y2,ym)激活函数：激活函数：F 权矩阵权矩阵W=(wij)实际输出向量：实际输出向量：O=(o1,o2,om)o1多输出感知器多输出感知器x1x2o2omxn 输入层输入层输出层输出层
10、2.4 感知器的学习规则 学习规则统一表达学习规则统一表达：感知器修正权值公式感知器修正权值公式 分量表示：分量表示：矩阵表示：设矩阵表示：设E=T-A为误差矢量，为误差矢量，or orl学习的收敛性：该算法属于学习的收敛性：该算法属于梯度下降法梯度下降法，有解时收敛。，有解时收敛。jiiijpatw)(1)(iiiatbTEPWWTEPW EBBEB 感知器神经网络的构建 运用MATLAB newp()建立一个感知器建立一个感知器 sim()仿真一个神经网络仿真一个神经网络 init()初始化一个神经网络初始化一个神经网络 learnp()感知器权值学习感知器权值学习 举例举例2.5 网络的
11、训练网络的训练过程：网络的训练过程：1.输入输入:P,T 网络结构的选取，并计算相关的量网络结构的选取，并计算相关的量2.初始化：初始化：W，B 目标（期望）误差，参数如权值和偏差的初始化(-1，1)中的随机值，最大循环迭代次数；3.计算：计算：A 计算网络的实际输出矢量。计算网络的实际输出矢量。4.检查或比较：检查或比较：A与与T,E与误差门限与误差门限 比较网络的输出误差和与期望误差相比较；若小于期望误差或达到最大迭代次数，训练结束5.学习：计算新学习：计算新W和和B，并返回到，并返回到3.2.5 网络的训练数字识别：数字识别：1.输入：输入：0,1,2,3,4,5,6,7,8,9 预处理
12、：将数字预处理：将数字(图形、声音等图形、声音等)转化为数组转化为数组(数字信号数字信号)，常用方法是常用方法是“抽样抽样+量化量化+编码编码”31 1 1 0 0 1 1 1 1 0 0 1 1 1 1 目标输出：目标输出：3011,或或30011,或或30 0 1 0 0 0 0 0 0；2.网络训练：确定网络结构，参数、学习等。网络训练：确定网络结构，参数、学习等。1111001111001112.5 网络的训练例例1 设计一个感知器，对输入数据分成两类。设计一个感知器，对输入数据分成两类。已知输入矢量已知输入矢量P=-0.5 -0.5 0.3 0;-0.5 0.5 -0.5 1 目标矢
13、量目标矢量T=1.0 1.0 0 0 分析：选择分析：选择2-1型感知器，权矩阵型感知器，权矩阵W1*2，偏差，偏差B=w3，则则可能的一组解可能的一组解:005.03.005.05.005.05.032321321321wwwwwwwwwww 2313132113/8.00wwwwwwwww1.0,0,1321www2.5 网络的训练 Matlab算法程序：算法程序：r=2,s=1，q=4 网络简化结构：网络简化结构：u=1,2,3,41w2wbup1up21ua2.5 网络的训练 例例2.多个神经元分类：输入矢量多个神经元分类：输入矢量 P=0.1 0.7 0.8 0.8 1.0 0.3
14、0.0-0.3-0.5-1.5;1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8-1.5-1.3;相应的相应的10组二元目标矢量为：组二元目标矢量为：T=1 1 1 0 0 1 1 1 0 0;0 0 0 0 0 1 1 1 1 1;一个问题：训练失败的原因：一是参数选择不当；一个问题：训练失败的原因：一是参数选择不当；二是问题不能用感知器解决。二是问题不能用感知器解决。2.5 网络的训练小结：小结：当当r=1和和s=1时，感知器是以点为分割界；时，感知器是以点为分割界；当当r=2时，在输入矢量平面以线为分割界：时，在输入矢量平面以线为分割界：s=1,分割线为一条线；分割线为一条
15、线；s=2,分割线为二条线。分割线为二条线。当当r=3时，以面为分割界，分割面数为神经元时，以面为分割界，分割面数为神经元数数s 2.5 网络的训练 讨论讨论 经过有限次迭代可使误差达到最小。经过有限次迭代可使误差达到最小。收敛的速度（迭代次数）与初始条件收敛的速度（迭代次数）与初始条件W(0)、b(0)有关，收敛后的权值也不有关，收敛后的权值也不是唯一的。是唯一的。在实际中在实际中b并不指定，可以作为偏置并不指定，可以作为偏置加权同其它加权一样参与训练调整。加权同其它加权一样参与训练调整。2.6 感知器的局限性1.输出与输入的映射关系简单，只能进行简单分类；输出与输入的映射关系简单，只能进行
16、简单分类；2.只能解决线性可分问题，不能解决线性不可分问题，只能解决线性可分问题，不能解决线性不可分问题，例如典型的例如典型的“异或异或”问题；问题；3.对有些问题，例如当输入样本中存在奇异样本对有些问题，例如当输入样本中存在奇异样本,训练训练 速度慢。速度慢。例例3 在例在例1中加入一个新的输入矢量：中加入一个新的输入矢量：P=-0.5-0.5 0.3 0-0.8 -0.5 0.5-0.5 1 0;T=1 1 0 0 0;训练结果：训练失败训练结果：训练失败 2.7“异或”问题 感知器实现逻辑感知器实现逻辑“与与”的功能的功能 逻辑逻辑“与与”的真值表的真值表2.7“异或”问题 感知器实现逻
17、辑感知器实现逻辑“与与”的功能的功能 因只有两个输入，构成二维空间。因只有两个输入，构成二维空间。2.7“异或”问题 感知器实现逻辑感知器实现逻辑“与与”的功能的功能通过真值表中的通过真值表中的4个输入输出对，训练调节对个输入输出对，训练调节对应的加权应的加权W1、W2和阈值和阈值，可得表示，可得表示“与与”功功能的感知器。能的感知器。2.7“异或”问题感知器在表示能力方面存在局限性，很多功能不感知器在表示能力方面存在局限性，很多功能不管如何调节加权和阈值，也不能被识别或表示。管如何调节加权和阈值，也不能被识别或表示。Minsky和和Papert发现感知器的不足的主要依据：发现感知器的不足的主
18、要依据：感知器不能实现简单的感知器不能实现简单的“异或异或”逻辑功能。逻辑功能。逻辑逻辑“异或异或”的真值表的真值表2.7“异或”问题感知器不能实现逻辑感知器不能实现逻辑“异或异或”的功能的功能因只有两个输入，构成二维空间。因只有两个输入，构成二维空间。2.7“异或”问题 感知器不能实现逻辑感知器不能实现逻辑“异或异或”的功能的功能要实现要实现“异或异或”功能，要求功能，要求A类和类和B类在直线两类在直线两边，这显然不可能，因为它是线性不可分的。边，这显然不可能，因为它是线性不可分的。这意味着不管如何改变参数这意味着不管如何改变参数W1、W2和和都不能都不能使单层感知器产生使单层感知器产生“异
19、或异或”功能。功能。对于线性不可分的功能，训练中找不到一条直线对于线性不可分的功能，训练中找不到一条直线（或多维判决界面）将（或多维判决界面）将A和和B两类分开，使得加两类分开，使得加权总是来回摆动，不能收敛到一个确定的判决界，权总是来回摆动，不能收敛到一个确定的判决界，此时训练不收敛。此时训练不收敛。要想用感知器表示某种功能，必须知道这种功能要想用感知器表示某种功能，必须知道这种功能是否是线性可分的。是否是线性可分的。遗憾的是，并没有通用的办法来确定这种线性可分性遗憾的是，并没有通用的办法来确定这种线性可分性（尤其是当输入分量很大时）。（尤其是当输入分量很大时）。2.8 解决线性可分性限制的
20、办法 对对“异或异或”问题可利用两层网络解决：问题可利用两层网络解决：例如取例如取T=0 1 1 0 1p2pa10101100P21111W5.05.01B 1,1 2W5.02B，2.8 解决线性可分性限制的办法 则则101100105.15.05.25.05.05.15.05.05.05.05.05.05.05.05.05.011200110)1*1(1FFBPWFA 01105.05.05.05.05.05.05.05.01001)21*2(2FFBAWFA本章小节本章小节感知器是目前研究得最为透彻的网络之一；感知器是目前研究得最为透彻的网络之一；感知器在解决线性分类问题非常有效；感知器在解决线性分类问题非常有效；感知器的训练对突变矢量是敏感的；但多层感知器的训练对突变矢量是敏感的；但多层感知器可解决该情形问题。感知器可解决该情形问题。
