1、1第三章第三章 前馈神经网络前馈神经网络3.13.1单层感知器单层感知器3.23.2多层感知器多层感知器23.1单层感知器单层感知器3.1.1感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn3 3 前馈神经网络前馈神经网络3j=1,2,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W3.1.13.1.1感知器模型感知器模型前馈神经网络前馈神经网络-单层感知器单层感知器4净输入：净输入：输出：输出：n1iiijjxwnet(3.1)()()(XWTjn0iiijjjjsgnxwsgnTnet
2、sgno(3.2)3.1.13.1.1感知器模型感知器模型前馈神经网络前馈神经网络-单层感知器单层感知器5(1)设输入向量设输入向量X=(x1,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出：输出：则由方程则由方程 wijx1+w2jx2-Tj=0 (3.3)确定了二维平面上的一条分界线。确定了二维平面上的一条分界线。ojx1-1x2前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能（1 1）输入是二维）输入是二维wij x1+w2j x2 Tj=0wij x1=Tj -w2j x2x1=(Tj-w2j x2)/wij =-(w
3、2j/wij)x2+Tj/wij =a x2+c x1 *O *O *O O *O x2 *O O O O感知器的功能（二维）感知器的功能（二维）0TjXW x1 *O *O *O O *O x2 *O O O O0TjXW0TjXW0TjXW0TjXW0TjXW8 x1 *O *O *O O *O x2 *O O O O前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能9(2)设输入向量设输入向量X=(x1,x2,x3)T0Txwxwxw10Txwxwxw1oj3j32j21j1j3j32j21j1j输出：输出：则由方程则由方程 wijx1+w2jx2
4、+w3j Tj=0 (3.4)确定了三维空间上的一个分界平面。确定了三维空间上的一个分界平面。x2ojx1x3-1前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能（2 2）输入是三维）输入是三维wij x1+w2j x2+w3j x3 Tj=0 x1=a x2+b x3+c 0TjXW是什么？是什么？x1 *O *O *O O *O x2 *O O O x311 x1 *O *O *O O *O x2 *O O O x3前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能12(3)设输入向量设输入向量X=(x1，x
5、2,，xn)T则由方程则由方程 wijx1+w2jx2+wnj Tj=0 (3.6)确定了确定了n维空间上的一个分界平面。维空间上的一个分界平面。输出：输出：wijx1+w2jx2+wnj Tj=0 (3.5)前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能13 一个最简单的单计算节点感知器具有一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分权向量确定的分类判决界面将输入模式分为两类。为两类
6、。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能例一例一 用感知器实现逻辑用感知器实现逻辑“与与”功能功能x1x2y000010100111逻辑逻辑“与与”真值真值表表例一例一 用感知器实现逻辑用感知器实现逻辑“与与”功功能能感知器结构感知器结构 x1 0.5 0.5 y x2 0.75 -1wix1+w2x2-T=0 0.5x1+0.5x2-0.75=0例二例二 用感知器实现逻辑用感知器实现逻辑“或或”功能功能x1x2y000011101111逻辑逻辑“或或”真值表真值表例二 用感知器实现逻辑“或”功能感知器结构感知器结构 x1 1 1 y x2
7、0.5 -1wix1+w2x2-T=0 x1+x2-0.5=0思考并回答思考并回答p分界线的方程是什么？分界线的方程是什么？p感知器的模型如何表示？感知器的模型如何表示？图示？数学表达式？0TjXW感知器结构感知器结构19问题：能否用感知器实现问题：能否用感知器实现“异或异或”功能？功能？“异或异或”的真值表的真值表x1x2y000011101110 x1 O O x2前馈神经网络前馈神经网络-单层感知器单层感知器3.1.33.1.3感知器的局限性感知器的局限性203.1.43.1.4感知器的学习感知器的学习p关键问题就是求关键问题就是求0TjXW3.1.43.1.4感知器的学习算法感知器的学
8、习算法pPerceptron(Perceptron(感知器感知器)学习规则学习规则式中，当实际输出与期望值相同时，权值不需要调整。感式中，当实际输出与期望值相同时，权值不需要调整。感知器学习规则代表一种知器学习规则代表一种有导师学习有导师学习。22感知器学习规则的训练步骤：感知器学习规则的训练步骤：(1)对各权值对各权值w0j(0),w1j(0),wnj(0)，j=1,2,m （m为计算层的节点数）赋予较小的非零随机数；为计算层的节点数）赋予较小的非零随机数；(2)输入样本对输入样本对Xp,dp，其中，其中Xp=(-1,x1p,x2p,x,xn np p)，dp为期望的输出向量（教师信号），上
9、标为期望的输出向量（教师信号），上标p代表代表 样本对的模式序号，设样本集中的样本总数为样本对的模式序号，设样本集中的样本总数为P，则则p=1,2,P,P；前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法23感知器学习规则的训练步骤：感知器学习规则的训练步骤：(3)计算各节点的实际输出计算各节点的实际输出ojp(t)=sgnWjT(t)Xp,j=1,2,.,m；(4)调整各节点对应的权值，调整各节点对应的权值，Wj(t+1)=Wj(t)+djp-ojp(t)Xp,j=1,2,m,其中为学习率，用于控制调整速度，太大其中为学习率，用于控制调整速度
10、，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢，会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取一般取0 011；(5)返回到步骤返回到步骤(2)输入下一对样本，周而复始直到对所有输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。样本，感知器的实际输出与期望输出相等。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法24Perceptron RulePerceptron Rule30感知器学习规则的训练步骤：感知器学习规则的训练步骤：（1 1）权值初始化）权值初始化（2 2）输入样本对）输入样本对（3 3）计
11、算输出）计算输出（4 4）根据感知器学习规则调整权值）根据感知器学习规则调整权值（5 5）返回到步骤）返回到步骤(2)(2)输入下一对样本，周而输入下一对样本，周而复始直到对所有样本，感知器的实际输出与复始直到对所有样本，感知器的实际输出与期望输出相等。期望输出相等。前馈神经网络前馈神经网络-单层感知器单层感知器31例三例三 单计算节点感知器，单计算节点感知器，3个输入。给定个输入。给定3对训练样对训练样本对如下：本对如下：X1=(-1，1，-2，0)T d1=1X2=(-1，0，1.5，-0.5)T d2=1X3=(-1，-1，1，0.5)T d3=1 设初始权向量设初始权向量W(0)=(0
12、.5,1,-1,0)T，=0.1=0.1。注意，注意，输入向量中第一个分量输入向量中第一个分量x0恒等于恒等于-1，权向量中第一个分，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。量为阈值，试根据以上学习规则训练该感知器。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法32解：第一步解：第一步 输入输入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)=W(0)+d1-o1(0)X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T
13、 =(0.7,0.8,-0.6,0)T前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法33第二步第二步 输入输入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)=W(1)+d2-o2(1)X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于d2=o2(1)，所以，所以W(2)=W(1)。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感
14、知器的学习算法感知器的学习算法34第三步第三步 输入输入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1=-1W(3)=W(2)+d3-o3(2)X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，继续训练直到返回到第一步，继续训练直到dp-op=0，p=1,2,3。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法35Perceptron Classific
15、ationPerceptron Classification403.1.33.1.3单层感知器的局限性单层感知器的局限性p问题：能否用感知器解决如下问题？问题：能否用感知器解决如下问题？x1 O O x2413.1.33.1.3单层感知器的局限性单层感知器的局限性p无法解决无法解决“异或异或”问题问题p只能解决线性可分问题只能解决线性可分问题“异或异或”的真值表的真值表x1x2y00001110111042 o T3 y1 y2-1 w1 1 w2 1 w2 2 T1 T2 w12-1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分问题分类类例四例四 用两计
16、算层感知器解决用两计算层感知器解决“异或异或”问题。问题。“异或异或”的真值表的真值表x1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 0前馈神经网络前馈神经网络多层感知器多层感知器3.23.2多层感知器多层感知器433.2.13.2.1多层感知器的提出多层感知器的提出提出的动因提出的动因单计算层感知器的局限性：单计算层感知器的局限性：只能解决线性可分问题，而大量的分类问题是线性不可分的。只能解决线性可分问题，而大量的分类问题是线性不可分的。解决的有效办法解决的有效办法在输入层与输出层之间引入隐层作为输入模式的在输入层与输出层之间引入隐层作为输入模式的“内部表
17、示内部表示”，将单，将单计算层感知器变成计算层感知器变成多（计算）层感知器多（计算）层感知器。采用采用非线性连续函数作为转移函数非线性连续函数作为转移函数，使区域边界线的基本线，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。44 (a)开域 (b)闭域 前馈神经网络前馈神经网络多层感知器多层感知器3.23.2多层感知器多层感知器45具有不同隐层数的感知器的分类能力对比具有不同隐层数的感知器的分类能力对比 感知器结构 异或问题 复杂问题 判决域形状 判决域 无隐层 半平面 单隐层 凸 域 双隐层 任意复杂 形状域Wj(t)=dj-oj(t)X前馈神经网络前馈神经网络多层感知器多层感知器3.23.2多层感知器多层感知器
