1、电气与信息工程学院电气与信息工程学院第第1010讲讲 机器学习机器学习-感知器算法感知器算法2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论210.1 10.1 概述概述 由美国学者由美国学者Rosenblatt在在1957年首次提出年首次提出 学习算法是学习算法是Rosenblatt在在1958年提出的年提出的 包含一个突触权值可调的神经元包含一个突触权值可调的神经元 属于前向神经网络类型属于前向神经网络类型 只能区分线性可分的模式只能区分线性可分的模式 IEEE设立以其名字命名的奖项设立以其名字命名的奖项2电气与信息工程学院电气与信息工程学院机器学习机器学习信
2、息科学导论信息科学导论310.2 10.2 单层感知器模型单层感知器模型f(v)x1by=f(v)x2xiw1xmw2wmwi2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论410.2 10.2 单层感知器模型单层感知器模型单层感知器工作原理单层感知器工作原理 单层感知器可将外部输入分为两类。当感知器的输单层感知器可将外部输入分为两类。当感知器的输出为出为+1时，输入属于时，输入属于l1类，当感知器的输出为类，当感知器的输出为-1时，输时，输入属于入属于l2类，从而实现两类目标的识别。在二维空间，类，从而实现两类目标的识别。在二维空间，单层感知器进行模式识别的判决
3、超平面由下式决定：单层感知器进行模式识别的判决超平面由下式决定：10miiiw xb2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论510.2 10.2 单层感知器模型单层感知器模型 单层感知器工作原理单层感知器工作原理 对于只有两个输入的判别边界是直线（如下式所示）对于只有两个输入的判别边界是直线（如下式所示）,选选择合适的学习算法可训练出满意的择合适的学习算法可训练出满意的 和和 ，当它用于，当它用于两类模式的分类时，相当于在高维样本空间中，用一个两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。超平面将两类样本分开。1 12 20wxwx
4、b 1w2w2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论610.2 10.2 单层感知器学习算法单层感知器学习算法 基于迭代的思想，通常是采用误差校正学习规则的学习基于迭代的思想，通常是采用误差校正学习规则的学习算法。算法。可以将偏置作为神经元权值向量的第一个分量加到权值可以将偏置作为神经元权值向量的第一个分量加到权值向量中向量中,也可以设其值为也可以设其值为0。输入向量和权值向量可分别写成如下的形式：输入向量和权值向量可分别写成如下的形式：令上式等于零，可得到在维空间的单层感知器的判别超令上式等于零，可得到在维空间的单层感知器的判别超平面。平面。T121,m
5、nxnxnxn X T12,mnb nw nwnwnw2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论710.2 10.2 单层感知器学习算法单层感知器学习算法2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论810.3 10.3 感知器算法感知器算法学习算法实例学习算法实例:构建一个神经元，它能够实现逻辑构建一个神经元，它能够实现逻辑与与操作操作x1x2d000010100111逻辑逻辑“与与”真值表真值表2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论910.3 10.3 感知器算法感知器算法 确定权值
6、和阈值确定权值和阈值w1=w2=b=2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论1010.3 10.3 感知器算法感知器算法设阈值为设阈值为0.6，初始权值均为，初始权值均为0.1，学习率为，学习率为0.5，误差值，误差值要求为要求为0，神经元的激活函数为硬限幅函数，求权值，神经元的激活函数为硬限幅函数，求权值w1与与w2。21(3)迭代次数迭代次数样本标号样本标号输入或权值标号输入或权值标号变量变量2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论1110.3 10.3 感知器算法感知器算法2电气与信息工程学院电气与信息工程学院机
7、器学习机器学习信息科学导论信息科学导论1210.3 10.3 感知器算法感知器算法 对于样本对于样本1 1，输出神经元的输入为：，输出神经元的输入为：输出神经元的输出为：输出神经元的输出为：001122(0)(1)(0)(1)0.1 00.1 00wxwx10001122(1)sgn(0)(1)sgn(0)(1)(0)(1)0.60TyWXbwxwx2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论1310.3 10.3 感知器算法感知器算法 权值调整权值调整 样本样本2 2与与3 3同样本同样本1 1，因输出为，因输出为0 0省略省略 对于样本对于样本4 4，输出
8、神经元的输入为：，输出神经元的输入为：10111112(1)(0)(1)(1)0.1(1)0.1wwdyxw111122(3)(4)(3)(4)0.1 10.1 10.2wxwx 2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论1410.3 10.3 感知器算法感知器算法 输出神经元的输出为：输出神经元的输出为：权值调整：权值调整：11111122(4)sgn(3)(4)sgn(3)(4)(3)(4)0.60TyWXbwxwx11111112(4)(3)(4)(4)0.10.5 1 10.6(4)0.6wwdyxw 2电气与信息工程学院电气与信息工程学院机器学习机
9、器学习信息科学导论信息科学导论1510.3 10.3 感知器算法感知器算法 此时完成一次循环过程，由于误差没有达到此时完成一次循环过程，由于误差没有达到0 0，返回第，返回第2 2步步继续循环，在第二次循环中，前三个样本输入时因误差均继续循环，在第二次循环中，前三个样本输入时因误差均为为0 0，所以没有对权值进行调整，各权值仍保持第一次循环，所以没有对权值进行调整，各权值仍保持第一次循环的最后值，第四个样本输入时各参数值如下：的最后值，第四个样本输入时各参数值如下：221122(3)(4)(3)(4)0.6 10.6 11.2wxwx 22221122(4)sgn(3)(4)sgn(3)(4)
10、(3)(4)0.61TyWXbwxwx2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论1610.3 10.3 感知器算法感知器算法22111122(4)(3)(4)(4)0.60.5 0 10.6(4)0.6wwdyxw 计算误差时，对所有的样本，网络的输出误差均为计算误差时，对所有的样本，网络的输出误差均为0 0，达到预定的要求，训练结束达到预定的要求，训练结束.2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论1710.4 10.4 感知器算法感知器算法任选一初始增广权矢量任选一初始增广权矢量用训练样本检验分类是否正确用训练样本检验
11、分类是否正确对所有训练样本都正确分类？对所有训练样本都正确分类？YesENDYesNo对权值进行校正对权值进行校正No2电气与信息工程学院电气与信息工程学院机器学习机器学习1812,Nx xx1wkxkkw x10.4 10.4 感知器算法感知器算法2电气与信息工程学院电气与信息工程学院机器学习机器学习19 (4)如果如果k N，令，令k=k+1，返至。如果，返至。如果k=N，检验判别函，检验判别函数数 对对 是否都能正确分类。若是，结束；是否都能正确分类。若是，结束；若不是若不是,令令 k=1，返至。，返至。xwNxxx,21 (3)调整增广权矢量，规则是调整增广权矢量，规则是 -如果如果
12、和和 ，则，则 -如果如果 和和 ，则，则 -如果如果 和和 ，或或 和和 ，则，则1kx0)(kxkwkxkwkw)()1(2kxkxkwkw)()1(0)(kxkw1kx0)(kxkw2kx0)(kxkw)()1(kwkw 010.4 10.4 感知器算法感知器算法2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论2010.4 10.4 感知器算法感知器算法 如果训练模式已经规范化，即：如果训练模式已经规范化，即：已乘以已乘以-1（包括增广分量），则校正权矢量的规则可以统一为：（包括增广分量），则校正权矢量的规则可以统一为：2kx)(0)(,)()(0)(,)(
13、)1(错误分类若正确分类若kkkxkxkxkkk 在用全部模式训练完一轮后，只要还有模式被判错，在用全部模式训练完一轮后，只要还有模式被判错，则需进行第二轮迭代，建立新的权矢量，如此循环，直则需进行第二轮迭代，建立新的权矢量，如此循环，直到能对所有模式均能正确分类为止。到能对所有模式均能正确分类为止。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论21举例举例：已知四个训练样本：已知四个训练样本 w1=(0,0),(0,1)w2=(1,0),(1,1)使用感知器固定增量法求判别函数使用感知器固定增量法求判别函数 设设w1=(1,1,1)k=11x2xo311x)1
14、,1()0,1()1,0()0,0(10.4 10.4 感知器算法感知器算法2电气与信息工程学院电气与信息工程学院机器学习机器学习221x2xo311x)1,1()0,1()1,0()0,0(1)(1)训练样本分量增训练样本分量增广化及符号规范化。广化及符号规范化。1(0,0,1)x2(0,1,1)x3(1,0,1)x 4(1,1,1)x 10.4 10.4 感知器算法感知器算法2电气与信息工程学院电气与信息工程学院机器学习机器学习23)1,0,0(1x)1,1,0(2x)1,0,1(3x)1,1,1(4x)1,1,1()1(w111,()()1 0,(2)(1)kkkkxxd xw k xw
15、w)2()3(,02)()(,22wwxkwxdxxkkkk)0,1,0()3()4(,02)()(,333xwwxkwxdxxkkkk)1,0,1()4()5(,01)()(,444xwwxkwxdxxkkkk)0,0,1()5()6(,01)()(,511xwwxkwxdxxkkkk)1,1,1()6()7(,0)()(,622xwwxkwxdxxkkkk)0,1,2()7()8(,0)()(,733xwwxkwxdxxkkkk)8()9(,01)()(,84wwxkwxdxxkkkk2电气与信息工程学院电气与信息工程学院机器学习机器学习24)8()9(,01)()(,84wwxkwxdx
16、xkkkk)1,1,2()9()10(,0)()(,911xwwxkwxdxxkkkk)10()11(,02)()(,102wwxkwxdxxkkkk)11()12(,01)()(,113wwxkwxdxxkkkk)0,0,3()12()13(,0)()(,1244xwwxkwxdxxkkkk)1,0,3()13()14(,0)()(,1311xwwxkwxdxxkkkk)14()15(,01)()(,142wwxkwxdxxkkkk)15()16(,02)()(,153wwxkwxdxxkkkk)16()17(,02)()(,164wwxkwxdxxkkkk)17()18(,01)()(,171wwxkwxdxxkkkk2电气与信息工程学院电气与信息工程学院机器学习机器学习2510.410.4 感知器算法感知器算法
