1、电气与信息工程学院电气与信息工程学院第第9 9讲讲 机器学习机器学习-神经网络简介神经网络简介2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论29.1 9.1 概述概述机器学习机器学习(Machine Learning)(Machine Learning)是人工智能的核心问题，是信是人工智能的核心问题，是信息获取的一种高级形式。其应用遍及工业过程控制、信息安息获取的一种高级形式。其应用遍及工业过程控制、信息安全、机器人、生物学、金融学等各个领域，对科学研究的整全、机器人、生物学、金融学等各个领域，对科学研究的整个过程起到越来越大的支持作用。个过程起到越来越大的支持
2、作用。19591959年美国的塞缪尔年美国的塞缪尔(Samuel)(Samuel)设计了一个具有学习能力的跳设计了一个具有学习能力的跳棋程序，它可以在不断的对奕中改善自己的棋艺。棋程序，它可以在不断的对奕中改善自己的棋艺。4 4年后，年后，这个程序战胜了设计者本人。又过了这个程序战胜了设计者本人。又过了3 3年，这个程序战胜了年，这个程序战胜了美国一个保持美国一个保持8 8年之久的常胜不败的冠军。这个程序向人们年之久的常胜不败的冠军。这个程序向人们展示了机器学习的魅力。展示了机器学习的魅力。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论39.2 9.2 机器学习
3、原理机器学习原理学习系统模型学习系统模型2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论49.2 9.2 机器学习原理机器学习原理工作原理工作原理:感知系统感知系统感受到环境有关事物运动状态及其变化方式，感受到环境有关事物运动状态及其变化方式，就产生相应的响应输入给学习与决策系统。就产生相应的响应输入给学习与决策系统。学习与决策系统学习与决策系统根据目的需求从这些输入中选择出适当的信息，并对这些信根据目的需求从这些输入中选择出适当的信息，并对这些信息进行加工，形成相应的策略，然后按照策略控制环境的变息进行加工，形成相应的策略，然后按照策略控制环境的变化或调节自身的
4、状态，以便达到预定的目的。如果化或调节自身的状态，以便达到预定的目的。如果控制和调控制和调节节的结果不能达到目的，就要从感知环节选择新的信息，并的结果不能达到目的，就要从感知环节选择新的信息，并进行与上述相似的加工、决策、控制和调节等过程，直至达进行与上述相似的加工、决策、控制和调节等过程，直至达到目的为止。到目的为止。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论59.2 9.2 机器学习原理机器学习原理为了使为了使“学习与决策学习与决策”模块能够把语法信息转变为全信模块能够把语法信息转变为全信息，需要为系统配置一个全信息的息，需要为系统配置一个全信息的“知识
5、库知识库”和相应的和相应的“理解子系统理解子系统”。“学习与决策学习与决策”环节的模块环节的模块2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论69.2 9.2 机器学习原理机器学习原理 在信息获取领域，机器学习的基本原理可以归纳为：在信息获取领域，机器学习的基本原理可以归纳为：第一，机器学习系统必须设置明确的目的。以指导学习的方第一，机器学习系统必须设置明确的目的。以指导学习的方向；机器学习系统必须有反馈机制，以便通过学习效果与学向；机器学习系统必须有反馈机制，以便通过学习效果与学习目的的比较来改进学习的性能。习目的的比较来改进学习的性能。第二第二,机器学习系统
6、应当充分利用全信息，使系统能够理解机器学习系统应当充分利用全信息，使系统能够理解学习的学习的“目的目的”，并根据全信息做出学习的性能判断。，并根据全信息做出学习的性能判断。第三第三,在系统不能利用全信息的情况下，机器学习就只能采在系统不能利用全信息的情况下，机器学习就只能采用用“大量统计大量统计”的方法和的方法和“随机凑试随机凑试”的技术途径。这是目的技术途径。这是目前大多数机器学习的共同特征。前大多数机器学习的共同特征。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论79.3 9.3 机器学习策略机器学习策略几种系统（当然不限于此）就是现在已经可以实现的机器几种
7、系统（当然不限于此）就是现在已经可以实现的机器学习系统。学习系统。监督型学习系统监督型学习系统 无监督学习系统无监督学习系统 条件反射型学习系统条件反射型学习系统 类比式学习系统类比式学习系统 演绎学习系统演绎学习系统 归纳学习系统归纳学习系统2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论89.4 9.4 人工神经网络简介人工神经网络简介人工神经网络是近年来得到迅速发展的一个前沿课题。人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解
8、决很多问题的适应能力和联想功能强等特点，已成为解决很多问题的有力工具。有力工具。定义：定义：“人工神经网络是由具有适应性的简单单元组成的人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。真实世界物体所作出的交互反应。”2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论99.4 9.4 人工神经网络简介人工神经网络简介(1)第一次热潮第一次热潮(40-60年代未年代未)1943年年,美国心理学家美国心理学家W.McCulloch和数学家和数学家W.
9、Pitts在提在提出了一个简单的神经元模型，即出了一个简单的神经元模型，即MP模型。模型。1958年，年，F.Rosenblatt等研制出了感知机等研制出了感知机(Perceptron）。）。(2)低潮低潮(70-80年代初年代初):(3)第二次热潮第二次热潮 1982年，美国物理学家年，美国物理学家J.J.Hopfield提出提出Hopfield模型，模型，它是一个互联的非线性动力学网络它是一个互联的非线性动力学网络.他解决问题的方法是他解决问题的方法是一种反复运算的动态过程一种反复运算的动态过程,这是符号逻辑处理方法所不具这是符号逻辑处理方法所不具备的性质备的性质.2电气与信息工程学院电气
10、与信息工程学院机器学习机器学习信息科学导论信息科学导论109.4 9.4 人工神经网络简介人工神经网络简介n人脑由一千多亿（人脑由一千多亿（1011亿亿 1014 亿）个神经细胞（神经元）交亿）个神经细胞（神经元）交织在一起的网状结构组成，其中织在一起的网状结构组成，其中大脑皮层约大脑皮层约140亿个神经元，小亿个神经元，小脑皮层约脑皮层约1000亿个神经元。亿个神经元。n 神经元约有神经元约有1000种类型，每个神经元大约与种类型，每个神经元大约与103 104个其个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。络。n 人的智能
11、行为就是由如此高度复杂的组织产生的。浩瀚的人的智能行为就是由如此高度复杂的组织产生的。浩瀚的宇宙中，也许只有包含数千忆颗星球的银河系的复杂性能够宇宙中，也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相比。与大脑相比。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论119.4 9.4 人工神经网络简介人工神经网络简介（输入输入）（输出输出）神经脉冲神经脉冲生物神经元结构生物神经元结构2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论129.4 9.4 人工神经网络简介人工神经网络简介神经元的信息传递和处理是一种电化学活动神经元的信息传
12、递和处理是一种电化学活动树突树突由于电由于电化学作用接受外界的刺激；通过胞体内的活动体现为化学作用接受外界的刺激；通过胞体内的活动体现为轴突轴突电位，当轴突电位达到一定的值则形成电位，当轴突电位达到一定的值则形成神经脉冲神经脉冲或动作电或动作电位；再通过轴突位；再通过轴突末梢末梢传递给其它的神经元从控制论的观传递给其它的神经元从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。的动态过程。细胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输2电气与信息工程学院电气与信息工程学院机器学习机器学习信息
13、科学导论信息科学导论139.4 9.4 人工神经网络简介人工神经网络简介 神经元的数学模型神经元的数学模型 其中其中x（x1，xm）T 输输入向量，入向量，y为输出，为输出，wi是权是权系数；输入与输出具有如系数；输入与输出具有如下关系：下关系：miiixwfy1)(为阈值，为阈值，f（x）是激发函数；它可以是线性函数，也可以）是激发函数；它可以是线性函数，也可以是非线性函数是非线性函数2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论149.4 9.4 人工神经网络简介人工神经网络简介例如，若记例如，若记 取激发函数为符号函数取激发函数为符号函数 miiixwz1
14、.0,0,0,1)sgn(xxx则则 miiimiiixwxwzfy11,0,1)(2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论159.4 9.4 人工神经网络简介人工神经网络简介S型激发函数：型激发函数：,11)(xexf;1)(0 xf,)(xxxxeeeexf.1)(1xf注：注：若将阈值看作是一个权系数，若将阈值看作是一个权系数，-1是一个固定的输入，是一个固定的输入，另有另有m-1个正常的输入，则神经元模型也可表示为：个正常的输入，则神经元模型也可表示为：miiixwfy1)(2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学
15、导论169.4 9.4 人工神经网络简介人工神经网络简介 众多神经元之间组合形成神经网络，例如下图的含有中间众多神经元之间组合形成神经网络，例如下图的含有中间层（隐层）的层（隐层）的B-PB-P网络。网络。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论179.4 9.4 人工神经网络简介人工神经网络简介基本基本BPBP网络的拓扑结构网络的拓扑结构b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka输出层输出层LC隐含层隐含层LB输入层输入层L
16、AWVklc2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论189.4 9.4 人工神经网络简介人工神经网络简介 一般而言一般而言,ANN与经典计算方法相比并非优越与经典计算方法相比并非优越,只有当常只有当常规方法解决不了或效果不佳时规方法解决不了或效果不佳时ANN方法才能显示出其优越性。方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统尤其对问题的机理不甚了解或不能用数学模型表示的系统,如如故障诊断、特征提取和预测等问题故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。往往是最有利的工具。另一方面另一方面,ANN对处理大量原始数据
17、而不能用规则或公式描述对处理大量原始数据而不能用规则或公式描述的问题的问题,表现出极大的灵活性和自适应性。表现出极大的灵活性和自适应性。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论199.4 9.4 人工神经网络简介人工神经网络简介例例 1981年生物学家格若根（年生物学家格若根（W Grogan）和维什（）和维什（WWirth）发）发现了两类蚊子现了两类蚊子(或飞蠓或飞蠓midges)他们测量了这两类蚊子每个个体他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：的翼长和触角长，数据如下：翼长翼长 触角长触角长 类别类别 1.64 1.38 Af 1.82
18、 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长翼长 触角长触角长 类别类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论209.4 9.4 人工神经网络简介人工神经网络简介问：如果抓到三只新的蚊子，它们的触角长和翼长分别问：如果抓到三只新的蚊子，它们的触角长和
19、翼长分别为为(l.24,1.80);(l.28，1.84)；（；（1.40，2.04）问它们应分）问它们应分别属于哪一个种类？别属于哪一个种类？解法一：解法一：把翼长作纵坐标，触角长把翼长作纵坐标，触角长作横坐标；那么每个蚊子作横坐标；那么每个蚊子的翼长和触角决定了坐标的翼长和触角决定了坐标平面的一个点平面的一个点.其中其中 6个蚊个蚊子属于子属于 APf类；用黑点类；用黑点“”表示；表示；9个蚊子属个蚊子属 Af类；类；用小圆圈用小圆圈“。”表示表示飞蠓的触角长和翼长飞蠓的触角长和翼长2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论219.4 9.4 人工神经网
20、络简介人工神经网络简介思路：思路：作一直线将两类飞蠓分开作一直线将两类飞蠓分开.例如例如；取；取A（1.44，2.10）和）和 B(1.10，1.16)，过，过A B两点作一条直线：两点作一条直线：y 1.47x -0.017其中其中x表示触角长；表示触角长；y表示翼长表示翼长 分类规则：分类规则：设一个蚊子的数据为（设一个蚊子的数据为（x,y）如果如果y1.47x -0.017，则判断蚊子属，则判断蚊子属Apf类；类；如果如果y1.47x -0.017；则判断蚊子属；则判断蚊子属Af类类 2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论229.4 9.4 人工神
21、经网络简介人工神经网络简介分类结果：分类结果：(1.24，1.80)，(1.28，1.84)属于属于Af类；类；(1.40，2.04）属于）属于 Apf类类分类直线图分类直线图 2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论239.4 9.4 人工神经网络简介人工神经网络简介缺陷：缺陷：根据什么原则确定分类直线？根据什么原则确定分类直线？若取若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为不变，则分类直线变为 y=1.39x+0.071分类结果分类结果变为：变为：(1.24,1.80)，(1.40,2.04)属于属于Apf类；类；(1.
22、28,1.84)属于属于Af类类 哪一分类直线才是正确的呢？哪一分类直线才是正确的呢？因此如何来确定这个判别直线是一个值得研究的问因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判题一般地讲，应该充分利用已知的数据信息来确定判别直线别直线2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论249.4 9.4 人工神经网络简介人工神经网络简介再如再如，如下的情形已经不能用分类直线的办法：，如下的情形已经不能用分类直线的办法：新思路：新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的将问题看作一个系统，飞蠓的数据作为输入，飞蠓的
23、类型作为输出，研究输入与输出的关系。类型作为输出，研究输入与输出的关系。2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论25输入数据有输入数据有15个，即个，即,p=1,15;j=1,2;对应对应15个输出。个输出。建立神经网络建立神经网络9.4 9.4 人工神经网络简介人工神经网络简介2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论26规定目标为：规定目标为：当当t(1)=0.9 时表示属于时表示属于Apf类，类，t(2)=0.1表表示属于示属于Af类。类。设两个权重系数矩阵为：设两个权重系数矩阵为：)3,2()2,2()1,2()
24、3,1()2,1()1,1(1111111wwwwwwW)3,1()2,1()1,1(2222wwwW)()3,(jjwii为阈值为阈值 其中其中9.4 9.4 人工神经网络简介人工神经网络简介2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论27分析如下：分析如下：为第一层的输出，同时作为第二层的输入。为第一层的输出，同时作为第二层的输入。)2()2()2,2()1()1,2()2()1()2()2,1()1()1,1()1(101011101011awawuawawu)1()1(11ufa)2()2(11ufa其中，其中，为阈值，为阈值，为激励函数为激励函数if
25、1)3(0a若令若令（作为一固定输入）（作为一固定输入）（阈值作为固定输入神经元相应的权系数）（阈值作为固定输入神经元相应的权系数）jjw)3,(12,1j9.4 9.4 人工神经网络简介人工神经网络简介2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论283101010101131010101011)(),2()3()3,2()2()2,2()1()1,2()2()(),1()3()3,1()2()2,1()1()1,1()1(jjjajwawawawujajwawawawu则有：则有：xexf11)(取激励函数为取激励函数为)()(11iufia=)(exp(1
26、11iu2,1i则则同样，取同样，取 ,1)3(1a)3,1(2w)1(exp(11)1()(),1()1(2231122uajajwuj2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论29（1）随机给出两个权矩阵的初值；例如用）随机给出两个权矩阵的初值；例如用MATLAB软件时软件时可以用以下语句：可以用以下语句：令令p=0具体算法：具体算法：)0(1W=rand(2,3);)0(2W=rand(1,3);(2)根据输入数据利用公式算出网络的输出根据输入数据利用公式算出网络的输出 3101010101131010101011)(),2()3()3,2()2()2
27、,2()1()1,2()2()(),1()3()3,1()2()2,1()1()1,1()1(jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2,1i9.4 9.4 人工神经网络简介人工神经网络简介2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论30,1)3(1a)1(exp(11)1()(),1()1(2231122uajajwuj取取（3）计算）计算 xexf11)(因为因为 所以所以 2)1()(xxeexf)1()1()1()1(222ufat2222)1(exp(1/()1(exp()1()1(uuat（4）
28、取）取（或其他正数，可调整大小）（或其他正数，可调整大小）1.02电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论31)()1(1ip(5)计算计算 和和:),()1(1jiWp)()1(1ip222)1(2)1(2)1(exp(1/()1(exp(),1()1(uuiWpp)()(),(),()1(0)1(1)(1)1(1jaijiWjiWppppj=1,2,3,i=1,2,3,计算计算 j=1,2,3),1()1(2jWP)()1(),1(),1()1(1)1(2)(2)1(2jajWjWppppj=1,2,39.4 9.4 人工神经网络简介人工神经网络简介2电
29、气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论32(6)p=p+1，转（，转（2）注：仅计算一圈（注：仅计算一圈（p=1，2，15）是不够的，直到）是不够的，直到当各权重变化很小时停止，本例中，共计算了当各权重变化很小时停止，本例中，共计算了147圈，圈，迭代了迭代了2205次。次。最后结果是：最后结果是：2764.02875.05787.05765.05976.75921.51W9829.34838.04075.82W2电气与信息工程学院电气与信息工程学院机器学习机器学习信息科学导论信息科学导论33即网络模型的解为：即网络模型的解为：2764.0)2(2875.0)1(5787.0)2(5765.0)2(5976.7)1(5921.5)1(001001aauaau)()(11iufia)(exp(111iu2,1i=)1(exp(11)1(9829.3)2(4838.0)1(4075.8)1(22112uaaau
