1、西安电子科技大学西安电子科技大学Artificial Intelligence (AI)人工智能人工智能主讲：戚玉涛Email：qi_第五章：计算智能西安电子科技大学西安电子科技大学内容提要1.1.概述概述2.2.神经网络神经网络3.3.模糊计算模糊计算4.4.遗传算法遗传算法西安电子科技大学西安电子科技大学内容提要1.1.概述概述2.2.神经网络神经网络3.3.模糊计算模糊计算4.4.遗传算法遗传算法西安电子科技大学西安电子科技大学概述v计算智能计算智能（Computational Intelligence，CI）按照按照Bezdek（贝兹德克）的观点：（贝兹德克）的观点：如果一个系统仅处如
2、果一个系统仅处理低层的理低层的数值数据数值数据，含有，含有模式识别模式识别部件，部件，没有使用人没有使用人工智能意义上的知识工智能意义上的知识，且具有，且具有计算适应性计算适应性、计算容错计算容错力力、接近人的计算速度接近人的计算速度和和近似于人的误差率近似于人的误差率这这4个特性，个特性，则它是计算智能的。则它是计算智能的。从学科范畴看：从学科范畴看：计算智能是在神经网络（计算智能是在神经网络（Neural Net-works, NN）、进化计算（）、进化计算（Evolutionary Computation, EC）及模糊系统（）及模糊系统（Fuzzy System, FS）这）这3个领域
3、发展个领域发展相对成熟的基础上形成的一个统一的学科概念。相对成熟的基础上形成的一个统一的学科概念。 西安电子科技大学西安电子科技大学概述v神经网络：神经网络：是一种对人类智能的是一种对人类智能的结构模拟方法结构模拟方法，它，它是通过对大量人工神经元的广泛并行互联，构造人工是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。神经网络系统去模拟生物神经系统的智能机理的。v进化计算：进化计算：是一种对人类智能的是一种对人类智能的演化模拟方法演化模拟方法，它，它是通过对生物遗传和演化过程的认识，用进化算法去是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能
4、的进化规律的。模拟人类智能的进化规律的。v模糊计算：模糊计算：是一种对人类智能的是一种对人类智能的逻辑模拟方法逻辑模拟方法，它，它是通过对人类处理模糊现象的认知能力的认识，用模是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。糊逻辑去模拟人类的智能行为的。西安电子科技大学西安电子科技大学概述v计算智能不仅涉及计算智能不仅涉及神经网络神经网络、模糊系统模糊系统和和进化计进化计算算三个主要分支，还包括：三个主要分支，还包括：粒子群算法粒子群算法蚁群算法蚁群算法人工免疫系统人工免疫系统人工生命人工生命模拟退火算法模拟退火算法粗集理论与粒度计算粗集理论与粒度计算支持向量机支持
5、向量机量子计算量子计算DNA计算计算智能智能agent西安电子科技大学西安电子科技大学概述v智能的三个层次智能的三个层次生物智能生物智能(Biological Intelligence, BI)：由脑的物理化学由脑的物理化学过程反映出来的过程反映出来的, 脑智能的基础。脑智能的基础。人工智能人工智能(Artificial Intelligence, AI) ：是非生物的是非生物的,人造人造的的,常用符号来表示，常用符号来表示，AI的来源是人类知识的精华。的来源是人类知识的精华。计算智能计算智能(Computational Intelligence, CI) ：是由数学是由数学方法和计算机实现的
6、，方法和计算机实现的，CI的来源数值计算的传感器。的来源数值计算的传感器。ABC：p Artificialp Biologicalp Computational西安电子科技大学西安电子科技大学概述vABC的交互关系：的交互关系：Bezdek（贝兹德克），（贝兹德克），1994输入输入人类知识人类知识()传感输入传感输入知识知识()传感数据传感数据计算计算()传感器传感器C数值的数值的A符号的符号的B生物的生物的输入输入复杂性复杂性复杂性复杂性BNNBPRBIANNAPRAICNNCPRCIp NN：神经网络；：神经网络；PR：模式识别；：模式识别；I：智能：智能西安电子科技大学西安电子科技大学
7、概述v另一种观点：另一种观点：计算智能和人工智能是不同的范畴。计算智能和人工智能是不同的范畴。其其代表人物是艾伯哈特（代表人物是艾伯哈特（R. C. Eberhart）。）。v该观点认为：虽然人工智能与计算智能之间有重合，该观点认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新的学科领域，无论是生物智能但计算智能是一个全新的学科领域，无论是生物智能还是机器智能，计算智能都是其最核心的部分，而人还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。工智能则是外层。v大量实践证明，只有把大量实践证明，只有把AI和和CI很好地结合起来，才能很好地结合起来，才能更好地模拟人类智能，才
8、是智能科学技术发展的正确更好地模拟人类智能，才是智能科学技术发展的正确方向。方向。西安电子科技大学西安电子科技大学内容提要1.1.概述概述2.2.神经网络神经网络3.3.模糊计算模糊计算4.4.遗传算法遗传算法西安电子科技大学西安电子科技大学神经网络v人工智能的各种学说人工智能的各种学说 符号（功能）主义：符号（功能）主义：符号逻辑推理符号逻辑推理 联结（结构）主义：联结（结构）主义：人工神经网络人工神经网络 行为主义：行为主义：智能行为模拟，智能行为模拟， “模式模式-动作动作”v 联结主义的观点：智能的寓所在大脑皮层，它由大量非线联结主义的观点：智能的寓所在大脑皮层，它由大量非线性性神经元
9、神经元互联而成并行处理的互联而成并行处理的神经网络神经网络。西安电子科技大学西安电子科技大学神经网络v人工神经网络（人工神经网络（ANN）是反映人脑结构及功能的是反映人脑结构及功能的一种一种抽象数学模型抽象数学模型，是由大量神经元节点互连而，是由大量神经元节点互连而成的复杂网络，用以模拟人类进行知识的表示与成的复杂网络，用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为。存储以及利用知识进行推理的行为。v简单地讲，它是一个简单地讲，它是一个数学模型数学模型，可以用，可以用电子线路电子线路来实现，也可以用来实现，也可以用计算机程序来模拟计算机程序来模拟，是人工智，是人工智能研究的一种方法
10、。能研究的一种方法。v人工神经网络力求从四个方面模拟人脑的智能行人工神经网络力求从四个方面模拟人脑的智能行为：为： 物理结构，计算模拟，存储与操作，训练物理结构，计算模拟，存储与操作，训练 西安电子科技大学西安电子科技大学人工神经网络的发展v人工神经网络的发展人工神经网络的发展段萌芽期：段萌芽期： M-P模型模型, ,Hebb学习律学习律p1890年，美国生物学家年，美国生物学家W. James首次阐明了有关人脑结首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律构及其功能，以及相关学习、联想、记忆的基本规律p1943年，心理学家年，心理学家McCulloch和数学家和数学家P
11、itts建立起了建立起了M-P神经元神经元模型模型。p1949年，心理学家年，心理学家D. O. Hebb提出神经元之间突触联系提出神经元之间突触联系是可变的假说是可变的假说Hebb学习律学习律。第一高潮期：第一高潮期：单级感知器单级感知器p以以Minsky, Rosenblatt, Widrow等为代表人物等为代表人物西安电子科技大学西安电子科技大学人工神经网络的发展v人工神经网络的发展人工神经网络的发展p1957年年Frank Rosenblatt定义了一个神经网络结构，称为定义了一个神经网络结构，称为感知器感知器 (Perceptron) 。p把神经网络研究从纯理论的探讨推向工程实现，在
12、把神经网络研究从纯理论的探讨推向工程实现，在IBM计算机上进行了模拟，并可以用电子线路模拟。计算机上进行了模拟，并可以用电子线路模拟。反思期反思期 ：Minsky的质疑的质疑p1969年年Minsky和和Papert在在感知机感知机一书中指出感知机一书中指出感知机的缺陷，使得神经网络的研究从兴起期进入了停滞期。的缺陷，使得神经网络的研究从兴起期进入了停滞期。p芬兰学者芬兰学者Kohonen提出了提出了自组织映射理论自组织映射理论(SOM)，美国，美国学者学者Grossberg提出了提出了自适应谐振理论自适应谐振理论，这些研究成果对，这些研究成果对神经网络以后的发展产生了重要影响。神经网络以后的
13、发展产生了重要影响。西安电子科技大学西安电子科技大学人工神经网络的发展v人工神经网络的发展人工神经网络的发展第二高潮期第二高潮期 ：Hopfield网络网络, 反向传播反向传播(BP)算法算法p1982年，年，Hopfield提出提出Hopfield模型模型。1984年，年， Hopfield设计研制了设计研制了Hopfield网的电路网的电路。较好地解决了著名的。较好地解决了著名的TSP问题，引起了较大的轰动。问题，引起了较大的轰动。p1985年，年，Hinton、Sejnowsky、Rumelhart等人在等人在Hopfield网络中引入随机机制，提出网络中引入随机机制，提出Boltzma
14、nn机机。p1986年，年， Rumelhart, Hinton提出提出多层感知机多层感知机与与反向传播反向传播(BP) 学习算法学习算法，该方法克服了感知器非线性不可分类问，该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。题，给神经网络研究带来了新的希望。 p国内首届神经网络大会国内首届神经网络大会1990年年12月在北京举行。月在北京举行。西安电子科技大学西安电子科技大学人工神经网络的发展v人工神经网络的发展人工神经网络的发展成熟期：成熟期：平稳发展，应用广泛平稳发展，应用广泛p与其他领域的结合：与其他领域的结合： 与进化计算结合与进化计算结合 与模糊逻辑结合与模糊逻辑
15、结合 p实际应用：实际应用： 计算机视觉计算机视觉 自然语言理解自然语言理解 优化计算优化计算 智能控制智能控制西安电子科技大学西安电子科技大学人工神经网络的发展v人工神经网络的特性人工神经网络的特性并行分布处理：并行分布处理：并行结构，耐故障；并行结构，耐故障；非线性映射：非线性映射：任意非线性映射能力；任意非线性映射能力；通过训练进行学习：通过训练进行学习：通过数据记录进行训练，能处理通过数据记录进行训练，能处理由数学模型或描述规则难以处理的问题；由数学模型或描述规则难以处理的问题；适应与集成：适应与集成：自适应和信息融合能力；自适应和信息融合能力；硬件实现：硬件实现：快速和大规模处理能力
16、。快速和大规模处理能力。西安电子科技大学西安电子科技大学神经网络的生物学机理v神经元结构包括四个部分：神经元结构包括四个部分：p 胞体：胞体：神经细胞的本体，维持细胞生存功能神经细胞的本体，维持细胞生存功能p 树突：树突：接收来自其他神经元的信号（输入）接收来自其他神经元的信号（输入）p 轴突：轴突：输出信号输出信号p 突触：突触：与另一个神经元相联系的特殊部位与另一个神经元相联系的特殊部位西安电子科技大学西安电子科技大学神经网络的生物学机理v神经元的基本工作机制（简化）：神经元的基本工作机制（简化）：一个神经元有两种状态：一个神经元有两种状态：兴奋和抑制兴奋和抑制；平时处于抑制状态的神经元，
17、其树突和胞体接收其他平时处于抑制状态的神经元，其树突和胞体接收其他神经元由突触传来的兴奋电位，多个输入在神经元中神经元由突触传来的兴奋电位，多个输入在神经元中以代数和的方式叠加；以代数和的方式叠加；如果输入兴奋电位总量超过某个如果输入兴奋电位总量超过某个阈值阈值，神经元会被激，神经元会被激发进入兴奋状态，发出输出脉冲，并由突触传递给其发进入兴奋状态，发出输出脉冲，并由突触传递给其他神经元。他神经元。神经元被触发后进入神经元被触发后进入不应期不应期，在不应期不能被触发，在不应期不能被触发，然后阈值逐渐下降，恢复兴奋性。然后阈值逐渐下降，恢复兴奋性。西安电子科技大学西安电子科技大学神经网络的生物学
18、机理v生物神经网络的六个基本特征：生物神经网络的六个基本特征：1.1.神经元及其联接神经元及其联接；2.2.神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3.3.神经元之间的联接强度是可以随神经元之间的联接强度是可以随训练训练改变的；改变的；4.4.信号可以是起信号可以是起刺激刺激作用的，也可以是起作用的，也可以是起抑制抑制作用的；作用的；5.5.一个神经元接受的信号的一个神经元接受的信号的累积效果累积效果决定该神经元的决定该神经元的状态；状态；6.6.每个神经元可以有一个每个神经元可以有一个“阈值阈值”。西安电子科技大学西安电子科技大学人工神经元模型vMP模
19、型模型 是一种人工神经元的数学模型，它是由是一种人工神经元的数学模型，它是由美国美国Culloch和和Pitts提出的最早神经元模型之一。提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。模型是大多数神经网络模型的基础。vMP模型示意图：模型示意图：西安电子科技大学西安电子科技大学人工神经元模型v人工神经元是仿照生物神经元提出的，神经元可人工神经元是仿照生物神经元提出的，神经元可以有以有N个个输入输入：v每个输入端与神经元之间有一定的每个输入端与神经元之间有一定的联接权值联接权值：v神经元总的输入为对每个输入的加权求和，同时神经元总的输入为对每个输入的加权求和，同时减去减去阈值阈值
20、。u代表神经元的代表神经元的活跃值活跃值，即，即神经元状神经元状态态：12,Nw ww12,Nx xx1Niiiuw x西安电子科技大学西安电子科技大学人工神经元模型v神经元的神经元的输出输出y是对是对u的映射：的映射：称为称为输出函数输出函数（激励函数，激活函数），可以有（激励函数，激活函数），可以有很多形式：很多形式： 1Niiiyf ufw x二值函数二值函数非线性斜面函数非线性斜面函数Sigmoid函数函数西安电子科技大学西安电子科技大学人工神经元模型v输出函数的作用输出函数的作用控制输入对输出的激活作用控制输入对输出的激活作用对输入、输出进行函数转换对输入、输出进行函数转换将可能无限
21、域的输入变换成指定的有限范围内的输将可能无限域的输入变换成指定的有限范围内的输出出西安电子科技大学西安电子科技大学人工神经网络拓扑结构v神经元的模型确定之后，一个神经网络的特性及神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的能力主要取决于网络的拓扑结构拓扑结构及及学习方法学习方法v人工神经网络（人工神经网络（ANNANN）可以看成是以人工神经元为）可以看成是以人工神经元为结点，用有向加权弧连接起来的有向图结点，用有向加权弧连接起来的有向图人工神经元人工神经元就是对就是对生物神经元生物神经元的模拟的模拟有向弧有向弧则是则是轴突轴突突触突触树突树突对的模拟对的模拟有向弧的有向弧的权
22、值权值表示相互连接的两个人工神经元表示相互连接的两个人工神经元间间相互作用的强弱。相互作用的强弱。西安电子科技大学西安电子科技大学人工神经网络拓扑结构v人工神经网络实例（一个前馈网络的例子）：人工神经网络实例（一个前馈网络的例子）：ANiANj wij 西安电子科技大学西安电子科技大学人工神经网络拓扑结构v人工神经网络连接的几种基本形式人工神经网络连接的几种基本形式前馈（多层）网络前馈（多层）网络从输出到输入有反馈的前向网络从输出到输入有反馈的前向网络p用来存储某种模式序列用来存储某种模式序列层内互连前向网络层内互连前向网络p限制层内同时动作的神经元；分类功能限制层内同时动作的神经元；分类功能
23、反馈型全互联网络反馈型全互联网络 & & 反馈型局部互联网络反馈型局部互联网络西安电子科技大学西安电子科技大学人工神经网络拓扑结构v前馈（多层）网络前馈（多层）网络最初称之为感知器。应最初称之为感知器。应用最广泛，最要原因是用最广泛，最要原因是有有BPBP学习方法。学习方法。前馈网络具有递阶分层前馈网络具有递阶分层结构，由同层神经元间结构，由同层神经元间不存在互连的层级组成不存在互连的层级组成上层单元与下层所有单上层单元与下层所有单元相联接。元相联接。西安电子科技大学西安电子科技大学人工神经网络拓扑结构v从输出到输入有反馈的从输出到输入有反馈的前向网络：前向网络：输出层上存在一个反输出层上存在
24、一个反馈回路，将信号反馈馈回路，将信号反馈到输入层。而网络本到输入层。而网络本身还是前馈型的身还是前馈型的西安电子科技大学西安电子科技大学人工神经网络拓扑结构v层内互连前向网络：层内互连前向网络：外部看还是一个前外部看还是一个前向网络，内部有很向网络，内部有很多自组织网络在层多自组织网络在层内互联着。内互联着。西安电子科技大学西安电子科技大学人工神经网络拓扑结构v反馈型全互联网络：反馈型全互联网络：所有计算单元之间都有所有计算单元之间都有联接。如：联接。如：HopfieldHopfield网网络络 v反馈型局部联接网络：反馈型局部联接网络：每个神经元的输出只与每个神经元的输出只与其周围的神经元
25、相连，其周围的神经元相连，形成反馈网络。形成反馈网络。西安电子科技大学西安电子科技大学人工神经网络学习v人工神经网络最具有吸引力的特点是它的学习能人工神经网络最具有吸引力的特点是它的学习能力。力。19621962年，年，RosenblattRosenblatt给出了人工神经网络著给出了人工神经网络著名的学习定理：名的学习定理：人工神经网络可以学会它可以表人工神经网络可以学会它可以表达的任何东西达的任何东西。v人工神经网络的表达能力大大地限制了它的学习人工神经网络的表达能力大大地限制了它的学习能力。能力。v神经网络的适应性是通过学习实现的。学习是神神经网络的适应性是通过学习实现的。学习是神经网络
26、研究的一个重要内容，人工神经网络的学经网络研究的一个重要内容，人工神经网络的学习过程表现为习过程表现为对连接权值的训练对连接权值的训练。西安电子科技大学西安电子科技大学人工神经网络学习v神经网络基本学习算法分为：神经网络基本学习算法分为：有师学习有师学习(Supervised Learning) ：能够根据期能够根据期望的和实际的网络输出（对应于给定输入）间望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。的差来调整神经元间连接的强度或权。无师学习无师学习(Unsupervised Learning) ：无需知道无需知道期望输出，抽取样本集合中蕴含的统计特性。期望输出，
27、抽取样本集合中蕴含的统计特性。强化学习强化学习(Reinforcement Learning)：采用一个采用一个“评论员评论员”来评价与给定输入相对应的神经网来评价与给定输入相对应的神经网络输出的优度（质量因数）。络输出的优度（质量因数）。西安电子科技大学西安电子科技大学基于神经网络的知识表示v基于神经网络的知识表示基于神经网络的知识表示在这里，知识并不像在产生式系统中那样独立在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是地表示为每一条规则，而是将某一问题的若干将某一问题的若干知识在同一网络中表示知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经例如，在有些神经网
28、络系统中，知识是用神经网络所对应的有向权图的网络所对应的有向权图的邻接矩阵邻接矩阵及及阈值向量阈值向量表示的。表示的。 西安电子科技大学西安电子科技大学基于神经网络的推理v基于神经网络的推理是通过基于神经网络的推理是通过网络计算网络计算实现的。把实现的。把用户提供的初始证据用作网络的输入，通过网络用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。计算最终得到输出结果。 v一般来说，正向网络推理的步骤如下：一般来说，正向网络推理的步骤如下：把已知数据输入网络输入层的各个节点。把已知数据输入网络输入层的各个节点。利用特性函数分别计算网络中各层的输出。利用特性函数分别计算网络中各层的输出。用阈值函数对输出层的输出进行判定，从而得用阈值函数对输出层的输出进行判定，从而得到输出结果。到输出结果。西安电子科技大学西安电子科技大学西安电子科技大学西安电子科技大学演讲完毕，谢谢观看！
