1、第四章第四章 计算智能计算智能(1)神经计算神经计算模糊计算模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU2v信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。 v计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。 4.1 概述概述CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU
2、CSUCSUCSUCSU3什么是计算智能 v把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。 v计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledge tidbits）。人工神经网络应当称为计算神经网络。 4.1 概述CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU4计算智能与人工智能的区别和关系
3、 输入输入人类知识人类知识()传感输入传感输入知识知识()传感数据传感数据计算计算()传感器传感器C数值的数值的A符号的符号的B生物的生物的输入输入复杂性复杂性复杂性复杂性BNNBPRBIANNAPRAICNNCPRCI4.1 概述CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU5vAArtificial，表示人工的（非生物的）；BBiological，表示物理的化学的 （？）生物的； CComputational，表示数学计算机 v计算智能是一种智力方式的低层认知，它与人工智能的
4、区别只是认知层次从中层下降至低层而已。中层系统含有知识（精品），低层系统则没有。4.1 概述CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU6v当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：（1）计算适应性；（2）计算容错性；（3）接近人的速度；（4）误差率与人相近， 则该系统就是计算智能系统。v当一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智能系统。 4.1 概述CSUCSUCSUCSUCSUCSUCSUCSUCSU
5、CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU7v1960年年威德罗和霍夫率先把神经网络用于自威德罗和霍夫率先把神经网络用于自动控制研究。动控制研究。v60年代末期至年代末期至80年代中期年代中期，神经网络控制与，神经网络控制与整个神经网络研究一样，处于低潮。整个神经网络研究一样，处于低潮。 v80年代后期以来年代后期以来，随着人工神经网络研究的，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自活跃。这方面的研究进展主要在神经网络自适应控制和模糊
6、神经网络控制及其在机器人适应控制和模糊神经网络控制及其在机器人控制中的应用上。控制中的应用上。4.2 神经计算4.2.1 人工神经网络研究的进展CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU8v并行分布处理v非线性映射v通过训练进行学习v适应与集成v硬件实现人工神经网络的特性4.2 神经计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU94.2.2 人工神经网络的结
7、构4.2 神经计算-1 W j 1X1X2Wj2X nW j n ( )Yi图图4.2 神经元模型神经元模型CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU10 图图4.2中的神经元单元由多个输入中的神经元单元由多个输入xi，i=1,2,.,n和一个输出和一个输出y组成。中间状态由输入信号的权组成。中间状态由输入信号的权和表示，而输出为和表示，而输出为（4.1） 式中，式中， j为神经元单元的偏置，为神经元单元的偏置，wji为连接权系为连接权系数。数。 n为输入信号数目，为输入信号
8、数目，yj为神经元输出，为神经元输出，t为为时间，时间，f( )为输出变换函数，如图为输出变换函数，如图4.3。 4.2 神经计算nijijijxwfty1)()(CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU11(a)xf(x)1x00图图4.3 神经元中的某些变换（激发）函数神经元中的某些变换（激发）函数(a) 二值函数二值函数(b) S形函数形函数 (c) 双曲正切函数双曲正切函数4.2 神经计算(c)xf(x)1-1 (b)f(x)x1 0CSUCSUCSUCSUCSUC
9、SUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU12v人工神经网络是具有下列特性的有向图：v 对于每个节点 i 存在一个状态变量xi ；v 从节点 j 至节点 i ，存在一个连接权系统数wij；v 对于每个节点 i ，存在一个阈值 i；v对于每个节点 i ，定义一个变换函数fi ；对于最一般的情况，此函数取v 形式。人工神经网络的基本特性和结构4.2 神经计算)(jijijixwfCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUC
10、SUCSUCSUCSUCSU13v递归（反馈）网络递归（反馈）网络:在递归网络中，多在递归网络中，多个神经元互连以组个神经元互连以组织一个互连神经网织一个互连神经网络，如图络，如图4.4。图图4.4 反馈网络反馈网络x1x2xnV1V2Vn输入输入输出输出x1x2xn4.2 神经计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU14v前馈网络前馈网络:前馈网前馈网络具有递阶分层络具有递阶分层结构，由同层神结构，由同层神经元间不存在互经元间不存在互连的层级组成，连的层级组成，如图如
11、图4.5。4.2 神经计算x1x2输入层输入层输出层输出层隐层隐层y1ynw11w1m图图4.5 前馈网络前馈网络反向传播反向传播CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU15v有师学习算法：能够根据期望的和实际有师学习算法：能够根据期望的和实际的网络输出（对应于给定输入）间的差的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。来调整神经元间连接的强度或权。v无师学习算法：不需要知道期望输出。无师学习算法：不需要知道期望输出。v强化学习算法：采用一个强化学习算法
12、：采用一个“评论员评论员”来来评价与给定输入相对应的神经网络输出评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的的优度（质量因数）。强化学习算法的一个例子是遗传算法（一个例子是遗传算法（GA）。）。人工神经网络的主要学习算法4.2 神经计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU16表 4.2 人工神经网络的典型模型 模型名称 有师或无师 学习规则 正向或反向传播 应用领域 AG 无 Hebb 律 反向 数据分类 SG 无 Hebb 律 反向 信息处理
13、ART-I 无 竞争律 反向 模式分类 DH 无 Hebb 律 反向 语音处理 CH 无 Hebb/竞争律 反向 组合优化 BAM 无 Hebb/竞争律 反向 图象处理 AM 无 Hebb 律 反向 模式存储 ABAM 无 Hebb 律 反向 信号处理 CABAM 无 Hebb 律 反向 组合优化 FCM 无 Hebb 律 反向 组合优化 LM 有 Hebb 律 正向 过程监控 DR 有 Hebb 律 正向 过程预测，控制 LAM 有 Hebb 律 正向 系统控制 人工神经网络的典型模型4.2 神经计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUC
14、SUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU17OLAM 有 Hebb 律 正向 信号处理 FAM 有 Hebb 律 正向 知识处理 BSB 有 误差修正 正向 实时分类 Perceptron 有 误差修正 正向 线性分类，预测 Adaline/Madaline 有 误差修正 反向 分类，噪声抑制 BP 有 误差修正 反向 分类 AVQ 有 误差修正 反向 数据自组织 CPN 有 Hebb 律 反向 自组织映射 BM 有 Hebb/模拟退火 反向 组合优化 CM 有 Hebb/模拟退火 反向 组合优化 AHC 有 误差修正 反向 控制 ARP 有 随机增大 反向 模式
15、匹配，控制 SNMF 有 Hebb 律 反向 语音/图象处理 续前表：续前表：4.2 神经计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU18v基于神经网络的知识表示 在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。 4.2.4 基于神经网络的知识表示与推理基于神经网络的知识表示与推理 4.2 神经计算CSUCSUCSUCSUCSUCSU
16、CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU19v基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。 v一般来说，正向网络推理的步骤如下：v把已知数据输入网络输入层的各个节点。v利用特性函数分别计算网络中各层的输出。v用阈值函数对输出层的输出进行判定，从而得到输出结果。基于神经网络的推理基于神经网络的推理 4.2 神经计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU
17、CSUCSUCSUCSU20论域论域U到到0,1区间的任一映射区间的任一映射 ，即即 ，都确定，都确定U的一个模糊子集的一个模糊子集F； 称为称为F的隶属函数或隶属度。在论域的隶属函数或隶属度。在论域U中，中，可把模糊子集表示为元素可把模糊子集表示为元素u与其隶属函数与其隶属函数 的序偶集合，记为：的序偶集合，记为： (4.7)定义定义4.1 模糊集合模糊集合(Fuzzy Sets)F1 ,0:UF)(uF|)(,(UuuuFF4.3 模糊计算模糊计算4.3.1 模糊集合、模糊逻辑及其运算模糊集合、模糊逻辑及其运算FCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU
18、CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU21v若模糊集是论域若模糊集是论域U中所有满足中所有满足 的元素的元素u构成的集合，则称该集合为模构成的集合，则称该集合为模糊集糊集F的支集。的支集。v当当u满足满足 ，称为交叉点。，称为交叉点。v当模糊支集为当模糊支集为U中一个单独点，且中一个单独点，且u满满足足 则称模糊集为模糊单点则称模糊集为模糊单点。定义定义4.2 模糊支集、交叉点及模糊单点模糊支集、交叉点及模糊单点0)(uF5 . 0F0 . 1F4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCS
19、UCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU22v设设A和和B为论域为论域U中的两个模糊集，其隶属函数分别为中的两个模糊集，其隶属函数分别为 和和 ，则对于所有，则对于所有 ，存在下列运算：，存在下列运算：vA与与B的并（逻辑或）记为的并（逻辑或）记为 ，其隶属函数定义为：，其隶属函数定义为： (4.10)vA与与B的交（逻辑与）记为的交（逻辑与）记为 ，其隶属函数定义为：，其隶属函数定义为： (4.11)A的补（逻辑非）记为的补（逻辑非）记为 ，其传递函数定义为：，其传递函数定义为： (4.12)ABUuBA)()()(uuuBABA)(),(maxuuBA)(
20、)()(uuuBABA)(),(minuuBABA)(1)(uuAAA定义4.3 模糊集的运算4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU23 若若 分别为论域分别为论域 中的模糊中的模糊集合，则这些集合的直积是乘积空间集合，则这些集合的直积是乘积空间 中中一个模糊集合，其隶属函数为一个模糊集合，其隶属函数为： (4.13)定义定义4.4 直积（笛卡儿乘积，代数积）直积（笛卡儿乘积，代数积）nUUU,21nAAA,21nUUU21)(,),(min),(1211
21、1nAAnAAuuuuunn)()()(2121nAAAuuun定义定义4.5 模糊关系模糊关系 若若U，V是两个非空模糊集合，则其直积是两个非空模糊集合，则其直积UV中的模糊子集中的模糊子集R称为从称为从U到到V的模糊关系，表示为：的模糊关系，表示为： (4.14)VvUuvuvuVUR,|),(),(4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU24 若若R和和S分别为分别为UV和和VW中的模糊关系，则中的模糊关系，则R和和S的复合是一个从的复合是一个从U到到
22、W的模糊关系，记为：的模糊关系，记为： (4.15)定义定义4.6 复合关系复合关系,WwVvUu其隶属函数为：其隶属函数为： (4.16),(),(),(vuvuwuSRVvSR)(),(WUwu式式(4.9)中的中的 * 号可为三角范式内的任意一种算子，号可为三角范式内的任意一种算子，包括模糊交、代数积、有界积和直积等。包括模糊交、代数积、有界积和直积等。4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU25 以实数以实数R为论域的模糊集为论域的模糊集F，若其隶属
23、函数满足，若其隶属函数满足 则则F为正态模糊集；若对于任意实数为正态模糊集；若对于任意实数x，axb，有，有 则则F为凸模糊集；为凸模糊集；若若F既是正态的又是凸的，则称既是正态的又是凸的，则称F为模糊数。为模糊数。定义定义4.7 正态模糊集、凸模糊集和模糊数正态模糊集、凸模糊集和模糊数1)(maxxFRx)(),(min)(baxFFF定义定义4.8 语言变量语言变量 一个语言变量可定义为多元组一个语言变量可定义为多元组 。其中，其中，x为变量名；为变量名； 为为x的词集，即语言值名称的词集，即语言值名称的集合；的集合；U为论域；为论域；G是产生语言值名称的语法是产生语言值名称的语法规则；规
24、则；M是与各语言值含义有关的语法规则是与各语言值含义有关的语法规则。),),(,(MGUxTx)(xT4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU26v模糊逻辑推理是建立在模糊逻辑基础上的不确模糊逻辑推理是建立在模糊逻辑基础上的不确定性推理方法，是在二值逻辑三段论基础上发定性推理方法，是在二值逻辑三段论基础上发展起来的。这种推理方法以模糊判断为前提，展起来的。这种推理方法以模糊判断为前提，动用模糊语言规则，推导出一个近似的模糊判动用模糊语言规则，推导出一个近似的
25、模糊判断结论。已经提出了断结论。已经提出了Zadeh法，法，Baldwin法、法、Tsukamoto法、法、Yager法和法和Mizumoto法等方法。法等方法。v广义取式假言推理法广义取式假言推理法(GMP)推理规则可表示为：推理规则可表示为： 前提前提1：x为为A 前提前提2：若：若x为为A，则，则y为为B 结结 论：论：y为为B 4.1.2 模糊逻辑推理模糊逻辑推理4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU27v广义拒式假言推理法广义拒式假言推理法(GM
26、T, Generalized Modus Tollens) 的推理规则的推理规则可表示为：可表示为： 前提前提1：y为为B 前提前提2：若：若x为为A，则，则y为为B 结结 论：论：x为为Av模糊变量的隐含函数基本上可分为三类，模糊变量的隐含函数基本上可分为三类，即模糊合取、模糊析取和模糊蕴涵。即模糊合取、模糊析取和模糊蕴涵。4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU28v在推理得到的模糊集合中取一个相对最能代在推理得到的模糊集合中取一个相对最能代表这个模糊集
27、合的单值的过程就称作表这个模糊集合的单值的过程就称作解模糊解模糊或模糊判决或模糊判决（Defuzzification）。模糊判决可）。模糊判决可以采用不同的方法：重心法、最大隶属度方以采用不同的方法：重心法、最大隶属度方法、加权平均法、隶属度限幅元素平均法。法、加权平均法、隶属度限幅元素平均法。v下面介绍各种模糊判决方法，并以下面介绍各种模糊判决方法，并以“水温适水温适中中”为例，说明不同方法的计算过程。这里为例，说明不同方法的计算过程。这里假设假设“水温适中水温适中”的隶属函数为：的隶属函数为： = X: 0.0/0 + 0.0/10 + 0.33/20 + 0.67/30 + 1.0/40
28、 + 1.0/50+ 0.75/60 + 0.5/70 + 0.25/80 + 0.0/90 + 0.0/100 )(iNx4.1.3 模糊判决方法模糊判决方法4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU29 重心法就是取模糊隶属函数曲线与横坐标轴重心法就是取模糊隶属函数曲线与横坐标轴围成面积的重心作为代表点。理论上应该计算输围成面积的重心作为代表点。理论上应该计算输出范围内一系列连续点的重心，即出范围内一系列连续点的重心，即 (4.35)但实际上是计算输出范围
29、内整个采样点的重心，但实际上是计算输出范围内整个采样点的重心，用足够小的取样间隔来提供所需要的精度，即：用足够小的取样间隔来提供所需要的精度，即：xNxNdxxdxxxu)()(=48.2)()(iNiNixxxu4.3 模糊计算1. 重心法CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU30 例如，对于例如，对于“水温适中水温适中”，按最大隶属度原，按最大隶属度原则，有两个元素则，有两个元素40和和50具有最大隶属度具有最大隶属度1.0，那就，那就对所有取最大隶属度的元素对所有取
30、最大隶属度的元素40和和50求平均值，执求平均值，执行量应取：行量应取： 这种方法最简单，只要在推理结论的模糊集这种方法最简单，只要在推理结论的模糊集合中取隶属度最大的那个元素作为输出量即可。合中取隶属度最大的那个元素作为输出量即可。要求这种情况下其隶属函数曲线一定是正规凸模要求这种情况下其隶属函数曲线一定是正规凸模糊集合（即其曲线只能是单峰曲线）。糊集合（即其曲线只能是单峰曲线）。452/ )5040(maxu4.3 模糊计算2. 最大隶属度法CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU
31、CSUCSU31v系数加权平均法的输出执行量由下式系数加权平均法的输出执行量由下式决定：决定： (4.36) 式中，系数的选择要根据实际情况式中，系数的选择要根据实际情况而定，不同的系统就决定系统有不同而定，不同的系统就决定系统有不同的响应特性。的响应特性。3. 系数加权平均法iiikxku/4.3 模糊计算CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU32 用所确定的隶属度值用所确定的隶属度值对隶属度函数曲线进对隶属度函数曲线进行切割，再对切割后等于该隶属度的所有元素进行切割，
32、再对切割后等于该隶属度的所有元素进行平均，用这个平均值作为输出执行量，这种方行平均，用这个平均值作为输出执行量，这种方法就称为隶属度限幅元素平均法。法就称为隶属度限幅元素平均法。 例如，当取例如，当取为最大隶属度值时，表示为最大隶属度值时，表示“完完全隶属全隶属”关系，这时关系，这时1.0。在。在“水温适中水温适中”的的情况下，情况下，40和和50的隶属度是的隶属度是1.0，求其平均值，求其平均值得到输出代表量：得到输出代表量：452/ )5040(u4.3 模糊计算4. 隶属度限幅元素平均法CSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSUCSU33v计算智能计算智能v神经计算神经计算v模糊计算模糊计算v进化计算进化计算v人工生命人工生命v神经计算：人工神经网络神经计算：人工神经网络v模糊计算：模糊逻辑模糊计算：模糊逻辑4.4 小结
