1、付冬梅付冬梅信息工程学院信息工程学院 自动化系自动化系2008-11-511.1 11.1 模糊神经网络理论概述模糊神经网络理论概述11.2 11.2 模糊系统简介模糊系统简介11.3 RBF11.3 RBF网络及其与模糊系统的功能等价网络及其与模糊系统的功能等价 11.4 11.4 模糊神经元的一般构造方法模糊神经元的一般构造方法 11.5 11.5 模糊神经网络模糊神经网络 11.6 11.6 标准模糊神经控制器结构标准模糊神经控制器结构11.7 11.7 模糊模糊RBFRBF型神经控制器结构型神经控制器结构 模糊逻辑系统易于理解模糊逻辑系统易于理解,而神经网络则有极强的自适应而神经网络则
2、有极强的自适应学习能力学习能力.随着模糊信息处理技术和神经网络技术研究的不随着模糊信息处理技术和神经网络技术研究的不断深入断深入,如何将模糊技术与神经网络技术进行有机结合如何将模糊技术与神经网络技术进行有机结合,利利用两者的长处用两者的长处,提高整个系统的学习能力和表达能力提高整个系统的学习能力和表达能力,是目是目前最受人注目的课题之一。模糊神经网络就是在这种背景前最受人注目的课题之一。模糊神经网络就是在这种背景下诞生的一门新生技术。下诞生的一门新生技术。将模糊逻辑与神经网络相结合就构成了模糊神经网络将模糊逻辑与神经网络相结合就构成了模糊神经网络.虽然这是两个截然不同的领域虽然这是两个截然不同
3、的领域,但是均是对人类智能的研究但是均是对人类智能的研究.目前目前,将模糊逻辑和神经网络相结合的研究主要有以下几种将模糊逻辑和神经网络相结合的研究主要有以下几种形式形式:1)1)将模糊逻辑用于神经网络将模糊逻辑用于神经网络将模糊集合的概念应用于将模糊集合的概念应用于 神经网络的计算和学习神经网络的计算和学习,用模糊技术提高神经网络的学习用模糊技术提高神经网络的学习 性能。性能。2)2)将神经网络用于模糊系统有两个方面将神经网络用于模糊系统有两个方面 (1)(1)用神经网络的学习能力实时调整知识库用神经网络的学习能力实时调整知识库,在线提取在线提取 或调整模糊规则或其参数或调整模糊规则或其参数.
4、(2)(2)用神经网络完成模糊推理过程用神经网络完成模糊推理过程.3)3)模糊系统和神经网络全面结合模糊系统和神经网络全面结合,构造完整意义上的模糊神构造完整意义上的模糊神 经网络和算法经网络和算法.近些年来有关模糊神经网络的主要研近些年来有关模糊神经网络的主要研 究都集中在这方面。究都集中在这方面。4)4)将模糊神经网络和其它理论相结合将模糊神经网络和其它理论相结合,如遗传如遗传,聚夹聚夹,蚁群蚁群,自适应等自适应等.神经网络具有并行计算神经网络具有并行计算,全分布式信息存储全分布式信息存储,容错能力强容错能力强以及具有自适应学习等优点以及具有自适应学习等优点.但神经网络不适合表达基于规但神
5、经网络不适合表达基于规则的知识。由于神经网络不能很好的利用先验知识则的知识。由于神经网络不能很好的利用先验知识,常常只常常只能将初始权值取为零或随机数从而增加了网络的训练时间和能将初始权值取为零或随机数从而增加了网络的训练时间和陷入局部极值。另一方面陷入局部极值。另一方面,模糊逻辑是一种处理不确定性模糊逻辑是一种处理不确定性,它比较适合表达模糊或定性知识它比较适合表达模糊或定性知识,其推理方式比较适合于人其推理方式比较适合于人的思维模式的思维模式,但模糊逻辑系统缺乏学习和自适应能力。故二但模糊逻辑系统缺乏学习和自适应能力。故二者将综合或许可以得到更好的系统者将综合或许可以得到更好的系统模糊神经
6、网络系统。模糊神经网络系统。与传统的神经网络不同与传统的神经网络不同,模糊神经网络的结构和权值都模糊神经网络的结构和权值都有一定的物理含义有一定的物理含义,在设计模糊神经网络结构时在设计模糊神经网络结构时,可以根据问可以根据问题的复杂程度以及精度要求题的复杂程度以及精度要求,结合先验知识来构造相应的模结合先验知识来构造相应的模糊神经网络模型。糊神经网络模型。模糊集模糊集是传统的集合论的推广是传统的集合论的推广.该集合中包含隶属该集合中包含隶属于不精确的元素于不精确的元素.把隶属的程度定义为隶属函数把隶属的程度定义为隶属函数.这个函数这个函数是一个位于是一个位于0 0到到1 1之间的值之间的值.
7、这种方法明确地提供了一种用数这种方法明确地提供了一种用数学模型表达不确定性的方式学模型表达不确定性的方式.最常用的隶属函数有两个最常用的隶属函数有两个:(1).(1).三角隶属函数三角隶属函数:1()11.10 x mx mx 其它其中，其中，m m和和分别为该模糊集的中心和宽度分别为该模糊集的中心和宽度.(2).(2).高斯隶属函数高斯隶属函数22()()xcxe(11.2)其中其中c c和和分别为高斯模糊集的中心和宽度分别为高斯模糊集的中心和宽度.模糊规则模糊规则最常见的是最常见的是IFIFTHENTHEN和和TSKTSK模型模型（1 1）IFIFTHENTHEN规则规则 模糊模糊IFIF
8、THENTHEN规则通常用于表达不精确的推理方式如：规则通常用于表达不精确的推理方式如：1111 ss:IF is and and is THEN y is G and and y is GiiirrRxFxF(11.3)其中其中 （j=1,2j=1,2r r）和）和 （k=1,2k=1,2s s）是模糊集的标识，）是模糊集的标识，它们用适当的隶属函数来刻画。它们用适当的隶属函数来刻画。ijFikG11(,)rXx xxR12sY=(y,yy)R分别是语言变量的输入和输出，上标分别是语言变量的输入和输出，上标i(=1,2i(=1,2u)u)表示第表示第i i个个规则。规则。11011:IF i
9、s and and is THEN iiiiiiirrrrRxFxFyxx（2 2）TSKTSK模型（模型（TakagiTakagiSugenoSugenoKangKang模型）模型）为了取代形如（为了取代形如（2.32.3）的模糊）的模糊IFIFTHENTHEN规则，规则，TakagiTakagi和和SugenoSugeno提出了如下形式的提出了如下形式的IFIFTHENTHEN规则规则:(11.4)TSK TSK模型考虑的规则的模型考虑的规则的IFIF部分是模糊的，而部分是模糊的，而THENTHEN部分部分是清晰的。它的输出是所有输入变量的线性组合。是清晰的。它的输出是所有输入变量的线性组
10、合。其中其中 （j=1,2j=1,2r r）是一个模糊集，）是一个模糊集，（j=1,2j=1,2r r，i=1,2i=1,2u u）是实值参数。而）是实值参数。而 是第是第i i个规则的系统的输出。个规则的系统的输出。ijFijiy以往的试验表明以往的试验表明TSKTSK模型具有如下优点：模型具有如下优点：（1 1）计算效率高）计算效率高（2 2）用线性方法能够较好地处理）用线性方法能够较好地处理（3 3）用优化和自适应方法能够较好地处理）用优化和自适应方法能够较好地处理（4 4）能确保输出平面的连续性）能确保输出平面的连续性（5 5）更适合于用数学方法分析）更适合于用数学方法分析输入 输出（
11、3 3）模糊推理系统）模糊推理系统 一个模糊推理系统基本上包括一个模糊推理系统基本上包括5 5个功能模块：个功能模块：数据库规则库模糊化推 理 机 制去模糊化知识库模糊推理过程大致如下：模糊推理过程大致如下：u比较输入变量和隶属函数从而获得每个语言标识的比较输入变量和隶属函数从而获得每个语言标识的隶属值隶属值模糊化。模糊化。u对初始部分的隶属函数作并运算（通常是乘或最小对初始部分的隶属函数作并运算（通常是乘或最小化），得到每个规则的激活权。化），得到每个规则的激活权。u依赖于激活权产生每一个规则的有效结果（模糊或依赖于激活权产生每一个规则的有效结果（模糊或清晰）。清晰）。u叠加所有有效的结果产
12、生一个明确的输出叠加所有有效的结果产生一个明确的输出去模去模糊化。糊化。下面是实际中常用的三种推理类型：下面是实际中常用的三种推理类型：类型类型（TsukamotoTsukamoto模糊类型）模糊类型）系统输出系统输出y y是每个规则输出的是每个规则输出的加权平均加权平均：11uiiiuiiywyw（11.5）其中，其中，u u表示总的规则数，表示总的规则数，由由T T范数算子得到：如交集：范数算子得到：如交集：iw12min(,)iiiriFFFwuuu（11.6）或代数乘积：或代数乘积：1ijuiFjwu（11.7）是第是第i i个规则的输出，它由规则的触发权个规则的输出，它由规则的触发权
13、 激活和输出激活和输出的隶属函数确定。的隶属函数确定。iyiw类型类型（mamdanimamdani模糊类型）模糊类型）11()()uyiiiuyiiuw wyuw（面积中心法）（面积中心法）（11.811.8）其中：其中：u u是规则数。（系统的模糊输出是通过对有效的模是规则数。（系统的模糊输出是通过对有效的模糊输出作糊输出作“最大化最大化”运算）。运算）。类型类型（TSKTSK模糊模型）模糊模型）每个规则的输出是输入变量加一个常数项的线性组合。每个规则的输出是输入变量加一个常数项的线性组合。输出是清晰量。最终输出是每个规则输出的加权平均：输出是清晰量。最终输出是每个规则输出的加权平均：11
14、uiiiuiiywyw（11.911.9）其中其中 （同（同11.711.7式），而式），而 由下式计算：由下式计算：1ijuiFjwuiy011iiiirryxx（11.1011.10）现已证明有如下现已证明有如下主要结论：一个模糊主要结论：一个模糊系统可以任意精度逼系统可以任意精度逼近一个连续或离散函近一个连续或离散函数（在数（在 范数意义范数意义下下)这一点在某这一点在某种程度上看很像神经种程度上看很像神经网络。网络。模糊系统作为非线性逼近器模糊系统作为非线性逼近器2L 传统的建模方法是：对于一个非线性系统，在整体传统的建模方法是：对于一个非线性系统，在整体范围内寻找一个全局函数或解析解
15、。范围内寻找一个全局函数或解析解。模糊系统是基于规则库的系统，每条规则实际上是模糊系统是基于规则库的系统，每条规则实际上是对应于被讨论系统的某个局部，如左图，这正是模糊系对应于被讨论系统的某个局部，如左图，这正是模糊系统的核心所在统的核心所在把一个复杂的系统分解，每个部分用把一个复杂的系统分解，每个部分用简单的关系逼近。简单的关系逼近。与神经网络一样，与神经网络一样，“模糊系统的万能逼近模糊系统的万能逼近”的结论的结论也只解决了存在性问题，并没有给出怎样去找这样的模也只解决了存在性问题，并没有给出怎样去找这样的模糊系统。糊系统。iiCxuiiuiiieRxy211)(一个具有一个具有r r个输
16、入和一个输出的个输入和一个输出的RBFRBF神经网络如图所示：神经网络如图所示：如果隐层节点采用高斯函数，则网络输出与输入关系可以如果隐层节点采用高斯函数，则网络输出与输入关系可以表示为：表示为：（11.1111.11）如把高斯函数的输出归一化，并令：如把高斯函数的输出归一化，并令：12.i 222211()iixCuiixCniey xe（11.1211.12）221()ix Cuiiy xe 比较（比较（11.511.5）（）（11.911.9）（）（11.1211.12）式可以发现，如果）式可以发现，如果以下条件成立，就可以建立以下条件成立，就可以建立RBFRBF神经网络和模糊推理系统神
17、经网络和模糊推理系统间的功能等价性：间的功能等价性：RBFRBF隐层单元的个数等于模糊隐层单元的个数等于模糊IF-THENIF-THEN规则数。规则数。每个模糊每个模糊IF-THENIF-THEN规则的输出由一个常数组成（确定清规则的输出由一个常数组成（确定清 晰的输出）。晰的输出）。每个规则的隶属函数被选为带有相同宽度的高斯函数。每个规则的隶属函数被选为带有相同宽度的高斯函数。所有的模糊推理采用所有的模糊推理采用乘法算子乘法算子。RBFRBF神经网络和模糊推理系统都基于神经网络和模糊推理系统都基于加权平均加权平均产生输出。产生输出。2112()11()AxcAuxe2222()12()Bxc
18、Buxe 由上面的注释可知由上面的注释可知PBFPBF网络可以看作是一个表达基于网络可以看作是一个表达基于规则的模糊知识的神经网络。正是由于规则的模糊知识的神经网络。正是由于RBFRBF单元的局部特单元的局部特性，才使得这种表达是一致的。从知识表示的观点来看，性，才使得这种表达是一致的。从知识表示的观点来看，RBFRBF网络本质上是一个网络本质上是一个IF-THENIF-THEN规则的网络表达，它的每一规则的网络表达，它的每一个隐含单元表示一个规则，基函数等价于模糊系统中的隶个隐含单元表示一个规则，基函数等价于模糊系统中的隶属函数。属函数。iyW2/y1y2yuW1yWuWiyi 模糊神经元除
19、具有普通神经元模糊神经元除具有普通神经元的功能外，还具有处理模糊信息的的功能外，还具有处理模糊信息的能力。按功能可分为以下三种：能力。按功能可分为以下三种：由由IF-THENIF-THEN规则构造的模糊神经规则构造的模糊神经元（对应类型元（对应类型I I）该规则常用于表示专家知识。该规则常用于表示专家知识。设设 是某规则的输出。是某规则的输出。表示对应表示对应规则输出的推理隶属函数值（如式规则输出的推理隶属函数值（如式（11.611.6）和式（）和式（11.711.7）。则我们）。则我们可以构造如下的神经元：可以构造如下的神经元：iuiiuiiiwwyy11 具有清晰输入的模糊化模糊神经元（对
20、应类型具有清晰输入的模糊化模糊神经元（对应类型）假设有假设有u u个非模糊输入，加权操作由隶属度函数代替。个非模糊输入，加权操作由隶属度函数代替。其神经元为：其神经元为：x1x2xn1(x1)2(x2)n(xn)Y 其中其中 表示表示T T范数算子（见式范数算子（见式11.611.6）和（）和（11.711.7）)。具有模糊输入的模糊化模糊神经元（对应于类型具有模糊输入的模糊化模糊神经元（对应于类型）这里的加权操作不是隶属度函数，而是对每个模糊输这里的加权操作不是隶属度函数，而是对每个模糊输入进行修正的操作：入进行修正的操作：nxxxY21nncxxx110 x1x2xnX1X2XnY 模糊神
21、经元网络是全部或部分采用模糊神经元构成的模糊神经元网络是全部或部分采用模糊神经元构成的一类可处理模糊信息的神经网络系统。这里我们只能给出一类可处理模糊信息的神经网络系统。这里我们只能给出一种基本的和常见的一种模糊神经网络结构和形式。其结一种基本的和常见的一种模糊神经网络结构和形式。其结构如下图所示：构如下图所示：X1XrW1WjWuMFruRuNuyRjNjMF11R1N1 这个网络在本质上代表的是一个基于这个网络在本质上代表的是一个基于TSKTSK模型的模糊系模型的模糊系统。其中统。其中X X1 1.Xr .Xr 是输入的语言变量，是输入的语言变量，y y是输出。是输出。MFMFijij是第
22、是第i i个输入变量的第个输入变量的第j j个隶属函数（个隶属函数（i=1,2 i=1,2.r;.r;j=1,2 j=1,2.u.u）。）。R Rj j表示第表示第j j条模糊规则（条模糊规则（j=1j=1，2 2，.u.u）.N.Nj j是第是第j j 个归一化节点，个归一化节点，W Wj j是第是第j j个规则的结果参数或连接权。个规则的结果参数或连接权。u u指系指系统总的规则数。下面再详细说明：统总的规则数。下面再详细说明：1 1）第）第1 1层：输入层层：输入层 语言变量。语言变量。2 2）第）第2 2层：隶属度层，每个节点代表一个隶属度。层：隶属度层，每个节点代表一个隶属度。)(e
23、xp)(2j2ijiiijcxxui=1,2i=1,2r;j=1,2r;j=1,2u (11.14)u (11.14)3)3)第第3 3层：层：T T范数层：每个节点分别代表一个可能的模糊规范数层：每个节点分别代表一个可能的模糊规则中的则中的IFIF部分，因此，该层节点数反映了模糊规则数。基中部分，因此，该层节点数反映了模糊规则数。基中j j个规则个规则RjRj的输出为：的输出为：exp)(exp2j22j12jriijijcxcxj=1,2j=1,2u (11.15)u (11.15)4)4)第第4 4层层:归一化层。归一化层。对应的节点称为对应的节点称为N N节点。显然，节点。显然，N N
24、节点数节点数与模糊规则节点数相等。第与模糊规则节点数相等。第j j 个个N N节点的输出为：节点的输出为：1,1,2.ujjukkj(11.16)(11.16)5)5)第第5 5层：输出层层：输出层1()ukkky xw(11.17)(11.17)对于对于TSKTSK模型，通常取：模型，通常取：01 1+kkkkrrwxxk=1,2k=1,2u (11.18)u (11.18)将（将（11.1511.15）、（）、（11.1811.18）代入到（）代入到（11.1711.17）式中可得到：）式中可得到：2i0i1 1i21221(+)exp()()exp()uirriiuiiiXCxxy xX
25、C（11.1911.19）这个模糊神经网络与标准的这个模糊神经网络与标准的RBFRBF神经网络相比有如下神经网络相比有如下不同点：不同点：p超过超过3 3层的网络结构，但是要注意到除最后一层其他各层的网络结构，但是要注意到除最后一层其他各 层权值均为层权值均为1 1）；）；p权值可以是输入的函数而不是实常数；权值可以是输入的函数而不是实常数；p学习算法不同。学习算法不同。p所依据的机理和构造原理不同；所依据的机理和构造原理不同；p工作方式和网络功能不同。工作方式和网络功能不同。关于这个网络的学习算法由于比较复杂和时间的限关于这个网络的学习算法由于比较复杂和时间的限制这里不讲了，请同学们参照有关
26、文献。（矩阵分解、奇制这里不讲了，请同学们参照有关文献。（矩阵分解、奇异值分解、特征值分解、修剪技术等）异值分解、特征值分解、修剪技术等）双入单出控制器结构如下图双入单出控制器结构如下图4 4所示，网络由六层组成。所示，网络由六层组成。下面对网络的各层进行分析说明：下面对网络的各层进行分析说明：第一层为网络的输入层，网络输入变量为第一层为网络的输入层，网络输入变量为 和和 。1x2xcex 12(1)()/cccxee te tTT T为神经网络输入变量采样周期。为神经网络输入变量采样周期。第二层为网络模糊化层，输入量第二层为网络模糊化层，输入量 、，分别划分为，分别划分为n n和和m m个模
27、糊子集，隶属函数都为高斯径向基函数，则个模糊子集，隶属函数都为高斯径向基函数，则节点输出表达式为节点输出表达式为:1x2x)/)(exp)()(2111111iiAikbaxxfxWi=1i=1，2 2，n n)/)(exp)()(2222222iiBikbaxxfxWi=1i=1，2 2，m m 第三层为网络释放强度层，层中的每个节点完成模糊推理第三层为网络释放强度层，层中的每个节点完成模糊推理的的ANDAND运算，输出运算，输出 代表了模糊推理规则的释放强度，也代表了模糊推理规则的释放强度，也即两个输入隶属函数的乘积。即两个输入隶属函数的乘积。kW2)()(212xxWBjAik式中式中
28、i=1i=1，2 2，n n；j=1j=1，2 2，m m；k=1 k=1，2 2，s s。第四层为网络归一化层，层中的每个节点完成模糊推论的第四层为网络归一化层，层中的每个节点完成模糊推论的OROR运算，其输出运算，其输出 表示每条规则的释放强度在所有表示每条规则的释放强度在所有s s条规条规则的释放强度总和中所占比例。则的释放强度总和中所占比例。*2kW*2221skkkiWWW第五层为网络模糊推理结论层，第五层为网络模糊推理结论层，对应于一条规则的结论部对应于一条规则的结论部分，分别可以是模糊单点、模糊集合、函数。当输出采用分，分别可以是模糊单点、模糊集合、函数。当输出采用高木高木-关野
29、推理规则时：关野推理规则时：kCkkkkrxqxpC21为可调参数集，节点输出为可调参数集，节点输出 为：为：kkkpqr、kW3*32kkkWCW第六层为模糊神经网络反模糊化输出层，控制器输出为：第六层为模糊神经网络反模糊化输出层，控制器输出为：skkWy13 网络的第二、三层的节点数会随输入变量个数的增加网络的第二、三层的节点数会随输入变量个数的增加而急剧膨胀，第三层通常以指数形式增加，所以特别是第而急剧膨胀，第三层通常以指数形式增加，所以特别是第三层。如果网络的输入输出数量增加，节点数、要调整的三层。如果网络的输入输出数量增加，节点数、要调整的输出权值等数字将会增长的更快。这样的网络会使
30、系统前输出权值等数字将会增长的更快。这样的网络会使系统前向计算和网络反传修正的运算量都很大，严重影响网络的向计算和网络反传修正的运算量都很大，严重影响网络的运算速度。另外，对于这种网络，由于结构复杂，需要优运算速度。另外，对于这种网络，由于结构复杂，需要优化调整的参数太多，很难进行网络的初始化和结构设计工化调整的参数太多，很难进行网络的初始化和结构设计工作，不仅因设计性能不佳的网络很难在应用中达到理想的作，不仅因设计性能不佳的网络很难在应用中达到理想的控制效果而且网络初始化不合理直接影响到网络的学习速控制效果而且网络初始化不合理直接影响到网络的学习速度和收敛性。度和收敛性。模糊神经控制器结构等
31、价于下图所示模糊神经控制器结构等价于下图所示RBFRBF型的模糊神经型的模糊神经控制器，下面对网络各层的功能分析说明。控制器，下面对网络各层的功能分析说明。第一层为网络的输入层，网络输入变量为第一层为网络的输入层，网络输入变量为 和和 。1x2xcex 12(1)()/cccxee te tTT T为神经网络输入变量采样周期。这同标准模糊神经网络为神经网络输入变量采样周期。这同标准模糊神经网络的第一层相同。的第一层相同。第二层为网络模糊运算层。这一层完成了模糊化、释放第二层为网络模糊运算层。这一层完成了模糊化、释放强度、归一化三个过程，计算推理如下强度、归一化三个过程，计算推理如下:)exp(
32、)()(21kBjAiksumxxW22222111)()()()(jbjaxibiaxsumksikkkWWave1第三层为网络输出层。这一层完成网络模糊推理结论和反模糊化的输出第三层为网络输出层。这一层完成网络模糊推理结论和反模糊化的输出过程，节点输出为网络输出过程，节点输出为网络输出y y。其中。其中 的意义同模糊神经网络，表示网的意义同模糊神经网络，表示网络的模糊推理结论部分，从结构上相当于络的模糊推理结论部分，从结构上相当于RBFRBF神经网的输出层权值，网神经网的输出层权值，网络性能最佳的权值组合可以采用络性能最佳的权值组合可以采用BPBP算法等权值调整算法进行调整来获得。算法等权
33、值调整算法进行调整来获得。kCsikkCavey1隶属度函数在网络的第二层得到，并且也实现了模糊隶属度的合成，使隶属度函数在网络的第二层得到，并且也实现了模糊隶属度的合成，使模糊控制的前件在同一个神经元中完成。根据系统的控制要求可在线调模糊控制的前件在同一个神经元中完成。根据系统的控制要求可在线调整第二层的节点数。这种结构的模糊神经网络除了能很好的映射模糊控整第二层的节点数。这种结构的模糊神经网络除了能很好的映射模糊控制规则外，还有利于网络的初始化和网络结构的设计，这主要是当根据制规则外，还有利于网络的初始化和网络结构的设计，这主要是当根据控制要求需要增加控制要求需要增加(或减少或减少)模糊控制规则时，只需在第二层中增加模糊控制规则时，只需在第二层中增加(或或减少减少)节点即可，而且，第二层网络的节点变化对整个网络的影响不大。节点即可，而且，第二层网络的节点变化对整个网络的影响不大。
