1、主主 讲：周润景讲：周润景 教授教授单单 位：电子信息工程学院位：电子信息工程学院模糊神经网络目目 录录 引言引言模糊模糊神经网络算法的神经网络算法的原理原理分类器的设计与实现分类器的设计与实现总结总结 一一.引言引言模糊技术与神经网络技术的有机融合，构造出一种可模糊技术与神经网络技术的有机融合，构造出一种可“自动自动”处理模糊信息的神经网络处理模糊信息的神经网络模糊神经网络模糊神经网络 模糊信息处理技术的两大难题：模糊信息处理技术的两大难题：u模糊规则的自动处理模糊规则的自动处理 u模糊变量基本状态隶属度函数的自动生成模糊变量基本状态隶属度函数的自动生成 过去的解决方法：过去的解决方法：u靠
2、开发者的智慧和经验建立一套实用的规则及隶属靠开发者的智慧和经验建立一套实用的规则及隶属函数函数u缺点：缺点： 工作时间长，需反复试探调整参数工作时间长，需反复试探调整参数一一.引言引言 神经网络技术的出现神经网络技术的出现u特点：强大的自学习能力特点：强大的自学习能力u解决问题：解决问题：模糊规则的自动处理模糊规则的自动处理模糊变量基本状态隶属度函数的自动生成模糊变量基本状态隶属度函数的自动生成 设计思想：设计思想：u采用模糊神经网络离线的从学习样本数据中自动提采用模糊神经网络离线的从学习样本数据中自动提取参数优化后的模糊参考模型，实现模糊推理系统取参数优化后的模糊参考模型，实现模糊推理系统合
3、理、正确的建模。合理、正确的建模。二二.模糊神经网络算法的原理模糊神经网络算法的原理1.Takagi- Sugeno 模型Takagi-Takagi-SugenoSugeno 型模糊推理将去模糊化也结合到模糊推理中，其输型模糊推理将去模糊化也结合到模糊推理中，其输出为精确量，一阶出为精确量，一阶Takagi- Takagi- SugenoSugeno 型模糊规则表达及计算公式如下型模糊规则表达及计算公式如下： 其中其中 为模糊变量为模糊变量 为隶属函数为隶属函数 112233:jkliRIFx ISA ANDx ISA ANDx ISA THENyISf112233()()()ijkkAxAx
4、Ax123,jklAAA1iipkk112233(),(),()jklAxAxAx*iiyf二二.模糊神经网络算法的原理模糊神经网络算法的原理2.模糊神经网络的结构与学习算法利用ANFIS构造的模糊神经网络结构如下图所示 二二.模糊神经网络算法的原理模糊神经网络算法的原理该网络由前件网络和后件网络两部分组成该网络由前件网络和后件网络两部分组成, ,前件网络由前四层构前件网络由前四层构成成, ,用来匹配模糊规则的前件用来匹配模糊规则的前件, ,后件网络简化为最后一层后件网络简化为最后一层, ,用来产生模用来产生模糊规则的后件，网络共糊规则的后件，网络共5 5层：层：u第第1 1层为网络的模式输入
5、层，输入节点是线性的，由层为网络的模式输入层，输入节点是线性的，由3 3个神经元组个神经元组成，将网络的的输入信号成，将网络的的输入信号 传送到下一层中；传送到下一层中；u第第2 2层为网络的隐层，计算各输入分量属于语言变量值的模糊集合层为网络的隐层，计算各输入分量属于语言变量值的模糊集合的隶属函数的隶属函数 ，其中其中n n是输入量维数是输入量维数3 3， 为输入量的模糊分割数为输入量的模糊分割数5 5；隶属隶属函数为：函数为： 式中式中: : 和和 分别表示隶属函数的中心和宽度。分别表示隶属函数的中心和宽度。 123 ,Txx xxji( )(1,2,., ;1,2,.,)jijiiiAx
6、in jmim22()e x piijjiijxcijcij二二.模糊神经网络算法的原理模糊神经网络算法的原理u第第3 3层的每一个节点代表一条模糊规则，用来匹配模糊规则的层的每一个节点代表一条模糊规则，用来匹配模糊规则的前件，计算出每条规则的适用度。即：前件，计算出每条规则的适用度。即： 该层的结点总数该层的结点总数N3 = mN3 = m，对于给定的输入，对于给定的输入, ,只有在输入点附近的只有在输入点附近的语言变量值才有较大的隶属度值语言变量值才有较大的隶属度值, ,远离输入点的语言变量值的隶属度远离输入点的语言变量值的隶属度或者很小或者为或者很小或者为0 0。当隶属度很小。当隶属度很
7、小( (例如小于例如小于0. 05) 0. 05) 时近似取为时近似取为0 0。312min,iiijjjja1j = 1 ,2 , ,m;m=niim112233i 1 ,2 , , m i 1 ,2 , , m i 1 ,2 , , m 二二.模糊神经网络算法的原理模糊神经网络算法的原理u第第4 4层的节点数与第层的节点数与第3 3层相同，即层相同，即N4=N3=mN4=N3=m，它所实现的是，它所实现的是归一化计算归一化计算, ,即即u第第5 5层是后件网络，用于计算每一条规则的后件，即：层是后件网络，用于计算每一条规则的后件，即： 式中：式中：1/(1, 2,)miiijm 01 10
8、njjjjnnjkkkvpp xp xp xj = 1 ,2 , , m 二二.模糊神经网络算法的原理模糊神经网络算法的原理每条规则的后件在简化结构中变成了最后一层的连接权，系统的输出为：可见 是各规则后件的加权和, 加权系数为各模糊规则归一化的适用度, 也即前件网络的输出用作后件网络的连接权值。1mjjvvv二二.模糊神经网络算法的原理模糊神经网络算法的原理 假设各输入分量的模糊分割数是预先确定的假设各输入分量的模糊分割数是预先确定的, ,那么需要学习的参那么需要学习的参数主要是后件网络的连接权数主要是后件网络的连接权 以及前件网络第二层各结点隶属函数的中心值以及前件网络第二层各结点隶属函数
9、的中心值 和宽度：和宽度： 二二.模糊神经网络算法的原理模糊神经网络算法的原理 设误差代价函数为设误差代价函数为： 式中式中: : 和和 分别表示期望输出和实际输出分别表示期望输出和实际输出。u 下面首先给出参数下面首先给出参数 的学习算法：的学习算法：为学习效率为学习效率。二二.模糊神经网络算法的原理模糊神经网络算法的原理这时可将参数这时可将参数 固定固定, ,利用误差反传算法来利用误差反传算法来计算计算 和和 ，再再利用梯度寻优算法来调节利用梯度寻优算法来调节 和和 ，可得所求一阶梯度为：，可得所求一阶梯度为：二二.模糊神经网络算法的原理模糊神经网络算法的原理最后可给出参数调整的学习算法为
10、：最后可给出参数调整的学习算法为： 为学习效率。为学习效率。 二二.模糊神经网络算法的原理模糊神经网络算法的原理在设计中使用在设计中使用BPBP神经网络训练系统，其学习的主要参数为神经网络训练系统，其学习的主要参数为第第2 2层各节点隶属函数的转折点，并依据输出误差优化隶属层各节点隶属函数的转折点，并依据输出误差优化隶属度函数。度函数。三三.分类系统的设计与实现分类系统的设计与实现1.样本数据的标准化： 样本数据的标准化只对样本指标数据进行预处理，使其特征样本数据的标准化只对样本指标数据进行预处理，使其特征值映射到值映射到00，11区间上。区间上。设有设有f f个样本个样本 ，每个，每个样本样
11、本 具有具有n n个样本指标个样本指标 表示表示第第i i个样本的第个样本的第j j个指标，个指标，f f个样本的个样本的n n个指个指标可用下表表示标可用下表表示。三三.分类系统的设计与实现分类系统的设计与实现f f个样本第个样本第j j个指标的平均值及标准差分别为个指标的平均值及标准差分别为： 均值：均值： 标准差：标准差： 原始数据原始数据标准化标准化为：为： 运用运用极值标准化值公式，将标准化数据压缩到极值标准化值公式，将标准化数据压缩到0，1内，即内，即： 式式中中 和和 分别表示分别表示 中最小值和最大值；中最小值和最大值；三三.分类系统的设计与实现分类系统的设计与实现 为为标准化
12、后的标准化后的指标，下表为标准化后样本：指标，下表为标准化后样本：三三.分类系统的设计与实现分类系统的设计与实现标准化后的优点：图（1）未经过标准化后的样本数据训练误差收敛曲线图（2） 经过标准化后的样本数据训练误差收敛曲线 三三.分类系统的设计与实现分类系统的设计与实现2.利用ANFIS编辑器GUI建模过程在Matlab命令行键入anfisedit即可进入ANFIS编辑器的GUI图形编辑环境。 三三.分类系统的设计与实现分类系统的设计与实现p选中选中Grid partitionGrid partition点击点击G Generate FISenerate FIS出现生成一个出现生成一个生成基
13、于生成基于SugenoSugeno 模型的模型的FIFIS S的界面的界面: : 三三.分类系统的设计与实现分类系统的设计与实现p生成一个生成一个FIS FIS p点击点击StructureStructure可以观察模可以观察模糊神经网络的结构糊神经网络的结构 三三.分类系统的设计与实现分类系统的设计与实现p 选择Optim.Method为backpropa；Error Tolerance为0.001；Epochs为1300，进行训练，即可通过神经网络对生成的FIS进行训练。逼近均方根误差曲线图为如图所示，当训练次数为690时，误差降到约为0.0001。三三.分类系统的设计与实现分类系统的设计
14、与实现p 训练集输出散点图p 测试集输出散点图 u 测试集中第测试集中第3 3、1616、2323个个 样本的输出与样本的输出与BPBP神经网络分神经网络分 类不同，其他值均完全符合类不同，其他值均完全符合 三三.分类系统的设计与实现分类系统的设计与实现p 经过反向误差传播算法优化后的FIS系统三个输入变量的隶属函数如下图所示：三三.分类系统的设计与实现分类系统的设计与实现3.建立模糊规则模糊规则如图所示，其中所有规则的权重值均为1。三三.分类系统的设计与实现分类系统的设计与实现经过训练优化后的曲面观测图如图所示。三三.分类系统的设计与实现分类系统的设计与实现u分类结果四四.总结总结 ANFISANFIS的局限性的局限性p一阶或零阶Sugeno型系统 p单输出，使用加权平均反模糊化法得到（线性或恒值输出隶属度函数） p每条规则的权值为1 p不能生成自己的隶属度函数和反模糊化函数 如果建模的如果建模的FISFIS结构不遵守这些约束将产生错误结构不遵守这些约束将产生错误
