1、7 神经网络方法7.1 人工神经网络综述7.2 人工神经元模型7.3 人工神经网络的结构模型7.4 人工神经网络的学习算法7.5 人工神经网络的特点和优越性7.6 人工神经网与信息融合的结合7.7 神经网络融合实例27.1 人工神经网络综述二十世纪八十年代，二十世纪八十年代，人工神经网络人工神经网络取得了重大进展，在诸如取得了重大进展，在诸如手写体邮政编码判读，蛋白质二级结构的识别，热力学参数手写体邮政编码判读，蛋白质二级结构的识别，热力学参数的求取，催化剂设计等许多方面取得成功，发展成为一门介的求取，催化剂设计等许多方面取得成功，发展成为一门介于物理、数学、计算机科学、神经生物学之间的于物理
2、、数学、计算机科学、神经生物学之间的交叉学科交叉学科。人工神经网络就是采用物理可实现的系统来模仿人脑神经细人工神经网络就是采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。胞的结构和功能的系统。它是由很多处理单元有机地联接起它是由很多处理单元有机地联接起来，进行并行的工作，它的处理单元十分简单，其工作是来，进行并行的工作，它的处理单元十分简单，其工作是“集体集体”进行的，它的信息传播，存贮方式与神经网络相似，进行的，它的信息传播，存贮方式与神经网络相似，没有运算器、存贮器、控制器这些现代计算机的基本单元，没有运算器、存贮器、控制器这些现代计算机的基本单元，而是相同的简单处理器的组合。它
3、的信息是存贮在处理单元而是相同的简单处理器的组合。它的信息是存贮在处理单元之间的连接上，因而它是与现代计算机完全不同的系统。之间的连接上，因而它是与现代计算机完全不同的系统。37.2 人工神经元模型神经组织的基本特征47.2 人工神经元模型MP模型从全局看，多个神经元构成一个网络，因此神经元模型的定义从全局看，多个神经元构成一个网络，因此神经元模型的定义要考虑整体，包含如下要素：要考虑整体，包含如下要素：（1 1）对单个人工神经元给出某种形式定义；）对单个人工神经元给出某种形式定义；（2 2）决定网络中神经元的数量及彼此间的联结方式；）决定网络中神经元的数量及彼此间的联结方式；（3 3）元与元
4、之间的联结强度（加权值）。）元与元之间的联结强度（加权值）。19431943年，仿照人类神经元的基本特征，年，仿照人类神经元的基本特征，McCullochMcCulloch和和PittsPitts提出提出了历史上第一个神经元模型，称为了历史上第一个神经元模型，称为M-PM-P模型，这一模型形式上表模型，这一模型形式上表示为：示为：)()1(ijjijitswts 01xx其他0 x57.3 人工神经网络的结构模型单层人工神经网络单层人工神经网络 两层人工神经网络两层人工神经网络根据神经元之间连接方式的不同，根据神经元之间连接方式的不同，人工神经网络可分为人工神经网络可分为: :不不含反馈的前向
5、网络、从输出层到输入层有反馈的前向网络、含反馈的前向网络、从输出层到输入层有反馈的前向网络、层内有相互连接的前向网络、相互组合型网络。层内有相互连接的前向网络、相互组合型网络。从学习方式从学习方式角度角度可分为有教师学习网络和无教师学网络；可分为有教师学习网络和无教师学网络；按层次划分按层次划分，可分为单层、两层和多层（但一般不超过可分为单层、两层和多层（但一般不超过3 3层）。层）。67.4 人工神经网络的学习算法 NN NN的工作过程分学习、训练阶段和回忆阶段。其学习方的工作过程分学习、训练阶段和回忆阶段。其学习方式有如下几种式有如下几种: : (1) (1)死记式学习死记式学习: :将网
6、络事先设计成特殊记忆的模式，以将网络事先设计成特殊记忆的模式，以后当给定有关该系统的输入信息时，它们就被回忆起来。后当给定有关该系统的输入信息时，它们就被回忆起来。 (2)(2)从例子中学习从例子中学习: :在学习时给网络提供一个输入信息，在学习时给网络提供一个输入信息，教师给出正确的输出信息，对系统进行训练，调节系统权值，教师给出正确的输出信息，对系统进行训练，调节系统权值，以使系统输出更接近期望结果，感知器就是这种以使系统输出更接近期望结果，感知器就是这种教师学习教师学习的的例子。例子。 (3)(3)无导师学习无导师学习: :将网络设计成不需要教师直接指点的学将网络设计成不需要教师直接指点
7、的学习方式，如竞争学习系统。习方式，如竞争学习系统。77.5 人工神经网络的特点和优越性第一，具有自学习功能。第一，具有自学习功能。例如图像识别，只需先把不同的图像例如图像识别，只需先把不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能，慢慢学会识别类似的图像。第二，具有联想存储功能。第二，具有联想存储功能。人的大脑是具有联想功能的。用人人的大脑是具有联想功能的。用人工神经网络的反馈网络就可以实现这种联想。工神经网络的反馈网络就可以实现这种联想。第三，具有容错性。第三，具有容错性。
8、神经网络可以从不完善的数据图形进行学神经网络可以从不完善的数据图形进行学习和作出决定。由于知识存在于整个系统而不是一个存储单元习和作出决定。由于知识存在于整个系统而不是一个存储单元中，一些结点不参与运算，对整个系统性能不会产生重大影响。中，一些结点不参与运算，对整个系统性能不会产生重大影响。所以，神经网络承受硬件损坏的能力比一般计算机强得多。所以，神经网络承受硬件损坏的能力比一般计算机强得多。第四，具有高速寻找优化解的能力。第四，具有高速寻找优化解的能力。寻找一个复杂问题的优化寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反解，往往需要很大的计算量，利用一个针对某问
9、题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。到优化解。87.6 人工神经网络与信息融合的结合利用神经网络实现信息融合技术利用神经网络实现信息融合技术，具有很多优越性，具有很多优越性: :(1)(1)神经网络的信息存储在网络的连接权值和连接结构上，使得神经网络的信息存储在网络的连接权值和连接结构上，使得传感器的信息表示具有统一的形式传感器的信息表示具有统一的形式，便于管理和建立知识库，便于管理和建立知识库; ;(2)(2)神经网络可增加信息处理的神经网络可增加信息处理的容错性容错性，当某个信源的数据出现，当某个
10、信源的数据出现差错时，神经网络的容错功能可以使系统正常工作，并输出可差错时，神经网络的容错功能可以使系统正常工作，并输出可靠的信息靠的信息; ;(3)(3)神经网络的自学习和自组织功能，使系统能神经网络的自学习和自组织功能，使系统能适应适应环境的不断环境的不断变化以及输入数据的变化以及输入数据的不确定性不确定性; ;(4)(4)神经网络的并行结构和神经网络的并行结构和并行处理并行处理机制。使得信息处理速度快，机制。使得信息处理速度快，能够满足信息的实时处理要求。能够满足信息的实时处理要求。97.7 神经网络实例火灾探测火灾探测是一种特殊类型的信号检测，由传感器采集的火情是一种特殊类型的信号检测
11、，由传感器采集的火情参数一方面具有不确定性，另一方面其不仅随火灾特征而变参数一方面具有不确定性，另一方面其不仅随火灾特征而变化，也可能随环境变化和存在噪声等而有所改变，而且这种化，也可能随环境变化和存在噪声等而有所改变，而且这种变化往往与火灾参数变化特征基本相似，容易引起误报。变化往往与火灾参数变化特征基本相似，容易引起误报。因此近年来出现了因此近年来出现了复合火灾探测器复合火灾探测器，即采用多通道传感器获，即采用多通道传感器获得多个信号参数如温度、烟雾等经过处理后判断火灾情况，得多个信号参数如温度、烟雾等经过处理后判断火灾情况，然而如何由多种信号分析合成得到最终的判断结果，并能适然而如何由多
12、种信号分析合成得到最终的判断结果，并能适应各种不同环境情况的有效算法还亟待研究。应各种不同环境情况的有效算法还亟待研究。10神经网络实例(续)11局部决策 鉴于不同火情下多传感器系统测试的多个火情信息具有鉴于不同火情下多传感器系统测试的多个火情信息具有很大的相关不确定性，如：很大的相关不确定性，如： 明火明火条件下伴随着温度和烟雾信号的急剧增大同时湿度的条件下伴随着温度和烟雾信号的急剧增大同时湿度的下降；下降； 阴燃火阴燃火发生时则往往伴随着烟雾的增大同时温度和湿度的发生时则往往伴随着烟雾的增大同时温度和湿度的基本稳定；基本稳定； 而一些典型的而一些典型的干扰干扰信号如厨房内是烟雾、温度、湿度
13、信号信号如厨房内是烟雾、温度、湿度信号同时增大；同时增大； 因此分布式检测系统首先对一种传感器采集的单一信号进因此分布式检测系统首先对一种传感器采集的单一信号进行局部决策，再送入融合中心根据其关联性得出最终决策。行局部决策，再送入融合中心根据其关联性得出最终决策。 12局部决策 局部决策采用单传感器探测的分析算法，如速率持续局部决策采用单传感器探测的分析算法，如速率持续法，即通过检测信号的变化速率是否持续超过一定数值来法，即通过检测信号的变化速率是否持续超过一定数值来判别火情。判别火情。设采样信号原始序列为设采样信号原始序列为 )(),(),()(X321nxnxnxn 式中，式中， 分别为温
14、度、烟雾和温度采样信号。分别为温度、烟雾和温度采样信号。)3 , 2 , 1()(inxi13局部决策定义一累加函数定义一累加函数 为多次累加相邻采样值为多次累加相邻采样值 的差值之和的差值之和则局部决策结果则局部决策结果 为为)(mai)(nxi3 , 2 , 1)() 1()(0inxnxnamniiiiuiiiSTDmafu)(式中，式中， 为单位阶跃函数，为单位阶跃函数， 、 分别为温度、分别为温度、烟雾或湿度信号的决策结果和局部报警门限。烟雾或湿度信号的决策结果和局部报警门限。 )(fiu)3 , 2 , 1( iSTDi14局部决策 当局部决策结果中的任一个输出为当局部决策结果中的
15、任一个输出为1 1时，则表示温度、烟时，则表示温度、烟雾或湿度信号中有一种出现非平稳变化，即提请数据融合中雾或湿度信号中有一种出现非平稳变化，即提请数据融合中心对所有信息进行融合处理，得出最终判别。这样一方面可心对所有信息进行融合处理，得出最终判别。这样一方面可由局部决策器分别实现各信号的预处理、标准化并滤除噪声，由局部决策器分别实现各信号的预处理、标准化并滤除噪声，减轻了融合中心的数据处理工作，减轻了融合中心的数据处理工作，具有并行分块处理的优点具有并行分块处理的优点；另一方面当局部决策结果中至少有一个为报警输出另一方面当局部决策结果中至少有一个为报警输出1 1时，就进时，就进行后级数据融合
16、，否则不送融合中心。这样行后级数据融合，否则不送融合中心。这样既可以最大限度既可以最大限度的采集火情信息，并在早期识别火灾隐患，又可减少对具有的采集火情信息，并在早期识别火灾隐患，又可减少对具有非显著火灾特征信息的计算处理，降低误报警非显著火灾特征信息的计算处理，降低误报警。15基于神经网络的融合算法湿度信号为归一化值，取值范围为湿度信号为归一化值，取值范围为0-10-1；输出层的两个单元为；输出层的两个单元为明火判决和阴燃火判决系数，取值为明火判决和阴燃火判决系数，取值为0-10-1；输入层与阴层之间；输入层与阴层之间为七个神经元的隐藏。输入层与隐层之间的权值矩阵为为七个神经元的隐藏。输入层
17、与隐层之间的权值矩阵为 ，隐层与输入层之间的权值矩阵为隐层与输入层之间的权值矩阵为 。采用采用BPBP算法，执行过程如下：算法，执行过程如下： 1 1）首先确定训练模式对并对网络进行初始化）首先确定训练模式对并对网络进行初始化，模式对由输入，模式对由输入信号和导师信号构成，分别对应网络的输入层和输出层。输信号和导师信号构成，分别对应网络的输入层和输出层。输入层信号入层信号 根据多传感器对标准试验火和各种环境根据多传感器对标准试验火和各种环境条件下的测试信号经预处理整合后确定，导师信号条件下的测试信号经预处理整合后确定，导师信号 即上述已知条件下定义的明火和阴燃火判决结果，由此我们即上述已知条件
18、下定义的明火和阴燃火判决结果，由此我们确定了确定了5454个训练模式对，判决表个训练模式对，判决表1 1为其中的示例。为其中的示例。)3 , 2 , 1( iINPi)2 , 1( kTk1W2W16基于神经网络的融合算法2 2）对网络进行训练）对网络进行训练，对于给定的每组训练模式输入，先由，对于给定的每组训练模式输入，先由SigmoidSigmoid函数计算各隐层单元的输出函数计算各隐层单元的输出iOM1exp11iiNETOM式中，式中， 为第为第 个隐层的净输入个隐层的净输入iNETi311jjjWINPNET712iijWOMOUT网络输出网络输出 为为)2 , 1(kOUTk17基
19、于神经网络的融合算法再将网络输出与导师信号进行比较，计算其均方根误差再将网络输出与导师信号进行比较，计算其均方根误差54122121541mkkkRMSTOUTE最后由误差反传算法，调整网络权值最后由误差反传算法，调整网络权值 和和 ，直到使，直到使 满足误差精度要求。满足误差精度要求。1W2WRMSE18仿真结果 利用上述利用上述BPBP算法，即可将学习信号的多重信息判决关系算法，即可将学习信号的多重信息判决关系转换到神经网络的连接权矩阵中，实现了数据融合过程，从转换到神经网络的连接权矩阵中，实现了数据融合过程，从而可自适应地根据输入的各种情况给出接近期望值的结果，而可自适应地根据输入的各种情况给出接近期望值的结果，系统由训练状态转移到工作状态。系统由训练状态转移到工作状态。19仿真结果20仿真结果
