1、2022-4-271神经网络神经网络n 基于神经网络的知识表示与推理基于神经网络的知识表示与推理n 感知机学习算法感知机学习算法 n 基于反向传播网络的学习基于反向传播网络的学习 2022-4-272计算智能计算智能o 信息科学与生命科学的相互交叉、相互渗透信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著和相互促进是现代科学技术发展的一个显著特点。特点。 o 计算智能计算智能(CI)涉及神经网络涉及神经网络(NN) 、模糊、模糊逻辑、进化计算和人工生命等领域，它的研逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉究和发展正反映了当代科学技
2、术多学科交叉与集成的重要发展趋势。与集成的重要发展趋势。 CI-Computational IntelligenceNN-Neural Nets2022-4-273什么是计算智能什么是计算智能 o 把神经网络（把神经网络（NN）归类于人工智能（）归类于人工智能（AI）可）可能不大合适，而归类于计算智能（能不大合适，而归类于计算智能（CI）更能说）更能说明问题实质。进化计算、人工生命和模糊逻辑明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。系统的某些课题，也都归类于计算智能。 o 计算智能取决于制造者（计算智能取决于制造者（manufacturers）提供的数值数据，
3、不依赖于知识；另一方面，提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（人工智能应用知识精品（knowledge tidbits）。人工神经网络应当称为计算神经）。人工神经网络应当称为计算神经网络。网络。 2022-4-274o 1960年年威德罗和霍夫率先把神经网络用于自威德罗和霍夫率先把神经网络用于自动控制研究。动控制研究。o 60年代末期至年代末期至80年代中期，年代中期，神经网络控制与神经网络控制与整个神经网络研究一样，处于低潮。整个神经网络研究一样，处于低潮。 o 80年代后期以来，年代后期以来，随着人工神经网络研究的复随着人工神经网络研究的复苏和发展，对神经网络控制的
4、研究也十分活跃。苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应和模糊神经网络控制及其在机器人控制中的应用上。用上。人工神经网络研究的进展人工神经网络研究的进展2022-4-275ANN的发展史20世纪世纪40年代：兴起与萧条年代：兴起与萧条 1943年年 M-P model 心理学家心理学家W.S.McCulloch和和 数学家数学家W.Pitts提出：提出： 形式神经元的数学描述与构造方法形式神经元的数学描述与构造方法 与阈值神经元与阈值神经元model基本相同，权值固定基本相
5、同，权值固定 1949年年 心理学家心理学家D.O.Hebb提出突触强度可调的提出突触强度可调的 假设：假设： 学习过程发生在突触上学习过程发生在突触上 Hebb规则：规则：jiij2022-4-27620世纪世纪50年代年代 , 第一次高潮第一次高潮 1957年：年：F.Rosenblatt提出感知网提出感知网络（络（Perceptron）模型，这是第一个）模型，这是第一个完整的完整的ANN 基本构成为阀值单元、网络基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆用于模式识别、联想记忆 引起引起NN研究的第一次高潮研究的第
6、一次高潮2022-4-27720世纪世纪60年代年代,低潮低潮o 1969年年 Minsky和和Papert编写的编写的Perceptron出版出版 使使NN的研究进入低潮的研究进入低潮 Problems：仅可解线性问题：仅可解线性问题当时现状：数学机发达，认为可解决一切问题当时现状：数学机发达，认为可解决一切问题 但工作并未停止但工作并未停止 2022-4-278o 1975年年 Albus提出提出CMAC网络（网络（Cerebella Model Articulation Controller） o 1977年年 英国英国 Grossberg提出提出ART网络网络 （Adaptive Re
7、sonance Theory） Kohonen提出自组织映射理论提出自组织映射理论 福岛邦彦（福岛邦彦（K.Fukushima）提出认识机）提出认识机（Neocognitron）模型）模型 甘利俊（甘利俊（S.Amari）：）：NN数学理论数学理论2022-4-27920世纪世纪80年代年代 第二次高潮第二次高潮Reasons: 1）Neumann数字计算机取得的巨大成功，从数字计算机取得的巨大成功，从而推动以此为基础的而推动以此为基础的AI 应用技术的同步发展应用技术的同步发展 2）ANN有新成果、脑科学、神经科学有新成果、脑科学、神经科学 VLSI、光电技术的发展、光电技术的发展 2022
8、-4-2710o J.J.Hopfield 1982年年 Hopfield网络模网络模型：网络能量数据、网络稳定性判据型：网络能量数据、网络稳定性判据 1984年年 HNN用电子线路实现用电子线路实现 HNN用途：用途：联想记忆、优化计算机的新途径联想记忆、优化计算机的新途径o 1984年年 Hilton 引入模拟退火法，提出引入模拟退火法，提出Boltzmann机网络机网络o 1986年年 Rumelhart提出提出EBP学习算法，解学习算法，解决了决了MLP隐含层隐含层 weights 学习问题学习问题（error Back-Propagation）2022-4-2711o 1987年年
9、Nielson提出了对向传播提出了对向传播（Counter Propagation）神经网络）神经网络o 1988年年 L.O.Chua提出细胞神经网络提出细胞神经网络（CNN）模型）模型o自自1958年来已有近年来已有近40种种NN model2022-4-2712NN研究学术机构研究学术机构 1987年年 国际神经网络学会国际神经网络学会 定期召开定期召开ICNN会议会议 1988年年 IEEE Transaction on Neural Network 创刊创刊 1990.12 CCNN（中国）第一次会议（中国）第一次会议 1991年年 中国神经网络学会中国神经网络学会2022-4-27
10、13理论研究理论研究o 利用神经生物和认知科学研究大脑思维及利用神经生物和认知科学研究大脑思维及智能的机理智能的机理o 利用上一项成果，用数理方法探索智能水利用上一项成果，用数理方法探索智能水平更高的平更高的ANN model 1）深入研究网络算法和性能）深入研究网络算法和性能 e.g.稳定稳定 性、收敛性、容错性、鲁棒性性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神经网络）开发性的网络数据理论：神经网络 动力学、非线性神经场动力学、非线性神经场 2022-4-2714应用研究应用研究o 神经网络软件模拟和硬件实现的研究神经网络软件模拟和硬件实现的研究o NN在各个技术领域中应用研究
11、在各个技术领域中应用研究 e.g.模式识别、信号处理、知识工程、专家模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等系统、优化组合、智能控制等2022-4-2715o 生理神经元的结构生理神经元的结构大多数神经元由一个细胞体大多数神经元由一个细胞体(cell body或或soma)和突和突(process)两部分组成。突分两两部分组成。突分两类，类， 即轴突即轴突(axon)和树突和树突(dendrite)，如，如图所示。轴突是个突出部分，长度可达图所示。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。把本神经元的输出发送至其它相连接的神经元。树突也是突出
12、部分，但一般较短，且分枝很多，树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神与其它神经元的轴突相连，以接收来自其它神经元的生物信号。经元的生物信号。 神经网络的组成神经网络的组成与特性与特性 2022-4-2716o 轴突和树突共同作用，实现了神经元间的信息轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面传递。轴突的末端与树突进行信号传递的界面称为称为突触突触(synapse)，通过突触向其它神经，通过突触向其它神经元发送信息。对某些突触的刺激促使元发送信息。对某些突触的刺激促使神经元触神经元触发发(fire)。只有神经元所有
13、输入的总效应。只有神经元所有输入的总效应达到达到阈值电平阈值电平，它才能开始工作。无论什么时候达，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个到阈值电平，神经元就产生一个全强度的输出全强度的输出窄脉冲窄脉冲，从细胞体经轴突进入轴突分枝。这时，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。的神经元就称为被触发。2022-4-2717o 脑神经生理学研究结果表明，每个人脑大约含有脑神经生理学研究结果表明，每个人脑大约含有1011-1012个神经元，每一神经元又约有个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神个突触。神经元通过突触形成的网络，
14、传递神经元间的兴奋与抑制。大脑的全部神经元构成极其经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。复杂的拓扑网络群体，用于实现记忆与思维。 2022-4-2718o 人工神经元的组成人工神经元的组成人工神经网络人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元看成是以处理单元PE(processing element)为节点，用加权有向弧为节点，用加权有向弧(链链)相互连接相互连接而成的有向图。其中，处理单元是对生理神经元而成的有向图。其中
15、，处理单元是对生理神经元的模拟，而有向弧则是轴突的模拟，而有向弧则是轴突-突触突触-树突对的模拟。树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。有向弧的权值表示两处理单元间相互作用的强弱。2022-4-2719o 图中，来自其它神经元的输入乘以权值，然后相加。把图中，来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出所有总和与阈值电平比较。当总和高于阈值时，其输出为为1；否则，输出为；否则，输出为0。大的正权对应于强的兴奋，小的。大的正权对应于强的兴奋，小的负权对应于弱的抑制。负权对应于弱的抑制。o 在简单的人工神经网模型中，用权和乘法器模拟
16、突触特在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。模拟细胞体内电化学作用产生的开关特性。 人工神经网络的组成人工神经网络的组成 2022-4-2720人工神经网络的结构人工神经网络的结构-1 W j 1X1X2Wj2X nW j n (_)Yi图图4.2 神经元模型神经元模型2022-4-2721 图中的神经元单元由多个输入图中的神经元单元由多个输入xi，i=1,2,.,n和一个输出和一个输出y组成。中间状态由输入信号组成。中间状态由输入信号的权和表示，而输
17、出为的权和表示，而输出为 nijijijxwfty1)()(-1 W j 1X1X2Wj2X nW j n (_)Yj式中，式中， j为神经元单元的为神经元单元的偏置，偏置，wji为连接权系数。为连接权系数。 n为输入信号数目，为输入信号数目，yj为神为神经元输出，经元输出，t为时间，为时间，f(_)为输出变换函数为输出变换函数2022-4-2722输出变换函数输出变换函数的基本作用的基本作用o 控制输入对输出的激活作用；控制输入对输出的激活作用；o 对输入、输出进行函数转换；对输入、输出进行函数转换；o 将可能无限域的输入变换成指定的有限范围将可能无限域的输入变换成指定的有限范围内的输出。内
18、的输出。 2022-4-2723(a)xf(x)1x00神经元中的某些变换（激发）函数神经元中的某些变换（激发）函数(a) 二值函数二值函数(b) S形函数形函数 (c) 双曲正切函数双曲正切函数(c)xf(x)1-1 (b)f(x)x1 02022-4-2724人工神经网络的基本特性和结构人工神经网络的基本特性和结构o 人工神经网络是具有下列特性的有向图：人工神经网络是具有下列特性的有向图：n 对于每个节点对于每个节点 i 存在一个状态变量存在一个状态变量xi ；n 从节点从节点 j 至节点至节点 i ，存在一个连接权系数，存在一个连接权系数wij；n 对于每个节点对于每个节点 i ，存在一
19、个阈值，存在一个阈值 i；n 对于每个节点对于每个节点 i ，定义一个变换函数，定义一个变换函数fi ；对于；对于最一般的情况，此函数取最一般的情况，此函数取 形式。形式。)( jijijixwf 2022-4-2725o 递归（反馈）网络递归（反馈）网络:在递归网络中，多在递归网络中，多个神经元互连以组个神经元互连以组织一个互连神经网织一个互连神经网络。络。反馈网络反馈网络x1x2xnV1V2Vn输入输入输出输出x1x2xn有些神经元的输出被反有些神经元的输出被反馈至同层或前层神经元馈至同层或前层神经元2022-4-2726o 前馈网络前馈网络:前馈网前馈网络具有递阶分层络具有递阶分层结构，
20、由同层神结构，由同层神经元间不存在互经元间不存在互连的层级组成。连的层级组成。x1x2输入层输入层输出层输出层隐层隐层y1ynw11w1m前馈网络前馈网络反向传播反向传播2022-4-2727前馈网络特点前馈网络特点 1. 神经元分层排列，可有多层神经元分层排列，可有多层 2. 层间无连接层间无连接 3. 方向由入到出方向由入到出 感知网络（感知网络（perceptron即为此）即为此） 应用最为广泛应用最为广泛 2022-4-2728互联网络互联网络o 结构图结构图 o 每个元都与其它元每个元都与其它元相连相连 例：例： Hopfield Boltzmann机机 2022-4-2729基于神
21、经网络的知识表示与推理基于神经网络的知识表示与推理 o 基于神经网络的知识表示基于神经网络的知识表示 在这里，知识并不像在产生式系统中那在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示对应的有向权图的邻接矩阵及阈值向量表示的。的。 2022-4-2730基于神经网络的知识表示与推理基于神经网络的知识表示与推理o 对图所示的异或逻辑的神经网络来说，
22、其邻对图所示的异或逻辑的神经网络来说，其邻接矩阵为：接矩阵为： 00000121. 30000102. 200000100. 1135. 1000070. 1004. 100异或逻辑的神经网络表示异或逻辑的神经网络表示12345 1 2 3 4 5 1 2 3 4 52022-4-2731基于神经网络的知识表示与推理基于神经网络的知识表示与推理如果用产生式规则描述，则该网络代表下述四条规则：如果用产生式规则描述，则该网络代表下述四条规则：o IF x1=0 AND x2=0 THEN y=0o IF x1=0 AND x2=1 THEN y=1o IF x1=1 AND x2=0 THEN y
23、=1o IF x1=1 AND x2=1 THEN y=02022-4-2732基于神经网络的知识表示与推理基于神经网络的知识表示与推理o 医疗诊断例子医疗诊断例子2022-4-2733基于神经网络的知识表示与推理基于神经网络的知识表示与推理o 假设假设x1,x2,x10对应的节点分别为节点对应的节点分别为节点1,2,10；xa,xb,xc对应的节点为别为节点对应的节点为别为节点11,12,13，与，与x11相连的节点为节点相连的节点为节点14o 1.画出该神经网络对应的学习矩阵画出该神经网络对应的学习矩阵，注：，注： 此网络为前向网络，此网络为前向网络，so wij=0 if i=j wij
24、=0 if i,j无连接无连接 其余为连接弧标示值其余为连接弧标示值2022-4-2734基于神经网络的知识表示与推理基于神经网络的知识表示与推理o Xj=wijxi xj=1 if Xj0 xj=0 if Xj=0 xj=-1 if Xj Ui 时，未知部分不会影响时，未知部分不会影响xi的判别符号的判别符号So xi=1 if Ii0 xi=-1 if Ii0 输出输出1w1x1+w2x2+wnxn+w0 0oi=3ny3(wX3+b)=-1(0.22+0.15+4.5)02022-4-2744示例（第二轮）oi=1ny1(wX1+b)=1(02+-0.41+0)0oi=3ny3(wX3+
25、b)=-1(0.22+5-0.3+4.5)02022-4-2745示例（第三轮）oi=1ny1(wX1+b)=1(02+-0.81+0)0oi=3ny3(wX3+b)=-1(0.22+5-0.7+4.5)02022-4-2746示例（第四轮）o i=1ny1(wX1+b)=1(02+-1.21+0)0o i=3ny3(wX3+b)=-1(0.22+5-1.1+4.5)0o i=4ny4(wX4+b)=-1(0.23+-1.16+4.5)02022-4-2747示例（第五轮）o i=1n y1(wX1+b)=n 1(0.22+-1.1 1 + 4.5)0n0.2x1- 1.1x2+4.5=020
26、22-4-2748神经网络神经网络n 基于神经网络的知识表示与推理基于神经网络的知识表示与推理n 感知机学习算法感知机学习算法 n 基于反向传播网络的学习基于反向传播网络的学习 2022-4-2749基于反向传播网络的学习基于反向传播网络的学习o 反向传播反向传播(backpropagation,BP)算法是一算法是一种种计算单个权值变化引起网络性能变化值计算单个权值变化引起网络性能变化值的较为简的较为简单的方法。由于单的方法。由于BP算法过程包含从输出节点开始，算法过程包含从输出节点开始，反向地向第一隐含层反向地向第一隐含层(即最接近输入层的隐含层即最接近输入层的隐含层)传传播由总误差引起的
27、权值修正，所以称为播由总误差引起的权值修正，所以称为反向传播反向传播。 2022-4-27501.反向传播网络的结构反向传播网络的结构 鲁梅尔哈特鲁梅尔哈特(Rumelhart)和麦克莱兰和麦克莱兰(Meclelland)于于1985年发展了年发展了BP网络学网络学习算法，实现了明斯基的多习算法，实现了明斯基的多层网络设想。层网络设想。BP网络不仅含网络不仅含有输入节点和输出节点，而有输入节点和输出节点，而且含有一层或多层隐且含有一层或多层隐(层层)节节点，如图所示。输入信号先点，如图所示。输入信号先向前传递到隐节点，经过作向前传递到隐节点，经过作用后，再把隐节点的输出信用后，再把隐节点的输出
28、信息传递到输出节点，最后给息传递到输出节点，最后给出输出结果。节点的激发函出输出结果。节点的激发函数一般选用数一般选用S型函数。型函数。 基于反向传播网络的学习基于反向传播网络的学习BP网络网络 2022-4-2751o BP算法的学习过程由正向传播和反向传播组成。算法的学习过程由正向传播和反向传播组成。o 在正向传播过程中，输入信息从输入层经隐单元在正向传播过程中，输入信息从输入层经隐单元层逐层处理后，传至输出层。每一层神经元的状层逐层处理后，传至输出层。每一层神经元的状态只影响下一层神经元的状态。态只影响下一层神经元的状态。o 如果在输出层得不到期望输出，那么就转为反向如果在输出层得不到期
29、望输出，那么就转为反向传播，把误差信号沿原连接路径返回，并通过修传播，把误差信号沿原连接路径返回，并通过修改各层神经元的权值，使误差信号最小。改各层神经元的权值，使误差信号最小。 基于反向传播网络的学习基于反向传播网络的学习2022-4-2752最基本BP网络的拓扑结构LA(n)LB(p)LC(q)a1a2a3anc1c2c3cqvhiwijij2022-4-2753逆传播学习过程(一)o 规范化：给n LA层单元到LB层单元的连接权vhi、n LB层单元到LC层单元的连接权whi 、 n LB层单元的阈值i、n LC层单元的阈值j 赋-1, +1区间的随机值2022-4-2754逆传播学习过
30、程(二)o 对于每个样本A=(a1, a2, an)，以及它的结果C =(c1k, c2k, cqk) ，进行下列操作：n 1 将A送到LA层，再将LA层单元的激活值ah送到LB层单元，产生激活值bi bi=f(vhiah+ i) (h=1.n)n 2 计算LC层单元的激活值 cj=f (wijbi+ j) (i=1.p)n 3 计算LC层（输出层）单元的一般化误差 dj=cj (1-cj)(cjk-cj) (cjk是单元j的希望输出)2022-4-2755逆传播学习过程(三)o 对于每个样本A=(a1, a2, an)，以及它的结果C =(c1, c2, cq) ，进行下列操作：n 4 计算LB层每个单元相对于每个dj的误差 ei=bi(1-bi) wijdj (j=1.q)n 5 调整LB层单元到LC层单元的连接权值 wij=bidj （为学习率）为学习率）n 6 调整LC层单元的阈值 j =dj2022-4-2756逆传播学习过程(四)o 对于每个样本A=(a1, a2, an)，以及它的结果C =(c1, c2, cq) ，进行下列操作：n 7 调整LA层单元到LB层单元的连接权值 vhi=ahei （为学习率）为学习率）n 8调整LB层单元的阈值 i =eio 重复步骤以上8个步骤，直到误差dj变得足够小或变为零为止2022-4-2757The End！
