1、神经网络原理与应用神经网络原理与应用 第一章 绪论 一概述一概述 二神经网络二神经网络(ANN)ANN)研究简史研究简史 三神经网络三神经网络(ANN)ANN)原理简介原理简介 四四ANNANN的分类及研究方向的分类及研究方向2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室3一概述一概述 近几十年，人工神经网络的研究和应用，近几十年，人工神经网络的研究和应用，引起了国内外学术界的广泛重视，并在许引起了国内外学术界的广泛重视，并在许多领域取得了显著成果。多领域取得了显著成果。对于电子技术和信号处理专业的学生和科对于电子技术和信号处理专业的学生和科技人员，对神经网络理论进行必要的
2、学习技人员，对神经网络理论进行必要的学习和掌握，甚至可能的话，在实际中加以应和掌握，甚至可能的话，在实际中加以应用，是非常有意义的。用，是非常有意义的。从第一台数字计算机问世（从第一台数字计算机问世（19461946年），年），计算机系统几经更新换代，经历了由电计算机系统几经更新换代，经历了由电子管、晶体管、子管、晶体管、LSI、VLSI，到后来的到后来的奔腾奔腾4 4、双核技术等发展阶段。、双核技术等发展阶段。近年来，软件方面也在不断升级更新，近年来，软件方面也在不断升级更新，计算机性能越来越优越，应用也越来越计算机性能越来越优越，应用也越来越广泛。广泛。尽管如此，但计算机系统并非万能，它尽
3、管如此，但计算机系统并非万能，它存在着自身的局限性和物理极限（小型存在着自身的局限性和物理极限（小型化），其特点是串行运算，输入输出存化），其特点是串行运算，输入输出存在线性的和确定性的关系。在线性的和确定性的关系。2022-8-155 因此要进一步提高性能，就必须要求在器因此要进一步提高性能，就必须要求在器件、原理及思路上有所突破，要充分体现件、原理及思路上有所突破，要充分体现并行运算、非线性、不确定性关系等特点。并行运算、非线性、不确定性关系等特点。以非线性大规模并行处理为特点的人工神以非线性大规模并行处理为特点的人工神经网络，突破了传统线性处理为基础的数经网络，突破了传统线性处理为基础的
4、数字计算机的局限，受到各学科领域的广泛字计算机的局限，受到各学科领域的广泛关注，将为计算机技术的发展带来一场革关注，将为计算机技术的发展带来一场革命，并促使以神经计算机为基础的高技术命，并促使以神经计算机为基础的高技术群的诞生和发展。群的诞生和发展。神经网络与模式识别研究室2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室6 那么，什么是神经网络？它与传统数字计算那么，什么是神经网络？它与传统数字计算机的区别在于，它是模拟人脑的一种信息处机的区别在于，它是模拟人脑的一种信息处理系统，具有许多特点，功能强大。理系统，具有许多特点，功能强大。ANNANN与数字计算机比较与数字计算机
5、比较:并行处理并行处理串行处理串行处理 鲁棒性、容错性鲁棒性、容错性确定性、精确性确定性、精确性 自学习能力自学习能力专家经验的知识库专家经验的知识库,无更新无更新 大规模自适应非线性动力系统大规模自适应非线性动力系统线性确线性确定性系统定性系统 运算、存储合而为一运算、存储合而为一运算、存储分离运算、存储分离2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室7二二ANNANN研究简史研究简史 ANNANN研究简史可追溯到四十年代初，但由于研究简史可追溯到四十年代初，但由于种种原因，起始阶段发展不快，并曾一度种种原因，起始阶段发展不快，并曾一度陷入低谷。陷入低谷。近几十年，科学
6、技术的不断发展，为近几十年，科学技术的不断发展，为ANNANN发发展奠定了基础，使得展奠定了基础，使得ANNANN异军突起，空前活异军突起，空前活跃，成为研究热点。跃，成为研究热点。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室8 19431943年，年，MPMP模型模型(McCullochMcCulloch和和Pitts)Pitts)19441944年，年，HebbHebb学习规则学习规则(条件反射规则条件反射规则)19571957年，年，RosenblattRosenblatt提出：感知器提出：感知器 (perceptronperceptron)19621962年，自适
7、应线性元件（年，自适应线性元件（AdalineAdaline）19691969年，年，MinskyMinsky和和PapertPapert证明了感知器证明了感知器 的局限性，发表的局限性，发表perceptronperceptron 论文论文2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室9 1966-19821966-1982年，陷入低谷年，陷入低谷,期间：期间：维纳学生维纳学生GrossbergGrossberg（美科学院院士）（美科学院院士）提出：自适应共振理论提出：自适应共振理论 KohonenKohonen提出：自组织特征映射网络提出：自组织特征映射网络 Amari
8、Amari（甘利俊一）从事数学理论研究（甘利俊一）从事数学理论研究 AndersonAnderson提出：盒中脑（提出：盒中脑（BSBBSB）模型模型 WebosWebos提出：提出：BP BP 理论（理论（19741974年）年）在这期间，数字计算机跨越三代，传统在这期间，数字计算机跨越三代，传统人工智能较快发展。人工智能较快发展。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室10 19821982年，加州工学院年，加州工学院 HopfieldHopfield提出：提出：HNNHNN模型，在网络中引入能量函数概念，作为模型，在网络中引入能量函数概念，作为稳定性判据，给出稳
9、定性判据，给出RCRC电路模型，推动了电路模型，推动了NNNN发展，使发展，使ANNANN用于联想记忆和优化计算。用于联想记忆和优化计算。之后，之后，ANNANN研究进入空前活跃期，研究进入空前活跃期，HintonHinton等提出等提出BoltzmanBoltzman机，采用多层网络学习方机，采用多层网络学习方法，在学习过程中借用统计物理学的方法法，在学习过程中借用统计物理学的方法,引入模拟退火技术。引入模拟退火技术。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室11 RumelhartRumelhart等提出：并行分布处理理论，等提出：并行分布处理理论，发展了发展了BP
10、BP算法。算法。KoskoKosko提出：双向联想记忆网络提出：双向联想记忆网络 19881988年，加州大学蔡少堂和复旦大学杨年，加州大学蔡少堂和复旦大学杨 林提出：细胞神经网络。林提出：细胞神经网络。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室12 近年来，近年来，ANNANN研究更加火热，提出了各种新的研究更加火热，提出了各种新的网络模型，并结合模糊理论、小波理论、混网络模型，并结合模糊理论、小波理论、混沌理论、分形理论等技术，应用也更加广泛。沌理论、分形理论等技术，应用也更加广泛。受到各国政府、科学家和企业家的重视，各受到各国政府、科学家和企业家的重视，各门学科联
11、合研究，提出重大研究计划，如：门学科联合研究，提出重大研究计划，如：美国美国DARPADARPA计划、日本计划、日本HFSPHFSP计划、法国尤里卡、计划、法国尤里卡、德国欧洲防御、俄罗斯高技术发展计划，中德国欧洲防御、俄罗斯高技术发展计划，中国国863863计划等。计划等。86.4,86.4,召开第一届召开第一届ANNANN国际会议国际会议,87.6,87.6,召开第召开第一届一届IEEEIEEE NNNN国际会议国际会议，同年国际同年国际NNNN学会成立，学会成立，8888年元月，年元月，NNNN杂志创刊。杂志创刊。8888年后年后NNNN国际学会国际学会与与IEEEIEEE联合每年一次国
12、际会议，联合每年一次国际会议，9090年年3 3月月IEEE IEEE NNNN会刊问世。会刊问世。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室13 ANNANN研究热潮出现，除了神经科学研究研究热潮出现，除了神经科学研究本身的突破和进展外，更重要的是由于本身的突破和进展外，更重要的是由于计算机科学和人工智能发展的需要以及计算机科学和人工智能发展的需要以及VLSIVLSI技术，生物技术，超导技术和光学技术，生物技术，超导技术和光学技术等领域迅速发展，为技术等领域迅速发展，为ANNANN技术发展技术发展提供了技术上的可能性。提供了技术上的可能性。ANNANN研究涉及到计算机
13、科学、控制论、研究涉及到计算机科学、控制论、信息科学、微电子学、心理学、认知科信息科学、微电子学、心理学、认知科学、物理学与数学等学科。学、物理学与数学等学科。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室14 除此之外，还有一些其它科学背景的支除此之外，还有一些其它科学背景的支撑，如撑，如7070年代产生的新三论年代产生的新三论：协同论，协同论，突变论与耗散结构论以及近年来广泛研突变论与耗散结构论以及近年来广泛研究的混沌动力学理论等，都揭示了复杂究的混沌动力学理论等，都揭示了复杂系统如何通过微观元件的集体协同作用系统如何通过微观元件的集体协同作用，使系统结构在宏观上达到从
14、无序到有，使系统结构在宏观上达到从无序到有序，功能由简单到复杂的非线性动力学序，功能由简单到复杂的非线性动力学过程。这种过程类似于生物系统的进化过程。这种过程类似于生物系统的进化过程和智能系统的学习过程。因此，对过程和智能系统的学习过程。因此，对NNNN的研究给予了不可或缺的启示。的研究给予了不可或缺的启示。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室15 NNNN的问世标志的问世标志着认知科学、计算机科学着认知科学、计算机科学及人工智能的发展又处于一个新的转折及人工智能的发展又处于一个新的转折点，它的应用和发展，不但会推动神经点，它的应用和发展，不但会推动神经动力学本身
15、，而且将影响新一代计算机动力学本身，而且将影响新一代计算机的设计原理，可能为新一代计算机和人的设计原理，可能为新一代计算机和人工智能开辟一条崭新的途径，并为信息工智能开辟一条崭新的途径，并为信息科学带来革命性的变化。科学带来革命性的变化。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室16三神经网络原理简介三神经网络原理简介 神经网络是模拟人脑的一种信息处理系统，神经网络是模拟人脑的一种信息处理系统，它只是一种抽象、简化的模拟。它只是一种抽象、简化的模拟。NNNN模型有几十种甚至上百种，都是由许多简模型有几十种甚至上百种，都是由许多简单的、相同的神经元组成的，不同模型的区单的
16、、相同的神经元组成的，不同模型的区别在于反映神经元非线性特性的别在于反映神经元非线性特性的激励函数激励函数、神经元之间的神经元之间的连接方式连接方式和所采用的和所采用的学习规则学习规则不同。这是决定不同。这是决定NNNN特性的特性的三个基本要素三个基本要素。为了对三要素分别介绍，我们首先看一下生为了对三要素分别介绍，我们首先看一下生物神经元的结构和机理。物神经元的结构和机理。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室17 1.1.生物神经元模型生物神经元模型生物神经元由细胞核、轴突、树突和突触等生物神经元由细胞核、轴突、树突和突触等组成。组成。生物神经元的功能：生物神经
17、元的功能：时空整合功能时空整合功能兴奋和抑制状态兴奋和抑制状态突触延时和不应期突触延时和不应期学习、遗忘和疲劳学习、遗忘和疲劳2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室18 2.2.人工神经元模型及常用的非线性函数人工神经元模型及常用的非线性函数人工神经元模型是对生物神经元的模人工神经元模型是对生物神经元的模拟和近似，所以类似于生物神经元，其结拟和近似，所以类似于生物神经元，其结构模型由下图示：构模型由下图示：i2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室19 它是一个多输入单输出的非线性器件，其中它是一个多输入单输出的非线性器件，其中X1,XnX
18、1,Xn为外界输入信号，可以是来自其它神经为外界输入信号，可以是来自其它神经元的输出信号，元的输出信号，W Wi i为连接权值，为连接权值，为阈值为阈值,Y Yi i为为经神经元处理后的输出信号，神经元对外界输经神经元处理后的输出信号，神经元对外界输入信号进行处理。可分为三步：入信号进行处理。可分为三步：1 1）加权求和）加权求和 2 2）阈值比较）阈值比较 3 3）非线性处理）非线性处理所以整个过程可由如下公式描述：所以整个过程可由如下公式描述：)(njijjiWXfyi2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室20 对于不同的神经网络模型，其中神经元对于不同的神经网
19、络模型，其中神经元的非线性激励函数的非线性激励函数f(.)f(.)可能取不同的形可能取不同的形式，常用的非线性函数有如下三种类型：式，常用的非线性函数有如下三种类型：a)阈值型阈值型:这是最早提出的二值离散神经元模型。这是最早提出的二值离散神经元模型。0001)(xxxf2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室21 b)线性或线性或分段线性型：分段线性型：0001)(00 xxxkxxxxf0 x0 xf(x)+1-1kxxf)(2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室22 c)Sigmoidal函数型：函数型：或或 这类曲线可连续取值，反映
20、了神经元这类曲线可连续取值，反映了神经元的饱和特性。的饱和特性。)exp(11)(xxf)(1(21)(0 xxthxf0 xf(x)+1-12022-8-15神经网络与模式识别研究室神经网络与模式识别研究室23 3.3.神经网络的连接方式神经网络的连接方式神经网络是由大量的神经元以不同的神经网络是由大量的神经元以不同的方式连接而成的大规模复杂系统，不同的方式连接而成的大规模复杂系统，不同的网络模型可能具有不同的连接方式，常用网络模型可能具有不同的连接方式，常用的连接方式有：的连接方式有：2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室24 1)不含反馈的前向网络：不含反馈的
21、前向网络：这种网络中的神经元分层排列，每层这种网络中的神经元分层排列，每层神经元只接收前一层神经元的输入。神经元只接收前一层神经元的输入。感知器和感知器和BPBP网络，径向基函数网络等网络，径向基函数网络等均是这种类型。均是这种类型。2)从输出层到输入层有反馈的前向网络：从输出层到输入层有反馈的前向网络：如：如：ARTART网络（自适应共振理论网络）网络（自适应共振理论网络）2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室26 3)层内有相互接合的前向网络，通过层内层内有相互接合的前向网络，通过层内相互接合可达到同层中神经元之间的侧向相互接合可达到同层中神经元之间的侧向抑制和
22、兴奋机制。抑制和兴奋机制。如：如：SOFMSOFM网络（自组织特征映射网络）网络（自组织特征映射网络）4)4)全互联网络（相互结合型网络）全互联网络（相互结合型网络）网络中各神经元之间都有可能连接，网络中各神经元之间都有可能连接，在这种网络中信号要在神经元之间反复往在这种网络中信号要在神经元之间反复往返多次传递，网络状态不断变化，直到某返多次传递，网络状态不断变化，直到某时刻才达到某种平衡状态。时刻才达到某种平衡状态。HNN HNN和和BoltzmanBoltzman机等网络均属于这种。机等网络均属于这种。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室28 4.神经网络的工
23、作方式及学习规则神经网络的工作方式及学习规则在传统的数字计算机中，计算与存储在传统的数字计算机中，计算与存储是完全独立的两个部分，即计算机在计算是完全独立的两个部分，即计算机在计算之前要从存储器中取出待处理的数据，然之前要从存储器中取出待处理的数据，然后计算，最后又将结果存入存储器，这样后计算，最后又将结果存入存储器，这样存储器与计算器之间的通道就构成了计算存储器与计算器之间的通道就构成了计算机的瓶颈，从而大大限制了它的运算能力。机的瓶颈，从而大大限制了它的运算能力。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室29 在人工神经网络中，信息的存储与处理在人工神经网络中，信息
24、的存储与处理是合二为一的，即信息的存储体现在神是合二为一的，即信息的存储体现在神经元连接的权值分布之中，并以大规模经元连接的权值分布之中，并以大规模并行分布方式处理。并行分布方式处理。神经网络的信息处理过程可以分为两个神经网络的信息处理过程可以分为两个阶段，一个是阶段，一个是学习期学习期，此时各神经元的，此时各神经元的状态不变，而各连接权值通过学习进行状态不变，而各连接权值通过学习进行修正，这个过程相对较慢，权值的调整修正，这个过程相对较慢，权值的调整过程即为学习过程，最终的权值分布即过程即为学习过程，最终的权值分布即为长期记忆。为长期记忆。2022-8-15神经网络与模式识别研究室神经网络与
25、模式识别研究室30 而另一阶段则是而另一阶段则是工作期工作期，此时神经网络，此时神经网络已经训练好，连接权值保持不变，即通已经训练好，连接权值保持不变，即通过信息的不断传递，使各神经元状态发过信息的不断传递，使各神经元状态发生变化，从而使网络最终达到一个稳定生变化，从而使网络最终达到一个稳定平衡态，这就像人脑寻找记忆的过程，平衡态，这就像人脑寻找记忆的过程，这一过程相对较快，各神经元的状态也这一过程相对较快，各神经元的状态也称之为短期记忆。称之为短期记忆。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室31 不同网络的学习规则有所不同，学习规不同网络的学习规则有所不同，学习规
26、则即为权值调整的一种算法，有的网络则即为权值调整的一种算法，有的网络学习或权值调整是在网络信息处理过程学习或权值调整是在网络信息处理过程中自发地完成的，而有的网络则需要从中自发地完成的，而有的网络则需要从例子中进行学习，常用的学习规则有如例子中进行学习，常用的学习规则有如下几种：下几种：2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室32 1)相关规则：仅根据连接间的激活水平相关规则：仅根据连接间的激活水平改变权值，比如改变权值，比如HebbHebb规则为：规则为：与条件反射学说相一致，即外界激励越与条件反射学说相一致，即外界激励越强，神经元越兴奋，连接权值越增强。强，神经元
27、越兴奋，连接权值越增强。0jiijSSW2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室33 2)纠错规则：依赖于输出节点的外部反纠错规则：依赖于输出节点的外部反馈信息改变权值，相等于梯度下降法，馈信息改变权值，相等于梯度下降法，通过改变权值不断纠正错误，从而达到通过改变权值不断纠正错误，从而达到最终所期望的输出。所以需要有一个指最终所期望的输出。所以需要有一个指导信号或参考信号，这种规则又称为有导信号或参考信号，这种规则又称为有导师监督学习规则。导师监督学习规则。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室34 4)无导师监督学习规则：这种规则是网无导
28、师监督学习规则：这种规则是网络通过向外界客观事物学习，自发地完络通过向外界客观事物学习，自发地完成权值修正，希望通过修正权值，以使成权值修正，希望通过修正权值，以使网络能客观反映事物的真实分布，学习网络能客观反映事物的真实分布，学习过程是通过竞争而自适应地进行的，从过程是通过竞争而自适应地进行的，从而使不同节点有选择地接收或响应输入而使不同节点有选择地接收或响应输入空间中的具有不同特性的激励。空间中的具有不同特性的激励。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室35四四ANNANN的分类及研究方向的分类及研究方向 目前神经网络模型已有近百种，不同的目前神经网络模型已有近
29、百种，不同的模型从不同的侧面模拟人脑的某些特征，模型从不同的侧面模拟人脑的某些特征，因此可以完成不同的功能。如果说要将神因此可以完成不同的功能。如果说要将神经网络进行分类的话，可以从以下几个方经网络进行分类的话，可以从以下几个方面进行分类：面进行分类：2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室36 1.1.按网络的性能可分为：按网络的性能可分为：连续型与离散型连续型与离散型 确定性与随机性网络确定性与随机性网络 2.2.按网络结构可分为：按网络结构可分为：反馈网络，存在稳定性问题反馈网络，存在稳定性问题 前向网络，不存在稳定性问题，只有前向网络，不存在稳定性问题，只有
30、算法的收敛性算法的收敛性 3.3.按学习方式可分为：按学习方式可分为：有导师学习网络有导师学习网络 无教师学习网络无教师学习网络2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室37 4.4.按连接突触性质可分为：按连接突触性质可分为：一阶线性关联网络一阶线性关联网络高阶非线性关联网络高阶非线性关联网络 5.5.按网络模型所模拟人脑神经系统的功按网络模型所模拟人脑神经系统的功能层次可分为：能层次可分为：神经元层次模型：研究单个神经元特性及神经元层次模型：研究单个神经元特性及对输入响应机理。如对输入响应机理。如 AdalineAdaline组合式模型：由数种不同特性的神经元组组合
31、式模型：由数种不同特性的神经元组成，它们相互补充，相互协作，完成某些成，它们相互补充，相互协作，完成某些特定的功能。如模式识别等。特定的功能。如模式识别等。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室38 网络层次模型：由许多相同的神经元互联而网络层次模型：由许多相同的神经元互联而成，从整体上研究网络的集体特性。如成，从整体上研究网络的集体特性。如HNNHNN等。等。神经系统层次模型：由多个不同性质的网络神经系统层次模型：由多个不同性质的网络组成的复杂系统，模拟生物神经系统更复杂组成的复杂系统，模拟生物神经系统更复杂或更抽象的性质。如概念形成。或更抽象的性质。如概念形成。
32、智能型模型：这是最抽象层次，试图模拟人智能型模型：这是最抽象层次，试图模拟人脑信息处理的过程和策略。如感知，思维等脑信息处理的过程和策略。如感知，思维等过程。过程。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室39 近年来，神经网络受到了国内外科技人近年来，神经网络受到了国内外科技人员的广泛关注，得到了大量的研究，归员的广泛关注，得到了大量的研究，归纳起来，研究主要包括三个方面：纳起来，研究主要包括三个方面：理论理论 应用应用 实现实现其特点和具体的研究课题简介如下：其特点和具体的研究课题简介如下：2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室401 1
33、理论研究：理论研究：其特点是其特点是NNNN的数学理论相对比较薄弱，的数学理论相对比较薄弱，因此容易提出一些新方法和新思想，这方因此容易提出一些新方法和新思想，这方面的研究课题主要包括：面的研究课题主要包括：a)a)模型的研究：模型的研究：比如人脑的生理结构、思维机制、神比如人脑的生理结构、思维机制、神经元的生物特性（时空特性）、不应期、经元的生物特性（时空特性）、不应期、电化学性质等完善的人工模拟，如高阶非电化学性质等完善的人工模拟，如高阶非线性模型，多维局域连接模型等。线性模型，多维局域连接模型等。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室41神经网络计算模型及学习
34、算法等研究。神经网络计算模型及学习算法等研究。比如提出一些新的网络结构，不同的神比如提出一些新的网络结构，不同的神经元模型和非线性特性及新的学习方法经元模型和非线性特性及新的学习方法（混沌神经元，模糊神经元，随机逻辑（混沌神经元，模糊神经元，随机逻辑神经元，高斯型非线性特性，负阻型非神经元，高斯型非线性特性，负阻型非线性特性，随机算法，模拟退化算法，线性特性，随机算法，模拟退化算法，强化学习算法，遗传算法等）强化学习算法，遗传算法等）2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室42 b b）神经网络基本理论研究）神经网络基本理论研究 非线性内在机制非线性内在机制-自适应、
35、自组织、协自适应、自组织、协同作用、突变、奇怪吸引子与混沌、分维、同作用、突变、奇怪吸引子与混沌、分维、耗散结构、随机非线性动力学等。耗散结构、随机非线性动力学等。神经网络基本性能：稳定性、收敛性、神经网络基本性能：稳定性、收敛性、容错性、鲁棒性、动力学复杂性等。容错性、鲁棒性、动力学复杂性等。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室43 NNNN的计算能力与判别准则的计算能力与判别准则计算能力、计算能力、准确性、存储容量、准则表达、综合性准确性、存储容量、准则表达、综合性能判别等。能判别等。关于智能本质的研究，这是自然科学关于智能本质的研究，这是自然科学与哲学的课题
36、之一，成各学科共同关心与哲学的课题之一，成各学科共同关心的焦点。的焦点。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室442.2.应用研究应用研究其特点是还处于起始研究阶段，但由于其特点是还处于起始研究阶段，但由于NNNN本身所具有的特点，使得其应用非常广泛，本身所具有的特点，使得其应用非常广泛，所以应用研究范围也相当广泛。所以应用研究范围也相当广泛。比如神经网络在智能信息处理方面的应用比如神经网络在智能信息处理方面的应用研究包括：研究包括：2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室45自适应信号处理自适应信号处理自适应滤波、时间序自适应滤波、时间序
37、列预测、均衡、谱估计、阵列处理、检列预测、均衡、谱估计、阵列处理、检测、噪声相消等。测、噪声相消等。非线性信号处理非线性信号处理非线性滤波、非线性非线性滤波、非线性预测、谱估计、编码、映射、调制解调、预测、谱估计、编码、映射、调制解调、中值预处理等。中值预处理等。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室46优化与控制优化与控制优化求解、辨识、鲁棒性优化求解、辨识、鲁棒性控制、自适应、决策与管理、并行控制、控制、自适应、决策与管理、并行控制、分布控制、智能控制等。分布控制、智能控制等。认知与认知与AIAI模式识别、图像处理、计算模式识别、图像处理、计算机视觉、听觉、特征
38、提取、语音翻译、逻机视觉、听觉、特征提取、语音翻译、逻辑推理、知识工程、专家系统、智能计算辑推理、知识工程、专家系统、智能计算机与机器人、故障诊断、自然语音处理等。机与机器人、故障诊断、自然语音处理等。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室473.3.神经网络实现技术神经网络实现技术 由于目前硬件相对比较滞后，集成电路由于目前硬件相对比较滞后，集成电路还不能完全满足要求，因此，还不能完全满足要求，因此，NNCNNC实现实现主要从以下两方面研究：主要从以下两方面研究：一方面，发挥计算机原有功能，在现有一方面，发挥计算机原有功能，在现有数字计算机基础上，增加神经网络加速
39、数字计算机基础上，增加神经网络加速板或网件（板或网件（netwerenetwere）来实现不同的功）来实现不同的功能，或利用能，或利用PCPC机作平台，虚拟实现通用机作平台，虚拟实现通用神经网络计算机。神经网络计算机。2022-8-15神经网络与模式识别研究室神经网络与模式识别研究室48 另一方面，利用光学、超导、电子线路及另一方面，利用光学、超导、电子线路及大规模集成电路等技术来设计和实现神经大规模集成电路等技术来设计和实现神经网络系统或新一代神经网络计算机。网络系统或新一代神经网络计算机。研究课题主要有：面向应用的电路设计与研究课题主要有：面向应用的电路设计与实现、实现、NNNN并行计算机系统、计算机仿真系并行计算机系统、计算机仿真系统、统、VLSIVLSI实现、光学实现、生物实现等。实现、光学实现、生物实现等。目前日本已做出芯片，运算速度达到目前日本已做出芯片，运算速度达到200-300200-300亿次亿次/秒。而美国水平则更高，秒。而美国水平则更高，达到达到20002000亿次亿次/秒。我国也有人在致力秒。我国也有人在致力于于NNNN计算机的研究，并已取得阶段性成计算机的研究，并已取得阶段性成果。果。
