神经计算基础(人工神经网络基础)-PPT课件.ppt

1、School of Information Science & Technology Dalian Maritime University2IIP2011-2012(1)目录目录3神经计算基础3.1人工神经网络基础3.1.1人工神经网络的提出3.1.2人工神经网络的特点3.1.3历史回顾3.1.4生物神经网络3.1.5人工神经元3.1.6人工神经网络的拓扑特性3.1.7存储与映射3.1.8人工神经网络的训练3IIP2011-2012(1)3.1 人工神经网络基础人工神经网络基础n 大体上讲，人类对人工智能的研究可以分成两种方式，这大体上讲，人类对人工智能的研究可以分成两种方式，这两种方式对应着

2、两种不同的技术：两种方式对应着两种不同的技术：传统的人工智能技术，从心里的角度对智能模拟；基于人工神经网络的技术，从生理的角度对智能模拟；n 它们分别适应于认识和处理事物（务）的不同方面。它们分别适应于认识和处理事物（务）的不同方面。n 人们除了分别从不同的角度对这两种技术进行研究外，也已开始探讨如何能将这两种技术更好的结合两种技术更好的结合起来，并且已取得了良好的效果。n 人们期待着，通过大家的不懈努力，在不久的将来，能在这两种技术的研究上以及其有机结合方面有所突破，也希望在方法上有一个新的突破，真正打开智能的大门新的突破，真正打开智能的大门。4IIP2011-2012(1)3.1 人工神经

3、网络基础人工神经网络基础n 人工神经网络人工神经网络是根据人们对生物神经网络的研究成果设计出来的，它由一系列的神经元及其相应的联接构成，具有它由一系列的神经元及其相应的联接构成，具有良好的数学描述良好的数学描述，不仅可以用适当的电子线路来实现，更可以方便的用计算机程序加以模拟。n 首先简要介绍智能和人工智能智能和人工智能，然后简要介绍人工神经网人工神经网络的发展过程及其基本特点络的发展过程及其基本特点。n 然后将介绍人工神经网络的基本知识，主要包括然后将介绍人工神经网络的基本知识，主要包括： 基本的生物神经网络模型， 人工神经元模型及其典型的激活函数； 人工神经网络的基本拓扑特性， 存储类型（

4、CAM-LTM，AM-STM）及映象， 有导师（Supervised）训练与无导师（Unsupervised）训练。5IIP2011-2012(1)3.1.1人工神经网络的提出n 人工神经网络（artificial neural networks，ANN），是对人类大脑系统的一阶特性的一种描述。n 简单而言，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。6IIP2011-2012(1)智能智能n 智能就是智慧和能力，智能就是智慧和能力，是个体有目的的行为，合理是个体有目的的行为，合理的思维，以及有效的适应环境的综合性能力的思维，以及有效的适应环境的

5、综合性能力n 个体认识客观事务和运用知识解决问题的能力。个体认识客观事务和运用知识解决问题的能力。n 众所周知，人类是具有智能的。众所周知，人类是具有智能的。 因为人类能记忆事物， 能有目的的进行一些活动， 能通过学习获得知识，并能在后续的学习中不断的丰富知识， 有一定的能力运用这些知识去探索未知的东西，去发现、去创新。7IIP2011-2012(1)人类个体的智能是一种综合能力人类个体的智能是一种综合能力n 人类智能最基本的能力人类智能最基本的能力感知与认识客观事务、客观世界和自我感知与认识客观事务、客观世界和自我( (生存能力，感知是智能的基生存能力，感知是智能的基础础) )通过学习取得经

6、验与积累知识通过学习取得经验与积累知识( (能够发展的最基本能力能够发展的最基本能力) )理解知识，运用知识和经验分析、解决问题理解知识，运用知识和经验分析、解决问题( (高级智能，推动发展的高级智能，推动发展的基本能力基本能力) )联想、推理、判断、决策联想、推理、判断、决策( (高级智能，是主动的基础高级智能，是主动的基础) )运用语言进行抽象、概括运用语言进行抽象、概括( (语言能力语言能力) )n 5 5种基本能力新的综合表现形式种基本能力新的综合表现形式发现、发明、创造、创新发现、发明、创造、创新( (高级智能高级智能) )实时、迅速、合理地应付复杂环境实时、迅速、合理地应付复杂环境

7、( (实时反应能力实时反应能力) )预测、洞察事务发展、变化预测、洞察事务发展、变化( (预测能力预测能力) )8IIP2011-2012(1)人工智能人工智能n 人工智能（artificial intelligence，AI）最初是在1956年引入的。n 研究怎样让计算机模仿人脑从事推理、设计、思考研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动、学习等思维活动，以解决和处理较复杂的问题。n 简单来说，人工智能就是研究如何让计算机模仿人人工智能就是研究如何让计算机模仿人脑进行工作脑进行工作。9IIP2011-2012(1)研究人工智能的研究人工智能的两个两个目的目的（1）增加人类

8、探索世界、推动社会前进的能力）增加人类探索世界、推动社会前进的能力通过制造和使用工具来加强和延伸自己的生存能力使计算机模拟人感知、思维和行为的规律，进而设计出具有类似人类的某些智能的计算机系统，从而达到延伸和扩展人类智能和能力的目的。（2）进一步认识自己）进一步认识自己研究人工智能，可以从已知的一些结论（不排除一些猜想）人手，从人的大脑以外来探讨它的活动机理。有人将这种做法叫做用物化了的智能去考察和研究人脑智能的物质过程和规律。10IIP2011-2012(1)人工智能人工智能n 由于人类对自己的大脑确实知之甚少，所以，自从“人工智能”一词诞生以来，人们从不同的出发点不同的出发点、方法学以及不

9、同的应用领域出发、方法学以及不同的应用领域出发进行了大量的研究。n 正是由于存在这些不同，导致了对人工智能的几种不同的认识，也就形成了不同的学术流派不同的学术流派，较有代表性的包括：符号主义（或叫做符号/逻辑主义）学派，联接主义（或者叫做并行分布处理）学派，进化主义（或者叫做行动/响应）学派。11IIP2011-2012(1)物理符号系统物理符号系统n 物理符号系统物理符号系统的定义：的定义： 因为信息需要在一定的载体上以某种规定的形式表达出来， 习惯上，人们用一系列的基本符号以及组合这些符号的一些规则去表达一些信息和行为， 这些基本符号以及组合这些符号的规则就是所谓的物理符号系统。n 例如，

10、“2”在十进制中用阿拉伯数字表示成“2”，而二进制中又被表示成“10”，在计算机内部，它又被用高、低电平表示出来。n 计算机世界就是数据处理世界，而数据是从现实世界中抽象计算机世界就是数据处理世界，而数据是从现实世界中抽象出来的信息世界的形式化描述的结果。出来的信息世界的形式化描述的结果。 信息是现实在人脑中的反映，而数据则是信息的一种表现形式12IIP2011-2012(1)图图3. 1 物理符号系统用于对物理系统的描述物理符号系统用于对物理系统的描述13IIP2011-2012(1)联接主义观点联接主义观点n 智能的本质是联接机制智能的本质是联接机制。n 神经网络是一个由大量简单的处理单元

11、组成的高度神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统复杂的大规模非线性自适应系统。n 虽然按此说法来刻划神经网络，未能将其所有的特性完全描述出来n 但它却从以下四个方面出发，力图最大限度体现人四个方面出发，力图最大限度体现人脑的一些基本特征脑的一些基本特征，同时使得人工神经网络具有良好的可实现性。14IIP2011-2012(1)神经网络四个基本特征神经网络四个基本特征(1)物理结构物理结构n 现代神经科学的研究结果认为，大脑皮层大脑皮层是一个广广泛联接的巨型复杂系统泛联接的巨型复杂系统，它包含有大约1011个神经元，这些神经元通过1015个联接构成一个大规模的大

12、规模的神经网络系统神经网络系统。n 人工神经网也将是由与生物神经元类似的人工神经与生物神经元类似的人工神经元通过广泛的联接构成元通过广泛的联接构成的。n 人工神经元将模拟生物神经元的功能。人工神经元将模拟生物神经元的功能。n 它们不仅具有一定的局部处理能力局部处理能力，同时还可以接受来自系统中其他神经元的信号，并可以将自己的“状态”按照一定的形式和方式传送给其他的神经传送给其他的神经元元。15IIP2011-2012(1)神经网络四个基本特征神经网络四个基本特征(2)计算模拟计算模拟n 人脑中的神经元，既有局部的计算和存储功能局部的计算和存储功能，又通过联接联接构成一个统一的系统构成一个统一的

13、系统。n 人脑的计算人脑的计算就是建立在这个系统大规模并行模拟处理的基础上的。n 各个神经元可以接受系统中其他神经元通过联接传送过来的接受系统中其他神经元通过联接传送过来的信号信号，通过局部的处理，产生一个结果，再通过联接将此结再通过联接将此结果发送出去果发送出去。n 神经元接受和传送的信号被认为是模拟信号模拟信号。所有这些，对大脑中的各个神经元来说，都是同时进行的。n 因此，该系统是一个大规模并行模拟处理系统该系统是一个大规模并行模拟处理系统。由于人工神经网络中存在大量的有局部处理能力的人工神经元，所以，该系统也将实现信息的大规模并行处理，以提高其性能。16IIP2011-2012(1)神经

14、网络四个基本特征(3)存储与操作n 大脑对信息的记忆大脑对信息的记忆是通过改变突触（Synapse）的联接强度来实现的。n 除神经元的状态神经元的状态所表现出的信息外，其他信息以神经元之间联联接强度接强度的形式分布存放。n 存储区与操作区合二为一存储区与操作区合二为一。这里的处理是按大规模、连续、模拟方式进行的。n 信息的大规模分布存放为信息的充分并行处理提供了良好的基信息的大规模分布存放为信息的充分并行处理提供了良好的基础。础。同时，这些特性又使系统具有了较强的容错能力和联想能力，也给概括、类比、推广提供了强有力的支持。17IIP2011-2012(1)神经网络四个基本特征(4)训练n 生活

15、实践的经验表明，人的大脑的功能除了受到先天因素的人的大脑的功能除了受到先天因素的限制外，还被后天的训练所确定限制外，还被后天的训练所确定。n 先天因素和后天因素中，后天的训练更为重要后天的训练更为重要。一个人的学习经历、工作经历都是他的宝贵财富。n 这些表明，人脑具有很强的自组织和自适应性人脑具有很强的自组织和自适应性。同可以见到的表象不同，从生理的角度来讲，人的许多智力活动并不是按逻辑方式进行的，而是通过训练形成的。n 所以，人工神经网络将根据自己的结构特性，使用不同的训人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从练、学习过程，自动从“实践实践”中获取相关的知识，并将其

16、中获取相关的知识，并将其存放在系统内存放在系统内。这里的“实践”就是训练样本。18IIP2011-2012(1)两种模型的比较两种模型的比较n 物理符号系统是从人的心理学的特性出发，去模拟人类问题物理符号系统是从人的心理学的特性出发，去模拟人类问题求解的心理过程。求解的心理过程。 所以它擅长于模拟人的逻辑思维，可以将它看作是思维的高级形式。而在许多系统中，一些形象思维的处理需要用逻辑思维来实现，这就导致了系统对图像处理类问题的处理效率不高。n 作为联接主义观点的人工神经网络，它是从仿生学的观点出作为联接主义观点的人工神经网络，它是从仿生学的观点出发，从生理模拟的角度去研究人的思维与智能，擅长于

17、对人发，从生理模拟的角度去研究人的思维与智能，擅长于对人的形象思维的模拟，这是人类思维的低级形式。的形象思维的模拟，这是人类思维的低级形式。 从目前的研究结果看，因为这种系统的非精确性的特点，使得它处理以逻辑思维为主进行求解的问题较为困难。图3. 2给出了两种系统与人类思维形式的对应比较。19IIP2011-2012(1)两种模型的比较两种模型的比较表表3. 1 3. 1 物理符号系统和人工神经网络系统的差别物理符号系统和人工神经网络系统的差别20IIP2011-2012(1)两种模型的比较两种模型的比较图图3. 2 两种模型的模拟对照两种模型的模拟对照21IIP2011-2012(1)两种模

18、型的比较两种模型的比较表表3. 2 两种人工智能技术的比较两种人工智能技术的比较22IIP2011-2012(1)3.1.2 3.1.2 人工神经网络的特点人工神经网络的特点n 人工神经网络的三大特点人工神经网络的三大特点 信息的分布表示 运算的全局并行和局部操作 处理的非线性n 其构造和处理均是围绕此三点进行的。其构造和处理均是围绕此三点进行的。23IIP2011-2012(1)1. 人工神经网络的概念人工神经网络的概念n 人工神经网络是人脑及其活动的一个理论化的数学模型，它由大人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互连构成，是一个大规模的非线性量的处理单元通过

19、适当的方式互连构成，是一个大规模的非线性自适应系统自适应系统。n 1988年，Hecht-Nielsen定义：人工神经网络是一个并行、分布人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互连而成处理结构，它由处理单元及称为联接的无向信号通道互连而成。 处理单元处理单元(processing element,PE)具有局部内存，可完成局部操作。 每个处理单元有一个单一的输出联接，这个输出可以根据需要分支成希望个数的多个并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。 处理单元的输出信号可以是任何需要的数学模型处理单元的输出

20、信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。即，它须仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。24IIP2011-2012(1)1. 人工神经网络的概念人工神经网络的概念 该定义主要强调了四个方面的内容：该定义主要强调了四个方面的内容： 并行、分布处理结构； 一个处理单元的输出被任意分支，且大小不变； 输出信号可以是任意的数学模型； 处理单元进行完全的局部操作。 这里说处理单元就是人工神经元（这里说处理单元就是人工神经元（artificial neuron，AN）。）。25IIP2011-2012(1)PDP神经网络模型神

21、经网络模型n 按照Rumellhart、McClelland、Hinton等人提出的PDP（Parallel Distributed Processing）理论框）理论框架架（简称为PDP模型）n 人工神经网络由八个方面的要素组成：人工神经网络由八个方面的要素组成：1）一组处理单元（PE或AN）；2）处理单元的激活状态（ ）；3）每个处理单元的输出函数（ ）；4）处理单元之间的联接模式； ifi26IIP2011-2012(1)PDP神经网络模型神经网络模型5）传递规则（ ）；6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（ ）；7）通过经验修改联接强度的学习规则；8）系统运行的环

22、境（样本集合）。ijiw OiF27IIP2011-2012(1)PDP神经网络模型神经网络模型图图3. 3 PDP3. 3 PDP模型下的人工神经元网络模型模型下的人工神经元网络模型28IIP2011-2012(1)人工神经网络人工神经网络n 人工神经网络是一个非线性的有向图，图中含有可一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式从不完整的或未知的输入找到模式。n 人工神经网络人工神经网络的别名：的别名： 并行分布处理系统（Parallel Distributed Processing），

23、 人工神经系统（Artificial Neural System） 神经网络（Neural Network） 自适应系统（Adaptive Systems） 自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）等29IIP2011-2012(1)人工神经网络具有大脑的基本特征人工神经网络具有大脑的基本特征1）神经元及其联接）神经元及其联接 从系统构成的形式上看，由于人工神经网络是受生物神经系统的启发构成的， 从神经元本身到联接模式，基本上都是以与生物神经系统相似的方式工作的。 这里的人工神经元与生物神经元相对应，可以改

24、变强度的联接则与突触相对应。2）信息的存储与处理）信息的存储与处理 从表现特征上来看，人工神经网络也力求模拟生物神经系统的基本运行方式。 例如，可以通过相应的学习/训练算法，将蕴含在一个较大数据集中的数据联系抽象出来。 就像人们可以不断摸索规律、总结经验一样，可以从先前得到的例子按要求产生出新的实例，在一定程度上实现“举一反三”的功能。30IIP2011-2012(1)2. 学习能力学习能力n 人工神经网络可以根据所在的环境去改变它的行为人工神经网络可以根据所在的环境去改变它的行为，人工神经网络具有良好的学习功能。n 在学习过程中，人工神经网络不断从所接受的样本集合中提人工神经网络不断从所接受

25、的样本集合中提取该集合所蕴含的基本内容，并将其以神经元之间的联接权取该集合所蕴含的基本内容，并将其以神经元之间的联接权重的形式存放于系统中重的形式存放于系统中。 例如，可以构造一个异相联的网络，它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。如果样本集合变成了B，它同样可以抽取集合B中输入数据与输出数据之间的映射关系。n 目前，对应不同的人工神经网络模型，有不同的学习对应不同的人工神经网络模型，有不同的学习/训练算训练算法法，有时，同种结构的网络拥有不同的算法，以适应不同的应用要求。n 对一个网络模型来说，其学习其学习/训练算法是非常重要的训练算法是非常重要的（提高训练

26、速度和性能）。31IIP2011-2012(1)3. 普化能力普化能力n由于其运算的不精确性，人工神经网络在被训练后，对输入的对输入的微小变化是不反应的微小变化是不反应的。n与事物的两面性相对应，虽然在要求高精度计算时，这种不精虽然在要求高精度计算时，这种不精确性是一个缺陷，但是，有些场合又可以利用这一点获取系确性是一个缺陷，但是，有些场合又可以利用这一点获取系统的良好性能统的良好性能。 例如，可以使这种不精确性表现成“去噪音、容残缺”的能力，而这对模式识别有时恰好是非常重要的。 还可以利用这种不精确性，比较自然的实现模式的自动分类。 尤其值得注意的是，人工神经网络的这种特性不是通过隐含在专门

27、设计的计算机程序中的人类智能来实现的，而是其自身结构所固有的特性所给定的。32IIP2011-2012(1)4. 信息的分布存放信息的分布存放n 信息的分布存放给人工神经网络提供了另一种特殊信息的分布存放给人工神经网络提供了另一种特殊的功能。的功能。n 由于一个信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。n 能够保证系统在受到一定的损伤时还可以正常工作。n 但是，这并不是说，可以任意对完成学习的网络进行修改。n 也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西，BP网就是这类网络。3

28、3IIP2011-2012(1)5. 适用性问题适用性问题n 人工神经网络并不是可以解决所有问题的，它应该有自己的人工神经网络并不是可以解决所有问题的，它应该有自己的适用面。适用面。 人脑既能进行“形象思维”又能进行“逻辑思维”，传统的人工智能技术模拟的是逻辑思维，人工神经网络模拟的是形象思维，而这两者适用的方面是不同的。n 人工神经网络擅长于处理适用形象思维的问题。主要包括两人工神经网络擅长于处理适用形象思维的问题。主要包括两个方面：个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。n 这两个方面对传统的人工智能技术来说都是比较困难的。目这两个方面对传统的人

29、工智能技术来说都是比较困难的。目前，人们主要将其用于前，人们主要将其用于: 语音、视觉、知识处理、辅助决策等方面。 此外，在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题最佳解的近似解（不是最佳近似解）等方面也有较好的应用。34IIP2011-2012(1)神经网络的作用神经网络的作用35IIP2011-2012(1)神经网络的作用神经网络的作用36IIP2011-2012(1)3.1.3 历史回顾历史回顾 人工神经网络的发展是曲折的，从萌芽期到目前，几经兴衰。可以将其发展历史大体上分成如下五个时期:1. 萌芽期萌芽期2. 第一高潮期第一高潮期3. 反思期反思期4. 第二高潮期第二高潮

30、期5. 再认识与应用研究期再认识与应用研究期37IIP2011-2012(1)1. 萌芽期萌芽期n人工神经网络的研究最早可以追溯到人类开始研究自己的智能人类开始研究自己的智能的时期的时期，这一时期截止到1949年。n1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型模型。n1949年，心理学家D.O. Hebb提出神经元之间突触联系是可变的假说。他给出了人工神经网络的学习律人工神经网络的学习律联接两个神经元的突触的强度按如下规则变化： 在任意时刻，当这两个神经元处于同一种状态时，表明这两个神经元具有对问题响应的一致性，所以，它们应该互相支持，

31、其间的信号传输应该加强，这是通过加强其间突触的联接强度实现的。 反之，在某一时刻，当这两个神经元处于不同的状态时，表明它们对问题的响应是不一致的，因此它们之间的突触的联接强度被减弱。这被称为Hebb学习律。38IIP2011-2012(1)2. 第一高潮期第一高潮期n第一高潮期大体上可以认为是从1950年到1968年，也就是从单级感知器（单级感知器（Perceptron）的构造成功开始，到单级感知器被无情的否定为止。n它被人们用于各种问题的求解，甚至在一段时间里，它使人们乐观的认为几乎已经找到了智能的关键几乎已经找到了智能的关键。n早期的成功，给人们带来了极大的兴奋。不少人认为，只要其他的技术

32、条件成熟，就可以重构人脑，因为重构人脑的问题已转换成建立一个足够大的网络的问题。n包括美国政府在内的许多部门都开始大批投入此项研究，希望尽快占领制高点。39IIP2011-2012(1)3. 反思期反思期n M.L. Minsky和S. Papert对单级感知器进行了深入的研究，从理论上证明了当时的单级感知器无法解决许多简单的问题单级感知器无法解决许多简单的问题。在这些问题中，甚至包括最基本的最基本的“异或异或”问题问题。这一成果在Perceptron一书中发表，该书由MIT出版社在1969年出版发行。以该书的出版为标志，人们对人工神经网络的研究进入了反思期。n 在20世纪70年代和80年代早

33、期，他们的研究结果很难得到发表，而且是散布于各种杂志之中，使得不少有意义的成果即使在发表之后，也难以被同行看到，这导致了反思期的延长导致了反思期的延长。著名的BP算法的研究就是一个例子。n 在这一段的反思中，人们发现，有一类问题是单级感知器无法解决的，这类问题是线性不可分的类问题是线性不可分的。要想突破线性不可分问题，必须采用功能更强的多级网络采用功能更强的多级网络。40IIP2011-2012(1)4. 第二高潮期第二高潮期 人工神经网络研究的第二次高潮到来的标志是美美国加州理工学院生物物理学家国加州理工学院生物物理学家J. Hopfield的两篇重要的两篇重要论文分别于论文分别于1982年

34、和年和1984年在美国科学院院刊上发表年在美国科学院院刊上发表。总结起来，这个期间的代表作有：1982年，J. Hopfield提出循环网络。1984年，J.Hopfield设计研制了称为Hopfield网的电路。1985年，美国加州大学圣地亚哥分校（UCSD）的Hinton等人提出所谓的Boltzmann机。1986年，Rumelhart等研究者重新独立提出多层网络的学习算法BP算法，较好的解决了多层网络的学习问题。1) 我国在这方面的研究要滞后一点，国内首届神经网络大我国在这方面的研究要滞后一点，国内首届神经网络大会是会是1990年年12月在北京举行的。月在北京举行的。41IIP2011-

35、2012(1)5. 再认识与应用研究期再认识与应用研究期n 实际上，步人20世纪90年代后，人们发现，关于人工神经关于人工神经网络还有许多待解决的问题网络还有许多待解决的问题，其中包括许多理论问题。n 人工神经网络的不精确推理，使得它因为结果的精度较低而远远不能满足用户的需要目前，大多数的研究主要集中大多数的研究主要集中在以下三个方面在以下三个方面：开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。希望在理论上寻找新的突破，建立新的专用/通用模型和算法。进一步对生物神经系统进行研究，不断丰富对人脑的认识。42IIP2011-2012(1)3

36、.1.4 生物神经网络生物神经网络图图3. 4 典型的生物神经元典型的生物神经元43IIP2011-2012(1)3.1.4 生物神经网络生物神经网络n 科学研究发现，人的大脑中大约含有1011个生物神经元，它们通过 1015个联接联成一个系统。n 每个神经元具有独立的接受、处理和传递电化学（Electrochemical）信号的能力。n 这种传递经由构成大脑通信系统的神经通路所完成。这种传递经由构成大脑通信系统的神经通路所完成。 枝蔓（Dendrite）从胞体（Soma或Cellbody）伸向其他神经元，这些神经元在被称为突触（Synapse）的联接点接受信号。 在突触的接受侧，信号被送入胞

37、体，这些信号在胞体里被综合。 其中有的输入信号起刺激（Excite）作用，有的起抑制作用（Inhibit）。 当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过枝蔓向其他神经元发出信号。44IIP2011-2012(1)生物神经生物神经系统的六个基本特征系统的六个基本特征神经元及其联接；神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度是可以随训练而改变的；信号可以是起刺激作用的，也可以是起抑制作用的；一个神经元接受的信号的累积效果决定该神经元的状态；每个神经元可以有一个“阈值”。45IIP2011-2012(1)3.1.5 人工神经元人工神经元神经元是构成神经网络

38、的最基本单元（构件）。要想构造一个人工神经网络系统，首要任务是构造人工神经元模型。同时，希望这个模型不仅是简单容易实现的数学模型，而且还应该具有生物神经元的六个基本特性46IIP2011-2012(1)1. 人工神经元的基本构成人工神经元的基本构成n 根据上述对生物神经元的讨论，希望人工神经元可以模拟生物神经元的一阶特性一阶特性输入信号的加权和输入信号的加权和。n 对于每一个人工神经元来说，它可以接受一组来自系统中其他神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活（Activation）状态。这里，每个权就相当于突触的“联接强度”。图图3. 5 不带激活函数的人工神经

39、元不带激活函数的人工神经元47IIP2011-2012(1)1. 人工神经元的基本构成人工神经元的基本构成1212( ,.,)(,.,)nTnXx xxWw ww： n设n个输入分别表示为：n它们对应的联接权值依次为：n所有的输入构成输入向量Xn对应的联接权值构成联接权向量W：12,.,nxxx12,.,nw wwn用net表示该神经元所获得的输入信号的累积效果累积效果，为简便起见，称之为该神经元的网络输入：iinetx wnetXW48IIP2011-2012(1)2. 激活函数激活函数n神经元在获得网络输入后，它应该给出适当的输出。n按照生物神经元的特性，每个神经元有一个阈值每个神经元有一

40、个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发激发态态；否则，应该处于抑制态抑制态。n为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数激励函数、活化函数。图图3. 7 人工神经元人工神经元()ofnet49IIP2011-2012(1)2. 激活函数激活函数n激活激活函数同时也用来将神经元的输出进行放大函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。处理或限制在一个适当的范围内。n 典型的激活函数有典型的激活函数有4种：种：线性函数非线性斜面函数阶跃函

41、数S 型函数50IIP2011-2012(1)1）线性函数（Linear Function）n 线性函数是最基本的激活函数最基本的激活函数，起到对神经元所获得的网络输入进行适当的线性放大的作用。n 线性函数非常简单，但是它的线性特征极大的降低了网络性线性特征极大的降低了网络性能能，甚至使多级网络的功能退多级网络的功能退化成单级网络的功能化成单级网络的功能。()f netknetck为放大系数，C为位移，它们均为常数。 51IIP2011-2012(1)2）非线性斜面函数（Ramp Function）n非线性斜面函数是最简单的非线性函数，实际上它是一种分段线性函数分段线性函数。n这种函数在于把函

42、数的值域限制在一个给定的范围限制在一个给定的范围式中，k 为常数。被称为饱和值，为该神经元的最大输出。, if () if if netf netknetnetnet52IIP2011-2012(1)3）阈值函数（Threshold Function）n阈值函数又叫阶跃函数阶跃函数，当激活函数仅用来实现判定神经元所获得的网络输入是否超过阈值 时，使用此函数。n二值形式，双极形式二值形式，双极形式。式中， 均为非负实数，为阈值 if () if netf netnet1 if 0()0 if 0netf netnet1 if 0()1 if 0netf netnet53IIP2011-2012(

43、1)4）S形函数（Squashing Function）nS形函数又叫压缩函数和逻辑压缩函数和逻辑斯特函数斯特函数(Logistic Function)，其应用最为广泛。n它的饱和值饱和值为a 和 a+b式中，a，b， d均为常数()1exp()bf netadnet 2bca54IIP2011-2012(1)4）S形函数（Squashing Function）n最简单的形式为（最简单的形式为（函数的饱函数的饱和值为和值为0和和1 ）：）：1()1exp()f netdnet 22 if 0()10 if 0netnetf netnetnetn扩充平方函数扩充平方函数（函数的饱和函数的饱和值为

44、值为0和和1 ）：）：()tanh()netnetnetneteef netneteen双曲双曲函数函数（函数的饱和值函数的饱和值为为-1和和1 ）：）：55IIP2011-2012(1)4）S形函数（Squashing Function）n S形函数之所以被广泛应用，除了其非线性和处处连续可导性外，更重要的是由于该函数对信号有一个较好的增益控制该函数对信号有一个较好的增益控制：n 函数的值域可以由用户根据实际需要给定，n 当 的值比较小时， 有一个较大的增益；n 当 的值比较大时， 有一个较小的增益，n 这为防止网络进入饱和状态提供了良好的支持。net()fnetnet()fnet56IIP

45、2011-2012(1)3. M-P模型模型n 将人工神经元（AN）的基本模型和激活函数合在一起构成人工神经元，这就是著名的McCulloch-Pitts模型，简称为M-P模型，也可以称之为处理单元（模型，也可以称之为处理单元（PE）。n UCSD的PDP小组曾将人工神经元人工神经元定义得比较复杂，在本书中，为方便起见，均采用这种简化了的定义，同时简记为AN。图3. 7所给出的神经元在今后给出的图中均用一个结点表示。图图3. 7 人工神经元人工神经元57IIP2011-2012(1)3.1.6 人工神经网络的拓扑特性人工神经网络的拓扑特性为了理解方便，n用结点代表神经元，n用加权有向边代表从神

46、经元到神经元之间的有向联接，n相应的权代表该联接的联接强度，n用箭头代表信号的传递方向。58IIP2011-2012(1)1. 联接模式联接模式用正号（“”，可省略）表示传送来的信号起刺激作用起刺激作用，用于增加神经元的活跃度；用负号（“”）表示传送来的信号起抑制作用起抑制作用，用于降低神经元的活跃度。n 网络应该有输入和输出，从而就有了输入层和输出层输入层和输出层。n 层次（又称为层次（又称为“级级”）的划分，导致了神经元之间三种不同）的划分，导致了神经元之间三种不同的互联模式：的互联模式：层（级）内联接循环联接层（级）间联接59IIP2011-2012(1)神经元之间三种不同的互联模式神经

47、元之间三种不同的互联模式1）层内联接）层内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 它是本层内的神经元到本层内的神经元之间的联接，可用来加强和完成层内神经元之间的竞争：当需要组内加强时，这种联接的联接权取正值；在需要实现组内竞争时，这种联接权取负值。2）循环联接）循环联接 循环联接在这里特指神经元到自身的联接，用于不断加强自身的激活值，使本次的输出与上次的输出相关，是一种特殊的反馈信号。3）层间联接）层间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递。 在复杂的网络中，层间的信号传递既可以是向前的

48、（前馈信号），向前的（前馈信号），又可以是向后的（反馈信号）向后的（反馈信号）。一般前馈信号只被允许在网络中向一个方向传送；反馈信号的传送则可以自由一些，它甚至被允许在网络中循环传送。60IIP2011-2012(1)2. 网络的分层结构网络的分层结构为了更好的组织网络中的神经元，将其分布到各层（级）：n按照上面对网络的联接的划分，称侧联接引起的信号传递为横向反馈横向反馈；n层间的向前联接引起的信号传递为层前馈层前馈（简称前馈）；n层间的向后联接引起的信号传递为层反馈层反馈。n横向反馈和层反馈统称为反馈。61IIP2011-2012(1)1）单级网虽然单个神经元能够完成简单的模式侦测，但是为了

49、完成较复杂的功能，还需要将大量的神经元联成网，有机的联接使它们可以协同完成规定的任务。62IIP2011-2012(1)（1）简单单级网上图上图表面上看是一个两层网，但是由于其中的输入层的神经表面上看是一个两层网，但是由于其中的输入层的神经元不对输入信号做任何处理，它们只起到对输入向量元不对输入信号做任何处理，它们只起到对输入向量 的扇的扇出作用。因此，在计算网络的层数时人们习惯上并不将它作出作用。因此，在计算网络的层数时人们习惯上并不将它作为一层。为一层。12(,.,)nXx xx12( ,.,)nOo oo63IIP2011-2012(1)（1）简单单级网设输入层的第 i 个神经元到输出层

50、的第 j 个神经元的联接的强度为 wij，即 X 的第 i 个分量以权重 wij 输入到输出层的第 j个神经元中，取所有的权构成（输入）权矩阵 W：()ijWw输出层的第 j 个神经元的网络输入记为( ):1122.jjjnn jn etx wx wx w1jm12(,.,)mNETnet netnetNETXWF()ONET64IIP2011-2012(1)（2）单级横向反馈网在简单单级网的基础上，在其输出层加上侧联接就构成单级横向反馈网。12(,.,)nXx xx12( ,.,)nOo oo65IIP2011-2012(1)（2）单级横向反馈网设输出层的第 i 个神经元到输出层的第 j 个