浙江大学人工神经网络课件-完整版.ppt

1、2022-12-151人工神经网络人工神经网络 Artificial Neural Networks2022-12-152蒋宗礼蒋宗礼软件学科部软件学科部联系电话：联系电话：67392508Email：办公地点：信息北楼办公地点：信息北楼2142022-12-153教材教材书名：书名：人工神经网络导论人工神经网络导论出版社：高等教育出版社出版社：高等教育出版社出版日期：出版日期：2001年年8月月定价：定价：12.412.4元元作者：作者：蒋宗礼蒋宗礼2022-12-154主要参考书目主要参考书目1、Philip D.Wasserman，Neural Computing:Theory and

2、Practice，Van Nostrand Reinhold，19892、胡守仁、余少波、戴葵，神经网络导论，、胡守仁、余少波、戴葵，神经网络导论，国防科技大学出版社，国防科技大学出版社，1993年年10月月3、杨行峻、郑君里，人工神经网络，高等教、杨行峻、郑君里，人工神经网络，高等教育出版社，育出版社，1992年年9月月4、闻新、周露、王丹力、熊晓英，闻新、周露、王丹力、熊晓英，MATLABMATLAB神神经网络应用设计，科学出版社，经网络应用设计，科学出版社，2001.5.2001.5.2022-12-155课程目的和基本要求课程目的和基本要求 作为人工神经网络的入门课程，用于将学作为人工

3、神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。生引入人工神经网络及其应用的研究领域。介绍人工神经网络及其基本网络模型，使介绍人工神经网络及其基本网络模型，使学生学生了解智能系统描述的基本模型了解智能系统描述的基本模型掌握人工神经网络的基本概念、单层网、多层掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题典型训练算法、运行方式、典型问题掌握软件实现方法。掌握软件实现方法。2022-12-156课程目的和基本要求课程目的和基本要求 了解人工神经网络的有关研究思想，从中了解

4、人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。学习开拓者们的部分问题求解方法。通过实验进一步体会有关模型的用法和性通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。能，获取一些初步的经验。查阅适当的参考文献，将所学的知识与自查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。内容，又有一定的研究和应用的目的。2022-12-157主要内容主要内容 智能及其实现智能及其实现 ANN基础基础 Perceptro

5、n BP CPN 统计方法统计方法 Hopfield网与网与BAM ART2022-12-158主要内容主要内容第一章：引论第一章：引论 智能的概念、智能系统的特点及其描述基本智能的概念、智能系统的特点及其描述基本模型，物理符号系统与连接主义的观点及模型，物理符号系统与连接主义的观点及其比较；人工神经网络的特点、发展历史。其比较；人工神经网络的特点、发展历史。2022-12-159主要内容主要内容第二章第二章 人工神经网络基础人工神经网络基础 本章在介绍了基本神经元后，将概要介绍本章在介绍了基本神经元后，将概要介绍人工神经网络的一般特性。主要包括，生人工神经网络的一般特性。主要包括，生物神经网

6、络模型，人工神经元模型与典型物神经网络模型，人工神经元模型与典型的激励函数；人工神经网络的基本拓扑特的激励函数；人工神经网络的基本拓扑特性，存 储 类 型（性，存 储 类 型（C A M LT M，AMSTM）及映象，）及映象，Supervised训练与训练与Unsupervised训练。训练。2022-12-1510主要内容主要内容第三章第三章 感知器感知器 感知器与人工神经网络的早期发展；单层感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线形网能解决线性可分问题，而无法解决线形不可分问题，要想解决这一问题，必须引不可分问题，要想解决这一问题，必须引入多层网；入多层网；

7、Hebb学习律，学习律，Delta规则，感知规则，感知器的训练算法。器的训练算法。实验：实现一个感知器。实验：实现一个感知器。2022-12-1511主要内容主要内容第四章第四章 向后传播向后传播BPBP（BackpropagationBackpropagation）网络的构成及其训）网络的构成及其训练过程；隐藏层权调整方法的直观分析，练过程；隐藏层权调整方法的直观分析，BPBP训练算法中使用的训练算法中使用的DeltaDelta规则（最速下降法）规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；的理论推导；算法的收敛速度及其改进讨论；BPBP网络中的几个重要问题。网络中的几个重要问题

8、。实验：实现实验：实现BP算法。算法。2022-12-1512主要内容主要内容第五章第五章 对传网对传网 生物神经系统与异构网的引入；对传网的生物神经系统与异构网的引入；对传网的网络结构，网络结构，Kohonen层与层与Grossberg层的正层的正常运行，对传网的输入向量的预处理，常运行，对传网的输入向量的预处理，Kohonen层的训练算法及其权矩阵的初始层的训练算法及其权矩阵的初始化方法；化方法；Grossberg层的训练；完整的对传层的训练；完整的对传网。网。实验：实现基本的对传网。实验：实现基本的对传网。2022-12-1513主要内容主要内容第六章第六章 统计方法统计方法 统计方法是

9、为了解决局部极小点问题而引统计方法是为了解决局部极小点问题而引入的，统计网络的基本训练算法，模拟退入的，统计网络的基本训练算法，模拟退火算法与收敛分析，火算法与收敛分析，Cauchy训练，人工热训练，人工热处理与临界温度在训练中的使用处理与临界温度在训练中的使用，BP算法算法与与Cauchy训练相结合。训练相结合。实验：实现模拟退火算法。实验：实现模拟退火算法。2022-12-1514主要内容主要内容第七章第七章 循环循环网络网络 循环网络的组织，稳定性分析；相联存储；循环网络的组织，稳定性分析；相联存储；统计统计Hopfield网与网与Boltzmann机；机；Hopfield网用于解决网用

10、于解决TSP问题。问题。BAM(BidirectionalBAM(Bidirectional Associative Memory)Associative Memory)用于实现双联存储；基本双联存储网络的用于实现双联存储；基本双联存储网络的结构及训练；其他的几种相联存储网络。结构及训练；其他的几种相联存储网络。实验：实现一个实验：实现一个Hopfield网。网。2022-12-1515主要内容主要内容第八章第八章 自适应共振理论自适应共振理论 人脑的稳定性与可塑性问题；人脑的稳定性与可塑性问题；ART模型的模型的总体结构与分块描述；比较层与识别层之总体结构与分块描述；比较层与识别层之间的两个

11、联接矩阵的初始化，识别过程与间的两个联接矩阵的初始化，识别过程与比较过程，查找的实现；训练讨论。比较过程，查找的实现；训练讨论。2022-12-1516第第1章章 引言引言 主要内容主要内容：智能与人工智能；智能与人工智能；ANN的特点；的特点；历史回顾与展望历史回顾与展望 重点：重点：智能的本质；智能的本质；ANN是一个非线性大规模并行处理系统是一个非线性大规模并行处理系统 难点：难点：对智能的刻画对智能的刻画 2022-12-1517第第1章章 引言引言1.1 人工神经网络的提出人工神经网络的提出1.2 人工神经网络的特点人工神经网络的特点1.3 历史回顾历史回顾2022-12-1518第

12、第1章章 引言引言 人类对人工智能的研究可以分成两种方式人类对人工智能的研究可以分成两种方式对应着对应着两种不同的技术两种不同的技术：传统的人工智能技术传统的人工智能技术心理的角度模拟心理的角度模拟基于人工神经网络的技术基于人工神经网络的技术生理的角度模拟生理的角度模拟2022-12-15191.1 人工神经网络的提出人工神经网络的提出 人工神经网络（人工神经网络（Artificial Neural Networks，简记作简记作ANN），是对人类大脑系统的一阶），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个特性的一种描述。简单地讲，它是一个数数学模型学模型，可以用，可以用电子线路

13、电子线路来实现，也可以来实现，也可以用用计算机程序计算机程序来模拟，是人工智能研究的来模拟，是人工智能研究的一种方法。一种方法。2022-12-15201.1 人工神经网络的提出人工神经网络的提出 1.1.1 智能与人工智能智能与人工智能 一、一、智能的含义智能的含义 智能是个体有目的的行为，合理的思维，智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力以及有效的、适应环境的综合能力。智能是个体认识客观事物和运用知识解决智能是个体认识客观事物和运用知识解决问题的能力问题的能力。人类个体的智能是一种综合能力。人类个体的智能是一种综合能力。2022-12-15211.1 人工神经网

14、络的提出人工神经网络的提出 智能可以包含智能可以包含8个方面个方面 感知与认识感知与认识客观事物、客观世界和自我的能力客观事物、客观世界和自我的能力感知是智能的基础感知是智能的基础最基本的能力最基本的能力 通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。这是人类在世界中能够不断发展的最基本能力。理解知识理解知识，运用知识运用知识和经验分析、解决问题的能和经验分析、解决问题的能力力 这一能力可以算作是智能的高级形式。是人类对世界这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。进行适当的改造，推动

15、社会不断发展的基本能力。2022-12-15221.1 人工神经网络的提出人工神经网络的提出 联想、推理、判断、决策语言联想、推理、判断、决策语言的能力的能力 这是智能的高级形式的又一方面。这是智能的高级形式的又一方面。预测和认识预测和认识“主动主动”和和“被动被动”之分。联想、推理、判断、之分。联想、推理、判断、决策的能力是决策的能力是“主动主动”的基础。的基础。运用进行抽象、概括的能力运用进行抽象、概括的能力 上述这上述这5 5种能力，被认为是人类智能最为种能力，被认为是人类智能最为基基本的能力本的能力 2022-12-15231.1 人工神经网络的提出人工神经网络的提出 作为作为5 5种

16、能力综合表现形式的种能力综合表现形式的3 3种能力种能力发现、发明、创造、创新的能力发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能实时、迅速、合理地应付复杂环境的能力力 预测、洞察事物发展、变化的能力预测、洞察事物发展、变化的能力 2022-12-15241.1 人工神经网络的提出人工神经网络的提出 二、人工智能二、人工智能 人工智能：研究如何使类似计算机这样的设备去人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。模拟人类的这些能力。研究人工智能的目的研究人工智能的目的 增加人类探索世界，推动社会前进的能力增加人类探索世界，推动社会前进的能力进一步认识自己进一步

17、认识自己 三大学术流派三大学术流派 符号主义（或叫做符号符号主义（或叫做符号/逻辑主义）学派逻辑主义）学派 联接主义（或者叫做联接主义（或者叫做PDP）学派）学派进化主义（或者叫做行动进化主义（或者叫做行动/响应）学派响应）学派2022-12-15251.1 人工神经网络的提出人工神经网络的提出 1.1.2 物理符号系统物理符号系统 人脑的反映人脑的反映 形式化形式化 现实现实 信息信息 数据数据 物理系统物理系统 物理符号系统物理符号系统 表现智能表现智能2022-12-15261.1 人工神经网络的提出人工神经网络的提出 NewellNewell和和SimonSimon假说假说 ：一个物理

18、系统表现：一个物理系统表现智能行为的充要条件是它有一个物理符号智能行为的充要条件是它有一个物理符号系统系统 概念：物理符号系统需要有一组称为符号概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统现，以构成更高级别的系统 2022-12-15271.1 人工神经网络的提出人工神经网络的提出 困难：困难：抽象抽象舍弃一些特性，同时保留一些特性舍弃一些特性，同时保留一些特性 形式化处理形式化处理用物理符号及相应规则表达物用物理符号及相应规则表达物理

19、系统的存在和运行。理系统的存在和运行。局限：局限：对全局性判断、模糊信息处理、多粒度的视觉对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。信息处理等是非常困难的。2022-12-15281.1 人工神经网络的提出人工神经网络的提出 1.1.3 1.1.3 联接主义观点联接主义观点 核心：智能的本质是联接机制。核心：智能的本质是联接机制。神经网络是一个由大量简单的处理单元组神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统成的高度复杂的大规模非线性自适应系统 ANNANN力求从四个方面去模拟人脑的智能行为力求从四个方面去模拟人脑的智能行为物理结构物理结构 计

20、算模拟计算模拟 存储与操作存储与操作 训练训练 2022-12-15291.1 人工神经网络的提出人工神经网络的提出 1.1.4 1.1.4 两种模型的比较两种模型的比较心理过程心理过程 逻辑思维逻辑思维 高级形式（思维的表象）高级形式（思维的表象）生理过程生理过程 形象思维形象思维 低级形式（思维的根本）低级形式（思维的根本）仿生仿生人工神经网络人工神经网络联结主义观点联结主义观点物理符号系统物理符号系统2022-12-15301.1 人工神经网络的提出人工神经网络的提出 物理符号系统和人工神经网络系统的差别物理符号系统和人工神经网络系统的差别 项目项目物理符号系统物理符号系统人工神经网络人

21、工神经网络处理方式处理方式逻辑运算逻辑运算模拟运算模拟运算执行方式执行方式串行串行并行并行动作动作离散离散连续连续存储存储局部集中局部集中全局分布全局分布2022-12-15311.1 人工神经网络的提出人工神经网络的提出 两种人工智能技术的比较两种人工智能技术的比较项目项目传统的传统的AIAI技术技术 ANN技术技术 基本实现基本实现方式方式 串行处理；由程序实现串行处理；由程序实现控制控制 并行处理；对样本数据进行多目标学习；并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制通过人工神经元之间的相互作用实现控制 基本开发基本开发方法方法 设计规则、框架、程序；设计规则

22、、框架、程序；用样本数据进行调试用样本数据进行调试（由人根据已知的环境（由人根据已知的环境去构造一个模型）去构造一个模型）定义人工神经网络的结构原型，通过样本定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应自动从样本数据中抽取内涵（自动适应应用环境）用环境）适应领域适应领域 精确计算：符号处理，精确计算：符号处理，数值计算数值计算非精确计算：模拟处理，感觉，大规模数非精确计算：模拟处理，感觉，大规模数据并行处理据并行处理模拟对象模拟对象 左脑（逻辑思维）左脑（逻辑思维）右脑（形象思维）右脑（形象思维）202

23、2-12-15321.2 人工神经网络的特点人工神经网络的特点信息的分布表示信息的分布表示运算的全局并行和局部操作运算的全局并行和局部操作处理的非线性处理的非线性 2022-12-15331.2.1 人工神经网络的概念人工神经网络的概念1、定义、定义 1）HechtNielsen（1988年）年）人工神经网络是一个并行、分布处理结构，它由人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（这些处理单元（PEProcessing Element）具有）具有局部内存，并可以完成局部操作。每个处理单元局部内存

24、，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。信号的大小不因分支的多少而变化。2022-12-15341.2.1 人工神经网络的概念人工神经网络的概念（1）HechtNielsen（1988年）（续）年）（续）处理单元的输出信号可以是任何需要处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的的数学模型，每个处

25、理单元中进行的操作必须是完全局部的。也就是说，操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值存储在处理单元局部内存中的值。2022-12-15351.2.1 人工神经网络的概念人工神经网络的概念 强调：强调：并行、分布处理结构；并行、分布处理结构；一个处理单元的输出可以被任意分枝，且一个处理单元的输出可以被任意分枝，且大小不变；大小不变；输出信号可以是任意的数学模型；输出信号可以是任意的数学模型；处理单元完全的局部操作处理单元完全的局部操作 2022-1

26、2-15361.2.1 人工神经网络的概念人工神经网络的概念（2）Rumellhart，McClelland，Hinton的的PDP 1）一组处理单元一组处理单元（PE或或AN）；）；2）处理单元的处理单元的激活状态激活状态（ai）；）；3）每个处理单元的每个处理单元的输出函数输出函数（fi）；）；4）处理单元之间的处理单元之间的联接模式联接模式；5）传递规则传递规则（wijoi）；）；6）把处理单元的输入及当前状态结合起来产生把处理单元的输入及当前状态结合起来产生激活值的激活值的激活规则激活规则（Fi）；）；7）通过经验修改联接强度的通过经验修改联接强度的学习规则学习规则；8）系统运行的环境

27、（系统运行的环境（样本样本集合）。集合）。2022-12-15371.2.1 人工神经网络的概念人工神经网络的概念（3）Simpson（1987年）年）人工神经网络是一个非线性的有向图，图人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输加权边，并且可以从不完整的或未知的输入找到模式。入找到模式。2022-12-15381.2.1 人工神经网络的概念人工神经网络的概念 2、关键点、关键点（1 1）信息的分布表示信息的分布表示（2 2）运算的全局并行与局部操作运算的全局并行与局部操作（3 3）处理的非线

28、性特征处理的非线性特征 3、对大脑基本特征的模拟、对大脑基本特征的模拟 1）形式上：神经元及其联接形式上：神经元及其联接；BN对对AN 2）表现特征：信息的存储与处理表现特征：信息的存储与处理2022-12-15391.2.1 人工神经网络的概念人工神经网络的概念 4、别名、别名 人工神经系统（人工神经系统（ANS）神经网络（神经网络（NN）自适应系统自适应系统（Adaptive Systems）、自适应）、自适应网（网（Adaptive Networks）联接模型（联接模型（Connectionism）神经计算机神经计算机（Neurocomputer）2022-12-15401.2.2 1.

29、2.2 学习（学习（LearningLearning）能力）能力 人工神经网络可以根据所在的环境去改变人工神经网络可以根据所在的环境去改变它的行为它的行为 自相联的网络自相联的网络 异相联的网络异相联的网络：它在接受样本集合它在接受样本集合A时，可时，可以抽取集合以抽取集合A中输入数据与输出数据之间的中输入数据与输出数据之间的映射关系。映射关系。“抽象抽象”功能。功能。不同的人工神经网络模型，有不同的学习不同的人工神经网络模型，有不同的学习/训练算法训练算法2022-12-15411.2.3 基本特征的自动提取基本特征的自动提取 由于其运算的由于其运算的不精确性不精确性，表现成，表现成“去噪音

30、、去噪音、容残缺容残缺”的能力，利用这种不精确性，比的能力，利用这种不精确性，比较自然地实现模式的自动分类。较自然地实现模式的自动分类。普化（普化（Generalization）能力与抽象能力）能力与抽象能力 2022-12-15421.2.4 信息的分布存放信息的分布存放 信息的分布存提供容错功能信息的分布存提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以中的某一个点或者某几个点被破坏时，信息仍然可以被存取。被存取。系统在受到系统在受到局部局部损伤时还可以正常工作。损伤时还可以正常工作。并不

31、是说可以任意地对完成学习的网络进行修改。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。就会破坏原来已学会的东西。2022-12-15431.2.5适应性适应性(Applicability)问题问题 擅长两个方面：擅长两个方面：对大量的数据进行分类，并且只有较少的几种对大量的数据进行分类，并且只有较少的几种情况；情况；必须学习一个复杂的非线性映射。必须学习一个复杂的非线性映射。目前应用：目前应用：人们主要将

32、其用于语音、视觉、知识处理、辅人们主要将其用于语音、视觉、知识处理、辅助决策等方面。助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。近似解）等方面也有较好的应用。2022-12-15441.3 历史回顾历史回顾 1.3.1 萌芽期（萌芽期（20世纪世纪40年代）年代）人工神经网络的研究最早可以追溯到人类人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到开始研究自己的智能的时期，到1949年止。年止。1943年，心理学家年，

33、心理学家McCulloch和数学家和数学家Pitts建立起了著名的阈值加权和模型，简称为建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 1949年，心理学家年，心理学家D.O.Hebb提出神经元之提出神经元之间突触联系是可变的假说间突触联系是可变的假说Hebb学习律。学习律。2022-12-15451.3.2 第一高潮期（第一高潮期（19501968）以以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是等为

34、代表人物，代表作是单级感知器（单级感知器（Perceptron）。）。可用电子线路模拟。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。希望尽快占领制高点。2022-12-15461.3.3 反思期（反思期（19691982）M.L.Minsky和和S.Papert，Perceptron，MIT Press，1969年年 异或异或”运算不可表示运算不可表示 二十世纪二十世纪70年代和年代和80年代早期的研究结果年代早期的研究结果 认识规律：认识认识规律：认识

35、实践实践再认识再认识 2022-12-15471.3.4 第二高潮期（第二高潮期（19831990）1982年，年，J.Hopfield提出循环网络提出循环网络用用Lyapunov函数函数作为网络性能判定的能量函作为网络性能判定的能量函数，建立数，建立ANNANN稳定性的判别依据稳定性的判别依据阐明了阐明了ANNANN与动力学的关系与动力学的关系用非线性动力学的方法来研究用非线性动力学的方法来研究ANNANN的特性的特性指出信息被存放在网络中神经元的联接上指出信息被存放在网络中神经元的联接上 ninjijnixiiiiininjjiijwdsxsxswVi111011)()()()(21202

36、2-12-15481.3.4 第二高潮期（第二高潮期（19831990）2）1984年，年，J.Hopfield设计研制了后来被设计研制了后来被人们称为人们称为Hopfield网网的电路。较好地解决了的电路。较好地解决了著名的著名的TSP问题，找到了最佳解的近似解，问题，找到了最佳解的近似解，引起了较大的轰动。引起了较大的轰动。3）1985年，年，UCSD的的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（等人所在的并行分布处理（PDP）小组的研究者在小组的研究者在Hopfield网络中引入了随机网络中引入了随机机制，提出所谓的机制，提出所谓的Boltzmann机机

37、。2022-12-15491.3.4 第二高潮期（第二高潮期（19831990）4）1 9 8 6 年，并 行 分 布 处 理 小 组 的年，并 行 分 布 处 理 小 组 的Rumelhart等研究者重新独立地提出多层网等研究者重新独立地提出多层网络的学习算法络的学习算法BP算法算法，较好地解决了，较好地解决了多层网络的学习问题。（多层网络的学习问题。（Paker1982和和Werbos1974年）年）国内首届神经网络大会国内首届神经网络大会是是1990年年12月在北月在北京举行的京举行的。2022-12-15501.3.5 再认识与应用研究期再认识与应用研究期（1991）问题：问题：1）应

38、用面还不够宽应用面还不够宽 2）结果不够精确结果不够精确 3 3）存在可信度的问题）存在可信度的问题 2022-12-15511.3.5 再认识与应用研究期再认识与应用研究期（1991）研究：研究：1）开发现有模型的应用，并在应用中根据实际运开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法充分发挥两种技术各自的优势是一个有效方法 3）希望在理论上寻找新的突破，建立新的专用希望在理论上寻找新的突破，建立新的专用/通用模型和算法。通用模

39、型和算法。4 4）进一步对生物神经系统进行研究，不断地丰富）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。对人脑的认识。2022-12-1552第第2章章 人工神经网络基础人工神经网络基础 主要内容主要内容：BN与与AN；拓扑结构；拓扑结构；存储；存储；训练训练 重点：重点：AN；拓扑结构；训练；拓扑结构；训练 难点：难点：训练训练2022-12-1553第第2章章 人工神经网络基础人工神经网络基础2.1 2.1 生物神经网生物神经网 2.2 2.2 人工神经元人工神经元 2.3 2.3 人工神经网络的拓扑特性人工神经网络的拓扑特性 2.4 2.4 存储与映射存储与映射 2.5 2.5

40、 人工神经网络的训练人工神经网络的训练2022-12-15542.1 2.1 生物神经网生物神经网1、构成、构成胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）2、工作过程、工作过程2022-12-15552.1 2.1 生物神经网生物神经网 3、六个基本特征：、六个基本特征：1）神经元及其联接神经元及其联接；2）神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3）神经元之间的联接强度是可以随神经元之间的联接强度是可以随训练训练改变的；改变的；4）信号可以是起信号可以是起刺激刺激作用的，也可

41、以是起作用的，也可以是起抑制抑制作作用的；用的；5）一个神经元接受的信号的一个神经元接受的信号的累积效果累积效果决定该神经决定该神经元的状态；元的状态；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。2022-12-15562.2 人工神经元人工神经元 神经元是构成神经网络的最基本单元（构神经元是构成神经网络的最基本单元（构件）。件）。人工神经元模型应该具有生物神经元的六人工神经元模型应该具有生物神经元的六个基本特性。个基本特性。2022-12-15572.2.1 人工神经元的基本构成人工神经元的基本构成 人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输

42、入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T网络输入：网络输入：net=xiwi向量形式：向量形式：net=XWxn wnx1 w1x2 w2net=XW2022-12-15582.2.2 激活函数激活函数(Activation Function)激活函数激活函数执行对该神经元所获得的网执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活络输入的变换，也可以称为激励函数、活化函数：化函数：o=f（net）1、线性函数（、线性函数（Liner Function）f（net）=k*net+c netooc2022-12-15592、非线性斜面函数、非线性斜面函数(

43、Ramp Function)if netf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元为一常数，被称为饱和值，为该神经元的最大输出。的最大输出。2022-12-15602、非线性斜面函数、非线性斜面函数（Ramp Function）-net o 2022-12-15613、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数if netf（net）=-if net、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1if netf（net）=0if net 双极形式：双极形式：1if netf（net）=-1if net 2022

44、-12-15623、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数-onet02022-12-15634、S形函数形函数 压缩函数（压缩函数（Squashing Function）和逻辑斯特）和逻辑斯特函数（函数（Logistic Function）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 2022-12-15644、S形函数形

45、函数 a+b o(0,c)netac=a+b/22022-12-15652.2.3 M-P模型模型 x2 w2 fo=f（net）xn wnnet=XWx1 w1McCullochPitts（MP）模型，）模型，也称为处理单元（也称为处理单元（PE）2022-12-1566上次课内容回顾上次课内容回顾 擅长两个方面擅长两个方面 目前应用目前应用语音、视觉、知识处理语音、视觉、知识处理 数据压缩、模式匹配、系统建模、模糊控制、求数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似组合优化问题的最佳解的近似解（不是最佳近似解）解）辅助决策辅助决策预报与智能管理预报与

46、智能管理 通信通信自适应均衡、回波抵消、路由选择、自适应均衡、回波抵消、路由选择、ATM中的呼叫接纳、识别与控制中的呼叫接纳、识别与控制 空间科学空间科学对接、导航、制导、飞行程序优化对接、导航、制导、飞行程序优化2022-12-1567上次课内容回顾上次课内容回顾 发展过程发展过程萌芽期（萌芽期（20世纪世纪40年代）年代）M-P模型模型 Hebb学习律学习律第一高潮期（第一高潮期（19501968）PerceptronPerceptron的兴衰的兴衰反思期（反思期（19691982）第二高潮期（第二高潮期（19831990）4 4个标志性成果个标志性成果再认识与应用研究期（再认识与应用研究

47、期（1991）2022-12-1568上次课内容回顾上次课内容回顾 生物神经网生物神经网六个基本特征六个基本特征 神经元及其联接神经元及其联接、信号传递信号传递、训练训练、刺激刺激与与抑抑制、累积效果制、累积效果、“阈值阈值”。人工神经元的基本构成人工神经元的基本构成xn wnx1 w1x2 w2net=XW2022-12-1569上次课内容回顾上次课内容回顾 激活函数与激活函数与M-P模型模型 线性函数、非线性斜面函数、线性函数、非线性斜面函数、阈值函数阈值函数 S形函数形函数 M-P模型模型x2 w2 fo=f（net）xn wnnet=XWx1 w12022-12-15702.3 人工神

48、经网络的拓扑特性人工神经网络的拓扑特性 连接的拓扑表示连接的拓扑表示 ANiwijANj 2022-12-15712.3.1 联接模式联接模式 用正号（用正号（“+”，可省略）表示传送来的信，可省略）表示传送来的信号起号起刺激刺激作用，它用于增加神经元的活跃作用，它用于增加神经元的活跃度；度；用负号（用负号（“-”）表示传送来的信号起）表示传送来的信号起抑制抑制作用，它用于降低神经元的活跃度。作用，它用于降低神经元的活跃度。层次层次（又称为（又称为“级级”）的划分，导致了神）的划分，导致了神经元之间的三种不同的经元之间的三种不同的互连模式互连模式：2022-12-15722.3.1 联接模式联

49、接模式 1、层（级）内联接层（级）内联接层内联接又叫做区域内（层内联接又叫做区域内（Intra-field）联）联接或侧联接（接或侧联接（Lateral）。）。用来加强和完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争 2 2、循环联接循环联接反馈信号。反馈信号。2022-12-15732.3.1 联接模式联接模式 3、层（级）间联接、层（级）间联接 层间（层间（Inter-field）联接指不同层中的神）联接指不同层中的神经元之间的联接。这种联接用来实现层经元之间的联接。这种联接用来实现层间的信号传递间的信号传递 前馈信号前馈信号 反馈信号反馈信号 2022-12-15742.3.

50、2 网络的分层结构网络的分层结构 单级网单级网 简单单级网简单单级网 2022-12-1575简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层2022-12-1576简单单简单单级网级网 W=（wij）输出层的第输出层的第j个神经元的网络输入记为个神经元的网络输入记为netj：netj=x1w1j+x2w2j+xnwnj其中其中,1 j m。取。取 NET=（net1，net2，netm）NET=XW O=F（NET）2022-12-1577单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V2