1、1智能信息处理智能信息处理课程课程第第六六讲讲 神经神经信息处理技术信息处理技术（1 1）谭营谭营2神经网络神经网络u神经网络介绍神经网络介绍u神经网络发展历史神经网络发展历史u神经网络基础神经网络基础u神经网络的学习方法神经网络的学习方法u前馈神经网络模型及其主要算法前馈神经网络模型及其主要算法u反馈神经网络模型及其主要算法反馈神经网络模型及其主要算法u神经网络信息处理神经网络信息处理u几个应用实例几个应用实例3电子课件下载信息电子课件下载信息u课件下载：课件下载：u系系ftp：162.105.71.46u用户名：用户名：cisu密码：密码：cis07。41、神经网络的有关概念神经网络的有关
2、概念u人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。u简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟。人工智能的研究可分成两种方式，对应不同的技术：人工智能的研究可分成两种方式，对应不同的技术：1.传统的人工智能技术传统的人工智能技术心理的角度模拟心理的角度模拟2.基于人工神经网络的技术基于人工神经网络的技术生理的角度模拟生理的角度模拟5人工智能研究如何使类似计算机这样的设备去模拟人类的这些能力。u研究人工智能的目的增加人类探索世界，推动社会前进的能力进一步认识自己u三大学术流派符号主义（或
3、叫做符号/逻辑主义）学派联接主义（或者叫做PDP）学派进化主义（或者叫做行动/响应）学派61.1 人工神经网络的提出u1.1.2 物理符号系统u 人脑的反映人脑的反映 形式化形式化 现实现实 信息信息 数据数据 物理系统物理系统 物理符号系统物理符号系统 表现智能表现智能71.1 人工神经网络的提出u困难：抽象舍弃一些特性，同时保留一些特性形式化处理用物理符号及相应规则表达物理系统的存在和运行。u局限：对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。81.1 人工神经网络的提出u1.1.3 联接主义观点 u核心：智能的本质是联接机制。u神经网络是一个由大量简单的处理单元组成的高
4、度复杂的大规模非线性自适应系统 uANN力求从四个方面去模拟人脑的智能行为物理结构 计算模拟 存储与操作 训练 91.1 人工神经网络的提出u1.1.4 两种模型的比较心理过程 逻辑思维 高级形式（思维的表象）生理过程 形象思维 低级形式（思维的根本）仿生人工神经网络联结主义观点联结主义观点物理符号系统物理符号系统101.1 人工神经网络的提出u物理符号系统和人工神经网络系统的差别 项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布111.1 人工神经网络的提出u两种人工智能技术的比较项目传统的AI技术 ANN技术 基本实现方式 串行处理；由程
5、序实现控制 并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制 基本开发方法 设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应用环境）适应领域 精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象 左脑（逻辑思维）右脑（形象思维）121.2 人工神经网络的特点u信息的分布表示u运算的全局并行和局部操作u处理的非线性 131.2.1 人工神经网络的定义1u1）HechtNielsen（1988年）人工神经网络是一个
6、并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。141.2.1 人工神经网络的定义1u处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。151.2.1 人工神经网络的定义1u强调：并行、分布处理结构；一个处理单元的
7、输出可以被任意分枝，且大小不变；输出信号可以是任意的数学模型；处理单元完全的局部操作 161.2.1 人工神经网络的定义2（2）Rumellhart，McClelland，Hinton的PDP u1）一组处理单元（PE或AN）；u2）处理单元的激活状态（ai）；u3）每个处理单元的输出函数（fi）；u4）处理单元之间的联接模式；u5）传递规则（wijoi）；u6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；u7）通过经验修改联接强度的学习规则；u8）系统运行的环境（样本集合）。17人工神经网络的定义3u（3）Simpson（1987年）u人工神经网络是一个非线性的有向图，图
8、中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。18人工神经网络的特点u2、关键点u（1）信息的分布表示u（2）运算的全局并行与局部操作u（3）处理的非线性特征u3、对大脑基本特征的模拟u1）形式上：神经元及其联接；BN对ANu2）表现特征：信息的存储与处理19人工神经网络的别名u人工神经系统（ANS）u神经网络（NN）u自适应系统（Adaptive Systems）u自适应网（Adaptive Networks）u联接模型（Connectionism）u神经计算机（Neurocomputer）20学习能力 u人工神经网络可以根据所在的环境去改变它的行为u自
9、相联的网络u异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。“抽象”功能。u不同的人工神经网络模型，有不同的学习/训练算法21基本特征的自动提取 u由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。u泛化（Generalization）能力与抽象能力 22信息的分布存放u信息的分布存放提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。u系统在受到局部损伤时还可以正常工作。u并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对
10、一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。23适应性(Applicability)问题 u擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。u目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解等方面也有较好的应用。24神经网络的发展历史神经网络的发展历史u1.3.1 萌芽期（20世纪40年代）u人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。u1943年，心理学家McCulloch和数学家Pitts建
11、立起了著名的阈值加权和模型，简称为M-P模型。发表 于 数 学 生 物 物 理 学 会 刊 B u l l e t i n o f Methematical Biophysicsu1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习律。25第一高潮期（19501968）u以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。u可用电子线路模拟。u人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。26反思期（19691982）u
12、M.L.Minsky和S.Papert，Perceptron，MIT Press，1969年 u“异或”运算不可表示 u二十世纪70年代和80年代早期的研究结果 u认识规律：认识实践再认识 27第二高潮期（19831990）u1982年，J.Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上 ninjijnixiiiiininjjiijwdsxsxswVi111011)()()()(2128第二高潮期（19831990）u2）1984年，J.
13、Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。u3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。29第二高潮期（19831990）u4）1 9 8 6 年，并 行 分 布 处 理 小 组 的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）u国内首届神经网络大会是19
14、90年12月在北京举行的。30再认识与应用研究期（1991）u问题：u1）应用面还不够宽u2）结果不够精确u3）存在可信度的问题 31再认识与应用研究期（1991）u研究：u1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。u2）充分发挥两种技术各自的优势是一个有效方法u3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。u4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。322 人工神经网络基础2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 存储与映射 2.5 人工神经网络的训练332.
15、1 生物神经网1、构成胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）34The Biological Neuron u10 billion neurons in human brainuSummation of input stimuliSpatial(signals)Temporal(pulses)uThreshold over composed inputsuConstant firing strengthu billion synapses in human brainuChemical transmission
16、and modulation of signalsuInhibitory synapsesuExcitatory synapses61035Neural DynamicsRefractory timeAction potentialAction potential 100mVActivation threshold 20-30mVRest potential -65mVSpike time 1-2msRefractory time 10-20ms36神经网络的复杂性神经网络的复杂性u神经网路的复杂多样，不仅在于神经元和突触的神经网路的复杂多样，不仅在于神经元和突触的数量大、组合方式复杂和联系广
17、泛，还在于突触数量大、组合方式复杂和联系广泛，还在于突触传递的机制复杂。现在已经发现和阐明的突触传传递的机制复杂。现在已经发现和阐明的突触传递机制有：突触后兴奋，突触后抑制，突触前抑递机制有：突触后兴奋，突触后抑制，突触前抑制，突触前兴奋，以及制，突触前兴奋，以及“远程远程”抑制等等。在突抑制等等。在突触传递机制中，释放神经递质是实现突触传递机触传递机制中，释放神经递质是实现突触传递机能的中心环节，而不同的神经递质有着不同的作能的中心环节，而不同的神经递质有着不同的作用性质和特点用性质和特点37神经网络的研究神经网络的研究u神经系统活动，不论是感觉、运动，还是脑神经系统活动，不论是感觉、运动，
18、还是脑的高级功能（如学习、记忆、情绪等）都有的高级功能（如学习、记忆、情绪等）都有整体上的表现，面对这种表现的神经基础和整体上的表现，面对这种表现的神经基础和机理的分析不可避免地会涉及各种层次。机理的分析不可避免地会涉及各种层次。u这些不同层次的研究互相启示，互相推动。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体的观察又有助于引导低层次工作的方向和体现其功能意义。现其功能意义。u既有物理既有物理的、化学的、生理的、心理的分门的、化学的、生理的、心理的分门别类研究，又有综合研究。别类研究，又有综合研究。38作业题1.联接主义观点所基于的假说是什么？它在什么层面上如何实现对人类智能的模拟2.神经网络的基本特点是什么？3.请简要说明神经网络发展的历史，它对此有什么新的认识？39谢谢！谢谢！
