1、人工神经网络定义人工神经网络定义 人工神经网络是一个由许多简单的并行工作的人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。连接强度以及各单元的处理方式。人工神经网络是一种旨在模仿人脑结构及其功能人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统的信息处理系统。神经网络是由多个非常简单的处理单元彼此按神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。其状态对外部
2、输入信息的动态响应来处理信息的。2022-8-303.1.13.1.1神经网络的基本特征与功能神经网络的基本特征与功能结构特征：结构特征：并行式处理并行式处理分布式存储分布式存储容错性容错性能力特征：能力特征：自学习自学习自组织自组织自适应性自适应性2022-8-31 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能联联想想记记忆忆功功能能非线性映射功能非线性映射功能输输入入样样本本 神神经经网网络络 输输出出样样本本 自自动动提提取取 非非线线性性映映射射规规则则 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能2022-8-33分类与识别功能分类与识别功能 传统分类
3、能力传统分类能力 ANN 分类能力分类能力 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能2022-8-34优化计算功能优化计算功能 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能2022-8-35知识处理功能知识处理功能 问问 题题 解解 答答 知知 识识 分分 布布 式式 表表 示示 由由 同同 一一 知知 识识 获获 取取、知知 识识 库库 神神 经经 网网 平平 行行 推推 理理 络络 实实 现现 输输 入入 数数 据据 变变 量量 变变 换换 求求 解解 的的 问问 题题 神神 经经 网网 络络 专专 家家 系系 统统 的的 构构 成成 3.1.1 神经网
4、络的基本特征与功能神经网络的基本特征与功能2022-8-363.1.2 生物神经元及其信息处理生物神经元及其信息处理生物神经元生物神经元人工神经元模型人工神经元模型 人类大脑大约包含有人类大脑大约包含有1.4 1011个个神经元，神经元，每个神经元与大约每个神经元与大约10103 310105 5个其它神经个其它神经元相连接，构成一个极为庞大而复杂的元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。网络，即生物神经网络。3.1.2 生物神经元及其信息处理生物神经元及其信息处理8 神经生理学和神经解剖学的研究神经生理学和神经解剖学的研究结果表明结果表明，神经元，神经元(Neuron)(Ne
5、uron)是脑组织是脑组织的基本单元，是人脑信息处理系统的的基本单元，是人脑信息处理系统的最小单元。最小单元。3.1.2 生物神经元及其信息处理生物神经元及其信息处理2022-8-393.1.2.1生物神经元的结构生物神经元的结构 生物神经元在结构上由生物神经元在结构上由 细胞体细胞体(Cell body)树突树突(Dendrite)轴突轴突(Axon)突触突触(Synapse)四部分组成。用来完成神经元间信息的接收、四部分组成。用来完成神经元间信息的接收、传递和处理。传递和处理。3.1.2 生物神经元及其信息处理生物神经元及其信息处理2022-8-3102022-8-3112022-8-31
6、23.1.2.2 生物神经元的信息处理机理生物神经元的信息处理机理信息的产生信息的产生 神经元间信息的产生、传递和处理是一神经元间信息的产生、传递和处理是一种电化学活动。种电化学活动。神经元状态：神经元状态：膜电位：膜电位：2022-8-3132022-8-314信信息息的的传传递递与与接接收收3.1.2.2 生物神经元的信息处理机理生物神经元的信息处理机理2022-8-315空间整合：空间整合：同一时刻产生的刺激所引起的膜电同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变位变化，大致等于各单独刺激引起的膜电位变化的代数和。化的代数和。时间整合：时间整合：各各输入脉冲输入
7、脉冲抵达神经元的时间先后抵达神经元的时间先后不一样。不一样。总的突触后膜电位为一段时间内的累总的突触后膜电位为一段时间内的累积。积。3.1.2.2 生物神经元的信息处理机理生物神经元的信息处理机理2022-8-316 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网
8、络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。2022-8-317 2022-8-318 x1 x1 w1j o oj j wij o oj j xi xi wnj xn xn (a)多多输输入入单单输输出出 (b)输输入入加加权权 x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)输输入入加加权权求求和和 (d)输输入入-输输出出函函数数神神经经元元模模型型示示意意图图2022-8-319神神经经元元的的数数学学模模型型)()(jn1iijiijjTtxwftoij 输入输出间的突触时
9、延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。)()(jn1iiijjTtxwf1to(3-1)(3-2)2022-8-320n1iiijjtxwttne)()(3-3)netnetj j=W Wj jT TX X (3-(3-4)4)W Wj j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令x0=-1，w0=Tj，则有则有-Tj=x0w0神神经经元元的的数数学学模模型型2022-8-321XWTjn0iiijjjjxwnetT
10、tne(3-5)oj=f(netj)=f(W Wj jT TX X)(3-6)(3-6)神神经经元元的的数数学学模模型型2022-8-322神神经经元元的的转转移移函函数数(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(3-7)0 x0 f(x)1.0 x02022-8-323(2)非线性转移函数非线性转移函数xexf11)(xxeexf11)(f(x)1.0 0.5x0 f(x)1.0 0 x-1.0神神经经元元的的转转移移函函数数(3-8)2022-8-324(3)分段线性转移函数分段线性转移函数 f(x)1.0 x0 xc 0 x0f(x)=cx 0 0 xxc (3-9)1 x
11、c x 神神经经元元的的转转移移函函数数2022-8-325层次型结构层次型结构 按按神神经经元元连连接接方方式式分分类类 2022-8-326输出层到输入层有连接输出层到输入层有连接 按按神神经经元元连连接接方方式式分分类类 2022-8-327层内有连接的层次型结构层内有连接的层次型结构 按按神神经经元元连连接接方方式式分分类类 2022-8-328全互连型结构全互连型结构 按按神神经经元元连连接接方方式式分分类类 2022-8-329按按网网络络信信息息流流向向分分类类前馈型网络前馈型网络 2022-8-330反馈型网络反馈型网络 按按网网络络信信息息流流向向分分类类2022-8-331 神经网络能够通过对样本的学习训练神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。其本质是可变权值的动态调整。2022-8-332 神经网络的学习算法神经网络的学习算法：2022-8-333
