1、第第3章人工神经网络及其应用章人工神经网络及其应用 3.1神经生理学基础神经生理学基础 3.2人工神经网络的基本原理人工神经网络的基本原理 3.3几种典型的模型及其应用几种典型的模型及其应用 Hopfield网络模型网络模型 反向传播反向传播BP模型模型 自适应共振理论自适应共振理论ART模型模型 3.4 几个实例几个实例本章重要概念（简述） 神经元的结构（画出示意图）神经元的结构（画出示意图） 神经元的模型（画出示意图）神经元的模型（画出示意图） 神经元的数学模型神经元的数学模型 人工神经网络的主要特征人工神经网络的主要特征 三种典型的人工神经网络模型三种典型的人工神经网络模型3.1神经生理
2、学基础神经生理学基础 人类的智能到底起源于何处，这是自古以来人们追求的一个目标。古代人们认为心是智慧的源泉，直到现在，很多汉语词汇仍然保留着历史的踪迹，如“心智”、“心理”等等。 现代医学及生理学告诉我们，人脑特别是大脑，是人类高级智慧的核心，而其中的神经元又是人类智能活动的基础。 神经元的结构神经元的结构神经元的结构神经元的结构 神经元胞体内含有细胞核、核糖体、原生质网状结构等，它是神经元新陈代谢等各种生化过程的活动场所，是神经元的能量提供者。 树突是胞体外一些枝状延伸物，主要接收别的神经元传送的神经信号，一般为电信号或化学信号。 轴突是细胞体外伸的一个管状纤维，轴突最长可达1m以上。轴突的
3、功能是把神经元的神经信号传到其神经末梢。 神经末梢是在轴突端部一些细小的枝状物，它接收来自轴突的神经信号，并与下一个神经元接触。神经元信号传递神经元信号传递 我们可以看到，人脑中神经信号的传我们可以看到，人脑中神经信号的传送就是一个神经元的神经末梢与下一送就是一个神经元的神经末梢与下一个神经元的树突发生信号传递的过程，个神经元的树突发生信号传递的过程，神经元末梢与一个神经元的树突接触神经元末梢与一个神经元的树突接触区域称为区域称为突触突触，这个区域可以用下图，这个区域可以用下图来表示。来表示。大脑神经元的基本运行状态大脑神经元的基本运行状态 在神经信号的驱动下，神经末梢会释放囊泡中的神经传递介
4、质，下一个神经元的树突有一个受体接收到这个传递介质，并引起神经元胞体内的电位上升，一旦下一个神经元从众多的树突中接收到足够多的神经刺激，它就会被激活，从而沿轴突将神经信号传送到它的神经末梢，引起下一批神经元被激励。3.2人工神经网络的基本原理人工神经网络的基本原理 19431943年，美国科学家年，美国科学家PittsPitts和和McCullochMcCulloch首首次提出了神经元的次提出了神经元的M-PM-P数学模型，为人工神数学模型，为人工神经网络的研究开辟了道路。经网络的研究开辟了道路。 19491949年年HebbHebb提出了著名的提出了著名的HebbHebb学习定律，学习定律，
5、认为如果两个神经元处于激励状态，则它认为如果两个神经元处于激励状态，则它们之间的连接（以权重为衡量标准）得到们之间的连接（以权重为衡量标准）得到加强，如果两个神经元处于抑制状态，它加强，如果两个神经元处于抑制状态，它们之间的连接就被减弱，们之间的连接就被减弱，HebbHebb定律为人工定律为人工神经网络的学习机制研究指明了方向。神经网络的学习机制研究指明了方向。 感知机模型感知机模型 19611961年，年，RosenblattRosenblatt第一次提出了感知机第一次提出了感知机模型（模型（Perceptron)Perceptron)，系统地研究了人工神，系统地研究了人工神经网络作为一种智
6、能模型的功能及作用，经网络作为一种智能模型的功能及作用，感知机模型的出现极大地鼓舞了智能技术感知机模型的出现极大地鼓舞了智能技术的研究者，使人觉得一个新的智能应用时的研究者，使人觉得一个新的智能应用时代的到来。代的到来。 陷入低潮低潮 但人工智能的先驱者但人工智能的先驱者MinskyMinsky等仔细分析了等仔细分析了以感知器为代表的神经网络系统的功能及以感知器为代表的神经网络系统的功能及局限后，于局限后，于19691969年出版了年出版了PerceptronPerceptron一书，指出感知器不能解决高阶谓词问题。一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了人工神经网络的他们
7、的论点极大地影响了人工神经网络的研究，加之当时串行计算机和人工智能所研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。神经网络的研究处于低潮。 Hopfield神经网络模型神经网络模型 在此期间，一些人工神经网络的研究者仍在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论然致力于这一研究，提出了适应谐振理论（ARTART网）、自组织映射、认知机网络，同网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上时
8、进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。研究为神经网络的研究和发展奠定了基础。19821982年，美国加州理工学院物理学家年，美国加州理工学院物理学家HopfieldHopfield提出了提出了HopfieldHopfield神经网络模型，神经网络模型，引入了引入了“计算能量计算能量”概念，给出了网络稳概念，给出了网络稳定性判断。定性判断。 19841984年，他又提出了连续时间年，他又提出了连续时间HopfieldHopfield神神经网络模型，为神经计算机的研究做了开经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于拓性的工作，开创了神经网络
9、用于联想记联想记忆和优化计算忆和优化计算的新途径，有力地推动了神的新途径，有力地推动了神经网络的研究。经网络的研究。 19861986年年RumelhartRumelhart、McClellandMcClelland等研究者发等研究者发表文章表文章* *，系统地描述了人工神经网络的理，系统地描述了人工神经网络的理论基础，特别是针对论基础，特别是针对MinskyMinsky提出的感知机提出的感知机的缺陷，提出了利用的缺陷，提出了利用隐节点隐节点来克服感知机来克服感知机仅限于线性可分的局限，从而引起新的一仅限于线性可分的局限，从而引起新的一轮人工神经网络的研究热潮。轮人工神经网络的研究热潮。* *
10、Parallel Distributed Processing: Explorations in the Parallel Distributed Processing: Explorations in the Micro-structure of CognitionMicro-structure of Cognition， 人工神经网络的核心神经元的模型 神经元的数学模型 输入输入X=x1 , x2 ， ，xnT 模拟其他神经模拟其他神经元对本神经元的影响，权重元对本神经元的影响，权重W =w1, w2 ， ，wn模拟输入对神经元的传递效模拟输入对神经元的传递效率，率，为使本神经元处于激活状
11、态所需的阐为使本神经元处于激活状态所需的阐值，值，f (u) 为一旦神经元被激活后输出值的为一旦神经元被激活后输出值的变化，数学模型为：变化，数学模型为：f (u）的三种模型 说明 不同的神经元模型代表了人工神经网络一些基本不同的神经元模型代表了人工神经网络一些基本特征，但这不是研究的全部，更重要的是如何利特征，但这不是研究的全部，更重要的是如何利用这些基本组件来构造人工神经元系统。用这些基本组件来构造人工神经元系统。 这些系统可能基本元件一样，但由于结构、连接这些系统可能基本元件一样，但由于结构、连接方式的不同，产生的系统行为会有重大的区别。方式的不同，产生的系统行为会有重大的区别。 用一个
12、形象的比喻，我们知道碳是地球上的一个用一个形象的比喻，我们知道碳是地球上的一个重要化学元素，虽然同是重要化学元素，虽然同是C12原子，但由于分子结原子，但由于分子结构不同，它可以形成非常坚硬的金刚石，能够阻构不同，它可以形成非常坚硬的金刚石，能够阻挡放射线的石墨和我们日常生活中容易燃烧的木挡放射线的石墨和我们日常生活中容易燃烧的木炭。炭。高度非线性动力学大量的形式相同的神经元连结在一起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的。因此，用神经网络可以模拟、表达实际物理世界的各种现象，解决一些其他领域难以解决的问题
13、。 人工神经网络的主要特征 (1)并行分布性处理并行分布性处理(2)可学习性可学习性(3)鲁棒性和容错性鲁棒性和容错性(4)泛化能力泛化能力 (1）并行分布性处理）并行分布性处理 并行性并行性来自于人工神经网络中的神经元排来自于人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达种有规律的序列排列，信号可以同时到达一批神经元的输人端，这种结构非常适合一批神经元的输人端，这种结构非常适合并行计算。并行计算。 同时如果将每一个神经元看作是一个小的同时如果将每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式处
14、理单元，则整个系统可以是一个分布式计算系统。计算系统。(2)可学习性可学习性 一般人工神经网络模型都有自己的学习算一般人工神经网络模型都有自己的学习算法，或者利用样本指导系统模拟现实环境法，或者利用样本指导系统模拟现实环境（称为有教师学习），或者对输人进行自（称为有教师学习），或者对输人进行自适应（称为无教师学习）。适应（称为无教师学习）。(3)鲁棒性和容错性鲁棒性和容错性 由于采用大量的神经元及其相互连接，由于采用大量的神经元及其相互连接，人工神经网络中少量的神经元发生失人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来效或错误，不会对系统整体功能带来严重的影响。严重的影响。(
15、4)泛化能力泛化能力 如果输入发生较小变化，其输出能够与原如果输入发生较小变化，其输出能够与原输人产生的输出保持相当小的差距。输人产生的输出保持相当小的差距。3.3几种典型的模型及其应用 3.3.1 Hopfield网络模型网络模型 3.3.2反向传播反向传播BP模型模型 3.3.3自适应共振理论自适应共振理论ART模型模型3.3.1 Hopfield网络模型网络模型 Hopfield于1982年提出了用于联想记忆的人工神经网络模型，它是一种带有反馈（输出作为输人的一部分）的网络。Hopfield模型 Hopfield 是带有自反馈的神经网络模型。是带有自反馈的神经网络模型。模型分为两层：模型
16、分为两层： 第第 0 层为引入反馈而设计，它是退化了的层为引入反馈而设计，它是退化了的神经元层，神经元的输出等于输入；神经元层，神经元的输出等于输入； 第第 1 层是标准的神经元模型，它的数学模层是标准的神经元模型，它的数学模型如下。第型如下。第 1 层第层第 j 个神经元的输入前部个神经元的输入前部（对神经元的刺激）（对神经元的刺激）: 如果选择阶跃型函数作为神经元的激励函如果选择阶跃型函数作为神经元的激励函数时，有数时，有稳定性分析 Hopfield网络由于其输出端有反馈到其输网络由于其输出端有反馈到其输入端，在输入的激励下，其状态发生变化，入端，在输入的激励下，其状态发生变化，这个变化反
17、馈到输入，从而产生新的输出，这个变化反馈到输入，从而产生新的输出，引起一系列的状态转移。引起一系列的状态转移。 如果这种状态转移经过一定的时间稳定下如果这种状态转移经过一定的时间稳定下来，来，t + 1 时刻与时刻与t 时刻状态相同，则我们时刻状态相同，则我们称系统到达了称系统到达了稳定平衡稳定平衡状态。状态。网络稳定的充分条件网络稳定的充分条件 并不是所有的并不是所有的Hopfield网络都是稳定的，那么，什么样的网络都是稳定的，那么，什么样的网络是稳定的呢？目前没有通常的方法，网络是稳定的呢？目前没有通常的方法，cohen和和Grossberg在在1953年给出了关于年给出了关于Hopfi
18、eld网络稳定的充网络稳定的充分条件分条件：如果：如果Hopfield网络的权系数矩阵网络的权系数矩阵W是一个对称矩是一个对称矩阵，并且阵，并且W的对角线元素为的对角线元素为0，则这个网络是稳定的，即，则这个网络是稳定的，即是说在权系数矩阵是说在权系数矩阵W中，如果中，如果 则则Hopfield网络是稳定的。网络是稳定的。 网络退化成没有自反馈的Hopfield 网络 所谓充分条件是指只要满足以上条件的所谓充分条件是指只要满足以上条件的Hopfield网络，系网络，系统经过一定的迭代循环，统经过一定的迭代循环，肯定肯定能够达到稳定的状态。但这能够达到稳定的状态。但这并不代表不满足以上条件的并不
19、代表不满足以上条件的Hopfield网络就绝对不稳定。网络就绝对不稳定。离散Hopfield网络的工作方式 串行方式串行方式 在时刻在时刻 t t 时，只有某一个神经元时，只有某一个神经元 j j 的状态发生的状态发生变化，而其他变化，而其他 n-1n-1个神经元的状态不变。个神经元的状态不变。 并行方式并行方式 在任一时刻在任一时刻 t t，所有的神经元的状态都产生了变，所有的神经元的状态都产生了变化，则称化，则称并行工作方式并行工作方式。 从从Hopfield Hopfield 网络可以看出，它是一种多输入的二值非线性动网络可以看出，它是一种多输入的二值非线性动力系统。在动力系统中，平衡稳
20、定状态可以理解为系统的某种力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中，其能量值不断减小，最后形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。处于最小值。 联想存储器 令令Hopfield网络是一个具有网络是一个具有m个输入节点的个输入节点的网络，学习开始时具有网络，学习开始时具有m个样本，它们为个样本，它们为 其权值变化为其权值变化为 当联想检索时，令输入为当联想检索时，令输入为 初始输出初始输出 利用如下的迭代公式利用如下的迭代公式 其中其中f(.)一般为非线性函数，常用阶跃型函一般为非线性函数，常用阶跃型函数。数。y (t + 1
21、)与与 y( t ) 经过一定次数的迭代经过一定次数的迭代后，系统输出不再变化，达到稳定。后，系统输出不再变化，达到稳定。 Hopfield网络用它做联想记忆时，如果输网络用它做联想记忆时，如果输入向量与训练的样本不完全一样或有部分入向量与训练的样本不完全一样或有部分不正确的数据，但是网络仍能够产生所记不正确的数据，但是网络仍能够产生所记忆的信息的完整输出。忆的信息的完整输出。以上讨论的以上讨论的Hopfield网络是离散型的，网络是离散型的，Hopfield在离散型网络基础上发展了连续型在离散型网络基础上发展了连续型神经网络。连续型神经网络。连续型Hopfield网络的结构与离网络的结构与离
22、散型网络一样，只是输人变换函数散型网络一样，只是输人变换函数f（ ）一）一般取般取sigmoid函数，即函数，即可以证明如果连续型可以证明如果连续型Hopfield网络的权重矩网络的权重矩阵满足对角线元素阵满足对角线元素wii = 0 ，并且，并且wij = wji，则该网络是稳定的则该网络是稳定的 。3.3.2反向传播BP模型 Rosenblatt 于 1961 年提出了感知机模型Perceptron，它利用神经元模型模拟人类的逻辑思维取得了很大的成功，但 MIT 的著名人工智能学者Minsky分析了Perceptron的结构与特征，提出了它的致命缺陷，无法实现像XOR（异或）这样简单的非线
23、性逻辑运算。 异或运算真值表 令+ 为异或算子，Z = X + Y，则 Z 的取值可以从下表中得到： XYZ0000l1l01110异或运算平面图 因为Perceptron是线性分类器，因此如图中虚线所表达的，无论如何切割，总是无法将黑球与白球分开。所以Perceptron无法面对像XOR这样的逻辑问题。引入隐节点 1986年，Rumelhart 等研究者提出了引入隐节点，采用非线性神经元的新型神经模型，由于它的学习算法是基于误差反向传播（error Back-Propagation)，于是被称为BP模型，或反向传播模型。 下面将两个模型加以对照： 结构比较 （以三个输入节点，两个输出节点为例
24、） 映射函数比较解决方案 由于 BP 模型采用了非线性的映射函数，在解决 XOR 这样非线性分类问题时可能进行图中的划分。能量最小原理 初始化权重，一般取接近零的随机数； 将样本的输入作为BP 模型的输入，逐级计算出神经网络的输出； 将样本的输出与神经网络的输出进行比较（均方差，即能量），产生学习误差； 以该误差作为修改各层神经元输出的依据，从顶层（输出层）到底层（输入层）修改连接每一个神经元的权重，即所谓误差的反向传播。结论 研究人员已经证明：只要有足够多的隐节点和足够的学习时间，BP模型可以模拟任意复杂的非线性曲线。 正是BP模型具有这么强大的学习能力，它目前在人工神经网络中得到广泛的应用
25、。DEMO3.3.3自适应共振理论ART模型 1976年美国 Boston 大学的 S. Grossberg 和 A. Carpenet 提出了自适应共振理论 ART( Adaptive Resonance Theory）模型。 它试图利用数学方法描述人类心理与认知活动，如短期记忆（STM）、长期记忆（LTM）、注意力聚焦等等。 ART 是一种自组织神经网络模型，其学习方法属于无教师的自适应过程。当在神经网络和环境有交互作用时，神经网络自动对环境信息进行编码，即对神经网络的权重进行自组织活动。 ART 模型的结构 ART模型连接图 ART工作原理 输入层F1接收来自系统的输入，它经过输入层神经
26、元的加工，只有较强刺激的输入才能激活输入层神经元。所谓较强刺激，即一个称为“2/3规则”的控制。“2/3” 规则告诉我们，三个输入中当有两个输入为正（刺激）时 STM-F1 中的神经元才处于激活状态。（看结构图） 这里，STM-F1，通常称为比较层，STM-F2称为识别层，它们之间的通道（权重矩阵）称为LTM（长期记忆）。STM-F2状态的变化表示对注意力转移过程，而由于模式不匹配而引起的状态转移信号就称为定向子系统。 我们可以从结构图中看到，短期记忆STM-Fl有三个输入，分别对应系统输入、增益控制1输入及从STM-F2来的自上而下的输入，“2/3”规则告诉我们，三个输入中当有两个输入为正（
27、刺激）时STM-Fl 中的神经元才处于激活状态。 STM-F1的输出经过变换（称为自适应滤波，实际是权重矩阵变换）到达STM-F2，在STM-F2中神经元及来自系统输入部分的作用下，STM-F2形成关于目前输入的特征模式，这个特征模式一方面作为刺激直接作用STM-F1， 另一方面通过反馈通道与输入模式进行匹配返回给STM-F1，如果匹配结果比较差，就有可能产生信号（STM重置波），这个信号使得STM-F2放弃目前的特征模式，同时在系统输入的作用下调整神经网络的权重，形成新的特征模式，从而继续循环下去，直到找到合适的特征模式。这就是自适应共振模型的基本运行思路。 应用 由于ART模型在刻画人类认知心理过程中的独到之处，常常被用来进行机器人算法设计、人脸识别、聚类分析等等许多领域，取得了良好的效果。3.4 几个实例几个实例神经网络实际运行过程 Q & A课堂讨论与习题（简述） 神经元的结构（画出示意图）神经元的结构（画出示意图） 神经元的模型（画出示意图）神经元的模型（画出示意图） 神经元的数学模型神经元的数学模型 人工神经网络的主要特征人工神经网络的主要特征 三种典型的人工神经网络模型三种典型的人工神经网络模型
