人工智能鱼-典型模型与算法课件.ppt

1、 人工智能鱼典型模型与算法1. 1.人工智能鱼体系结构模型概述人工智能鱼体系结构模型概述2. 2.人工智能鱼感知系统模型人工智能鱼感知系统模型主讲内容主讲内容3. 3.人工智能鱼认知系统模型人工智能鱼认知系统模型4. 4.人工智能鱼行为系统模型人工智能鱼行为系统模型5. 5.人工智能鱼运动系统模型人工智能鱼运动系统模型6. 6.海底虚拟环境模型海底虚拟环境模型7. 7.经典人工智能技术介绍经典人工智能技术介绍1.人工鱼体系结构模型概述v机器鱼演示机器鱼演示v 涂晓媛鱼演示涂晓媛鱼演示涂涂晓晓媛媛鱼鱼建建模模框框架架结结构构基于认知模型的人工鱼组成基于认知模型的人工鱼组成 ( (班哓娟班哓娟)

2、) 感知系统: 信息获取系统,包括一组感受器、感知处理器模块和信息融合模块。人工鱼具有视觉、嗅觉、味觉、触觉、听觉感受器，在同一时刻，不同的感受器得到不同的环境状态信息，各种感受器将感知到的信息预处理后再经过聚焦融合，为后续的信息处理和行为决策做准备。 认知系统: 信息处理系统，以感知系统的输出为输入，对感知信息进行处理，作出行为决策，传递给行为系统来执行。 行为系统: 行为规划的执行机构，直接作用于环境。有一组行为程序，是高层的行为，如集群行为。 运动系统: 由运动控制器和物理模型构成。运动控制器作为构建行为的模块，由参数化进程实现。如逃逸行为，是有合适参数的运动控制器序列，按照特定意义的次

3、序，进行创作而表现出来的。 物理模型是利用自然鱼的数字图像和三维几何显示模型“包装”人工鱼的生物力学模型。2.人工智能鱼感知系统模型2.1基于BP神经网络的视觉感受器模型(1) (1) 感知范围感知范围（班哓娟，2004）(2) (2) 视觉遮挡视觉遮挡a. a. 提取目标区域中每个像素的红、绿、蓝三个值提取目标区域中每个像素的红、绿、蓝三个值, , 并分别并分别计算所有像素红、绿、蓝的平均值计算所有像素红、绿、蓝的平均值R,G,R,G,B B 作为三个特征作为三个特征量（用于区分量（用于区分人工鱼、食物、水草人工鱼、食物、水草）。）。 R,G,R,G,B B 的计算的计算公式为公式为: :

4、式中式中R Ri i,G,Gi i,B,Bi i为目标区域中每个像素的红、绿、蓝值，为目标区域中每个像素的红、绿、蓝值，N N为目标为目标区域的区域的像素数目。像素数目。 式中，式中，P P 为目标区域的周长，为目标区域的周长，A A 为目标区域的面积。目标区域为圆为目标区域的面积。目标区域为圆形时，形时，C C 值为值为1 1；为其它形状时，；为其它形状时， C C 值大于值大于1 1。R R食物食物输出层输出层隐藏层隐藏层输入层输入层G G水草水草背景背景A A石头石头带花纹的鱼带花纹的鱼不带花纹的鱼不带花纹的鱼2.1 基于模糊推理的人工鱼嗅觉感知模型 在虚拟的海洋世界中,任何具有气味的物

5、体(食物、鲨鱼、人工鱼、水草）都是一个信号发生器。其可定义为：（孟宪宇，2007） ：第i种信息类别的特征指标：第i种信息类别的权重多元统计分析中的主成分分析法（PCA）人工神经网络（ANN）偏最小二乘法（PLS）模糊逻辑推理2.3基于模糊神经网络的人工鱼味觉感知模型（孟宪宇，2008）人工鱼味觉感知过程人工鱼味觉识别模糊神经网络模型3.人工智能鱼认知系统模型人工鱼行为人工鱼行为预定义行为：预定义行为：建立预定义行为的认知模型，只要将事建立预定义行为的认知模型，只要将事先定义好的人工鱼所在环境的领域知识赋予人工鱼系先定义好的人工鱼所在环境的领域知识赋予人工鱼系统，人工鱼就可以根据人们的要求采取

6、某种行动。统，人工鱼就可以根据人们的要求采取某种行动。随意性行为：随意性行为：随意性的行为不容易控制。为了实现随意性的行为不容易控制。为了实现人为的控制，采取的是一种折中的方法，即将领域知人为的控制，采取的是一种折中的方法，即将领域知识和人的指导赋予人工鱼，使人工鱼主动地向人们希识和人的指导赋予人工鱼，使人工鱼主动地向人们希望它达到的目标发展。望它达到的目标发展。例如：若有障碍物或礁石，小人工鱼可以利用礁石来躲避，或尽可能快逃离鲨鱼。例如：饥饿的鲨鱼要吃小人工鱼，小人工鱼必须设法逃避。（班哓娟，2004）人工鱼产生交配欲望的认知人工鱼产生交配欲望的认知模型模型 人工鱼的生理发育模型人工鱼的生理

7、发育模型 人工鱼精神状态模型人工鱼精神状态模型人工鱼产卵的认知模型人工鱼产卵的认知模型人工鱼环境选择的认知模型人工鱼环境选择的认知模型3.1 预定义行为的认知模型 基于在理论生物学的基础上提出的生长基于在理论生物学的基础上提出的生长法则法则VBGFVBGF模型来建立人工鱼的生理发育模型来建立人工鱼的生理发育函数，函数，VBGFVBGF得到的是鱼的体重和长度随得到的是鱼的体重和长度随全程生长的变化值。全程生长的变化值。 定义人工鱼的生理发育函数定义人工鱼的生理发育函数D(D(t t) )在闭区间在闭区间 0, 0,1 1上取值。忽略环境等次要因素的影上取值。忽略环境等次要因素的影响，认为人工鱼的

8、发育函数响，认为人工鱼的发育函数D D是只同时是只同时间和人工鱼的自然寿命长短相关的函数，间和人工鱼的自然寿命长短相关的函数，D(D(t t) )由以下公式给出：由以下公式给出： 其中其中a a表示由遗传基因决定的某条鱼的寿表示由遗传基因决定的某条鱼的寿命，命，k k为生理发育系数，为生理发育系数，k k0 0为常数为常数时当时当）（ataeaeDkatakkatk5 . 015 . 0t01t)3)(2*()*(00 当当k=8.47,kk=8.47,k0 0=0.015=0.015时，时，其生理发育模型函其生理发育模型函数如右图：数如右图： 人工鱼的发育曲线人工鱼的发育曲线在生命初期呈快速

9、在生命初期呈快速上升趋势，在仿真上升趋势，在仿真程序中，当人工鱼程序中，当人工鱼的生理发育函数的生理发育函数D D0.70.7时，表示人时，表示人工鱼发育成熟，具工鱼发育成熟，具有了繁殖能力，在有了繁殖能力，在条件成熟时，能够条件成熟时，能够交配产生后代。其交配产生后代。其它时间是生长期或它时间是生长期或衰老期，不适合繁衰老期，不适合繁殖。殖。 摄食欲望函数摄食欲望函数 其中，其中，t t表示时间，表示时间，u u表示人工鱼平均表示人工鱼平均消耗的食物量，可通过计算食物颗粒数消耗的食物量，可通过计算食物颗粒数或被捕食鱼数目的减少量来计算。其中或被捕食鱼数目的减少量来计算。其中0 0 1 1是消

10、化率，不同的人工鱼是消化率，不同的人工鱼 的取的取值不同，值不同，t t是自从上次进食以来的时间。是自从上次进食以来的时间。C C是表明鱼的胃口大小，是表明鱼的胃口大小，C C值与鱼的大小值与鱼的大小有关：有关： C C为摄食量，为摄食量，WW为鱼体重为鱼体重( (动画中可为动画中可为鱼体长鱼体长) )，a a，b b为常数。为常数。b b一般情况下不小一般情况下不小于于1 1。随着鱼体增长，食物重量与体重的。随着鱼体增长，食物重量与体重的相对比例下降。相对比例下降。CtuetS/ )1(01)(baWC 00 性欲函数性欲函数 其中，其中，t t表示时间，表示时间， 1 1是常数，是常数，t

11、t是从是从上次交配以来的时间间隔，上次交配以来的时间间隔， 1 1tt表示性欲表示性欲强弱，时间间隔越长，性欲越强。强弱，时间间隔越长，性欲越强。S( S(t t) )是是时刻时刻t t的摄食欲望函数，摄食欲望较低时，的摄食欲望函数，摄食欲望较低时，才可能产生性欲。当人工鱼的性欲函数值才可能产生性欲。当人工鱼的性欲函数值接近接近1 1时，性欲最强。时，性欲最强。)(1(111ttSteL）（ 恐惧感函数恐惧感函数 其中其中 恐惧感恐惧感F F的值在闭区间的值在闭区间0,10,1中变化，中变化，D Do=o=200200是一个常数；是一个常数；F Fi i和和d di i分别表示对所分别表示对所

12、发现的捕食者发现的捕食者i i的恐惧感和距离。的恐惧感和距离。 1 ,min)(iiFtF 1),(/min0tdDFii 鱼类繁殖方式根据产出幼体的形式可以分为卵生、胎生鱼类繁殖方式根据产出幼体的形式可以分为卵生、胎生和卵胎生。和卵胎生。 不同的鱼繁殖力不同。鱼类的繁殖力是指雌鱼产出的、不同的鱼繁殖力不同。鱼类的繁殖力是指雌鱼产出的、受精之后存活的卵的数目。受精之后存活的卵的数目。 一般情况下，繁殖力的大小同体长相关。如公式所示：一般情况下，繁殖力的大小同体长相关。如公式所示： 其中，其中，F F为绝对繁殖力，为绝对繁殖力，L L为体长，为体长，a a，b b为常数。不为常数。不同的鱼同的鱼

13、a a，b b的值不同，的值不同，a a为表示鱼种类的参数，为表示鱼种类的参数，b b为喂养为喂养好坏的标示，喂养好的鱼类繁殖力高。好坏的标示，喂养好的鱼类繁殖力高。bLFa 人工鱼进行环境选择的原因很多。为了简人工鱼进行环境选择的原因很多。为了简单地表现动画，只选取其中的两个原因：单地表现动画，只选取其中的两个原因：食物和捕食者建模。人工鱼对环境的选择食物和捕食者建模。人工鱼对环境的选择是平衡食物和捕食者两个因素的结果。如是平衡食物和捕食者两个因素的结果。如公式所示：公式所示： F(t) F(t)表示在时刻表示在时刻t t人工鱼能感知的生活环境人工鱼能感知的生活环境中的食物量；中的食物量；P

14、(f)P(f)表示在时刻表示在时刻t t人工鱼能感人工鱼能感知的生活环境中的捕食者数量。知的生活环境中的捕食者数量。 并不表并不表示简单算术加和，而是基于某种原则之上示简单算术加和，而是基于某种原则之上的综合，其实质是一个综合算法。的综合，其实质是一个综合算法。 ) t ()(tPtFU）（面向目标的行为面向目标的行为情景树情景树(Situation Tree)(Situation Tree)对情景树的子集进行搜索对情景树的子集进行搜索面向自繁衍的人工鱼的行动框架面向自繁衍的人工鱼的行动框架 描述面向目标行为的第一步是引出定义描述面向目标行为的第一步是引出定义认知角色目标的方法。例如，人工鱼的

15、认知角色目标的方法。例如，人工鱼的目标是产卵：目标是产卵： 显然，人工鱼在任何情况显然，人工鱼在任何情况s s下，都将完成下，都将完成产卵的任务，因为产卵的产卵的任务，因为产卵的goal(sgoal(s ) )为真。为真。我们知道任何状态可能是初始状态我们知道任何状态可能是初始状态S S0 0或是或是其它状态其它状态s s =do(=do(an-1,.,do(aan-1,.,do(a0 0,s ,s0 0).).)。如果目。如果目标不为真，那么人工鱼必须搜索一个行标不为真，那么人工鱼必须搜索一个行动序列动序列a a0 0,.,a,.,an-1n-1来完成目标：来完成目标：)()(slayegg

16、ssgoal),(,(001sadoadogoaln 为了说明人工鱼如为了说明人工鱼如何能够自动得到完何能够自动得到完成目标的行动序列，成目标的行动序列，引入情景树。可以引入情景树。可以将行动和影响看成将行动和影响看成是描述未来可能状是描述未来可能状态的树，树根是初态的树，树根是初始状态机树的每个始状态机树的每个分支是一个行动，分支是一个行动，每一个节点是一个每一个节点是一个状态。状态。4. 人工智能鱼行为系统模型（1 1）个体行为程序）个体行为程序 躲避障碍物、进食、求偶、离开等。躲避障碍物、进食、求偶、离开等。（2 2）鱼群自组织模型）鱼群自组织模型 鱼群形成流程鱼群形成流程 鱼群运动模型

17、鱼群运动模型 鱼群觅食模型鱼群觅食模型 群体逃逸算法群体逃逸算法 （班哓娟等.人工鱼群高级行为的自组织算法与实现.2007年)a. a. 行为优先权：例如躲避危及生命的行为，应该行为优先权：例如躲避危及生命的行为，应该优先于其它行为；优先于其它行为；b. b. 行为的持续性（或延时性），以便动物的行为行为的持续性（或延时性），以便动物的行为不发生抖动；不发生抖动；c. c. 折衷行动；折衷行动；d. d. 机遇：意味着正在进行的行为的临时中断，而机遇：意味着正在进行的行为的临时中断，而另一个行为随即发生，这种行为目前可能有利另一个行为随即发生，这种行为目前可能有利于该动物；于该动物；e. e.

18、 快速反应时间快速反应时间 可利用人工势场法、模糊逻辑算法以及遗传算法来实现。可利用人工势场法、模糊逻辑算法以及遗传算法来实现。人工势场法其控制结构简单，便于底层的实时控制，广泛地用于机器人人工势场法其控制结构简单，便于底层的实时控制，广泛地用于机器人实时避障、轨迹跟踪控制以及路径规划中。实时避障、轨迹跟踪控制以及路径规划中。模糊逻辑算法由于需要根据实时的传感信息，基于经验或是规则信息实模糊逻辑算法由于需要根据实时的传感信息，基于经验或是规则信息实现局部路径规划，但是由于其对专家经验的依赖比较高，对于未知系统现局部路径规划，但是由于其对专家经验的依赖比较高，对于未知系统难于得到模糊控制规则。因

19、此限制了模糊控制算法的使用。难于得到模糊控制规则。因此限制了模糊控制算法的使用。遗传算法是一种多点搜索的算法能够搜索到全局最优解，但是其运算速遗传算法是一种多点搜索的算法能够搜索到全局最优解，但是其运算速度不高，进行众多的规划需要占据较大的存储空间和较多的运算时间度不高，进行众多的规划需要占据较大的存储空间和较多的运算时间 。5. 人工智能鱼运动系统模型MiLknkmikiMiLknkmikikivNuNvNuNPvuP00,00,)()()()(),(ki, 鱼体表面由鱼体表面由2 2个并列的个并列的NURBSNURBS（非均匀有理（非均匀有理B B样样条）曲面构建条）曲面构建, ,沿沿u,

20、vu,v的三次的三次曲面，则控制点共计有曲面，则控制点共计有v v* *u u个。个。 NURBSNURBS曲面有如下形式：曲面有如下形式： 其中，其中， 是控制多面体的控是控制多面体的控制顶点，制顶点， 是权因子，是权因子， 是是B B样条函数样条函数 B B样条函数可以通过如下样条函数可以通过如下公式递归得到：公式递归得到： 其中其中kiP,kiN,)(,)()()()(1111,1,tNtttttNtttttNmkkmkmkmkkmkkmkLk,.,1 , 0其他, 0, 1)(11 ,kkkttttN 获取纹理获取纹理 可变形网可变形网 描绘纹理模型描绘纹理模型 采用可变形的采用可变形

21、的“质点质点- -弹簧弹簧- -阻尼阻尼”系统来构系统来构建人工鱼的动态模型，其中：建人工鱼的动态模型，其中： “质点质点- -弹簧弹簧- -阻尼阻尼”模型是一种简单的、离散的机械结构，适模型是一种简单的、离散的机械结构，适用于非线性、非刚性的动力学问题。用于非线性、非刚性的动力学问题。 “弹簧弹簧- -阻尼阻尼”是粘弹性单元，可同时作为几何模型和变形控制是粘弹性单元，可同时作为几何模型和变形控制的基本单元的基本单元 某些粘弹性单元可以做成会主动收缩的，这样，它们可同时作某些粘弹性单元可以做成会主动收缩的，这样，它们可同时作为简单的肌肉模型为简单的肌肉模型 下图为由下图为由2323个质点和个质

22、点和9191个弹簧个弹簧- -阻尼单元所阻尼单元所组成的弹簧阻尼模型。黑点表示质点；鱼组成的弹簧阻尼模型。黑点表示质点；鱼体外表面质点由交叉的弹簧体外表面质点由交叉的弹簧- -阻尼元件连接，阻尼元件连接，而其中而其中1212条粗线为肌肉的可变形单元。条粗线为肌肉的可变形单元。 自然界中的鱼大多为流线型，它们的身自然界中的鱼大多为流线型，它们的身体的最大外径正好位于鱼体中部，流线体的最大外径正好位于鱼体中部，流线型的身体减少了向前运动时水的阻力，型的身体减少了向前运动时水的阻力，而鱼体中部的大表面引起两侧相当大的而鱼体中部的大表面引起两侧相当大的水作用力，减轻了侧向的不稳定性。水作用力，减轻了侧

23、向的不稳定性。 每对弹簧每对弹簧- -阻尼形成一个单轴的粘弹性单元，阻尼形成一个单轴的粘弹性单元，一个粘弹性单元由一个粘性元件与弹性元一个粘弹性单元由一个粘性元件与弹性元件并联组成。设件并联组成。设S Sij ij表示连接质点表示连接质点i i和质点和质点j j的的粘弹性单元，它的弹性常数是粘弹性单元，它的弹性常数是C Cij ij，粘性常，粘性常数是数是k kij ij，静止长度为，静止长度为l lij ij(t)(t) 弹性部件的变形是弹性部件的变形是 其中其中 表示质点表示质点i i的坐标的坐标)()()(tltrteijijij)()()(,)()(tXtXtrtrtrijijijij

24、)(),(),()(tztytxtXiiii 粘弹性单元的弹性单元对质点粘弹性单元的弹性单元对质点i i的弹性力的弹性力为为 粘弹性单元的粘性单元对质点粘弹性单元的粘性单元对质点i i的粘性力的粘性力为为 其中其中 质点质点i i和和j j的速率差为的速率差为ijijijijeijrrtectf)()(ijijijijvijrrtrktf)()(ijijijijrrur)()()(tvtvtuijij 所以粘弹性单元在质点所以粘弹性单元在质点i i上的合力为上的合力为 其中其中 称为粘弹性单称为粘弹性单元的有效硬度元的有效硬度)()()()()(trttftftfijijvijeijsijij

25、ijijijijijrtrktect)()()( 广义牛顿运动方程决定了人工鱼的动态模广义牛顿运动方程决定了人工鱼的动态模型方程：型方程： 其中其中 表示质点表示质点i i的质量；的质量； 表示质点表示质点i i在时刻在时刻t t的加速度；的加速度； 是质点是质点i i上的总内力，上的总内力，来源于点来源于点 的粘弹性单元，这里的粘弹性单元，这里 是是i i的相邻质点的相邻质点集合；集合； 是质点是质点i i上的外力，即水动力。上的外力，即水动力。22.2,1 ,0),()()(itftwtXmwiiiiim)(tXiiiNjijijNjsijirtftw)()(iNjiN)(tfwi 当鱼尾

26、部摆动的时当鱼尾部摆动的时候，它迫使一部分候，它迫使一部分水运动，被排开的水运动，被排开的水的惯性会产生垂水的惯性会产生垂直鱼体的、鱼单位直鱼体的、鱼单位时间排水量成比例时间排水量成比例的反作用力，推动的反作用力，推动鱼体向前运动。鱼体向前运动。 假设水是无漩涡的、不能压缩的，并且不假设水是无漩涡的、不能压缩的，并且不是很粘稠的流体，同时为了提高效率，我是很粘稠的流体，同时为了提高效率，我们将质点之间鱼模型的表面视为三角形，们将质点之间鱼模型的表面视为三角形，对每个三角形，估算其水动力为：对每个三角形，估算其水动力为： 其中其中 是流体介质的粘度，是流体介质的粘度，A A是三角形是三角形的面积

27、，的面积， 是鱼体表面向外的单位法线，是鱼体表面向外的单位法线，v v是鱼体表面和流体之间的相对速率，在是鱼体表面和流体之间的相对速率，在三角形中，三个质点的每个质点上的外力三角形中，三个质点的每个质点上的外力各增加了各增加了f/3f/3。nvnvAf)(, 0minn非线性、有阻尼的、弹性动态系统的运动方程，可写成标准的矩阵形非线性、有阻尼的、弹性动态系统的运动方程，可写成标准的矩阵形式：式：其中，其中，MM，C C和和K K分别表示质量，阻尼和硬度矩阵，矩阵分别表示质量，阻尼和硬度矩阵，矩阵MM是主对角线是主对角线为质点质量为质点质量mimi的常数对角矩阵，的常数对角矩阵，C C和和K K

28、是随时间变化的非对角矩阵，是随时间变化的非对角矩阵，这三个矩阵都是这三个矩阵都是n nn n维的，维的，n n是生物力学模型中的质点数。是生物力学模型中的质点数。矩阵矩阵 、 和和X X分别表示质点的加速度矢量、速度矢量和位置，分别表示质点的加速度矢量、速度矢量和位置，F F是是外力矢量矩阵，这四个矩阵是外力矢量矩阵，这四个矩阵是n n3 3维的，每行包含每个矢量的维的，每行包含每个矢量的3 3个分个分量。量。由于人工鱼动态系统中粘弹性单元的特殊的性质，上述方程中的阻尼由于人工鱼动态系统中粘弹性单元的特殊的性质，上述方程中的阻尼项项 和硬度项和硬度项K K（X X）可以很方便的形成有效的硬度矩

29、阵）可以很方便的形成有效的硬度矩阵且有且有)()()()()()(tFtXXKtXXCtXMXXXxC)(),(XXB)()()()()(),(tXXKtXXCtXXXB)()(),()(tFtXXXtXMB 将连续时间分离为时间步将连续时间分离为时间步0 0，t t，t t，t+ t+ t t，则有下式：，则有下式： 而近似的有而近似的有 结合上面结合上面3 3个式子，得到关于个式子，得到关于 的线性的线性方程方程 其中其中 最后通过对系统矩阵进行汇集和因子分解最后通过对系统矩阵进行汇集和因子分解以及半隐式仿真算法可以进行仿真。以及半隐式仿真算法可以进行仿真。ttttttFXBXMttttt

30、XXtX)(1tttttXXtXttttGXAtMtAttBtttttXtMXBFGttX游动游动 swim-MC swim-MC左转左转 left-turn-MC left-turn-MC右转右转 right-turn-MC right-turn-MC滑行滑行 glide-MC glide-MC上浮上浮 ascend-MC ascend-MC下沉下沉 descend-MC descend-MC平衡平衡 balance-MC balance-MC制动制动 brake-MC brake-MC后退后退 backward-MC backward-MC6. 海底虚拟环境模型 水流：模拟简化的水流：模拟

31、简化的流场。流场。 海草及浮游生物海草及浮游生物 动态的海草能对虚拟的动态的海草能对虚拟的水流做出逼真的反应，水流做出逼真的反应，每一簇海草的叶子是一每一簇海草的叶子是一种种“质点质点- -弹簧弹簧”链。链。 海草随着引起叶子摆动海草随着引起叶子摆动的模拟海流而漂流。的模拟海流而漂流。7. 经典人工智能技术介绍7.1 7.1 基本基本BPBP算法算法 7.2 7.2 算法的改进算法的改进 7.3 7.3 算法的实现算法的实现 2022-6-31. 1.网络的构成网络的构成 神经元的网络输入：神经元的网络输入： 神经元的输出：神经元的输出：nnwxwxwxnet.2211netenetfo11)

32、(1 1（0,0.50,0.5）netnet（0,00,0）0.50.5f (net)f (net)0.250.25o o0 0 1 1 启发：启发： 应该将应该将netnet的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可以用其它的函数作为激活函数，只要该函数是处处可导的可导的BP网的结构输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。BP网一般都选用二级网络。x x1 1o o1 1输出层输出层隐藏层隐藏层输入层输入层x x2

33、 2o o2 2o om mx xn n样本：(输入向量，理想输出向量)权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。1、向前传播阶段：（1）从样本集中取一个样本（Xp，Yp），将Xp输入网络；（2）计算相应的实际输出Op：).)(.()()2()1(12npnpWWWXFFFO 2、向后传播阶段误差传播阶段：（1）计算实际输出Op与相应的理想输出Yp的差；（2）按极小化误差的方式调整权矩阵。 网络关于第p个样本的误差测度： 网络关于整个样本集的误差测度：21)(21mjpjpjpoyEpEEANANp pANANq qANANh hv vhphp pk-1pk-1 1k1kw w

34、p1p1w wpmpm qkqkw wpqpq mkmk第第k-2k-2层层第第k k层层第第k-1k-1层层pk-1的值和1k，2k，mk 有关不妨认为pk-1通过权wp2对2k做出贡献，通过权wp1对1k做出贡献， 通过权wpm对mk做出贡献。).)( 221111mkpmkpkppkpkwwwnetf即： 21hpvhkpko222111).)( hkmkpmkpkppkowwwnetf2221111).)(1 (hkmkpmkpkppkpkowwwoohphphphkmkpmkpkppkpkhpvvvowwwoov2221111).)(1 ( 样本集：S=(X1,Y1),(X2,Y2)

35、,(Xs,Ys) 基本思想 ： 网络根据(X1,Y1)计算出实际输出O1和误差测度E1，对W(1) ，W(2) ，W(M)各做一次调整；在此基础上，再根据（X2,Y2）计算出实际输出O2和误差测度E2，对W(1) ，W(2) ，W(M)分别做第二次调整； ；如此下去。本次循环最后再根据（Xs,Ys）计算出实际输出Os和误差测度Es，对W(1) ，W(2) ，W(M)分别做第s次调整。这个过程，相当于是对样本集中各个样本的一次循环处理。重复这个循环，直到Ep do 4.1 E=0; 4.2 对S中的每一个样本（Xp,Yp）：4.2.1 计算出Xp对应的实际输出Op；4.2.2 计算出Ep；4.2

36、.3 E=E+Ep；4.2.4 根据相应式子调整W(M)；4.2.5 h=M-1；4.2.6 while h0 do 4.2.6.1 根据相应式子调整W(h)； 4.2.6.2 h=h-1 4.3 E=E/2.0 1、BP网络接受样本的顺序仍然对训练的结果有较大的影响。比较而言，它更“偏爱”较后出现的样本2、给集中的样本安排一个适当的顺序，是非常困难的。3、样本顺序对结果的影响的原因分析：“分别”、“依次” 4、用(X1,Y1)，（X2,Y2），（Xs,Ys）的“总效果”修改W(1) ，W(2) ，W(M)。ijhpijhww)()(1 for h=1 to M do1.1 初始化W(h)；2

37、 初始化精度控制参数；3 E=+1;4 while E do 4.1 E=0;4.2 对所有的i，j，h： w (h)ij=0； 4.3 对S中的每一个样本（Xp,Yp）：4.3.1 计算出Xp对应的实际输出Op；4.3.2 计算出Ep；4.3.3 E=E+Ep；4.3.4 对所有i，j根据相应式子计算p w (M)ij；4.3.5 对所有i，j： ；4.3.6 h=M-1；4.3.7 while h0 do4.3.7.1 对所有i,j根据相应式子计算p w (h)ij；4.3.7.2 对所有i,j： ；4.3.7.3 h=h-1 4.4 对所有i，j，h： ;4.5 E=E/2.0 ijMp

38、ijMijMwww)()()(ijhpijhijhwww)()()(ijhijhijhwww)()()(2022-6-372 较好地解决了因样本的顺序引起的精度问题和训练的抖动问题 收敛速度：比较慢 偏移量：给每一个神经元增加一个偏移量来加快收敛速度 冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动问题 2022-6-373 Rumelhart等人1986年 wij 为上一次的修改量，为冲量系数，一般可取到0.9 1987年，Sejnowski与Rosenberg给出了基于指数平滑的方法 wij 也是上一次的修改量，在0和1之间取值 ijijijwow) )1(ijijijwow2022

39、-6-374 主要数据结构WH，m输出层的权矩阵；Vn，H输入（隐藏）层的权矩阵；om输出层各联接权的修改量组成的向量；hH隐藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；O2输出层的输出向量； (X，Y)一个样本。 2022-6-3751用不同的小伪随机数初始化W，V；2初始化精度控制参数；学习率 ； 3循环控制参数E=+1；循环最大次数M；循环次数控制参数N=0； 4while E & NM do 4.1 N=N+1；E=0；4.2 对每一个样本(X，Y)，执行如下操作 2022-6-3764.2.1 计算：O1=F1（XV）；O2=F2（O1W）；4.2.2 计算输出层的权修改量

40、 for i=1 to m4.2.2.1 oi=（1- O2 i）（Yi-O2 i）；4.2.3 计算输出误差：for i=1 to m 4.2.3.1 ；22)(iOiYEE2022-6-3774.2.4 计算隐藏层的权修改量：for i=1 to H4.2.4.1 Z=0；4.2.4.2 for j=1 to m do Z=Z+Wi，j* oj；4.2.4.3 hi=Z；4.2.5 修改输出层权矩阵：for k=1 to H & i=1 to m4.2.5.1 ；4.2.5 修改隐藏层权矩阵：for k=1 to n & i=1 to H4.2.5.1 ；,1iokOikwikW,ikXi

41、kVikVh2022-6-378 网络结构X X1 1X Xn no o1 1o om m2022-6-379联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。神经元个数h，输入向量维数n，输出向量维数m。hn，hm，n1，m1。最基本的Hopfield网络：n=m=h神经元：输入神经元，输出神经元，隐藏神经元。状态变化：非同步、同步输入向量：X=(x1，x2，xn)输出向量：O=(o1，o2，om) 2022-6-380神经元的网络输入： 阈值函数： nji&1ijiijjxownetjjjjjjjjnetnetnetifififoo 012022-6-381o o1 1o on no o2 2x x2 2x x1 1x xn nWW2022-6-382 希望网络网络的联接矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S= Y1，Y2，Ys 2022-6-383 权矩阵：wij= ij wii=01in W是一个对角线元素为0的对称矩阵：W= Y1T Y1+Y2TY2+YsTYs - W0 W是各个样本向量自身的外积的和网络实现的是自相联映射。 s1kjkikyy人工神经网络功能演示85Thank you!Thank you!