矩阵微分在BP神经网络中的应用课件.ppt

1、导师导师: :花强花强 姓名：崔义新姓名：崔义新 学号：学号：2014083020140830 研究方向：研究方向：ELMELM 矩阵微分在BP神经网络中的应用2矩阵微分在矩阵微分在BPBP神经网络中的应用神经网络中的应用1 矩阵的微分 1.1 相对于向量的微分的定义 1.2 相对于矩阵的微分的定义 1.3 复合函数的微分 2 人工神经网络 2.1 人工神经网络的定义 2.2 人工神经网络的模型 2.3 BP人工神经网络模型 2.4 BP人工神经网络基本算法公式推导 2.5 BP人工神经网络基本算法结束语1.1 1.1 相对于向量的微分的定义相对于向量的微分的定义对于n维向量函数，设函数 是以

2、向量X X为自变量的数量函数，即以n个变量 xi为自变量的数量函数.我们将列向量 叫做数量函数f对列向量X的导数，记作 例例1 1求函数对X X的导数 对X X的导数 解：根据定义 即 12 ( )(,)nff x xxX1.Tnffxx1nfxdfffdfx gradX12TndffffdxxxX22212()TnfxxxXX X =1112222nnnfxxxdfdfxxx XX()2TddX XXX2022-6-151.21.2相对于矩阵的微分的定义相对于矩阵的微分的定义定义定义2 2设函数 是以Pm矩阵A A的Pm元素 为自变量的数量函数，简称以矩阵A A为自变量的数量函数.例如 定义

3、Pm矩阵称为数量函数f对矩阵A A的导数，记作. ()ffAi ja32111211212223112122111211112122111Tfaaaaaaaaaaaaafaaa A aA11122122aaaaA =1111()mi jp mpp mffaafd fadffaaAA()d fdAA1.21.2相对于矩阵的微分的定义相对于矩阵的微分的定义例例2 2:求 对矩阵的导数，其中向量X是定常的，A是对称的.解:根据定义有即定义定义3 3如果矩阵 的每个元素都是t的可微函数，则A(t)关于t的导数(微商)定义为：( )Tf A = X AX1111222121111 2 121 22122

4、221222( )xaafx xx ax x ax x ax aaaxA =21112112112221222122( )Tffaaxx xxdfx xffxdx xxaaA=XXA()=TddTX AXX XA ijA tatCm n( )( )( )ijmndA tdAtatdtdt1.31.3复合函数的微分复合函数的微分公式公式1 1 设 则证明：由给定条件有将上式结合起来公式公式2 2 设 则2022-6-15( ),( )ffY Y Y XTTTTd fdd fdddd fd fddddYXXYYXYXTTdfddfddddd和YYYXYX()()ff，X,YYY XTTTTTdff

5、dfdddfdffddddYXXXYYXXYXTTTTTdfddfdfddfddddddYYX=YXXYX 2 2 人工神经网络人工神经网络2.1 人工神经网络的定义人工神经网络（Artificial Neural Networks, ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统.它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理.人工神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型.这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的.2022-6-15 2.2

6、2.2 人工神经网络的模型人工神经网络的模型2022-6-15（4）细胞体完成电化学信号整合与处理，当胞体中接受的累加刺激超过）细胞体完成电化学信号整合与处理，当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过树突向其它神经元发出信一个阈值时，胞体就被激发，此时它沿轴突通过树突向其它神经元发出信号号.(1)生物神经元主要由树突、轴突、突触和细胞体组成生物神经元主要由树突、轴突、突触和细胞体组成.树突相当于信号的树突相当于信号的输入端，用于接受神经冲动输入端，用于接受神经冲动.(2）轴突是由细胞体向外伸出的最长的一条分支相当于信号的输出）轴突是由细胞体向外伸出的最长的一条分支相

7、当于信号的输出(3）突触是神经元之间通过轴突（输出）和树突（输入）相互联结点）突触是神经元之间通过轴突（输出）和树突（输入）相互联结点.2.2 2.2 人工神经网络的模型人工神经网络的模型 是第i个神经元的输出，它可与其他多个神经元通过权连接; 分别指与第i个神经元连接的其他神经元输出； 分别是指其他神经元与第i个神经元连接的权值； 是指第i个神经元的阈值； 是第i个神经元的净输入；f是非线性函数，称为输出函数或激活函数.激活函数进行放大处理或限制在一个适当的范围内.典型的激活函数有符号函数、阶跃函数、S型函数等.2022-6-15iyixjiwiiu2.3 BP2.3 BP人工神经网络模型人

8、工神经网络模型误差反传算法的主要思想误差反传是把学习过程分为两个阶段：第一阶段（正向传播过程），给出输入信息通过输入层经隐含层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值；2022-6-152.3 BP2.3 BP人工神经网络模型人工神经网络模型基于BP算法的多层前馈型网络的结构如图所示2022-6-15假设有N个训练样本，即有N个输入输出对（Xn,Yn ）,n=1,N, 其中,输入向量为: 目标输出向量为（实际上的): 网络输出向量为 （理论上的） 2.3 BP2.3 BP人工

9、神经网络模型人工神经网络模型(1, 2,.,)kxkN(1, 2,.,)kykN(1, 2,.,)kykN 记 为从输入向量的第j (j=1,m) 个分量到隐藏向量的第i (i=1,n)个分量的权重， 从隐藏向量的第j (j=1,m) 个分量到输出向量的第i (i=1,n)个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数，使误差平方和达最小：记 Delta学习规则: ijijijwww （3） ijw表示递推一次的修改量，则有称为学习的速率 21ijw32ijw21()2klklklEyy32()()jklkkjkkkjklljkjkjkyEEyy

10、fnetnetynet 3 23 2()()()lijjkkjkkwmymym 对于隐藏层，权值修正量为2.4 BP2.4 BP人工神经网络基本算法公式推导人工神经网络基本算法公式推导对于隐藏层阈值的修正量对于输出层权值的修正量对于隐藏层阈值的修正量2022-6-15232222(),(1)()ijjkijijkbmbmbmb 212121( )( )( )()lijjkkjkkljklkkkjkjkllljkjkjkjkwmy my mEEEfnetnetynet 12 1111(),(1)()ijjkijijkbmbmbmb 2.5 BP2.5 BP人工神经网络基本算法人工神经网络基本算法

11、2022-6-15第一步，对数据经行归一化狐狸，网络初始化 根据系统输入输出序列（X,Y）确定网络输入层节点数n，输出层节点数l，输入层输出层的神经元个数分别由函数输入和输出的维数确定.由实验经验隐含层节点个数需要大于输入层隐层节点数，设为m，初始化输入层、隐层、输出层之间的连接权值，初始化隐层阈值，输出层阈值，给定学习速率以及学习误差error；训练次数maxEpoch，可以根据训练需要改动；第二步，输入样本计算隐含层的输出值,计算公式为将其作为输出层的输入.第三步，计算输出层的输出.第四步，计算全局误差e第五步，判断误差是否达到预先设定的要求或者训练次数是否达到最大值，如果是，算法结束；否

12、则，进行第六步第六步，计算输出层到隐含层的误差信号 ；第七步，计算隐含层到输入层的误差信号；第八步，调整计算输出层到隐含层的权值和阈值；第九步，调整计算隐含层到输入层的权值和阈值；第十步，输入下一样本，依次循环结束语结束语人工神经网络，是由大量处理单元（神经元）组成的非线性大规模自适应动力系统. 本文描述了BP神经网络的基本原理和基本算法，介绍了与矩阵论中矩阵微分，向量微分的相关联系.在理论方面，详细分析了算法提出的理论依据与总体思路.由于本算法能够通过梯度下降方法进行网络训练，因此，需要考虑如何对矩阵求梯度，如何对向量求导数，而这正是矩阵论所解决的问题，因此，两者之间存在着必然的联系.从以上研究结果可以看出，BP神经网络是以矩阵论相关知识为基础的.由于本人能力有限，因此本课题在以后的研究中还需要进一步完善.2022-6-15