卷积神经网络(纯净版)课件.ppt

上传人(卖家):三亚风情 文档编号:2862044 上传时间:2022-06-05 格式:PPT 页数:26 大小:1.58MB
下载 相关 举报
卷积神经网络(纯净版)课件.ppt_第1页
第1页 / 共26页
卷积神经网络(纯净版)课件.ppt_第2页
第2页 / 共26页
卷积神经网络(纯净版)课件.ppt_第3页
第3页 / 共26页
卷积神经网络(纯净版)课件.ppt_第4页
第4页 / 共26页
卷积神经网络(纯净版)课件.ppt_第5页
第5页 / 共26页
点击查看更多>>
资源描述

1、Convolutional Neural Networks卷积神经网络1Contents 机器学习,神经网络,深度学习之间的关系 什么是神经网络 梯度下降算法 反向传播算法 神经网络的训练 什么是卷积 什么是池化 LeNet-5 其它的工作2Convolutional Neural Networks3机器学习,神经网络,深度学习之间的关系Convolutional Neural Networks4什么是神经网络? 人工神经网络(人工神经网络(Artificial neural network, ANN),简称),简称神经网络(神经网络(NN) 神经网络其实就是按照一定规则连接起来的多个神经神经

2、网络其实就是按照一定规则连接起来的多个神经元元 神经元:神经元:, 每个连接都有一个权值每个连接都有一个权值 图1.一个全连接的神经网络 Convolutional Neural Networks梯度下降算法5 梯度下降算法是用来求函数最小值的算法 每次沿着梯度的反方向,即函数值下降最快的方向,去修改值,就能走到函数的最小值附近(之所以是最小值附近而不是最小值那个点,是因为我们每次移动的步长不会那么恰到好处,有可能最后一次迭代走远了越过了最小值那个点)Convolutional Neural Networks反向传播算法(Back Propagation) 反向传播算法是计算多层复合函数的所有

3、变量的偏导数的利器,上面梯度下降的例子中就是求梯度,简单的理解就是链式法则6根据链式法则,我们求e对a的偏导和e对d的偏导是如下所示:可以看出,它们都求了e对c的偏导。对于权值动则数万的深度模型中的神经网络,这样的冗余所导致的计算量是相当大的BP算法则机智地避开了这种冗余,BP算法是反向(自上往下)来求偏导的。 Convolutional Neural Networks梯度下降算法+反向传播算法7 Convolutional Neural Networks 8Convolutional Neural Networks 9Convolutional Neural Networks 10Convo

4、lutional Neural Networks什么是卷积?11右图展示了卷积的过程,和信号处理的卷积有所区别卷积降低了网络模型的复杂度(对于很难学习的深层结构来说,这是非常重要的),减少了权值的数量黄色部分是卷积核Convolutional Neural Networks什么是池化?12池化层主要的作用是下采样下采样,通过去掉Feature Map中不重要的样本,进一步减少参数数量。池化的方法很多,最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值,作为采样后的样本值。右图是2*2 max Convolutional Neural NetworksLe

5、Net-5 13LeNet-51. 输入图像是32x32的大小,卷积核的大小是5x5的,由于不考虑对图像的边界进行拓展,则卷积核将有28x28个不同的位置,也就是C1层的大小是28x28。这里设定有6个不同的C1层,每一个C1层内的权值是相同的。2. S2层是一个下采样层,即池化层。在斯坦福关于深度学习的教程中,这个过程叫做Pool 。但在LeNet-5系统,下采样层比较复杂,由4个点下采样的加权平均为1个点,因为这4个加权系数也需要学习得到,这显然增加了模型的复杂度。14LeNet-53. 根据对前面C1层同样的理解,我们很容易得到C3层的大小为10 x10. 只不过,C3层的变成了16个1

6、0 x10网络,有16个卷积核。 如果S2层只有1个平面,那么由S2层得到C3就和由输入层得到C1层是完全一样的。但是,S2层由多层,那么,只需要按照一定的顺利组合这些层就可以了。具体的组合规则,在 LeNet-5 系统中给出了下面的表格:简单的说,例如对于C3层第0张特征图,其每一个节点与S2层的第0张特征图,第1张特征图,第2张特征图,总共3个5x5个节点相连接。后面依次类推,C3层每一张特征映射图的权值是相同的15C3层层feature mapS2层层feature mapLeNet-5S4 层是在C3层基础上下采样,前面已述。C5层是一个卷积层,有120个特征图。每个单元与S4层的全部

7、16个单元的5*5邻域相连,故C5特征图的大小为1*1:这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全连接层,是因为如果LeNet-5的输入变大,而其他的保持不变,那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。F6层有84个单元(之所以选这个数字的原因来自于输出层的设计),与C5层全相连。有10164个可训练参数。如同经典神经网络,F6层计算输入向量和权重向量之间的点积,再加上一个偏置。然后将其传递给sigmoid函数产生节点的输出。16LetNet-5 17比特面编码:将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来,就得到一个称为比特平

8、面的二值图像,于是图像完全可以用一组共8个比特平面来表示,对灰度图像的编码转为对比特平面的二值化方块编码。为此,将每个比特面分为不重叠的mn个元素的子块。卷积层的训练18layer l-1layer lL-1层的误差L-1层的输出L层的误差L层的输入?卷积层的误差传播 19 卷积层的误差传播 20卷积层的误差传播 21 卷积操作卷积层filter权重梯度的计算 22卷积层filter权重梯度的计算23与误差传播类似,相当于l层 的误差项(sensitivity map)与 l-1层的输出项做卷积操作,得到卷积核(filter)的梯度 池化层的误差传递大部分池化层没有需要训练的参数,只需要将误差传递。以Max Pooling为例24 Layer l-1Layer l池化层的误差传递 25Thank you26

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 办公、行业 > 各类PPT课件(模板)
版权提示 | 免责声明

1,本文(卷积神经网络(纯净版)课件.ppt)为本站会员(三亚风情)主动上传,163文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。
2,用户下载本文档,所消耗的文币(积分)将全额增加到上传者的账号。
3, 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(发送邮件至3464097650@qq.com或直接QQ联系客服),我们立即给予删除!


侵权处理QQ:3464097650--上传资料QQ:3464097650

【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。


163文库-Www.163Wenku.Com |网站地图|