1、Convolutional Neural Networks 卷积神经网络卷积神经网络主要内容1.卷积神经网络的发展与应用2.卷积神经网络的结构3.卷积神经网络案例分析4.卷积神经网络模型卷积神经网络提出的背景 浅层神经网络 大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。卷积神经网络提出的背景 理论分析的难度，加上训练方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。深层神经网络性能不理想，效果不佳。卷积神经网络 早在1997年，Yann LeCun(现纽
2、约大学教授)和他的同事们就发表了卷积神经网络（Convolution Neural Networks，简称CNN）的工作。CNN是一种带有卷积结构的深度神经网络，通常至少有两个非线性可训练的卷积层，两个非线性的固定卷积层（又叫Pooling Layer）和一个全连接层，一共至少5个隐含层。CNN的结构受到著名的Hubel-Wiesel生物视觉模型的启发，尤其是模拟视觉皮层V1和V2层中Simple Cell和Complex Cell的行为。Cnn-示例卷积神经网络的应用 计算机视觉（最重要的领域）自然语言处理 语音处理 智能决策 其他 卷积神经网络的要点 三大特点 局部感知（稀疏连接）权值共享
3、 语音处理 两种操作 卷积 池化什么是卷积？卷积示例卷积-形式化卷积的作用 1.降低复杂度 有限连接，Kernel比输入小 连接数少很多，学习难度小，计算复杂度低m个节点与n个节点相连O(mn)限定k(m)个节点与n个节点相连，则为O(kn)卷积的作用 2.参数共享 3.配合Pooling可以获得平移不变性池化 抓住最重要的特征，过了一些无关紧要的参数，降低复杂度，方便计算池化 另一个则是 平移不变性。它表示对于 Input，当其中像素在邻域发生微小位移时，Pooling Layer 的输出是不变的。这就使网络的鲁棒性增强了，有一定抗扰动的作用卷积神经网络案例 LeNet-5手写数字识别重点概
4、念 卷积核（卷积核（卷积滤波器）特征图（特征图（Feature MapFeature Map）C C层是一个卷积层：层是一个卷积层：通过卷积运算，可以使原信号特征增强，并且降低噪音 S层是一个下采样层：层是一个下采样层：利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息 F6F6层是经典神经网络：层是经典神经网络：输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。C1层：输入图片大小：32*32卷积窗大小：5*5卷积窗种类：6输出特征图数量：6输出特征图大小：28*28(32-5+1)神经元数量：4707 (28*2
5、8)*6)连接数：12304(5*5+1)*6*(28*28)（一个卷积单元有25的权值和一个偏移）可训练参数：156(5*5+1)*7S2层：输入图片大小：(28*28)*6池化窗口大小：2*2输出下采样图数量：6输出下采样图大小：(14*14)*6可训练参数：多数情况下为0C3层输入图片大小：(14*14)*6卷积窗大小：5*5卷积窗种类：16输出特征图数量：16（与输入不完全连接）输出特征图大小：11*11 具体参数要视网络的连接结构而定例如（C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。
6、最后一个将S2中所有特征图为输入。）神经元数量：1600 (10*10)*16)连接数：151600(6*3+6*4+6*4+16)*(10*10)*25 可训练参数：1516(6*3+6*4+6*4+16)*25C5层：输入图片大小：(5*5)*16卷积窗大小：5*5卷积窗种类：120输出特征图数量：120输出特征图大小：1*1(5-5+1)神经元数量：120 (1*120)连接数：48120 16*(5*5)+1*1*120(全连接）可训练参数：48120 16*(5*5)+1*1*120F6层：输入图片大小：(1*1)*120卷积窗大小：1*1卷积窗种类：84输出特征图数量：84输出特征
7、图大小：1神经元数量：84 连接数：10164 120*84（全连接）可训练参数：10164 120*84OUTPUT层：输入图片大小：1*84输出特征图数量：1*11最后,输出层有10个神经元，是由径向基函数单元(RBF)组成，输出层的每个神经元对应一个字符类别。RBF单元的输出 ,是由公式：iyjijjiwxy2)(卷积神经网络模型 Alexnet（16年Imagenet比赛冠军的model，9层，60M参数）卷积神经网络模型 googlenet，15年Imagenet比赛冠军的model，22层，这个model证明了一件事：用更多的卷积，更深的层次可以得到更好的结构 VGGNet,14年Imagenet比赛亚军的model，19层 ResNet，15年Imagenet比赛冠军的model，152层，没有最深，只有更深（153层）。听说目前层数已突破一千。谢谢！
