1、人工智能&深度学习主题背景人机大战人工智能及简史机器学习&深度学习开源深度学习框架人工智能展望人机大战 Alpha Go与李世乭对战2016年3月9日至15日在韩国首尔进行的韩国围棋九段棋手李世乭与人工智能围棋程序“阿尔法狗”（AlphaGo）之间的五番棋比赛。比赛采用中国围棋规则，最终结果是人工智能阿尔法围棋以总比分4比1战胜人类代表李世乭围棋是人类有史以来发明的最复杂的游戏围棋的着数变化超过10170(3361)，比宇宙中的原子还要多变化绝不止这些，考虑到打劫，提子扑空、双活等复杂因素，实际上是无解的，所以说千古无同局蒙特卡洛树：根据估值网络和走棋网络对落子后的局势评判结果寻找最佳落子点走
2、棋网络：给定当前棋盘，预测下一步应该在哪落子监督学习的策略网络 通过13层全连接网络(50万参数？)，反复训练围棋棋盘布局，调整参数，以最佳概率预测落子选择(Move Picker)，如何下棋子估值网络：给定当前棋盘，判断黑棋赢的概率蒙特卡洛树估值网络走棋网络人工智能在其他领域对人类的挑战深蓝 vs 卡斯帕罗夫（国际象棋）浪潮天梭 vs 五位象棋特级大师深蓝的同门师弟沃森vs 两位人类答题冠军阿尔法围棋 vs 樊麾职业围棋二段，欧洲冠军人工智能在其他领域对人类的挑战图像识别(微软)自然语言处理Teragram(美国)语言识别工业机器人日本(FANUC)专家系统PROSPECTOR系统（用于地质
3、学）MY CIN系统（可以对血液传染病的诊断治疗方案提供咨询意见）主题背景人机大战人工智能及简史机器学习&深度学习开源深度学习框架人工智能展望关于人工智能的定义 人类是一种智能体 我们，作为一个智能体，为什么能够思考?大脑这么一小堆东西怎么能够感知、理解、预测和应对一个远比自身庞大和复杂的世界？人工智能(AI)走得更远：不仅试图理解智能体，而且要建造智能体制造出像人类一样完成某些智能任务的系统(软件)人类智能人工智能语言智能自然语言处理：让机器人能够说话，能够表达逻辑判断 机器证明和符号运算：数学证明、解题，我国吴文俊证明了初等几何主要定理的证明可以机械化神经控制 神经网络：研究模拟人的神经控
4、制视觉空间智能 博弈：我们下的人机象棋就属于博弈领域自然观察能力 模式识别：实现人的识别能力多种智能组合(强)人工智能关于人工智能的定义像人一样思考的系统理性地思考的系统要使计算机能思考有头脑的机器(Haugeland,1985)使之自动化与人类的思维相关的活动,诸如决策、问题求解、学习等活动(Bellman,1978)通过对计算模型的使用来进行心智能力的研究(Charniak&McDemontt,1985)对使得知觉、推理和行动成为可能的计算的研究(Winston,1992)像人一样行动的系统理性地行动的系统创造机器来执行人需要智能才能完成的功能(Kurzweil,1990)研究如何让计算机
5、能够做到那些目前人比计算机做得更好的事情(Rich&Knight,1991)计算智能是对设计智能化智能体的研究(Poole et al.,1998)AI关心的是人工制品中的智能行为(Nilsson,1998)类人思考或类人行为：直接模拟追随人理性思考或理性行为：间接模拟概括人思考过程类人思考理性思考理性行为人类智能智能行为类人行为思维过程思维模型按照模型建立思维系统智能行为行为建模按照模型建立行为系统模拟思维过程模拟行为功能类人行为：图灵测试(Turing test)图灵建议(1950)：不是问“机器能否思考”，而是问“机器能否通过关于行为的智能测试”人工智能之父 1950年，图灵发表了题为计
6、算机能思考吗？图灵实验的本质就是让人在不看外型的情况下不能区别是机器的行为还是人的行为时，这个机器就是智慧的 Alan Mathison Turing（1912 1954）图灵测试测试过程：让一个程序与一个人进行5分钟对话，然后人猜测交谈对象是程序还是人？如果在30%测试中程序成功地欺骗了询问人，则通过了测试图灵期待最迟2000年出现这样的程序在2014图灵测试竞赛上，俄罗斯人维西罗夫开发的超级计算机尤金古斯特曼让测试者相信，它的回答中有33%是人类回答的因此主办方雷丁大学宣布，已有65年历史的图灵测试首次获得通过伪装成为13岁男孩人工智能简史人工智能经历了三个阶段：推理期（5070年代）其出
7、发点是，数学家真聪明。让计算机具有逻辑推理能力：为什么仅有逻辑推理能力不能实现人工智能？困难在哪里？知识期（70年代中期始）其出发点是，知识就是力量。让计算机具有知识：由人把知识总结出来，再教给计算机这是相当困难的学习期（90年代至今）其出发点是，让系统自己学同时，也催生了人工智能的三大派别：符号主义：主要内容是关于符号计算、演算和逻辑推理，用演算和推理的办法来证明。比如说像机器证明就是符号主义连接主义：目前非常流行的神经网络、神经元网络、深度学习，这些都是连接主义行为主义：行为主义其实是从控制论衍生出来的，目前提及较少，但不能忽略2020年又是冰河期？主题背景人机大战人工智能及简史机器学习&
8、深度学习开源深度学习框架人工智能展望机器学习 vs 深度学习输入x输出yf(x)机器学习就是根据大量输入数据训练出函数f(x)也就是一系列参数（Wi,bi）的值(i表示第i层)使用时根据输入数据及函数模型，计算输出y浅层学习 12层隐层节点 模型表达能力有限 训练难度低深度学习 510层(甚至更多)隐层节点 模型表达能力强大 训练难度高vs监督学习 有标签数据 数据资源有限 常用于分类/识别无监督学习 无标签数据 数据资源丰富 常用于聚类vs机器学习学的是什么算法算力数据人工智能三要素Facebook 利用一个9层深度卷积神经网络，在400万规模的人脸库上训练了一个深度人脸表示模型，43108
9、0(1.64MB)个参数，准确率97.25%，仅稍低于人的识别率(97.5%)机器学习最大挑战之一是特征提取，程序员需要告诉算法它应该寻找什么类型的东西，这样才能做出决策。特征提取给程序员带来了巨大负担，尤其在复杂的问题中；算法的有效性在很大程度上取决于程序员的技能。深度学习模型能够解决这个问题，因为它们能够学会自己专注于正确的特性，几乎不需要程序员的指导。为什么采用层次网络结构1981年的诺贝尔医学奖获得者David Hubel和Torsten Wiesel发现了一种被称为“方向选择性细胞”的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃人的视觉
10、系统的信息处理是分级的高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图抽象层面越高，存在的可能猜测就越少，就越利于分类神经网络在机器学习与认知识别领域中，人工神经网络（ANN）是一类模拟生物神经网络（中枢神经网络，特别是大脑）的模型，用来预测（决策问题）或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重，使得神经网络可以自适应输入，并且拥有学习能力作为机器学习方法的一种，神经网络算法可以用来处理一系列传统方法无法处理或处理难度较大的问题，包括计算机视觉、语音识别方面等神经
11、网络的基本单元是神经元。通过对所有输入的加权求和与非线性映射得到该神经元的输出（激活值）神经网络按照拓扑结构，属于以神经元为节点，以及节点间有向连接为边的一种图，大体分为层状与网状两大类神经元模型激活函数常用激活函数：阈值函数 双向阈值函数 S型函数 双曲正切函数 高斯函数BP（Back Propagation）网络前馈网络的逐层计算：输入值从输入层单元通过连接权重加权激活逐层向前传播，经过隐层最后到达输出层得到输出。在信号的向前传递过程中，网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态反向传播算法：网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层向
12、后传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更加接近期望输出前馈网络结构输入层隐含层隐含层输出层BP 算法流程主要问题：易陷入局部极小而得不到全局最优训练次数多使得学习效率低，收敛速度慢对于隐层和隐节点的个数选择，至今还没有一个具体的定论，缺乏理论指导训练时，学习新样本有遗忘旧样本的趋势常用改进方法：添加动量项采用改进的梯度下降法M B P（M a t r i x B P 矩 阵 反 向 传 播）MFBP（Momentum Factor BP 动量因子反向传播）回归问题常用均方差：mse=in(yi-yi)2 n分
13、类问题常用交叉熵：cross_entropy=-injyij ln(yij)n深度学习深度学习的基础架构来自于前馈神经网络与BP算法，构造多层节点通过最小化代价函数的方法来提高分类精度。对于传统的ANN网络而言，由于多层网络训练的困难，实际使用的多数是只含有一层隐层节点的浅层模型。然而，不同于浅层的神经网络算法，深度学习更侧重于如何通过增加网络的深度，减小每层拟合的参数来提取出数据（尤其是语音与图像数据）的高层特征信息，从而达到更高的测试性能与分类精度。深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系传统的机器学习方
14、法，在训练数据量到达一定规模后，算法的学习能力就饱和了，而深度学习见不到底深度学习的模型与方法自动编码器卷积神经网络受限玻尔兹曼机循环神经网络自动编码器单层自动编码器网络（AutoEncoder）实质上是一个三层的反向传播神经网络它逐层采用无监督学习的方式，不使用标签调整权值，将输入映射到隐藏层上，再经过反变换映射到输出上，实现输入输出的近似等价自动编码/稀疏自编码 在自编码网络中尝试学习函数：hw,b(x)x 给隐藏神经元加上稀疏性限制使神经元大部分时间都是被抑制的限制称为稀疏性限制自动编码器原始图像隐含层特征Randomly pick one of the 10 images from m
15、at-file,then randomly sample an 88 image patch from the selected image,and convert the image patch into a 64-dimensional vector to get a training example可以看到，AE在图像处理的特征提取中可以作为边缘检测器学习到图像边缘信息图像实验卷积神经网络（Convolutional Neural Network）卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复
16、杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，可以使图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性卷积网络的核心思想是将：局部感受野、权值共享以及降采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性，以达到图像降维的特征学习与分类卷积神经网络稀疏连接卷积神经网络采用上下层节点间局部连接的方式构建网络，也就是说每个隐含层的节点只与一部分连续的输入点连接，这样模拟了人大脑皮层中视觉皮层不同位置只对局部区域有响应这一现
17、象。局部连接网络在神经网络中是采用卷积的方法来实现。对于自然图像来说，因为它们具有本身固有的特性，即图像中某个部分的统计特征和其它部位的相似，因此我们学习到的某个部位的特征也同样适用于其它部位。这就在稀疏网络处理图像在神经网络中应用的理论基础卷积神经网络权重共享在卷积神经网络中，卷积层的每一个卷积过滤器重复作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征。每一个卷积过滤器共享相同的参数，包括相同的权重矩阵和偏置项图像特性同一平面层的神经元权值相同，有相同程度的位移、旋转不变性。每个特征提取后都紧跟着一个用来求局部平均与二次提取的亚取样层。这种特有的两
18、次特征提取结构使得网络对输入样本有较高的畸变容忍能力。也就是说，卷积神经网络通过局部感受野、共享权值和亚取样来保证图像对位移、缩放、扭曲的鲁棒性1 0 10 1 01 0 1卷积核用一个Filter（卷积核）得到一个activation map当用6个Filter时，将会得到6个分开的activation maps卷积核=卷积过滤器=卷积模板？卷积神经网络池采样在通过卷积获得了特征(features)之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如softmax分类器，但这样做面临计算量的挑战。例如：对于一个96X96像素的图像，假设我们已经学
19、习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个(968+1)*(968+1)=7921维的卷积特征，由于有400个特征，所以每个样例(example)都会得到一个7921*400=3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合(over-fitting)为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化
20、(pooling)，有时也称为平均池化或者最大池化(取决于计算池化的方法)卷积神经网络LeNet-5：(卷积层 池化层?)+全连接层+LeNet-5是Yann LeCun（杨立昆）在1994年设计的用于手写数字识别的卷积神经网络，是早期卷积神经网络中最有代表性的实验系统之一卷积层采用5x5大小的卷积核，且卷积核每次滑动一个像素下采样层采用2x2的输入域，且输入域不重叠，即每次滑动2个像素6个5*5*1卷积核16个5*5*6卷积核out_size=(in_size filter_size+1)step受限玻尔兹曼机（Restricted Boltzmann Machine）RBM 只有两层神经元
21、，有m个可视节点和n个隐藏节点，其中每个可视节点只和n个隐藏节点相关，和其他可视节点是独立的，就是这个可视节点的状态只受n个隐藏节点的影响，对于每个隐藏节点也是，只受m个可视节点的影响，这个特点使得RBM的训练变得容易。注意这两层间的对称(双向)连接。RBM网络有几个参数，一个是可视层与隐藏层之间的权重矩阵，一个是可视节点的偏移量b，一个是隐藏节点的偏移量c，这几个参数决定了RBM网络将一个m维的样本编码成一个什么样的n维的样本受限玻尔兹曼机定义：假设一个二层图，同层节点之间没有链接，一层是可视层，即输入数据层(v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值(0,1)变量节点，同时假
22、设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Restricted Boltzmann Machine(RBM)DBM vs DBNDeep Boltzmann Machine(DBM)深度置信网络(Deep Belief Networks,DBN)两者都是概率图模型，都是由RBMs堆叠起来的，主要的不同是来自他们的连接方式 DBN靠近可视层使用贝叶斯信念网络（有向图模型），远离可视层使用RBM DBM连接所有的层是无向的，每一层都是RBMRNN对每一时刻的输入结合当前状态给出一个输出LSTM区别于RNN的地方，主要就是它在算法中加入了一个判断信息有用与否的“处理器”，
23、这个处理器作用的结构被称为cell。一个cell中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中，可以根据规则来判断是否有用。只有符合算法认证的信息才会留下，不符的信息则通过遗忘门被遗忘。循环神经网络（Recurrent Neural Network）传统的神经网络模型中，每层的结点之间是无连接的。但这种神经网络对很多问题却无能无力，例如：要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的循环神经网络是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关长短时记忆网络LSTM（Long Short Term
24、Memory）是一种特殊的RNN类型，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件LSTM的内部处理器和三扇门 长短时记忆网络（LSTM）的三扇门忘记门 作用对象：细胞状态 作用：将细胞状态中的信息选择性的遗忘 以语言模型基于已经看到的词预测下一个词为例，细胞状态可能包含当前主语的类别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。例如：他今天有事，所以我当处理到“我”的时候选择性的忘记前面的“他”，或者说减小这个词对后面词的作用。输入门 作用对象：细胞状态 作用：将新的信息选择性的记录到细胞状态中 在语言模型的例子中，我们希望增加新的主语的类别到细胞状态中
25、，来替代旧的需要忘记的主语。例如：他今天有事，所以我当处理到“我”这个词的时候，就会把主语“我”更新到细胞中去。输出门 作用对象：隐层ht 作用：控制输出信息在语言模型的例子中，因为他就看到了一个 代词，可能需要输出与一个动词 相关的信息。例如，可能输出是否代词是单数还是负数，这样如果是动词的话，我们也知道动词需要进行的词形变化。例如：上面的例子，当处理到“我”这个词的时候，可以预测下一个词，是动词的可能性较大，而且是第一人称。循环神经网络的变种：双向循环神经网络、深层循环神经网络深度学习评价理论上无法证明它为何有效，但是在实际问题上它的确有效；没有形成系统的理论各个DL模型为什么好用？原理本
26、质是什么？各个模型都适用于什么场合？针对特定数据，特定问题，如何组合搭建模型，各个参数怎么选？如何根据特定模型，特定数据来训练模型？优点：在计算机视觉和语音识别方面结果确实超过传统方法一大截；具有较好的transfer learning性质，一个模型训练好了拿到另一个问题上做一些简单的refinement就可以用了；只要层数够，一个较好的Feature Set是可以被学出来的缺点：训练耗时，模型正确性验证复杂且麻烦；某些深度网络不仅训练而且线上部署也需要GPU支持；模型难以诠释，找出来的Feature对人而言并不直观深度学习的应用深度学习在图像识别上的应用空间金字塔(Spatial Pyram
27、ids)深度学习的应用深度学习在多模态学习中的应用如果模态间存在着内在的联系，即存在shared Representation，那么理论上模型应支持训练一个模态，而测试另一个模态时，仍能获得好的分类性能深度学习的应用深度学习在多任务学习中的应用在深度学习模型中，对于相关任务的联合学习，往往会取得较好的特征表达多任务联合学习，能够增强损失函数的作用效能比如：单独进行人脸检测会比较难（光照、遮挡等因素），但是当人脸检测与人脸识别这两个相关的任务联合学习时，人脸检测的难度反而降低了主题背景人机大战人工智能及简史机器学习&深度学习开源深度学习框架人工智能展望开源深度学习框架Caffe(Convolut
28、ional Architecture for Fast Feature Embedding)源自加州伯克利分校的Caffe被广泛应用，包括Pinterest这样的web大户。与TensorFlow一样，Caffe也是由C+开发，Caffe也是Google 2015年发布的Deep Dream项目（可以识别喵星人的人工智能神经网络）的基础Theano2008年诞生于蒙特利尔理工学院，Theano派生出了大量深度学习Python软件包，最著名的包括Blocks和KerasTorchTorch诞生已经有十年之久，但是真正起势得益于去年Facebook开源了大量Torch的深度学习模块和扩展。Torc
29、h另外一个特殊之处是采用了不怎么流行的编程语言Lua（该语言曾被用来开发视频游戏）Brainstorm来自瑞士人工智能实验室IDSIA的一个非常发展 前 景 很 不 错 的 深 度 学 习 软 件 包，Brainstorm能够处理上百层的超级深度神经网 络 所 谓 的 公 路 网 络 H i g h w a y Networks其它框架：SciKit-learn、MXNet、Chainer、Neon等 开源深度学习框架DeepLearning4j创业公司Skymind于2014年6月发布的一个面向生产环境和商业应用的高成熟度深度学习开源库，是“for Java”的深度学习框架，可与Hadoop
30、和Spark集成，即插即用，方便开发者在APP中快速集成深度学习功能，可用于：人脸/图像识别、语音搜索、语音转文字(Speech to text)、垃圾信息过滤(异常侦测)、电商欺诈侦测。埃森哲、雪弗兰、博斯咨询和IBM等明星企业都在使用Marvin普林斯顿大学视觉工作组新推出的框架。该团队还提供了一个文件用于将Caffe模型转化成语Marvin兼容的模式ConvNetJS斯坦福大学博士生Andrej Karpathy开发浏览器插件，基于JavaScript可以在游览器中训练神经网络TensorFlow谷歌基于Dist Belief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。
31、Tensor（张量）意味着N维数组，Flow（流）意 味 着 基 于 数 据 流 图 的 计 算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow可用于语音识别、图像识别等多项机器学习和深度学习领域，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行TensorFlow 简介数据流图（Data Flow Graph）TensorFlow的特征高度的灵活性真正的可移植性科研和产品联系在一起自动求微分多语言支持性能最优化TensorFlow 示例 入门import input_dataimport tensorflow as tfmnist=input
32、_data.read_data_sets(MNIST_data,one_hot=True)sess=tf.InteractiveSession()x=tf.placeholder(float,shape=None,784)y_=tf.placeholder(float,shape=None,10)W=tf.Variable(tf.zeros(784,10)b=tf.Variable(tf.zeros(10)sess.run(tf.global_variables_initializer()y=tf.nn.softmax(tf.matmul(x,W)+b)cross_entropy=-tf.re
33、duce_sum(y_*tf.log(y)train_step=tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)for i in range(1000):batch=mnist.train.next_batch(50)train_step.run(feed_dict=x:batch0,y_:batch1)correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(y_,1)accuracy=tf.reduce_mean(tf.cast(correct_prediction
34、,float)print(accuracy.eval(feed_dict=x:mnist.test.images,y_:mnist.test.labels)MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片，它也包含每一张图片对应的标签，告诉我们这个是数字几在此示例中，我们将训练一个机器学习模型用于预测图片里面的数字http:/ 示例 进阶import input_dataimport tensorflow as tfdef weight_variable(shape):initial=tf.truncated_normal(shape,stddev=0.1)return tf.
35、Variable(initial)def bias_variable(shape):initial=tf.constant(0.1,shape=shape)return tf.Variable(initial)def conv2d(x,W):return tf.nn.conv2d(x,W,strides=1,1,1,1,padding=VALID)def max_pool_2x2(x):return tf.nn.max_pool(x,ksize=1,2,2,1,strides=1,2,2,1,padding=SAME)mnist=input_data.read_data_sets(MNIST_
36、data,one_hot=True)sess=tf.InteractiveSession()x=tf.placeholder(float,shape=None,784)y_=tf.placeholder(float,shape=None,10)x_image=tf.reshape(x,-1,28,28,1)W_conv1=weight_variable(5,5,1,32)b_conv1=bias_variable(32)h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)h_pool1=max_pool_2x2(h_conv1)W_conv2=
37、weight_variable(5,5,32,64)b_conv2=bias_variable(64)h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)h_pool2=max_pool_2x2(h_conv2)W_fc1=weight_variable(4*4*64,512)b_fc1=bias_variable(512)h_pool2_flat=tf.reshape(h_pool2,-1,4*4*64)h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)keep_prob=tf.plac
38、eholder(float)h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)W_fc2=weight_variable(512,10)b_fc2=bias_variable(10)y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2)+b_fc2)cross_entropy=-tf.reduce_sum(y_*tf.log(y_conv)train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)correct_prediction=tf.equal(t
39、f.argmax(y_conv,1),tf.argmax(y_,1)accuracy=tf.reduce_mean(tf.cast(correct_prediction,float)sess.run(tf.global_variables_initializer()for i in range(20000):batch=mnist.train.next_batch(50)if i%100=0:train_accuracy=accuracy.eval(feed_dict=x:batch0,y_:batch1,keep_prob:1.0)print(step%d,training accuracy
40、%g%(i,train_accuracy)train_step.run(feed_dict=x:batch0,y_:batch1,keep_prob:0.5)print(test accuracy%g%accuracy.eval(feed_dict=x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0)构建一个多层卷积网络卷积用1步长(stride size)；池化用简单传统的22大小做max pooling 第一层：一个卷积接一个max pooling卷积在每个5x5的patch中算出32个特征。卷积的权重张量形状是5,5,1,32，前两个维度是patch大小，接着是输入通道数目，最后是输出通道数目。而对于每一个输出通道都有一个对应的偏置量 第二层：每个5x5的patch会得到64个特征 密集连接层：现在图片尺寸减小到4x4，加入一个有512个神经元的全连接层，用于处理整个图片。把池化层输出的张量reshape成一些向量，乘上权重矩阵，加上偏置，然后对其使用ReLU。为了减少过拟合，在输出层之前加入dropout 输出层：最后添加一个softmax层http:/ 绽放的精彩
