1、人工智能极简历史第1章深度学习基于Python语言和Tensorflow平台重要人物及其贡献为什么要了解人工智能的发展历史主要理论和关键技术重要事件简要了解在人工智能发展历程中：出现的经纬（时间顺序和逻辑关系）有助于更好地理解书中内容，“知其然，更知其所以然”。了解人工智能发展的历史脉络了解深度学习技术的由来和最新发展动向01HISTORY02RISE&FALL03OUTLOOKtarget目标体会人工智能发展历程中各个波峰波谷的缘由目 录 导 航1.11.21.31.4重要奠基时期人工智能的诞生第一个快速发展期人工智能的第一个寒冬Contents&关键要素之一：对神经元的研究和模型化人工智能
2、研究的萌芽圣地亚哥拉蒙-卡哈尔（西班牙语：Santiago Ramn y Cajal，1852年5月1日1934年10月17日），西班牙病理学家、组织学家，神经学家，1906年诺贝尔生理学或医学奖得主。被认为是现代神经科学之父，绘图技能出众，他关于脑细胞的几百个插图至今仍用于教学与人类对自身大脑的研究息息相关&拉蒙-卡哈尔的贡献人工神经元的研究和人工神经元模型的提出明确阐述了神经元(也叫做神经细胞)的独立性和神经元之间通过树枝状触角相互连接的关系奠定了生物神经网络的基础，也为人工神经网络(Artificial Neural Network)提供了重要的参考依据MP模型的提出1943年，神经学家
3、沃伦麦卡洛克（Warren McCulloch）和年轻的数学家沃尔特皮茨（Walter Pitts）提出了一个人工神经元的模型麦卡洛克-皮茨神经元模型（McCulloch-Pitts Neuron Model），简称MP模型+Warren McCullochWalter Pitts迄今为止，神经网络的基本单元仍然在使用这个模型 MP模型最初的模型现代简洁的表达MP模型的组网神经元组成神经网络的示意图&关键要素之二：计算机和程序的出现计算机的发明对人工智能研究的促进1945 年末至 1946 年初，世界上第一台数字计算机ENIAC诞生在美国宾夕法尼亚大学冯诺伊曼体系结构迄今为止，冯诺伊曼体系结构
4、在各类计算机中仍在广泛被使用计算机计算机和和程序程序的出现，使得的出现，使得人工智能人工智能的实现有了的实现有了硬件和硬件和软件基础软件基础&关键要素之三：图灵测试的提出图灵测试坚信人工智能可以成功，并确定了一个判断人工智能成功与否的标准。目 录 导 航1.11.21.31.41.5重要奠基时期人工智能的诞生第一个快速发展期人工智能的第一个寒冬AI研究的沉默探索与复苏Contents&达特茅斯会议（Dartmouth Conference）人工智能正式诞生1956年夏天，以约翰麦卡锡、马文明斯基、克劳德香农、艾伦纽厄尔、赫伯特西蒙、纳撒尼尔罗切斯特等为首的一批当时科学界的年轻才俊在美国的达特茅
5、斯开会，会议名字叫做人工智能夏季研讨会。在会议上，大家一起研究探讨了用机器模拟智能的一系列有关问题，并首次正式提出了“人工智能”这一术语，它标志着“人工智能”这门新兴学科的正式诞生，因此之后大家普遍认为1956年是人工智能的元年。AI=Artificial Intelligence目 录 导 航1.21.31.41.51.6人工智能的诞生第一个快速发展期人工智能的第一个寒冬AI研究的沉默探索与复苏第二次冬天Contents弗兰克罗森布拉特和他的感知机感知机模型的出现，使人类历史上开始了真正意义上的机器学习时代。约翰麦卡锡和LISP语言约翰麦卡锡John McCarthy 发明了第一个面向人工智
6、能的高级计算机语言LISP 函数式程序设计语言 实现了树形数据结构、自动存储管理、动态类型、条件表达式、递归运算等在当时较为高级的功能目 录 导 航1.31.41.51.61.7第一个快速发展期人工智能的第一个寒冬AI研究的沉默探索与复苏第二次冬天再一次腾飞Contents马文明斯基所起的作用马文明斯基是人工智能的创始人之一，但也是AI第一次寒冬的重要因素1969年，明斯基与他人合著的Perceptron一书中，断定了感知机的局限性（即无法处理非线性问题）。詹姆斯莱特希尔的报告1973年，著名数学家詹姆斯莱特希尔（James Lighthill）爵士向英国科学研究委员会提交报告，否定AI达到了
7、预期的进展，导致各国政府对AI领域停止资金投入，标志着人工智能第一个寒冬的开始。The Lighthill debate on Artificial Intelligence:The general purpose robot is a mirageSir James Lighthill目 录 导 航1.41.51.61.71.8人工智能的第一个寒冬AI研究的沉默探索与复苏第二次冬天再一次腾飞未来展望Contents沉默的探索阶段人们对AI的研究并未停止专家系统的研究 另一条探索之路&专家系统与Prolog语言的出现专家系统是汇聚了某个领域内的专家知识和经验，由计算机系统进行推理和推断，帮助和
8、辅助人类进行决策的系统。无监督学习技术的提出无监督学习是人们收集数据，让神经网络自己去发现规律并做出处理的机器学习方法，是现在乃至未来人工智能研究的重要方向之一1972年,芬兰科学家托伊沃科霍宁（Teuvo Kohonen）提出了自组织特征网络（self-organizing feature map，简称SOFM），支持无监督学习（Unsupervised Learning）反向传播算法的出现 1974年，保罗沃波斯（Paul Werbos）第一次提出了后来对神经网络的发展腾飞具有重要意义的反向传播算法反向传播算法（Backpropagation Algorithm，简称BP 算法）是根据神经
9、网络的计算结果误差来调整神经网络参数以达到训练神经网络目的的方法。但由于处于AI的寒冬期中，该方法在当时没有得到足够的重视。霍普菲尔德网络1982年，美国物理学家约翰约瑟夫霍普菲尔德（John Joseph Hopfield）提出了一种具有反馈机制的神经网络，并将动力学结合进神经网络中来。1984 年，霍普菲尔德成功实现了自己提出的神经网络模型，重新激发了人们对神经网络研究的热情。增强学习（Reinforcement Learning）&1983年，安德鲁巴托（Andrew G.Barto）、理查德萨顿（Richard S.Sutton）等人发表了关于增强学习的文章。&增强学习是研究机器如何在
10、不断变化的环境中相应地做出最合适的反应，通过让机器不断调整自己的行为以求获得更好的长效回报（Long-term Reward）来实现机器学习，被广泛用于无人驾驶、电子竞技等方向。玻尔兹曼机（Boltzmann Machine）1985年，大卫艾克利、杰弗里辛顿（Geoffrey Hinton）和特里塞吉诺斯基等人基于霍普菲尔德神经网络加入了随机机制，提出了玻尔兹曼机（Boltzmann Machine）的模型，这个模型由于引入了随机振动的机制，一定程度上具备了让神经网络摆脱局部最优解的能力。反向传播算法的发展 1986年，大卫鲁姆哈特（David Rumelhart）和詹姆斯麦克莱兰（Jame
11、s McClelland）在（Parallel Distributed Processing:Explorations in the Microstructure of Cognition）一文中，重新提出了反向传播学习算法并给出了完整的数学推导过程。同一时期，辛顿、罗纳德威廉姆斯、大卫帕克和杨立昆等人也分别做出了关于BP算法的独立研究和贡献。BP算法正式出现的意义在于，对于如何更高效地训练神经网络，让神经网络更有序地进行学习，提供了有效的、可遵循的理论和方法，这在以后神经网络尤其是深度学习领域是一个里程碑式的事件，至今BP方法仍然是训练多层神经网络的最主要、最有效的方法。多层前馈神经网络多层
12、前馈神经网络是一个包含输入层、多个隐藏层和输出层在内的神经网络，所谓的前馈指的是神经网络中的各层均只从上一层接收信号并向下一层输出信号，即每层只向前传递信号而不向后反馈梯度下降算法梯度下降算法是训练神经网络的反向传播算法的基础之一目 录 导 航1.51.61.71.8AI研究的沉默探索与复苏第二次冬天再一次腾飞未来展望Contents人工智能的第二个冬天 幅度不大：两个原因：人们期望值明显降低；没有类似第一次AI寒冬的理论上的重大挫折。时间范围不明显：有观点认为是从1987年华尔街金融危机带来的对人工智能投资大幅缩减开始的。主要起因：个人电脑（Personal Computer，简称PC）的出
13、现及其蓬勃发展。目 录 导 航1.61.71.8第二次冬天再一次腾飞未来展望Contents腾飞的要素之一 计算机性能提升计算机性能提升GPUGPU的发展的发展云计算的出现云计算的出现计算能力不再是瓶颈计算能力不再是瓶颈 计算机综合计算能力的大幅提升+人们对软硬件驾驭能力的提高腾飞的要素之二 大数据让神经网络不再缺乏训练数据 大数据的出现腾飞的要素之三 神经网络研究的成熟化 反向传播学习算法研究进一步成熟 卷积神经网络（Convolutional Neural Network，简称CNN）的发明 循环神经网络（Recurrent Neural Network，简称RNN）的研究 长短期记忆网络
14、（Long Short-Term Memory Network，简称LSTM）的提出 深度学习技术理论的提出重要发明（卷积网络）带来黎明LeNet用于手写文字的识别1989年，Yann LeCun（中文名字杨立昆）发明了具有实际研究价值的第一个卷积神经网络模型LeNet。开启新时代的AlexNet神经网络2012年，在ImageNet工程举办的年度图像识别大赛（Annual ImageNet Large Scale Visual Recognition Challenge）上，包括亚历克斯克里泽夫斯基（Alex Krizhevsky）,辛顿等人在内的团队推出的AlexNet神经网络，获得了当年
15、的冠军。先进的AlexNet神经网络使用了综合几种新方法、已经较为成型的深度学习技术AlphaGo战胜世界冠军成为这一次AI大发展（特别是“深度学习”的概念）广为世人所知的标志事件目 录 导 航1.71.8再一次腾飞未来展望Contents人工智能的分类弱人工智能机器的智能在一些特定领域或具体任务上接近或超越人类的水平通用人工智能机器在所有需要智能的方面具备和人一样解决各种问题的能力超人工智能机器具备全方面超越人脑的能力，包括思维、创造性和社交能力人工智能的应用与研究方向&计算机视觉图像与视频分类、物体与边界识别、动作识别、图像内容语义归纳、风格转换、图像合成、智能搜索等&自然语言处理智能翻译、语义识别、语义理解、情感判断、问题响应、文字生成等&智能控制（综合性）无人驾驶、智能电子竞技、智能交流、远程智能监控、客服智能座席等互助互利 共同进步深度学习 基于Python语言和Tensorflow平台
