1、人工智能的演进。o内容简介:电子计算机的发明不仅大大改变了人们o的工作方式，同时也极大改变了人类的学习甚至生o活方式。计算机科学研究的终极目标之一是实现与o人类智能水平相当甚至更高的人工智能，其检验标o准是图灵测试。目前我们离这一目标还很遥远。本o报告介绍讨论人工智能的由来、进展和挑战性问题o主讲人主讲人：高高文文o北京大学信息科学技术学院教授。中国工程院院士、ACM Fellow、IEEE Fellow。1991年获日本东京大学电子工程学博士。曾任国家八六三计划智能计算机主题专家 组成员、组长，973项目首席科学家。曾任中国科学院计算技术研究所所长、中国 科学技术大学副校长、中国科学院研究生
2、院常务副院长。曾任第四届、第五届国务 院学位委员会计算机科学技术学科评议组成员、计算机学报主编、IEEE T-MM、IEEE T-CSVT、SPIC、JVCIR、IEEE T-IP等编委。是第十届、十一届、十二届全国 政协委员。目前兼任国家自然科学基金委员会副主任、中国计算机学会理事长、全 国信息技术标准化技术委员会多媒体技术分委员会主任委员、IEEE 1857（AVS）标准工作组组长、数字音视频编解码技术标准（AVS）工作组组长。1人工智能的演进高高 文文北京大北京大学学目录31.从AlphaGo谈起2.人工智能与Alan Turing3.人工智能发展历程n图灵测试n人工智能第一次浪潮（19
3、56-1976）n人工智能第二次浪潮（1976-2006）n人工智能第三次浪潮（2006-至今）nAlphaGo对人工智能发展的作用n挑战与展望o 总结目录41.从AlphaGo谈起2.人工智能与Alan Turing3.人工智能发展历程n图灵测试n人工智能第一次浪潮（1956-1976）n人工智能第二次浪潮（1976-2006）n人工智能第三次浪潮（2006-至今）nAlphaGo对人工智能发展的作用n挑战与展望4.总结AlphaGo 5：0战胜战胜欧欧 洲冠军樊麾洲冠军樊麾2段。樊段。樊麾麾 出生于中国西安，出生于中国西安，曾曾 入国家少年队，后入国家少年队，后入入 籍法国，曾获欧洲籍法国
4、，曾获欧洲围围 棋冠军，目前是法棋冠军，目前是法国国 国家围棋队总教练国家围棋队总教练。October 5 9,2015-Time limit:1 hourAlphaGo，AI重要里程碑AlphaGo，AI重要里程碑AlphaGo战胜世界冠军战胜世界冠军李李 世石世石9段。李世石，被认段。李世石，被认为为 是过去十年间韩国最强是过去十年间韩国最强棋棋 手手。March 9 15,2016-Time limit:2 hoursVenue:Seoul,Four Seasons HotelComputer Go AI?o 2016年1月28日，自然 在AlghaGo与李世石开 赛前，刊登封面文章o
5、David Silver，黄世杰（Aja Huang），DemisHassabis用深层卷积神v经s.网络来缩小传统蒙特卡洛 树搜索的广度和深度，以 挑选最佳招数。o 作者来自GoogleAI Next Step？o Science2015年12月12日发表 封面文章 Human-level concept learning through probabilistic programinduction o 提出利用贝叶斯的小样本学 习方法o 作者来自MIT、纽约大学和 多伦多大学8人工智能的三个派别9o 逻辑主义（符号主义）n符号推理与机器推理n奠基人：西蒙（CMU）o 连接主义n神经元网络与
6、深度学习n奠基人：明斯基（MIT）o 行为主义n控制、自适应与进化计算n奠基人：维纳（MIT）AI时代真的到来了吗？10o Yes/NonYes，如果你仅仅期望计算机能够比以往做得更多更 好nNo，如果你认为从此开始，人类就是计算机的败将 了o 逻辑主义大行其道30年，又沉寂了30年o 连接主义发育成长了50多年，现在正当年o 行为主义发育较慢，尚处于幼年目录111.从AlphaGo谈起2.人工智能与Alan Turing3.人工智能发展历程n图灵测试n人工智能第一次浪潮（1956-1976）n人工智能第二次浪潮（1976-2006）n人工智能第三次浪潮（2006-至今）nAlphaGo对人工
7、智能发展的作用n挑战与展望4.总结人类为什么做计算机？12o 进化的需要n约150万年前，人类开始用火。火的使用是人类文化 进化的关键转折点n约1.8万年前，新石器时代，人类开始种植、畜牧、纺织，人类社会进入农业社会n18世纪中叶，蒸汽机的发明，开启了工业革命，人 类社会进入工业化时代n20世纪中叶，计算机的出现，使我们进入了信息化 社会人类为什么做计算机？13o 1946年，第一台全自动电子数字计算机ENIAC（Electronic Numerical Integrator and Calculator）在美国研制完成，用于计算弹道o 1954年,第一台通用数据处理机IBM650诞生，用 于
8、商业数据处理o 1964年,IBM360系列制成，用于军事计算或商 业数据处理o 军事用途，是计算机发展的第一动力o 事务处理，是计算机发展普及的根本动力o 人工智能，是计算机发展的最高挑战何谓智能14o 智力智力或知能知能n 是指生物一般性的精神能力。这个能力包括以下几 点：理解、计划、解决问题，抽象思维，表达意念 以及语言和学习的能力。o 智力三因素理论智力三因素理论（Robert Sternberg）n成分性智力（componential intelligence），指思维和 问题解决等所依赖的心理过程n经验智力（experiential intelligence），指人们在两种 极端情
9、况下处理问题的能力：新异的或常规的问题n 情境智力（contextual intelligence）反映，在对日常 事物的处理上。它包括对新的和不同环境的适应，选择合适的环境以及有效地改变环境以适应你的需 要多元智能理多元智能理论论15o 由哈佛大学心理学家加德纳创立，著作：Frames of Mind1.逻辑(logical)2.语言文字(linguistic)3.空间(spatial)4.音乐(musical)5.肢体运作(kinesthetic)6.内省(intra-personal)7.人际(inter-personal)（这里可以指家庭比较好些）8.自然探索(naturalist)9
10、.图形图像(Graphics)何谓人工智能16o 人工智能人工智能（Artificial Intelligence,AI）n 也称作机器智能机器智能，是指由人工制造出来的系统所表 现出来的智能。通常人工智能是指通过普通计算机 实现的智能。o 人工智能研究n 主要研究内容包括认知建模、知识表示、推理及应 用、机器感知、机器思维、机器学习、机器行为和 智能系统等n 研究动机包括推理，知识，规划，学习，交流，感 知，移动和操作物体的能力等。n 目前有大量人工智能应用系统，其中包括搜索和数 学优化，逻辑，基于概率论和经济学的方法等。Alan Turingus Mathison Turing）n计算机科
11、学之父n人工智能之父n1912.6.23-1954.6.7n父亲朱利斯麦席森图灵（Juli 英属印度公务员。n 1911年，图灵的母亲Ethel在印度的Chatrapur怀孕。他们希望艾伦在英国出生，所以回到伦敦，住在帕丁 顿（Paddington）。Alan出生于伦敦。n由于担心印度的气候不利于儿童成长，父母把家庭 留在英伦与朋友同住。养成了图灵的性格。n 图灵很小的时候就表现出他的天才，据说他在三个 星期里自己学会阅读。而且，从小就对数字和智力 游戏着迷。17Alan的孩童和年轻时的孩童和年轻时代代18o6岁的时候，他的父母为他在一间叫圣迈克尔的（St.Michaels）学校注了册。校长很
12、快就注意到他的天才，随后Marlborough学院的许多教育家也注意到这点。o14岁的时候，转到在多塞特郡（Dorset）的Sherborne寄 宿学校。图灵天生对科学的喜好并没有给他在Sherborne的老师留下好印象。他们对教育的定义是着 重于人文学科而不是科学。虽然如此，图灵继续在他喜 欢的学科表现出惊人的能力，还没有学过基础微积分的 他，就已经能够解答以他年纪来说算是很高深的难题。o16岁的时候，开始阅读阿尔伯特爱因斯坦的著作。他 不但能够理解，而且看出了爱因斯坦理论与牛顿力学不 相符合，即使爱因斯坦的著作中并没有明白指出这点。Alan大学和研究生时代19o1931年，考入剑桥大学国王
13、学院。1934年他以优异成绩毕业。1935年因中心极限定理论文当选为国王学院Fellowo1936年，他的论文论可计算数及其在判定问题上的应用（On Computable Numbers,with an Application to theEntscheidungsproblem，）发表。他对哥德尔1931年证明和计算的限制的结果作了重新论述，他用有限状态自动机（也称图灵机）的简单形式设备代替了哥德尔的以通用算术为基础的形式语言。图灵证明了图灵机有能力解决任何可想像的数学难题，如果这些 难题是用一种算法来表达。图灵机的最大贡献是奠定了今天电子 计算机的理论基础：由0和1组成的有限状态自动机演算
14、，以及电 子计算机的体系结构：处理器、存储器、输入输出设备o在普林斯顿大学度过了1937年和1938年的大部分时间。1938年，他取得了博士学位。他的论文研究了超计算（hypercomputation）的概念，在图灵机加上了预言机，让研究图灵机无法解的问题变 得可能密码破译o1938-1945，参加英国Bletchley Park密码破译团队o但是德国的潜艇经常袭击英国战略物资运输船队，德国 使用了由机器生成密码的技术，可以产生1500万种以上 的组合o图灵设计了可以破译上述密码的算法，主要思想利用统 计方法优化处理过程，有效减小搜索空间，为二战胜利 做了贡献o他的上述成果一直保密，直到完成7
15、0多年以后，2012年 百岁诞辰时才公开oTuringWelchman bombe20二战以后的研究兴趣21o1945年到1948年，图灵在英国国家物理实验室工作，负 责自动计算引擎（ACE）的工作。o1949年，他成为曼彻斯特大学计算机实验室的副主任，负责最早的电子计算机-曼彻斯特一号的软件工作。在 这段时间，他继续作一些比较抽象的研究，如“计算机 械和智能”。图灵在对人工智能的研究中，提出了一个 叫做图灵测试（Turing test）的实验，尝试定出一个决 定机器是否有感觉的标准。o1952年，图灵写了一个国际象棋程序。可是，当时没有 一台计算机有足够的运算能力去执行这个程序，他就模 仿计
16、算机，每走一步要用半小时。他与一位同事下了一 盘，结果程序输了。二战以后的研究兴趣22o从1952年直到去世，图灵一直在生物数学方面做研究。他在1952年发表了一篇论文形态发生的化学基础（The Chemical Basis of Morphogenesis）。他主要的兴趣 是斐波那契叶串行，存在于植物结构的斐波那契数。他 应用了反应-扩散公式，现在已经成为图案形成范畴的 核心。o他后期的论文都没有发表，一直等到1992年艾伦图 灵选集出版，这些文章才见天日。判罪受罚23o图灵中学时代有一位挚友Christopher Morcom，极为聪 明，爱好天文学，图灵对他极为崇拜。1930年，Chri
17、s 因为不慎饮用感染病毒的牛奶而去世。图灵悲痛欲绝，立志帮他完成想做的事情。这段经历使他形成了同性恋 倾向。o1952年，他的同性伴侣的熟人在图灵的房子盗窃，他丢 失了父亲送给他的手表，图灵为此而报警。英国警方调 查后判他流氓罪。他没有申辩，被定罪。公审后，他被 给予了两个选择：坐牢或女性荷尔蒙注射“疗法”（即 化学阉割）。他最后选择了后者，持续一年。在这段时 间里，他对政府极度失望，加上药物的作用使他身体发 生变化，大脑思维缓慢，图灵的身心受到极大伤害。英年早逝o 1954年6月8日，图灵被发现去世，原因是食用 了浸过氰化物溶液的半个苹果。24罪名赦免25o2009年9月10日，一份超过3万
18、人的请愿签名，使英国首相 戈登布朗在每日电讯报撰文，因为英国政府当 年以同性恋相关罪名起诉图灵并定罪，导致他自杀身亡，正式向艾伦图灵公开道歉o2012年，有21000多人签名请愿，要求英国政府追授图 灵死后赦免状，但被当局拒绝。英国上议院的麦克纳利 勋爵解释说，死后赦免状是不合适的，因为图灵是根据 当时的法律被定罪o2013年12月24日，英国司法大臣宣布英国女王伊丽莎白 二世赦免1952年因同性恋行为被定罪的艾伦图灵苹果故事的继续o 苹果公司的Logo和图灵的 苹果有关吗？nIt isnt true,but God,we wish it were.Steve Jobs26苹果故事的继续o T
19、im CooknSteve Jobs的接班人n 2014年10月30日，商业周刊网站发表 文章27图灵奖28o 被称为是计算机领域的诺贝尔奖o 1966年，由ACM（Association for Computing Machinery，1947年成立，总部纽约）学会设立o 每年1-3名获奖人o 迄今为止，共有60余人获奖o 华人获奖者：姚期智n2000 年，In recognition of his fundamental contributions to the theory of computation,including the complexity-based theory of p
20、seudorandom number generation,cryptography,and communication complexity.图灵奖与人工智能1.Minsky,Marvin(1969)，MIT2.McCarthy,John(1971)，斯坦福大学3.Newell,Allen(1975)，CMU4.Simon,Herbert(“Herb”)Alexander(1975)，CMU5.Feigenbaum,Edward A(“Ed”)(1994)，斯坦福大学6.Reddy,Dabbala Rajagopal(“Raj”)(1994)，CMU7.Valiant,Leslie Gabr
21、iel(2010)，哈佛大学，机器学 习与神经计算理论8.Pearl,Judea(2010)，UCLA，概率计算与因果推理目录1.从AlphaGo谈起2.人工智能与Alan Turing3.人工智能发展历程n图灵测试n人工智能第一次浪潮（1956-1976）n人工智能第二次浪潮（1976-2006）n人工智能第三次浪潮（2006-至今）nAlphaGo对人工智能发展的作用n挑战与展望4.小结30图灵测试o 图灵测试（Turing Test）n计算机具有智能的判据p让一台计算机器和一个人参与测试p 提问人无法通过非智能特征（例如 语音语调）区分人和机器p 如果测试结束后人不能判断哪个是 人，哪个
22、是机器，则可以认为该计 算机器具有智能31人工智能起源32o 两个标志性基石n图灵测试。n 香农信息论，引入了语义无关的假设，以熵作为信 息量的测量，使得传统的数据处理转向信息处理。统计方法成为研究主流。人工智能发展里程碑33年代20世纪40年代20世纪50年代20世纪60年代20世纪70年代20世纪80年代20世纪90年代计算机1945 计算机（ENIAC）1957FORTRAN语言人工智能研究1953 博弈论1956 达特矛斯 会议1977 知识工程（英 语：Knowledge engineering）宣言1982 第五代电 脑计划开始1991 人工神经 网络人工智能语言1960 LISP
23、语言1973 PROLOG语言知识表达1973 生产系统1976 框架理论专家系统1965DENDRAL（英语：Dendral）1975 MYCIN（英语：Mycin1980 Xcon1976）34o 基于规则的产生式系统=功能系统o 领头羊n斯坦福大学nCMUnMIT、IBMn哈佛大学o 标志性基石：在统计方法中引入符号方法进行 语义处理，出现了基于知识的方法，人机交互 开始成为可能。达特茅斯会议暑期会议35o 1956年夏天，在Dartmouth大学，由JohnMcKarthy、Marvin Minsky,Nathaniel Rochester、Claude Shannon联合发起o 为期
24、2个月，10人，讨论研究人工智能问题o 其他参加人包括：nRay Solomonoff,Oliver Selfridge(MIT)n Trenchard More,Arthur Samuel(IBM)nHerbert A.Simon,Allen Newell(CMU)o 提出人工智能定义n使一部机器的的反应方式就像是一个人在行动时所 依据的智能人工智能的优秀研究者o Herbert Alexander Simonn1916-2001年n 1936年，芝加哥大学本科 n 1943年，芝加哥大学博士 n 1949-2001年，CMU教授n1967年，NAS院士n1975年，ACM Turing A
25、wardp“basic contributions to artificial intelligence,the psychology of human cognition,and list processing”n1978年，Nobel Prize in Economicsn1986年，美国国家科学奖n贡献：Logic Theory Machine、General ProblemSolver、Bounded rationality36人工智能的优秀研究者o Allen Newelln1927-1992年n1949年，斯坦福大学本科n1952年，CMU博士（导师H A Simon）n1972年
26、，NAS院士n1975年，ACM Turing Awardpfor their basic contributions to artificial intelligence and the psychology of human cognitionn1992年，美国国家科学奖n贡献：Information Processing Language、Soar人工智能的优秀研究者o John McCarthyn1927.09.04-2011.10.24n1948年，CalTech本科n1951年，普林斯顿博士n1962-2000，斯坦福大学教授n1971年，ACM Turing AwardnNAE院
27、士（1987），NAS院士（1989）n1990年，美国国家科学奖n贡献：Artificial intelligence;Lisp;Circumscription;Situation calculus人工智能的优秀研究者o Marvin Minskyn1927.08.09 2016.01.24n 1950年，哈佛大学本科 n 1954年，普林斯顿博士 n 1958年-，MIT教授nNAE院士，NAS院士n1969年，ACM Turing AwardpFor his central role in creating,shaping,promoting,and advancing the fiel
28、d of Artificial Intelligence克劳德香农(Claude Shannon)o信息论创始人克劳德香农(Claude Shannon)也被麦卡锡 邀请参加了达特茅斯会议。当时已是贝尔实验室的资深 学者。o香农的硕士和博士论文都是关于如何实现布尔代数方面 的，由当时麻省理工学院校长布什(Bush)亲自指导。博 士毕业后香农去了普林斯顿高等研究院，曾和爱因斯坦、哥德尔、外尔(Weyl)等共事。o战争中，他一直在贝尔实验室做密码学工作，阿兰图 灵(Alan Turing)在 1943 年曾秘访美国，和同行交流破 解德国密码的经验，期间和香农曾有会晤，一起聊过通 用图灵机。战后香农
29、去英国还回访过图灵，一起讨论计 算机下棋的问题。香农内向，以前从没说过这段往事，直到 1982 年接受一次采访时才提起。1950 年，香农在科学美国人发表过一篇关于计算机下棋的文章。40AI领域著名预言o 1958年，Simon&Newelln十年内，计算机将成为国际象棋冠军n十年内，计算机将发现和证明有意义的数学定理n十年内，计算机将能谱写优美的乐曲n十年内，计算机将能实现大多数的心理学理论41Selfridge)o1955 年,洛杉矶,美国西部计算机联合大会(Western Joint Computer Conference),“学习机讨论会”(Session on Learning Ma
30、chine)。o讨论会的参加者中有两个人参加了第二年的达特茅斯会 议n奥利弗赛弗里奇(Oliver Selfridge),维纳最喜欢的学生n艾伦纽厄尔(Alan Newell)o赛弗里奇发表了一篇关于模式识别的文章，而纽厄尔则 探讨了计算机是否能下棋。他们分别代表两派观点。o讨论会的主持人是神经网络的鼻祖之一皮茨(Pitts)，他 最后总结时说“（一派人）企图模拟神经系统，而纽 厄尔则企图模拟心智 但殊途同归”o这预示了随后的几十年人工智能关于“结构与功能”两条路线的”斗争”。42克劳德香农(Claude Shannon)o信息论创始人克劳德香农(Claude Shannon)也被麦卡锡 邀请
31、参加了达特茅斯会议。当时已是贝尔实验室的资深 学者。o香农的硕士和博士论文都是关于如何实现布尔代数方面 的，由当时麻省理工学院校长布什(Bush)亲自指导。博 士毕业后香农去了普林斯顿高等研究院，曾和爱因斯坦、哥德尔、外尔(Weyl)等共事。o战争中，他一直在贝尔实验室做密码学工作，阿兰图 灵(Alan Turing)在 1943 年曾秘访美国，和同行交流破 解德国密码的经验，期间和香农曾有会晤，一起聊过通 用图灵机。战后香农去英国还回访过图灵，一起讨论计 算机下棋的问题。香农内向，以前从没说过这段往事，直到 1982 年接受一次采访时才提起。1950 年，香农在科学美国人发表过一篇关于计算机
32、下棋的文章。43人工智能第一次浪潮的特点44o 结构与功能n功能主义占主流这一时期的主要进展45o定理证明n1956年，CMU的LT程序证明了数学家罗素（Russel）所著数 学原理第二章的38条定理n1959年，洛克菲勒大学教授王浩使用“王算法”，证明了数 学原理全部350条定理n1963年，CMU改进的LT程序证明了数学原理第二章全部52条定理，该程序其后被改进成GPSo逻辑程序语言nPrologo产生式系统n一个综合DB+一组产生式规则+一个控制系统n研究重点p规则表达、规则生成、谓词演算、知识获取、.p搜索算法、启发式策略、第一次论战46o 1976年前后，由于四大预言实现遥遥无期，关
33、 于人工智能方法论的争论风声渐紧o 1977年，曾是Simon研究生的Feigenbaum提出知 识工程的概念，o 1981年，日本提出第五代计算所研究计划，延 续第一次浪潮的基本思路o 1960年代中后期，Minsky发表perceptrons，提 出用神经元网络仿真人工智能o 1979年，Minsky发表“K-lines:A Theory of Memory”人工智能的优秀研究者o Edward A(Ed)Feigenbaumn1936-n1956年，CMU本科n1960年，CMU博士n1965-2000年，斯坦福大学教授nNAE院士（1986）n1994年，ACM Turing Awar
34、dpFor pioneering the design and construction of large scale artificial intelligence systems,demonstrating the practical importance and potential commercial impact of artificial intelligence technology人工智能的优秀研究者o Dabbala Rajagopal(Raj)Reddyn1937年，出生于印度n1958年，印度Anne大学本科 n1966年，斯坦福大学博士 n1969年-，CMU教授nNA
35、E院士（1984）n中国工程院、中国科学院外籍院士nACM Turing Award(1994)p“For pioneering the design and construction of large scale artificial intelligence systems”482006）49o 人工神经元网络o 1975年，Paul Werbos提出了backpropagationalgorithm（BP算法），使得多层人工神经元网 络的学习变为可能o 1978年，甘利俊一出版神经元网络的数理o 1983年，Les Valiant发表“A theory of the learnable,
36、”o AI神经元网络方法（Neural Network Approach to AI）人工智能与控制论o Artificial Intelligence/artificial intelligenceo Cybernetics/cybernetics1990502000198019601970AICybernetics人体的神经系统CNS processes information and generates behavioral planPNS sensory neurons collect informationPNS motor neurons relay behavioral plan
37、 to musclesThe nervous system has three functions:1.Collect information2.Process information 3.Generate behaviorMark Gluck et al,Learning and Memory,2007 突触连接的可塑性lThere are many different neurotransmitters.lEach transmitter has several different receptors.lThe precise message depends on the specific
38、 transmitter and the specific receptor,so many different messages are possible.Mark Gluck et al,Learning and Memory,2007 大脑皮层的功能区lFrontal lobes(额叶)planning and performing complex actions lParietal lobes(顶 叶)touch,feeling,sense of space lOccipital lobes(枕叶)visionlTemporal lobes(颞叶)hearing and tempora
39、l processingMark Gluck et al,Learning and Memory,2007 视觉信息处理的多通道和深层学习结构Where 通路What 通路视点视点视觉信息处理的多通道和深层学习结构 Norbert Krger et al,PAMI 2013 视觉信息处理的多通道和深层学习结构聚类模型-自组织映射神经网络(Self-Organization Map,SOM)SOM T.Kohonen,SCIP1981W0W1W0=W0+W1,W1=W1+W0+输出层有横向 连接的神经元 把各自代表的 数据相互拉近感知机(Perceptron,1957)1Rosenblatt,F
40、rank(1957),The Perceptron-a perceiving and recognizing automaton.Report 85-460-1,Cornell Aeronautical Laboratory.l 线性分类模型l 使用差量法(Delta Rule)进行学习，在数据线性可 分时可以证明收敛偏置输出层y输入层xW,b2ii2min Loss|t y|iwji(t j y j)xi1wx b 0otherwisey 0误差反传网络(Back Propagation Net,1986)McClelland J L,Rumelhart D E,PDP Research G
41、roup.Parallel distributed processingJ.Explorations in the microstructure of cognition,1986,2.1偏置输出层yR,c隐含层h1W,b输入层xh(Wx b)y(Rh c)2ii2imin Loss|t y|Loss Loss y hWyh Wl 引入隐含层，可以进行 非线性分类l 理论上不限制隐含层个 数的情况下可以拟合任意 平滑曲线l 使用误差反传算法进行 快速学习支持向量机(Support Vector Machine,1995)Cortes,C.;Vapnik,V.(1995).Support-vec
42、tor networks.Machine Learning 20(3):73.1偏置输出层yw,b核映射层hl 约束分类器获取类间最 大Margin，推广性能良好l 利用核函数处理非线性分类问题hi(x,ki)输入层x22min12|w|w.r.tt(wh b)1y wh by1y-1y=022|w|2Margin支持向量人工智能第二次浪潮的特点61o 结构与功能n结构主义占优势第三次浪潮（2006-至今）o 基于互联网大数据的深度学习62人类大脑o基本信息n1.4-1.5公斤，占体重2%n功耗：20W，占人体的20%o大脑皮层：意识与信息处理n神经元数100B（100/200/1000亿）n
43、水平分功能区。区内密集连接，区间有侧连接n纵向分层6层。成柱(12M个)，每柱10K个神经元n每个神经元通过1000-10000突触与其他神经元相联n突触总数100T（60/150/240 T）n初级视皮层v1所在Brodmann 17区突触12Tn神经元的放电频率为200Hzo新皮层的计算能力估计 n人脑：100B突触200Hz=20 P/s 20W n天河2号：33.86 pfs18106Whttp:/faculty.washington.edu/chudler/facts.html#brain何谓机器学习o A computer program is said to learn from
44、 experience E with respect to some class of tasks T and performance measure P,if its performance at tasks in T,as measured by P,improves with experience Eo“机器学习是一门人工智能的科学，该领域的 主要研究对象是人工智能，特别是如何在经验 学习中改善具体算法的性能”。o“机器学习是对能通过经验自动改进的计算机 算法的研究”。o“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”64机器学习的分类o 监督学习从给定的训练数据集中学习
45、出一个函 数，当新的数据到来时，可以根据这个函数预 测结果。监督学习的训练集要求是包括输入和 输出，也可以说是特征和目标。训练集中的目 标是由人标注的。常见的监督学习算法包括回归 分析和统计分类。o 无监督学习与监督学习相比，训练集没有人为 标注的结果。常见的无监督学习算法有聚类。o 半监督学习介于监督学习与无监督学习之间。o 增强学习通过观察来学习做成如何的动作。每 个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。65机器学习算法o构造条件概率：回归分析和统计分类n人工神经网络n决策树（Decision tree）n高斯过程回归n线性判别分析n最近邻居法n感知器n径向
46、基函数核n支持向量机o通过再生模型构造概率密度函数（Probability density function）：n最大期望算法（Expectation-maximization algorithm）ngraphical model：包括贝叶斯网和Markov随机场nGenerative Topographic Mappingo近似推断技术n马尔可夫链（Markov chain）蒙特卡罗方法n变分法o最优化（Optimization）66AIo Deep Blue beats Kasparov(1997)nWon Fredkin PrizenNewell medals for Greenblat
47、t,Berliner,Thompson,etcpEssential stepping stones for Deep Blue Success1997 Chess World Champion Team(Top Image)and Chess Pioneers(Bottom Image)with Fredkin and Reddy Top Image:Raj Reddy,Murray Campbell,C B Hsu,and Joseph Hoane Jr.,Ed FredkinBottom Image:Murray Campbell,Joe Condon,Raj Reddy,Ken Thom
48、pson,C B Hsu,Richard Greenblatt,Larry Atkin,Hans Berliner,David Slate,Andreas Nowatzyk,Thomas Anantharaman,Gordon Goetsch,Ed Fredkin,Joseph Hoane JrAIo Machine Translation:Google Translate(2006+)nTolerable translation among 60+languagesnDeemed impossible 10 years agonRanked No 1 in NIST evaluation i
49、n 2009nAccess to very large data sets key,not just statisticsJeoperdyo Feb.2011,with two last champions Ken and Brad70）71o 非确定性信息处理与贝叶斯网络n以知识处理为核心的人工智能研究，常常遭遇非确 定性难题n以神经元网络为主的感知与识别系统，也会常常遭 遇识别率天花板n1984年，Judea Peral 发表了启发式搜索的论文：Heuristics:Intelligent Search Strategies for Computer Problem Solving，n19
50、85年，Judea Peral 提出贝叶斯网络概念o AI概率方法（Probabilistic Approach to AI）人工智能的优秀研究者本科士o Leslie Gabriel Valiantn1949-n1970年，Kings College,Cambridge n1974年，University of Warwick博 n1982年-，哈佛大学教授nNAS院士（2001）n2010，ACM Turing AwardpFor transformative contributions to the theory of computation,including the theory o
