1、第第7章章 云计算发展展望云计算发展展望内容提要内容提要7.1 “云计算云计算+大数据大数据+人工智能人工智能”三位一三位一体发展战略体发展战略7.2 云计算与新技术的融合云计算与新技术的融合7.3 云计算产业生态及其地位云计算产业生态及其地位7.4 面向新型计算模式的云计算面向新型计算模式的云计算2022-4-192内容提要内容提要7.1 “云计算云计算+大数据大数据+人工智能人工智能”三位一三位一体发展战略体发展战略7.2 云计算与新技术的融合云计算与新技术的融合7.3 云计算产业生态及其地位云计算产业生态及其地位7.4 面向新型计算模式的云计算面向新型计算模式的云计算2022-4-193
2、7.1 “云计算云计算+大数据大数据+人工智能人工智能”三三位一体发展战略位一体发展战略7.1.1 新型云计算引擎新型云计算引擎7.1.2 多模态大数据燃料多模态大数据燃料7.1.3 魔幻人工智能火箭魔幻人工智能火箭7.1.4 三位一体交互发展三位一体交互发展2022-4-1947.1 “云计算云计算+大数据大数据+人工智能人工智能”三三位一体发展战略位一体发展战略7.1.1 新型云计算引擎新型云计算引擎7.1.2 多模态大数据燃料多模态大数据燃料7.1.3 魔幻人工智能火箭魔幻人工智能火箭7.1.4 三位一体交互发展三位一体交互发展2022-4-195云计算云计算+大数据大数据+人工智能人工
3、智能2022-4-196大数据云计算人工智能现代新 科 技7.1.1 新型云计算引擎新型云计算引擎2003年云计算诞生年云计算诞生2008年年中国云计算的元年中国云计算的元年2009年年我国云计算应用全面落地我国云计算应用全面落地2022-4-197云计算与云服务遍地开花云计算与云服务遍地开花基于云计算的新平台和新服务将不断涌现并繁基于云计算的新平台和新服务将不断涌现并繁荣发展荣发展n硬件即服务硬件即服务Haas(Hardware as a service)n基础架构即服务基础架构即服务Iaas(Infrastructure as a service)n平台即服务平台即服务Paas(Platf
4、orm as a service)n软件即服务软件即服务Saas (Software as a service)n数据即服务数据即服务Daas(Data as a service)n物联网即服务物联网即服务Maas(Machine as a service)n一切事物即服务一切事物即服务Eaas(Everything as a service)2022-4-198云计算是新技术革命的发动机云计算是新技术革命的发动机为大数据与人工智能技术发展提供计算技为大数据与人工智能技术发展提供计算技术支撑术支撑n基于云的虚拟桌面基于云的虚拟桌面云脑将取代家庭和商云脑将取代家庭和商用用PCn计算和存储主要在云
5、端计算和存储主要在云端2022-4-199云计算是新技术革命的发动机云计算是新技术革命的发动机2022-4-19107.1 “云计算云计算+大数据大数据+人工智能人工智能”三三位一体发展战略位一体发展战略7.1.1 新型云计算引擎新型云计算引擎7.1.2 多模态大数据燃料多模态大数据燃料7.1.3 魔幻人工智能火箭魔幻人工智能火箭7.1.4 三位一体交互发展三位一体交互发展2022-4-19117.1.2 多模态大数据燃料多模态大数据燃料2022-4-1912包含文本、图片、视频、声音的多模态大数据2022-4-1913何谓大数据何谓大数据维基百科维基百科: : 大数据大数据Big DataB
6、ig Data是指大小超出是指大小超出了常用的软件工具在运行时间内可以承受了常用的软件工具在运行时间内可以承受的收集,管理和处理数据能力的数据集的收集,管理和处理数据能力的数据集狭义狭义: :超过内存容量的数据超过内存容量的数据大数据的规模大小是一个不断演化的指大数据的规模大小是一个不断演化的指标标目前范围是指在一个单一的数据集从数十目前范围是指在一个单一的数据集从数十TBTB到十几到十几PBPB级的数据规模级的数据规模nTBTBPBPBEBEBZBZB2022-4-1914大数据悖论大数据悖论1条条数据数据=小数据小数据2条条数据数据=小小数据数据3条条数据数据=小数据小数据n条条数据数据=
7、小小数据数据n +1条条数据数据=小小数据数据有限条数据是小数据有限条数据是小数据数学上看大数据数学上看大数据在数学上来看,计算机在数学上来看,计算机中存在不断变中存在不断变大的数据大的数据集集,不,不存在绝对的大存在绝对的大数据数据n计算机中的所有数据集都是有限计算机中的所有数据集都是有限集合集合n计算机计算机中不存在中不存在无限集合无限集合计算机计算机中的大数据集不具有无限可分割性中的大数据集不具有无限可分割性n没有比一个比特更小的数据没有比一个比特更小的数据单元单元计算机计算机中中的所有数据表达都有精度的限制的所有数据表达都有精度的限制n这种限制导致了算法精度的受限这种限制导致了算法精度
8、的受限n计算机无法对无理数进行运算得到精确结果计算机无法对无理数进行运算得到精确结果2022-4-1916大大数据数据的其它特征的其它特征稠密与稀疏共存:局部稠密与全局稀疏稠密与稀疏共存:局部稠密与全局稀疏冗余与缺失并在:大量冗余冗余与缺失并在:大量冗余与与局部缺失局部缺失显式与隐显式与隐式式均有均有:大量显:大量显式式与与丰富隐丰富隐式式静态与动态忽现:动态演进静态与动态忽现:动态演进与与静态关联静态关联多元与异质共处:多元多变与异质异性多元与异质共处:多元多变与异质异性量大与可用矛盾:量大低值与可用稀少量大与可用矛盾:量大低值与可用稀少2022-4-1917大数据规模的演化大数据规模的演化
9、1946年,美国陆军的巨大年,美国陆军的巨大ENIAC - 世界上第一个世界上第一个“电子大脑电子大脑”具备了处理信息的能力具备了处理信息的能力,从氢弹模型从氢弹模型计计算到用算到用来预测天气来预测天气今天,今天,CERN欧洲粒子物理实验室在瑞士日内瓦附欧洲粒子物理实验室在瑞士日内瓦附近的大型强子对撞机将产生平均一秒产生的数据要近的大型强子对撞机将产生平均一秒产生的数据要600万台万台ENIACs的存储的存储Cisco预测预测2013年互联网数据将达到年互联网数据将达到667EB2015年大型综合巡天望远镜会产生一个类似规模的年大型综合巡天望远镜会产生一个类似规模的数据数据2022-4-191
10、8人类社会数据的增长人类社会数据的增长2022-4-1919目前大数据的外延目前大数据的外延大大数据规模数据规模大小是一个不断演化的指大小是一个不断演化的指标标n当前任务处理的当前任务处理的单一单一的数据的数据集集n从从数十数十TB到十几到十几PB级的数据规模级的数据规模nTBPBEBZB处理大处理大数据的可等待的合理时间依赖任务的目标数据的可等待的合理时间依赖任务的目标n地震地震数据预测要求在几分钟内才有效数据预测要求在几分钟内才有效n气象气象数据应该在小时级别数据应该在小时级别n失失联飞机数据处理要在联飞机数据处理要在7天之内天之内n数据数据挖掘一般要求在挖掘一般要求在12小时内小时内20
11、22-4-1920大数据带来的数学问题大数据带来的数学问题大大数据数据采样采样n如何把大数据变小如何把大数据变小n如何找到与算法相适应的极小如何找到与算法相适应的极小样本集样本集n采样对算法误差的影响采样对算法误差的影响大数据如何表示大数据如何表示n表示决定存储表示决定存储n表示影响算法效率表示影响算法效率大数据不一致问题大数据不一致问题n导致算法失效和无解导致算法失效和无解n如何消解不一致如何消解不一致大大数据中的超高数据中的超高维问题维问题n超高超高维导致数据稀疏维导致数据稀疏n算法复杂度算法复杂度增加增加大数据中的不确定维问题大数据中的不确定维问题n多维度数据并存多维度数据并存n按按任务
12、定维难任务定维难大大数据中的不适数据中的不适定性问题定性问题n高维导致问题的解太多难以抉高维导致问题的解太多难以抉择择2022-4-1921大数据对科学规范的挑战大数据对科学规范的挑战大数据带来了新的科研范式大数据带来了新的科研范式大数据大数据如何如何应用于开放的研究应用于开放的研究如何重现大数据研究结果如何重现大数据研究结果大数据研究结果可信吗大数据研究结果可信吗大数据带来的社会问题大数据带来的社会问题谁谁有权收集大数据有权收集大数据谁有权谁有权拥有拥有大大数据数据大大数据数据生产生产如何如何规规划划大大数据污染如何控制数据污染如何控制大数据销毁大数据销毁如何如何抉择抉择大数据大数据如何如何
13、传传给给后代后代2022-4-1923大大数据数据带来的技术挑战带来的技术挑战n描述描述与存储的与存储的挑战挑战n高效查询高效查询大海捞针大海捞针n分析分析与理解的与理解的挑战挑战n理解大数据理解大数据盲人摸象盲人摸象n挖掘挖掘与预测的与预测的挑战挑战n增加样本增加样本容易,容易,降低算法降低算法复杂度难复杂度难n并非所有的算法具有高度的并行性并非所有的算法具有高度的并行性n并行不能降低算法复杂度并行不能降低算法复杂度195119561961196919731976197919831985199119952001200320082009磁带和穿磁带和穿孔卡片孔卡片磁盘驱磁盘驱动器动器第一个数第
14、一个数据库系统据库系统IDS关系数关系数据库据库网络模型网络模型数据库数据库第一个商用第一个商用关系数据关系数据第一个商用第一个商用SQL关系数关系数据据DB2数数据库据库第一个商务第一个商务智能系统智能系统构建数据构建数据仓库仓库分布式缓分布式缓存技术存技术基于基于MPP分布式数据分布式数据库库GFSHDFSHBaseHive大数据大数据VS云存储云存储 大数据管理的挑战大数据管理的挑战可扩展的数据管理可扩展的数据管理n弹性有效地利用现有资源减少弹性有效地利用现有资源减少管理管理操作的成本操作的成本对于大型应用程序的数据管理对于大型应用程序的数据管理n支持大单租户系统支持大单租户系统大型多租
15、户数据库大型多租户数据库n大量的应用程序每个程序占用大量的应用程序每个程序占用很很小的数据空间小的数据空间n支持更新密集型工作负载支持更新密集型工作负载n支持支持大型多用户系统大型多用户系统大数据管理的挑战大数据管理的挑战传递的格式和速度、规模和传递的格式和速度、规模和复杂性复杂性n需要管理内存需要管理内存DBMSDBMS分析分析已成为数据仓库的主要驱动已成为数据仓库的主要驱动应用应用, ,n外部外部和内部分别和内部分别使用使用MapReduceMapReduce和和DBMSDBMS按按需整合来自多个源信息的逻辑数据需整合来自多个源信息的逻辑数据仓库仓库n代替代替单一的数据仓库单一的数据仓库模
16、式模式大数据管理要求大数据管理要求传递的格式和速度、规模和复杂性已超出传统数传递的格式和速度、规模和复杂性已超出传统数据管理技术的能力,它们需要使用新的或先进的据管理技术的能力,它们需要使用新的或先进的技术并仅用来管理技术并仅用来管理容量容量, ,如内存如内存DBMSDBMS分析分析已成为数据仓库的主要驱动已成为数据仓库的主要驱动应用应用, ,其其外部和外部和内部分别使用了内部分别使用了MapReduceMapReduce和和DBMS,DBMS,同时同时还使用自还使用自助数据助数据集集未来用户未来用户不能将所有有用的信息放置在单一的数不能将所有有用的信息放置在单一的数据据仓库仓库按按需整合来自
17、多个源信息的逻辑数据仓库将代替需整合来自多个源信息的逻辑数据仓库将代替单一的数据仓库单一的数据仓库模式模式云存储云存储大数据管理途径大数据管理途径数据存储与管理关注大数据的容量数据存储与管理关注大数据的容量可扩展的数据管理可扩展的数据管理对于大型应用程序的数据管理对于大型应用程序的数据管理大型多租户数据库大型多租户数据库n在云中数据管理的另一个重要领域是需要支持大量的应在云中数据管理的另一个重要领域是需要支持大量的应用程序,其中每个应用程序占用一个用程序,其中每个应用程序占用一个很很小的数据空间小的数据空间n一个重要的开放问题是如何使一个重要的开放问题是如何使系统弹性系统弹性有效地利用现有有效
18、地利用现有资源,并最大限度地资源,并最大限度地减少的减少的操作的操作的成本成本n针对性的设计空间针对性的设计空间DBMSDBMS支持更新密集型工作负载,支持支持更新密集型工作负载,支持大单租户系统和大型多用户系统大单租户系统和大型多用户系统大数据:创新,竞争大数据:创新,竞争和和生产生产中的中的下一个前沿领域下一个前沿领域现代经济活动创新和增长根本不可能现代经济活动创新和增长根本不可能在在无无数据数据的情况下的情况下发生发生数据如同数据如同其他硬资产和人力资本等其他硬资产和人力资本等的的生产生产要素要素大数据是一个技术问题大数据是一个技术问题更更是商业机会是商业机会大数据分析大数据分析需要需要
19、应用先进的分析技术应用先进的分析技术复杂的统计算法成为复杂的统计算法成为常用常用的科学工具包的科学工具包数据挖掘成为理解数据的利器数据挖掘成为理解数据的利器2022-4-1930云计算的机遇云计算的机遇 数据处理规模大幅度提高数据处理规模大幅度提高由于并行化在利用原有设备的条件下就可以有大由于并行化在利用原有设备的条件下就可以有大幅度提高幅度提高 扩展性好扩展性好可以很方便地增加节点可以很方便地增加节点 容错计算健壮性强容错计算健壮性强可自动处理失败节点,具有高容错能力可自动处理失败节点,具有高容错能力个别节点个别节点downdown掉,仍能完成计算任务掉,仍能完成计算任务2022-4-193
20、1面临挑战1. 大数据集的挑战I.缺少大数据复杂度冗余度的度量方法II.缺少确保近似算法精度分析方法III.缺少根据分布知识对大数据进行抽样的方法2. 数据复杂性的挑战I.超高维、稀疏、多模态3. 数据动态增长的挑战1. 研究分布式并行计算环境下的大数据大数据分析的基本策略I.与数据分布相联系的分治策略II.与算法机理相结合的并行策略2. 研究复杂度降精度可控的新的大数据分析算法I.大数据分类、聚类、关联分析、异常发现等3. 大数据大数据分析平台研发研究内容大数据如何变小大数据如何变小分分治治唯有分治才能并行唯有分治才能并行唯有分治才能高效唯有分治才能高效合理分治是关键合理分治是关键综合以分治
21、为基础综合以分治为基础分治以综合为目标分治以综合为目标2022-4-1933大数据如何变小大数据如何变小择维择维相对特定任务大数据属性冗余相对特定任务大数据属性冗余属性地位不同权重不同属性地位不同权重不同高度相关属性可互相代替高度相关属性可互相代替无关属性可以去除无关属性可以去除2022-4-1934大数据如何变小大数据如何变小抽样抽样能发现大数据分布的算法能发现大数据分布的算法n庖丁解牛庖丁解牛能反映大数据分布的抽样方法能反映大数据分布的抽样方法n解剖麻雀解剖麻雀追求追求高效高效并行的并行的全量数据挖掘的全量数据挖掘的算法算法离不离不开抽样开抽样n治大国如烹小鲜治大国如烹小鲜大数据理解大数据
22、理解分布分布理解分布理解分布知己知彼选择算法知己知彼选择算法分布决定抽样分布决定抽样分布决定挖掘性能分布决定挖掘性能2022-4-1936大数据理解大数据理解语义语义理解语义理解语义智能应用的核心与关键智能应用的核心与关键发现语义发现语义提高机器智能提高机器智能2022-4-1937大大数据数据挖掘的云计算时代挖掘的云计算时代-作为一个独作为一个独立的应用立的应用-支持一个或支持一个或者多个算法者多个算法-独立的系统独立的系统-单个机器单个机器-向量数据向量数据-和数据库以及和数据库以及数据仓库集成数据仓库集成-多个算法多个算法-数据管理系统数据管理系统-同质、局部区同质、局部区域计算机群集域
23、计算机群集-有些系统支持有些系统支持对象,文本和对象,文本和连续媒体数据连续媒体数据-和预测模型系和预测模型系统集成统集成-多个算法多个算法-数据管理和预数据管理和预测模型系统测模型系统-Intranet /extranet网络网络计算计算-支持半结构化支持半结构化数据和数据和web数数据据-分布式数据挖分布式数据挖掘掘-多个算法分布多个算法分布在多个节点在多个节点-算法、调度系算法、调度系统统-网格计算网格计算-普遍存在的数普遍存在的数据模型据模型-基于云计算的基于云计算的并行数据挖掘并行数据挖掘与服务与服务-同一个算法分同一个算法分布在多个节点、布在多个节点、多个算法之间多个算法之间并行并
24、行-计算资源按需计算资源按需分配分配-云计算云计算-HDFS、HBASE第一代第一代第二代第二代第三代第三代第四代第四代第五代第五代大数据挖掘关注大数据挖掘关注获取有效的、可理解的获取有效的、可理解的知识知识数据挖掘任务更关注大数据挖掘算法运数据挖掘任务更关注大数据挖掘算法运行的计算时间行的计算时间精准的数据挖掘算法的计算量如何减下精准的数据挖掘算法的计算量如何减下来来2022-4-1939大数据挖掘需求大数据挖掘需求 大数据挖掘需要大数据挖掘需要什么样的算法什么样的算法针对针对大数据挖掘的关联分析、聚类分析、大数据挖掘的关联分析、聚类分析、分类分析、异常分析、演变分析等等分类分析、异常分析、
25、演变分析等等大数据挖掘受算法复杂度、并行度和数据大数据挖掘受算法复杂度、并行度和数据吞吐速度的制约吞吐速度的制约大数据挖掘能处理大数据挖掘能处理高维高维、多模态、多类大多模态、多类大数据数据大大数据挖掘数据挖掘的关键问题与核心技术的关键问题与核心技术n关键问题关键问题w高效数据预处理高效数据预处理w海量数据实时联机在线分析海量数据实时联机在线分析w高效数据挖掘算法并行化高效数据挖掘算法并行化w行业数据挖掘行业数据挖掘n核心技术核心技术w高效并行的预处理算法高效并行的预处理算法w交互友好的联机在线分析技交互友好的联机在线分析技术术w高效的并行化策略高效的并行化策略w行业相关的高效挖掘策略行业相关
26、的高效挖掘策略41高效分布式并行挖掘主体分布式云计算并行模型算法适应性跨多领域迁移学习大数据挖掘高效挖掘算法并行化策略大数据挖掘要求大数据挖掘要求n选择复杂度低的算法选择复杂度低的算法w数据挖掘算法往往是高复杂度数据挖掘算法往往是高复杂度甚至是甚至是NP难难w增加十倍的样本容易,由此带来百倍以上的计算增加十倍的样本容易,由此带来百倍以上的计算量是难以承受的量是难以承受的w尽量尽量把全局最优问题转化成局部最优的把全局最优问题转化成局部最优的问题问题w近似近似线性、或者尽量低阶的多项式复杂度线性、或者尽量低阶的多项式复杂度算法算法n高效高效并行的并行的策略策略w需要需要高超高超的递归的递归改为改为
27、循环的循环的技巧技巧w尽量避免使用全局信息尽量避免使用全局信息2022-4-1942大数据挖掘云服务大数据挖掘云服务云计算模式是基石云计算模式是基石没有云计算就没有没有云计算就没有大数据挖掘大数据挖掘n保证分布式并行数据挖掘保证分布式并行数据挖掘n高效实时挖掘高效实时挖掘云服务模式是普惠模式云服务模式是普惠模式n保证挖掘技术的共享保证挖掘技术的共享n降低数据挖掘应用门槛降低数据挖掘应用门槛n满足大数据挖掘需求满足大数据挖掘需求2022-4-1943大大数据数据数据挖掘数据挖掘云服务平台云服务平台4444n2008年底,中国科学院计算技术研究所机器学习与数据挖掘组开发完成中国最早的基于云计算平台
28、的并行数据挖掘系统之一n用于中国移动TB级实际数据测试,挖掘客户行为、分析网络流量,实现高性能低成本的数据挖掘nPDMiner(1.0)于2008年开发完成nMahout(0.8)于2013年7月份发布大数据挖掘云服务平台 PDMiner是一个集成各种并行算法的数据挖掘工具平台,其中的并行计算模式不仅包括算法之间的并行,而且包括算法内部的并行4545PDMiner体系结构n主要包括四个子系统:工作流子系统、用户接口子系统、并行ETL子系统和并行数据挖掘子系统n工作流子系统提供了友好的界面方便用户定义各种数据挖掘任务用户接口可以对算法的参数进行设置以及通过结果展示模块分析挖掘结果并做出相应的决策
29、n并行ETL算法子系统和并行数据挖掘算法子系统是PDMiner的核心部分,直接对存储在HDFS系统上的数据进行处理、挖掘,ETL算法处理后的结果可作为数据挖掘算法的输入46云计算与大数据关系云计算与大数据关系2022-4-1947云计算与大数据关系云计算与大数据关系云计算为大数据提供强大平台云计算为大数据提供强大平台从大数据分析出的结论体现云计算价值从大数据分析出的结论体现云计算价值多模态大数据是新技术革命的多模态大数据是新技术革命的“能源能源”,是是“燃料燃料”随着围棋随着围棋AlphaGo的成功,大数据技术的成功,大数据技术又进入人工智能的阶段。又进入人工智能的阶段。2022-4-1948
30、7.1 “云计算云计算+大数据大数据+人工智能人工智能”三三位一体发展战略位一体发展战略7.1.1 新型云计算引擎新型云计算引擎7.1.2 多模态大数据燃料多模态大数据燃料7.1.3 魔幻人工智能火箭魔幻人工智能火箭7.1.4 三位一体交互发展三位一体交互发展2022-4-19497.1.3 魔幻人工智能火箭魔幻人工智能火箭 2022-4-1950AlphaGo 版本更新版本更新AlphaGo Fan: 就是就是Nature 2016 论文描论文描述的版本,述的版本,5:0 胜樊麾胜樊麾AlphaGo Lee: 这个这个4:1胜李世石的版本,胜李世石的版本,由分布式由分布式 GPU 升级为分布
31、式升级为分布式 TPUAlphaGo Master: 17年初网上快棋年初网上快棋60:0赢了中日韩顶尖职业棋手,赢了中日韩顶尖职业棋手,Master 微调微调版版17年年5月月 3:0 胜柯洁胜柯洁AlphaGo Zero不学习棋谱,但它以不学习棋谱,但它以100:0的战绩击败前辈机器对手的战绩击败前辈机器对手AlphaGo Master2022-4-1951AlphaGo 版本更新版本更新AlphaGo Zero: AlphaGo Zero 和和 AlphaGo Master 相比,主要改动有两处相比,主要改动有两处: n1) 直接使用棋子位置做神经网络输入,不再直接使用棋子位置做神经网络
32、输入,不再使用人工特征使用人工特征 (AlphaGo Lee/Master/Fan 用用过的人工特征包括过的人工特征包括: 当前位置是否是征子当前位置是否是征子/引引征,征, 当前位置吃子当前位置吃子/被吃子数目,被吃子数目, 本块棋的本块棋的气数等气数等);n 2) 初始训练时不再使用人类棋谱做有监督学初始训练时不再使用人类棋谱做有监督学习,而是直接从基于围棋规则的随机下法开习,而是直接从基于围棋规则的随机下法开始强化学习始强化学习2022-4-1952电脑下围棋是要做些什么?电脑下围棋是要做些什么?2022-4-1953如何表示棋盘特征?如何表示棋盘特征?2022-4-1954如何决定下一
33、步是最优的最原始的方法?如何决定下一步是最优的最原始的方法?2022-4-1955关键是降低搜索广度与深度关键是降低搜索广度与深度2022-4-1956深度学习技术,策略网络价值网络深度学习技术,策略网络价值网络2022-4-1957深度学习深度学习-卷积神经网络卷积神经网络2022-4-1958策略网络策略网络Case 1: 落子选择器落子选择器2022-4-1959Case 2: 落子选择器落子选择器 蒙特卡洛树搜蒙特卡洛树搜索(推演到最后结果)索(推演到最后结果)2022-4-1960Case 3: 落子选择器落子选择器 蒙特卡洛树搜蒙特卡洛树搜索索 棋局价值评估器棋局价值评估器2022
34、-4-1961谁的功劳大?谁的功劳大?2022-4-1962AlphaGo Zero的突破的突破AlphaGo Zero: AlphaGo Zero 和和 AlphaGo Master 相比,主要改动有两处相比,主要改动有两处: n1) 直接使用棋子位置做神经网络输入,不再直接使用棋子位置做神经网络输入,不再使用人工特征使用人工特征 (AlphaGo Lee/Master/Fan 用用过的人工特征包括过的人工特征包括: 当前位置是否是征子当前位置是否是征子/引引征,征, 当前位置吃子当前位置吃子/被吃子数目,被吃子数目, 本块棋的本块棋的气数等气数等);n 2) 初始训练时不再使用人类棋谱做有
35、监督学初始训练时不再使用人类棋谱做有监督学习,而是直接从基于围棋规则的随机下法开习,而是直接从基于围棋规则的随机下法开始强化学习始强化学习2022-4-1963AlphaGo ZeroMastering the Game of Go without Human KnowledgeFigure 1: Self-play reinforcement learning in AlphaGo Zero2022-4-1964AlphaGo Zero2022-4-1965Figure 2: Monte-Carlo tree search in AlphaGo Zero.谁之功?谁之功?Our result
36、s comprehensively demonstrate that a pure reinforcement learning approach is fully feasible, even in the most challenging of domains: it is possible to train to superhuman level, without human examples or guidance, given no knowledge of the domain beyond basic rules.2022-4-1966AlphaGo ZeroWithout Hu
37、man Knowledge?n棋盘结构、规则不是知识吗?棋盘结构、规则不是知识吗?n实际上是冷启动无实例或无样本实际上是冷启动无实例或无样本n规则能保证获得大量实例和样本规则能保证获得大量实例和样本属于机器生成的大数据人工智能属于机器生成的大数据人工智能2022-4-1967谁的功劳大?谁的功劳大?先验的确定的围棋结构和规则决定了明确先验的确定的围棋结构和规则决定了明确的目标的目标确定的学习方法:强化学习确定的学习方法:强化学习 大样本大样本实例实例理论搜索空间确定的不确定环境下的推理理论搜索空间确定的不确定环境下的推理与决策:蒙特卡洛树搜索与决策:蒙特卡洛树搜索2022-4-1968谁的功劳
38、大?谁的功劳大?算法基础:强化学习、蒙特卡洛方法算法基础:强化学习、蒙特卡洛方法计算基础:分布式并行计算、计算基础:分布式并行计算、GPU内存内存计算、大数据技术计算、大数据技术知识基础:千年固化的围棋结构和规则知识基础:千年固化的围棋结构和规则2022-4-1969AlphaGo Zero不是无师自通的不是无师自通的无师自通:指没有经过老师或者其他人的传授和指无师自通:指没有经过老师或者其他人的传授和指点帮助就能理解、摸透或者通晓某种东西点帮助就能理解、摸透或者通晓某种东西一点就通:举一反三,但机器学习往往举三反一一点就通:举一反三,但机器学习往往举三反一AlphaGo Zero拥有拥有4个
39、个TPU,其自我训练的时间为,其自我训练的时间为3天,自我对弈的棋局数量为天,自我对弈的棋局数量为490万盘。但它以万盘。但它以100:0的战绩击败前辈的战绩击败前辈不学习人类棋谱不等于零知识不学习人类棋谱不等于零知识围棋规则无论人或机器都要遵守,机器不能自主修围棋规则无论人或机器都要遵守,机器不能自主修改规则改规则2022-4-1970三位一体发展三位一体发展人工智能的新兴关键技术是深度学习人工智能的新兴关键技术是深度学习深度学习是在深度学习是在云计算云计算和大数据日趋成熟的和大数据日趋成熟的背景下取得了实质性进展背景下取得了实质性进展云计算为深度学习提供了平台云计算为深度学习提供了平台大数
40、据为深度学习提供了基石大数据为深度学习提供了基石云计算与大数据技术的快速迭代,加快了云计算与大数据技术的快速迭代,加快了人工智能应用的落地人工智能应用的落地2022-4-1971人工智能的云化人工智能的云化人工智能成为更高层次的云计算服务人工智能成为更高层次的云计算服务谷歌谷歌 Cloud Vision API,开发者可以将,开发者可以将谷歌的图片识别技术应用到自己的产品谷歌的图片识别技术应用到自己的产品开源人工智能工具开源人工智能工具TensorFlow也已经成也已经成为为GitHub上机器学习类算法库的第一选上机器学习类算法库的第一选择择TensorFlow能够运行在个人电脑或者服能够运行
41、在个人电脑或者服务器的单个或多个务器的单个或多个CPU和和GPU上上2022-4-1972人工智能如火箭般推进人工智能如火箭般推进人工智能是一个强有力的加速器,它使人人工智能是一个强有力的加速器,它使人类的脑力变得强大类的脑力变得强大人工智能如火箭般推进的阶段,带来这种人工智能如火箭般推进的阶段,带来这种变化的基础是万物互联之后云计算处理速变化的基础是万物互联之后云计算处理速度的飞跃提升与人工智能的自我进化度的飞跃提升与人工智能的自我进化在大数据时代人工智能将是人类智能未来在大数据时代人工智能将是人类智能未来进化的方向进化的方向2022-4-1973人工智能如火箭般推进人工智能如火箭般推进无人
42、超市、无人物流、无人工厂、无人餐无人超市、无人物流、无人工厂、无人餐厅从传说变成身边的事实厅从传说变成身边的事实腾讯云将在计算机视觉、自然语言处理、腾讯云将在计算机视觉、自然语言处理、语音识别等领域的三大核心人工智能能力语音识别等领域的三大核心人工智能能力方面,通过腾讯云以智能即服务的方式开方面,通过腾讯云以智能即服务的方式开放给各行各业。放给各行各业。2022-4-1974人工智能如火箭般推进人工智能如火箭般推进银行业已经开始使用银行业已经开始使用Palantir等数据公司等数据公司的科技来保护内部的科技来保护内部IPIBM超级计算机系统超级计算机系统Watson借此降低贷借此降低贷款拖欠款
43、拖欠李彦宏乘坐无人驾驶汽车在北京五环路兜李彦宏乘坐无人驾驶汽车在北京五环路兜风风阿里城市大脑在杭州萧山启动,将车辆通阿里城市大脑在杭州萧山启动,将车辆通行速度提高行速度提高11%2022-4-1975人工智能何时超越人类人工智能何时超越人类牛津大学人类未来研究所研究报告牛津大学人类未来研究所研究报告2024年翻译语言年翻译语言2026年撰写高中论文年撰写高中论文2027年驾驶卡车年驾驶卡车2031年在零售业工作年在零售业工作2049年写一本畅销书年写一本畅销书2053年成为一名外科医生年成为一名外科医生2022-4-19767.1 “云计算云计算+大数据大数据+人工智能人工智能”三三位一体发展
44、战略位一体发展战略7.1.1 新型云计算引擎新型云计算引擎7.1.2 多模态大数据燃料多模态大数据燃料7.1.3 魔幻人工智能火箭魔幻人工智能火箭7.1.4 三位一体交互发展三位一体交互发展2022-4-19777.1.4 三位一体交互发展三位一体交互发展深度学习这台火箭深度学习这台火箭燃料为大数据燃料为大数据云计算则是引擎云计算则是引擎“云计算云计算+大数据大数据+人人工智能工智能”三位一体的三位一体的发展趋势发展趋势2022-4-1978“云计算云计算+大数据大数据+人工智能人工智能”三三位一体位一体2022-4-1979“云计算云计算+大数据大数据+人工智能人工智能”三三位一体位一体云计
45、算已经不是简单的云存储,或是对计云计算已经不是简单的云存储,或是对计算能力的需求,而是越来越与大数据和人算能力的需求,而是越来越与大数据和人工智能的融合工智能的融合大数据进入一个全新的阶段,也就是人工大数据进入一个全新的阶段,也就是人工智能的阶段智能的阶段2022-4-19807.2云计算与新技术的融合云计算与新技术的融合7.2.1 新互联网技术新互联网技术7.2.2 新信息通信技术新信息通信技术7.2.3 新人工智能技术新人工智能技术7.2.4 跨界服务中云计算与新技术的融合跨界服务中云计算与新技术的融合2022-4-19817.2云计算与新技术的融合云计算与新技术的融合7.2.1 新互联网
46、技术新互联网技术7.2.2 新信息通信技术新信息通信技术7.2.3 新人工智能技术新人工智能技术7.2.4 跨界服务中云计算与新技术的融合跨界服务中云计算与新技术的融合2022-4-19827.2.1新互联网技术新互联网技术除传统的互联网以外的新网络技术包含物除传统的互联网以外的新网络技术包含物联网、车联网、移动互联网、卫星网、天联网、车联网、移动互联网、卫星网、天地一体化网、未来互联网等技术。云计算地一体化网、未来互联网等技术。云计算已经与传统网络联系在一起,正在与物联已经与传统网络联系在一起,正在与物联网、车联网、移动互联网、卫星网、天地网、车联网、移动互联网、卫星网、天地一体化网进行深度
47、的结合一体化网进行深度的结合、将来在未来互将来在未来互联网也会发挥出越来越大的作用。联网也会发挥出越来越大的作用。2022-4-1983互联网的转型互联网的转型主干网带宽每六个月加一倍,而每比特的主干网带宽每六个月加一倍,而每比特的费用将趋于零费用将趋于零CPU性能提高了性能提高了3500倍,但内存和硬盘倍,但内存和硬盘的价格却分别下降了的价格却分别下降了45000倍和倍和360万倍万倍终端计算都进入网络计算,离线进入了在终端计算都进入网络计算,离线进入了在线时代线时代云计算模式和技术都有了新的变化,云服云计算模式和技术都有了新的变化,云服务变得与位置无关,实时性更强务变得与位置无关,实时性更
48、强2022-4-1984美国美国2016-2045年新兴科技趋势年新兴科技趋势报告报告物联网列为第物联网列为第1项项将会有超过将会有超过1千亿的设备连接在互联网上千亿的设备连接在互联网上物联网、基于云计算的大数据分析、以及物联网、基于云计算的大数据分析、以及人工智能这三大技术之间的合作将会在世人工智能这三大技术之间的合作将会在世界上创造出一个巨大的智能机器网络界上创造出一个巨大的智能机器网络网络安全和个人隐私网络安全和个人隐私问题问题。恐怖分子,犯。恐怖分子,犯罪集团以及敌对势力将会利用物联网作为罪集团以及敌对势力将会利用物联网作为新的攻击手段新的攻击手段2022-4-1985下一代网络下一代
49、网络第二代中国教育和科研计算机网第二代中国教育和科研计算机网CERNET2CERNET拥有主干线光纤超过拥有主干线光纤超过30000公里,公里,实际安装传输网设备超过实际安装传输网设备超过22000公里,公里,38个核心节点的互联带宽普遍达到个核心节点的互联带宽普遍达到10G或以或以上,建成了覆盖上,建成了覆盖21个城市、个城市、23个核心节个核心节点的点的100G CERNET主干网主干网2022-4-1986下一代网络下一代网络清华大学建成中国下一代互联网国内清华大学建成中国下一代互联网国内/国国际交换中心际交换中心CNGI-IX,为国内其它下一代,为国内其它下一代互联网提供互联网提供1-
50、10Gbps的互连的互连视频直播系统视频直播系统客户在线学习客户在线学习2022-4-1987新型互联网与云计算、大数据的新型互联网与云计算、大数据的关系关系2022-4-19887.2云计算与新技术的融合云计算与新技术的融合7.2.1 新互联网技术新互联网技术7.2.2 新信息通信技术新信息通信技术7.2.3 新人工智能技术新人工智能技术7.2.4 跨界服务中云计算与新技术的融合跨界服务中云计算与新技术的融合2022-4-19897.2.2新信息通信技术新信息通信技术与云计算相关的新信息通信技术包括大数与云计算相关的新信息通信技术包括大数据、区块链技术、智能芯片、虚拟现实、据、区块链技术、智