云计算与大数据概述课件.pptx

1、of39大 数 据 与 云 计 算大数据时代云计算大数据的计算云计算发展现状云计算实现机制云计算压倒性的成本优势2of391.1大数据时代“大数据”(Big Data)的搜索指数数据来源：百度指数 baidu“大数据”这个词从2012年才引起关注，之后搜索量便迅猛增长。为什么大数据这么受关注？3of3930501612805408001200180079003500005000100001500020000250003000035000400002004200520062007200820092010201120152020(EB)(年份)全球数据总量变化图1.1大数据时代4of39为什么全球

2、数据量增长如此之快？of39一：数据产生方式的改变二：人类的活动越来越依赖数据1.人类的日常生活已经与数据密不可分2.科学研究进入了“数据科学”时代3.各行各业也越来越依赖大数据手段来开展工作1.1大数据时代6of39何谓大数据？海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。定义8of395V多样（Variety）快速（Velocity）价值密度低（Value）真实性（Veracity）数据量大（Volume）存储的数据量巨大，PB级别是常态，因而对其分析的计算量也大。通常人们把PB（=1,024TB）级别以上的数据称为大

3、数据。数据的来源及格式多样，数据格式除了传统的结构化数据外，还包括半结构化或非结构化数据，比如用户上传的音频和视频内容。而随着人类活动的进一步拓宽，数据的来源更加多样。现实世界中的数据普遍存在模糊性、不一致性或含有噪声，比如当传感器受到外界干扰时，将导致所测的数据存在误差等。数据增长速度快，而且越新的数据价值越大，这就要求对数据的处理速度也要快，以便能够从数据中及时地提取知识，发现价值。在连续不间断监控视频中，其中有价值的数据可能只有一两秒，这些需要通过数据挖掘技术来发现。1.1大数据时代9of391.1大数据时代10谷歌通过网民搜索行为预测流感爆发应用案例of391.1大数据时代1150km

4、x40km空气质量检测站应用案例of391.1大数据时代12AlphaGo:李世石=4:1应用案例of391.1大数据时代13大数据时代的挑战 2012年春节，铁道部推出12306网站，进行网络实名购票。但出现大量用户无法登录，页画刷新时间长达30分钟，定票付了款却无法购票。数据量大of391.1大数据时代14大数据时代的挑战 2013年3月4日7点20分，在北国长春就发生婴儿随车被盗事件。一辆车牌号为吉AMM102的灰色RAV4车辆被盗，而当时，一个男婴就在车内。2013年3月5日8点找到车。实时处理of391.1大数据时代15大数据时代的挑战不确定性of391.1大数据时代16 谷歌监视着

5、我们的网页浏览习惯；淘宝监视着我们的购物习惯；微信似乎什么也都知道，不仅窃听到了我们的心思，还能描绘我们的社交关系网。大数据时代的挑战隐私问题of391.1大数据时代17隐私问题大数据时代云计算大数据的计算云计算发展现状云计算实现机制云计算压倒性的成本优势of39G=f(x)大数据与云计算的关系我们的目标云计算大数据1.2云计算大数据的计算19云计算长定义云计算短定义云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算是通过网络按需提供可动态伸缩的廉价计算服务。of39云计算的7个特点超大规模虚 拟 化高可靠性通

6、 用 性高可伸缩性按需服务极其廉价1.2云计算大数据的计算21of39将软件作为服务SaaS（Software as a Service）将平台作为服务PaaS（Platform as a Service）将基础设施作为服务IaaS（Infrastructure as a Service）针对性更强，它将某些特定应用软件功能封装成服务如：Salesforce online CRM对资源的抽象层次更进一步，提供用户应用程序运行环境如：Google App Engine Microsoft Windows Azure将硬件设备等基础资源封装成服务供用户使用如：Amazon EC2/S3云计算按服务

7、类型大致分为三类：专用通用1.2云计算大数据的计算22大数据时代云计算大数据的计算云计算发展现状云计算实现机制云计算压倒性的成本优势of3924微软紧跟云计算步伐，推出了Windows Azure操作系统国外云计算的先行者亚马逊的云计算称为Amazon Web Services（AWS）谷歌是最大的云计算技术的使用者of39率先在全球提供了弹性计算云EC2（Elastic Computing Cloud）和简单存储服务S3（Simple Storage Service），为企业提供计算和存储服务。收费的服务项目包括存储空间、带宽、CPU资源以及月租费。AWS服务的种类非常齐全全球用户数量已经超

8、过100万25of39最大的云计算技术的使用者谷歌搜索引擎就建立在分布在200多个站点、超过100万台的服务器的支撑之上，而且这些设施的数量正在迅猛增长发表学术论文的形式公开其云计算三大法宝：GFS、MapReduce和Bigtable，并在美国、中国等高校开设如何进行云计算编程的课程采用Google Docs之类的应用，用户数据会保存在互联网上的某个位置，可以通过任何一个与互联网相连的终端十分便利地访问和共享这些数据谷歌已经允许第三方在谷歌的云计算中通过Google App Engine运行大型并行应用程序26of39微软于2008年10月推出了Windows Azure操作系统。Azure

9、(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型。微软的云平台包括几十万台服务器。在中国，微软2014年3月27日宣布由世纪互联负责运营的Microsoft Azure公有云服务正式商用，这是国内首个正式商用的国际公有云服务平台。Azure的底层是微软全球基础服务系统，由遍布全球的第四代数据中心构成。微软将为Windows Azure用户推出许多新的功能，不但能更简单地将现有的应用程序转移到云中，而且可以加强云托管应用程序的可用服务，充分体现出微软的“云”+“端”战略。27of39国内云计算崛起代表企业28存储服务为特色多处拥有云计算数据中心游戏托管为特色国际上云计算产

10、品最全提供类似AWS服务专门支撑智能硬件大数据免费托管大数据时代云计算大数据的计算云计算发展现状云计算实现机制云计算压倒性的成本优势29of39服务接口服务注册服务查找服务访问服务工作流SOA（Service-Oriented Architecture）构建层管理中间件层用户环境配置计算资源池存储资源池网络资源池数据资源池软件资源池计算机存储器网络设施数据库软件资源池层物理资源层账号管理用户管理任务管理资源管理用户交互管理使用计费身份认证访问授权综合防护安全审计安全管理任务调度映像部署和管理任务执行生命期管理故障检测负载均衡故障恢复监视统计1.4云计算实现机制30of39计算机、存储器、网络设

11、施、数据库和软件等 封装云计算能力成标准的Web Services服务，并纳入到SOA体系云计算的资源管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务 将大量相同类型的资源构成同构或接近同构的资源池云计算体系结构SOA构建层 管理中间件层 物理资源层资源池层 管理中间件层和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。1.4云计算实现机制31of39均衡使用云资源节点，检测节点故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计 资源管理 任务管理安全管理 用户管理 云计算的管理中间件层云计算的管理中间件层 执行用户或应用提交的任务，包括完 成

12、用户任务映象（Image）的部署和管理、任务调度、任务执行、任务生命期管理等 实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等 保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等 1.4云计算实现机制32of39简化的简化的IaaSIaaS实现机制图实现机制图服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。用户交互接口向应用以Web Serv

13、ices方式提供访问接口，获取用户需求。1.4云计算实现机制33大数据时代云计算大数据的计算云计算发展现状云计算实现机制云计算压倒性的成本优势of3935全球企业IT开销发展趋势Source:IBM Corporate Strategy analysis of IDC data,Sept.20071.5云计算压倒性的成本优势of3936项目中型数据中心成本特大型数据中心成本比率网络$95 每 Mb/秒/月$13 每 Mb/秒/月7.3存储$2.20 每 GB/月$0.40 每 GB/月5.7管理每个管理员约管理140个服务器每个管理员管理1000个服务器以上7.1中型数据中心和特大型数据中心的

14、成本比较1.5云计算压倒性的成本优势of3937价格 地点可能的定价原因3.6美分爱达荷州水力发电，没有长途输送10.0美分加州电力在电网上长途输送，湾区的输送线有限，加州不允许煤电18.0美分夏威夷发电的能源需要海运到岛上美国不同地区电力价格的差异1.5云计算压倒性的成本优势“信息时代核电站”Google数据中心of39云计算将计算变成了大众用得上和用得起的“水和电”成 本 资源利用率 硬件成本电价管理费用10%15%80%57倍30倍节约总成本云计算较之传统方式的性价比优势1.5云计算压倒性的成本优势39of391.大数据现象是怎么形成的？2.云计算有哪些特点？3.云计算按照服务类型可以分为哪几类？4.云计算技术体系结构可以分为哪几层？5.在性价比上云计算相比传统技术为什么有 压倒性的优势？问题：