云计算及其关键技术课件.ppt

1、 22022-6-9OutlineOutline云计算概述云计算体系结构云计算应用云计算关键技术云计算的发展与研究热点 32022-6-9云计算概述云计算概述云计算发展趋势云计算发展趋势集群计算集群计算云计算云计算网格计算网格计算 42022-6-9云计算概述云计算概述云计算概念云计算概念云计算(Cloud Computing)是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。伯克利白皮书：云计算是一种商业模式商业模式，它将计算任务分布到大量的计算机、服务器构成的资源池资源池上，使用用户能够按需获取按需获取计算能力、存储空间和信息服务。40多亿的移动电话多亿的移动电

2、话一一 2010年年 数据来源数据来源: Nokia个人电脑和笔记本电脑个人电脑和笔记本电脑企业电脑和服务器企业电脑和服务器PDA 52022-6-9云计算概述云计算概述云计算综述云计算综述n 数据在云端：不怕丢失,不必备份,可以任意点的恢复 ；n 软件在云端：不必下载自动升级 ；n 无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；n 无限强大的计算：具有无限空间的，无限速度。硬件为中心软件为中心 服务为中心 PCC/S云计算 62022-6-9云计算概述云计算概述云计算特点云计算特点n 超大规模超大规模 Google云计算拥有100多万台服务器，Amazon、IBM等

3、也有几十万台。n 虚拟化虚拟化 物理属性（地理位置、存储磁盘等）对用户透明。n 高可靠性高可靠性 数据具有多副本容错、计算节点同构来保障服务的高可靠性。n 通用性通用性 在云计算支撑下，可以构造千变万化的应用服务。n 高可伸缩性高可伸缩性 规模可以动态伸缩，满足应用和用户规模增长的需要。n 按需服务按需服务 将计算作为一种资源，用户按需购买n 极其廉价极其廉价 体现在多个方面，计算节点廉价、管理成本低、能源利用率高等。 72022-6-9云计算概述云计算概述云计算服务类型云计算服务类型n IaaS（ Infrastructure as a Service ）；将硬件设备等基础资源封装成服务提供

4、给用户使用。如Amazon云计算的Amazon Web Service 的弹性计算云和简单存储服务。n PaaS（ Platform as a Service ） ；对资源的抽象层次更近一步，提供用户应用程序的运行环境，如Google App Engine。n SaaS（ Software as a Service ） ；它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。 82022-6-9云计算概述云计算概述云计算优势云计算优势67.2%73.3%77.0%77.5%77.9%81.5%83.6%0% 10%20%30%40%50%60%70

5、%80%90%系统和信息共享更容易支持、推行IT标准提供最新的技术和功能IT人员减少，费用降低每月花费低无多余的开支开发容易快速% 问题响应率 3, 4 or 5Q: 云计算能带来的好处的调查与评估 数据来源: IDC Enterprise Panel, August 2008 n=244 92022-6-9OutlineOutline云计算概述云计算应用云计算关键技术云计算体系结构云计算的发展与研究热点 102022-6-9云计算体系结构云计算体系结构 112022-6-9n 物理资源层；计算机、存储器、网络设施、数据库和软件。根据不同的需求增加其他硬件。n 资源池层；将大量相同类型的资源构

6、成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗。n 管理中间件；负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务n SOA构建层它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（CRM）。云计算体系结构云计算体系结构 122022-6-9云计算的管理中间件管理中间件负责资源管理、任务管理、用户管理和安全管理资源管理、任务管理、用户管

7、理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。云计算体系结构云计算体系结构 132022-6-9OutlineOutline云计算概述云计算关键技术云计算体系结构云计算应用云计算的

8、发展与研究热点 142022-6-9云计算应用云计算应用云计算应用云计算应用n IaaS（ Infrastructure as a Service ）；将硬件设备等基础资源封装成服务提供给用户使用。如Amazon云计算的Amazon Web Service 的弹性计算云和简单存储服务。n PaaS（ Platform as a Service ） ；对资源的抽象层次更近一步，提供用户应用程序的运行环境，如Google App Engine。n SaaS（ Software as a Service ） ；它的针对性更强，将某些特定应用软件功能封装成服务提供给客户，如一些在线的客户关系管理服务（

9、CRM）。 152022-6-9云计算应用云计算应用n IaaS（ Infrastructure as a Service ）；实现模式n 完全操作系统（软硬件）接入n 防火墙n 路由器n 负载平衡优势n 节省费用/所付及所用n 即时升级n 安全n 可靠n APIs 162022-6-9云计算应用云计算应用n IaaS（ Infrastructure as a Service ）；实例n 当你想运行成批的程序组，但是没有合适的软硬件环境，可使用Amazon的EC2。n 当你想在网络上发布一个短期（几天到几个月）的网站，可使用Flexiscale。 172022-6-9云计算应用云计算应用n I

10、aaS（ Infrastructure as a Service ）；n Amazon4Infrastructure web servicesn EC2 (Elastic Compute Cloud) - now with Windows (99.95% availability!)n S3 (Simple Storage Service)n SimpleDBn SQS (Simple Queue Service) n Rackspace4Mosso 4JungleDisk4SliceHost 182022-6-9云计算应用云计算应用n PaaS（ Platform as a Service

11、） 解决的问题n 平台价格昂贵n 需求估算不科学!n 平台管理复杂麻烦!流行的服务n 存储n 数据库n 扩展性优势n 节省费用/所付及所用n 即时升级n 安全n 可靠n APIs 192022-6-9云计算应用云计算应用n PaaS（ Platform as a Service ） 实例n 当你想把一个大容量的文件上传到网络上，允许35000个用户使用2个月的时间，可使用Amazon的Cloud Front。n 当你想在网络上存储大量的文档，但是你没有足够的存储空间，可使用Amazon的S3。 202022-6-9云计算应用云计算应用n PaaS（ Platform as a Service

12、） n Google Apps4 Python only4 BigTable n Heroku4 Ruby on Rails hosted on EC2n Fn Apexn Bungee Connect4 Bungee Logic (a C-family language similar to C#)n Microsoft!4 Azure - .NET hosted in MS data centres 212022-6-9云计算应用云计算应用云计算应用云计算应用n SaaS（ Software as a Service ） ；实现模式n 在中小企业盛行n 无需管理软硬件n 服务通过浏览器实现

13、优势n 无浪费费用n 即时扩展n 安全n 可靠n APIs 222022-6-9云计算应用云计算应用云计算应用云计算应用n SaaS（ Software as a Service ） ；实例n CRMn 财务计划n HRn 文字处理n Email 232022-6-9OutlineOutline云计算概述云计算应用云计算体系结构云计算关键技术云计算的发展与研究热点 242022-6-9云计算关键技术云计算关键技术分布式文件系统分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源物理存储资源不一定直接连接在本地节点不一定直接连接在本地节点上

14、，而是通过计算机网络与节点计算机网络与节点相连。分布式文件系统除了具有本地文件系统的所有功能外，还必须管理分布式系统中所有计算机上的文件资源，从而把整个分布式文件资源整个分布式文件资源以统一的视图呈现给用户。它需要隐藏内部的实现细节隐藏内部的实现细节，对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。它需要具备存储、更新、备份和恢复功能存储、更新、备份和恢复功能，并能够满足多用户、多应用的数据共享的需求，为分布式操作系统中其他的构件提供基础。 252022-6-9云计算关键技术云计算关键技术分布式文件系统考虑的关键问题分布式文件系统考虑的关键问

15、题网络透明性：网络透明性：分布式文件系统通常同时运行在多台计算机上，有时甚至构建在广域网络中，但呈现给用户和应用程序的感觉是和使用单台机器相同的呈现给用户和应用程序的感觉是和使用单台机器相同的，用户和应用程序可以用访问本地文件相同的方式访问远程文件，换言之，应用程序无法发现本地文件和远程文件的区别，最完美的情况就是分布式文件系统的用户无需知道文件的物理位置；高可用性：高可用性：数据的高可用性是系统可靠性的基础，用户的文件访问过程不能因为局部网络故障或系统调度（例如在服务器之间备份数据）而出现中断。通常通过文通常通过文件副本来实现系统的高可用性件副本来实现系统的高可用性，最理想的情况是，只要系统

16、中存在一个有效的副本，用户就可以访问该文件；可扩展能力可扩展能力：理论上来说，分布式系统的节点规模随时都有可能发生变化，分布式文件系统应能自动适应节点变化自动适应节点变化而导致的资源的变化；强大的资源管理能力：强大的资源管理能力：它应能根据系统中节点数以及负载情况而动态决定文件资源的分布情况，并在必须的时候进行调整。 262022-6-9云计算关键技术云计算关键技术分布式文件系统架构分布式文件系统架构 272022-6-9云计算关键技术云计算关键技术分布式文件系统架构分布式文件系统架构 282022-6-9云计算关键技术云计算关键技术分布式数据处理分布式数据处理-MapReduce-MapRe

17、duceMapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（化简），和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组一组键值对映射成一组新的键值对新的键值对，指定并发的并发的Reduce（化简）函数（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 292022-6-9云计算关键技术云计算关键技术MapReduceMapReduce编程模型编程模型每一个Map函数就是对一部分原始数据进行指定的操作。每个Map

18、操作都针对不同的原始数据，因此Map与Map之间时相互独立的，可以并行化。一个Reduce操作就是对每个Map所产生的一部分中间结果进行合并操作，每个Reduce所处理的Map中间结果互不交叉，所有Reduce产生的最终结果经过简单的连接就形成了完整的结果集，所以Reduce也可以并行化。主要函数：Map: (in_key,in_value)-(keyi, valuej)|j=1kReduce: (key, value1,valuem)-(key, final_value) 302022-6-9云计算关键技术云计算关键技术Dean, J. Ghemawat, S. MapReduce: Sim

19、plified data processing on large clusters 2008MapReduceMapReduce实现机制实现机制 312022-6-9云计算关键技术云计算关键技术MapReduceMapReduce实现机制实现机制1. The MapReduce library in the user program first splits the input files into M pieces of typically 16 megabytes to 64 megabytes (MB) per piece (controllable by the user via an

20、 optional parameter). It then starts up many copies of the program on a cluster of machines.2. One of the copies of the program is special the master. The rest are workers that are assigned work by the master. There are M map tasks and R reduce tasks to assign. The master picks idle workers and assi

21、gns each one a map task or a reduce task.3. A worker who is assigned a map task reads the contents of the corresponding input split. It parses key/value pairs out of the input data and passes each pair to the user-defined Map function. The intermediate key/value pairs produced by the Map function ar

22、e buffered in memory.4. Periodically, the buffered pairs are written to local disk, partitioned into R regions by the partitioning function. The locations of these buffered pairs on the local disk are passed back to the master, who is responsible for forwarding these locations to the reduce workers.

23、 322022-6-9云计算关键技术云计算关键技术MapReduceMapReduce实现机制实现机制5. When a reduce worker is notified by the master about these locations, it uses remote procedure calls to read the buffered data from the local disks of the map workers. When a reduce worker has read all intermediate data, it sorts it by the interm

24、ediate keys so that all occurrences of the same key are grouped together. The sorting is needed because typically many different keys map to the same reduce task. If the amount of intermediate data is too large to fit in memory, an external sort is used.6. The reduce worker iterates over the sorted

25、intermediate data and for each unique intermediate key encountered, it passes the key and the corresponding set of intermediate values to the users Reduce function. The output of the Reduce function is appended to a final output file for this reduce partition.7. When all map tasks and reduce tasks h

26、ave been completed, the master wakes up the user program. At this point, the MapReduce call in the user program returns back to the user code. 332022-6-9云计算关键技术云计算关键技术MapReduceMapReduce实例实例- -形状计数形状计数 342022-6-9云计算关键技术云计算关键技术MapReduceMapReduce实例实例- -字数统计字数统计HadoopHadoop编写Map类public class WordCountMa

27、pper extends Mapper private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException StringTokenizer itr = new StringTokenizer(value.toString(); while (itr.hasMoreTokens() wor

28、d.set(itr.nextToken(); context.write(word, one); 编写Reduce类public class WordCountReducer extendsReducer private IntWritable result = new IntWritable();public void reduce(Text key, Iterable values, Context context)throws IOException, InterruptedException int sum = 0; for (IntWritable val : values) sum

29、 += val.get();result.set(sum);context.write(key, result); 352022-6-9云计算关键技术云计算关键技术public class WordCount public static void main(String args) throws Exception Configuration conf = new Configuration(); String otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length !=

30、 2) System.err.println(Usage: wordcount );System.exit(2); /*创建一个job，起个名字以便跟踪查看任务执行情况*/ Job job = new Job(conf, word count); /*当在hadoop集群上运行作业时，需要把代码打包成一个jar文件（hadoop会在集群分发这个文件），通过job的setJarByClass设置一个类，hadoop根据这个类找到所在的jar文件*/ job.setJarByClass(WordCount.class); /*设置要使用的map、combiner、reduce类型*/ job.se

31、tMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); /*设置map和reduce函数的输入类型，这里没有代码是因为我们使用默认的TextInputFormat，针对文本文件，按行将文本文件切割成 InputSplits, 并用 LineRecordReader 将 InputSplit 解析成 key,value>: 对，key 是行在文件中的位置，value 是文件中的一行*/ /*设置

32、map和reduce函数的输出键和输出值类型*/ job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); /*设置输入和输出路径*/ FileInputFormat.addInputPath(job, new Path(otherArgs0); FileOutputFormat.setOutputPath(job, new Path(otherArgs1); /*提交作业并等待它完成*/ System.exit(job.waitForCompletion(true) ? 0 : 1); 362

33、022-6-9云计算关键技术云计算关键技术虚拟化技术虚拟化技术虚拟化是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。一Wikpedia. 维基百科虚拟化是为某些事物创造的虚拟(相对于真实)版本， 比如操作系统、计算机系统、存储设备和网络资源等。 一WhatIs .com. 信息技术术语库虚拟化是资源的逻辑表示，它不受物理限制的约束。n 服务器虚拟化 n 网络虚拟化 n 存储虚拟化n 桌面虚拟化n 应用虚拟化 372022-6-9云计算关键技术云计算关键技术虚拟化技术虚拟化技术n 服务器虚拟

34、化 服务器虚拟化将系统虚拟化技术应用于服务器上，将一个服务器虚拟成若干个服务器使用。Citrix公司的XenIBM公司的PowerVM 、zVMMicrosoft公司的Virtual PC，Virtual Server和Hyper-VVMware公司的VMware Server ,VMware Workstation ,VMware Player和VMware ESX Server 382022-6-9云计算关键技术云计算关键技术虚拟化技术虚拟化技术n 网络虚拟化网络虚拟化通常包括虚拟局域网和虚拟专用网。虚拟局域网可以将一个物理局域网划分成多个虚拟局域网，甚至将多个物理局域网里的节点划分到一个

35、虚拟的局域网中，使得虚拟局域网中的通信类似于物理局域网的方式，并对用户透明.虚拟专用网对网络连接进行了抽象，允许远程用户访问组织内部的网络，就像物理上连接到该网络一样. n 存储虚拟化 分布式文件系统、NFS、AFS等等n 桌面虚拟化桌面虚拟化将用户的桌面环境与其使用的终端设备解藕合。服务器上存放的是每个用户的完整桌面环境。用户可以通过网络访问该桌面环境。n 应用虚拟化应用虚拟化为应用程序提供了一个虚拟的运行环境。在这个环境中，不仅拥有应用程序的可执行文件，还包括它所需要的运行时环境。 392022-6-9OutlineOutline云计算概述云计算应用云计算关键技术云计算体系结构云计算的发展

36、与研究热点 402022-6-9云计算研究热点云计算研究热点云计算体系结构研究云计算体系结构研究n Youseff划分方法该分类依据可组合性对云系统进行分类，重点介绍了云的层次栈，阐述了各层次内涵、作用、架构，并深入分析了它们之间的相互依存的关系。1、云应用层2、云软件环境3、云软件基础设施层4、软件内核5、固件及硬件 412022-6-9云计算研究热点云计算研究热点云计算体系结构研究云计算体系结构研究n Lenk划分方法该通用的云计算栈，将云技术和服务分为不同的层次，并通过例子对每个层次进行阐述。1、硬件2、基础设施即服务3、平台即服务4、软件即服务5、人工即服务 422022-6-9云计算

37、研究热点云计算研究热点云计算关键技术云计算关键技术n 虚拟化技术n 数据存储技术n 资源管理技术资源建模、资源调度策略、资源调度算法等。n 能耗管理技术如何有效整合资源、降低运行成本、节省运行所需要的能源。n 云监测技术对云计算进行检测和性能分析 432022-6-9云计算研究热点云计算研究热点云计算编程模型云计算编程模型n All-Pairs编程模型n GridBatch编程模型n Map-Reduce-Merge编程模型GridBatch也是一个隐藏并行程序复杂性的并行编程模型，主要用来解决在计算云中大规模数据密集型应用的并行化问题。 文献的整个工作与 MapReduce模型相似，但是 G

38、ridBatch主要针对分析型应用，对 MapReduce 模型作了优化，允许用户控制数据的划分，减少了系统的通信开销。在Map-Reduce中加入了一个Merge的操作，从挑选出来的reducer操作中读出输出结果并按照用户定义的逻辑进行合并。 442022-6-9云计算研究热点云计算研究热点云计算支撑平台云计算支撑平台n Cumulus：数据中心计算云n CARMEN：e-Science云计算n RESERVOIR：云服务融合平台云计算应用研究云计算应用研究n 语义分析应用n 生物学应用n 数据库应用n 地理信息应用n 商业、医学、社会智能。 452022-6-9云计算发展方向云计算发展方

39、向云计算未来主要有两个发展方向云计算未来主要有两个发展方向:一个是构建与应用程序紧密结合的大规模底层基础设施,使得应用能够展到很大的规模;另一个是通过构建新型的云计算应用程序,在网络上提供更加丰富的用户体验。另外云计算与3G、物联网、无线互联网、三网融合相结合成为未来发展的潮流。云计算正在逐渐融入到更多的领域。 462022-6-9参考文献参考文献1 Ghemawat S, Gobioff H, Leung S T. The Google file system, F, 2003 C. ACM.2 Dean J, Ghemawat S. MapReduce: Simplified data p

40、rocessing on large clusters J. Communications of the ACM, 2008, 51(1): 107-13.3 Youseff L, Butrico M, Da Silva D. Toward a unified ontology of cloud computing, F, 2008 C. Ieee.4 Lenk A, Klems M, Nimis J, et al. Whats inside the Cloud? An architectural map of the Cloud landscape, F, 2009 C. Ieee.5 Ar

41、mbrust M, Fox A, Griffith R, et al. Above the clouds: A berkeley view of cloud computing J. EECS Department, University of California, Berkeley, Tech Rep UCB/EECS-2009-28, 2009, 6 Moretti C, Bulosan J, Thain D, et al. All-pairs: An abstraction for data-intensive cloud computing, F, 2008 C. Ieee.7 Li

42、u H, Orban D. Gridbatch: Cloud computing for large-scale data-intensive batch applications, F, 2008 C. Ieee.8 刘鹏. 云计算 M. 电子工业出版社, 2010.9 田文洪. 云计算资源调度管理 M. 国防工业出版社, 2011.10王庆波. 虚拟化与云计算 M. 电子工业出版社, 2009.11陈康, 郑纬民. 云计算:系统实例与研究现状 J. 软件学报, 2009, (05): 1337-48.12 黄华, 张建刚, 许鲁. 蓝鲸分布式文件系统的分布式分层资源管理模型 J. 计算机研究与发展, 2005, (06): 1034-8. 472022-6-9