第8章-云计算原理与技术课件.ppt

1、机械工业出版社分布式计算、云计算与大数据分布式计算、云计算与大数据配套课件华南理工大学 林伟伟 主编第第8章章 云计算原理与技术云计算原理与技术分布式计算分布式计算云计算云计算大数据大数据提提 纲纲 云计算概述 云计算关键技术 Google云计算原理 亚马逊云服务分布式计算分布式计算云计算云计算大数据大数据云计算的起源 SUN“网络即计算机”1984 Platform 网格计算池2003 Google 云计算20062006年8月Google首次提出“云计算”这个词汇分布式计算分布式计算云计算云计算大数据大数据云计算的目标企业F企业E企业G企业A企业B企业C互联网云平台服务商发电厂像用电、水一

2、样来使用IT资源分布式计算分布式计算云计算云计算大数据大数据云计算是什么对一般用户而言对一般用户而言：云计算是指通过网络以按需、易扩展的方式获得所需：云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务，如同钱庄、的服务。即随时随地只要能上网就能使用各种各样的服务，如同钱庄、银行、发电厂等。这种服务可以是银行、发电厂等。这种服务可以是IT和软件、互联网相关的，也可以是和软件、互联网相关的，也可以是任意其他的服务。任意其他的服务。Cloud computing网络网络“云云”分布式计算分布式计算云计算云计算大数据大数据云计算是什么 对专业人员而言对专业

3、人员而言：是分布式处理、并行处理和网格计算的发展，或者说是这：是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。是指些计算机科学概念的商业实现。是指基于互联网的超级计算模式基于互联网的超级计算模式-即把原本即把原本存储于个人电脑、移动设备等个人设备上的大量信息集中在一起，在强大的存储于个人电脑、移动设备等个人设备上的大量信息集中在一起，在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系统连接在一起，以提供各种计算服务。统连接在一起，以提供各种计算服务。40多亿的移动电话多亿的移

4、动电话一一 2010年 数据来源:Nokia个人电脑和个人电脑和笔记本电脑笔记本电脑企业电脑企业电脑和服务器和服务器PDA分布式计算分布式计算云计算云计算大数据大数据云计算与分布式计算v分布式计算（狭义）：将待解决问题分成多个小问题，再分配给许多计算系统处理，最后将处理结果加以综合。v特点：把计算任务分派给网络中的多台独立的机器v优点稀有资源可以共享 通过分布式计算可以在多台计算机上平衡计算负载 可以把程序放在最适合运行它的计算机上 v流行的分布式项目SETIHome：寻找外星文明RC-72：密码分析破解，研究和寻找最为安全的密码系统Foldinghome：研究蛋白质折叠、聚合问题United

5、 Devices：寻找对抗癌症的有效的药物GIMPS：寻找最大的梅森素数（解决较为复杂的数学问题）云计算包含的分布式计算特征：（1）通过资源调度和组合满足用户的资源请求（2）对外提供统一的、单一的接口分布式邮箱系统分布式计算分布式计算云计算云计算大数据大数据云计算与网格计算网格计算 分散式资源分散式资源 不同机构不同机构 虚拟组织虚拟组织 科学计算为主科学计算为主 高性能计算机高性能计算机 紧耦合问题紧耦合问题 免费免费 标准化标准化 科学界科学界云计算 集中式资源集中式资源 单一机构单一机构 虚拟机虚拟机 数据处理为主数据处理为主 服务器服务器/PC/PC 松耦合问题松耦合问题 按量计费按量

6、计费 尚无标准尚无标准 商业社会商业社会分布式计算分布式计算云计算云计算大数据大数据云计算与对等计算n 对等计算系统中，每个节点都拥有对等的功能与责任，既可以充当服务器向其他节点提供数据或服务，又可以作为客户机享用其他节点提的供数据或服务，节点之间的交互可以是直接对等的，任何节点可以随时自由地加入或离开系统。对等计算：有可能作为云计算的一个类型n预测：将可能以“对等子云”的形式出现在云计算中。n依据：云计算对超大规模、多类型资源的统一管理是困难的；对等计算具有鲁棒性、可扩展性、成本、搜索等方面的优点Google的云计算服务曾出现严重问题，Gmail、Blogger和Spreadsheet等服务

7、均长时间当机。亚马逊S3云计算服务也曾出现问题。而P2P系统则有更强的抗毁能力。分布式计算分布式计算云计算云计算大数据大数据云计算与并行计算n 并行计算：是指同时使用多种计算资源解决计算问题的过程。通常指一个程序的多个部分同时运行于多个处理器上。n 特点：把计算任务分派给系统内的多个运算单元n 并行计算问题的特征n 将工作分离成离散部分，有助于同时解决n 随时并及时地执行多个程序指令（多条线同时运行）n 多计算资源下解决问题的耗时要少于单个计算资源下的耗时云计算包含的并行计算特征：（1）用户资源（单一类型和组合类型）请求的同时处理分布式计算分布式计算云计算云计算大数据大数据云计算分类私有云公有

8、云混合云操作系统操作系统+应用服务引擎应用服务引擎应用系统应用系统基础设施基础设施(IaaS)应用平台应用平台(PaaS)应用软件应用软件(SaaS)Infrastructure as a Service以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络/数据库管理等资源。用于无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：Amazon Web Service(AWS)Platform as a Service提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎，可以构建该类应用。典型应用：Google AppEngine,F,Mi

9、crosoft Azure服务平台Software as a Service用户通过Internet(如浏览器)来使用软件。用户不必购买软件，只需按需租用软件典型应用：Google Doc,S,Oracle CRM OnDemand,Office Live Workspace面向外部用户需求，通过开放网络提供云计算服务IDC，GoogleApp，Saleforce在线CRM按提供的服务类型按云服务的对象大型企业按照云计算的架构搭建平台，面向企业内部需求提供云计算服务企业内部数据中心等兼顾以上两种情况的云计算服务Amazon Web Server等既为企业内部又为外部用户提供云计算服务分布式计算

10、分布式计算云计算云计算大数据大数据IaaS：基础设施作为服务nIaaS Infrastructure as a Service n 创建虚拟的计算、存储中心，使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施，集中起来成为一个虚拟的资源池来对外提供服务。n 典型应用：n 弹性计算云EC2（Elastic Compute Cloud）计算n 简单存储服务S3（Simple Storage Service）存储nIaaS交付特点n提供从计算到存储的统一资源基础架构n完整的系统级接入，按需布置安全域，负载均衡n按需付费，按容量控制n自由的应用环境关键技术 作用 成熟度评价 虚拟化技术解决

11、资源灵活调度，提高资源利用率 IT自动化技术自动化的操作系统安装，升级和补丁管理；自动化应用软件的安装，配置；自动化应用部署 Web门户技术统一的用户门户和单点登录 工作流管理自动化服务的申请，审批流程 总体 nIaaS的价值n降低运营成本n提高设备利用率n节能减排n保护现有投资，提供新商机分布式计算分布式计算云计算云计算大数据大数据IaaS关键技术介绍：虚拟化技术n虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，其是基于开放的x86架构，将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中n虚拟化的目标是实现IT资源利用效率和灵活性的最大化n虚拟化技术在x86架构上

12、比较通用，在RISC架构下比较封闭n软件必须与硬件相结合n每台机器上只有单一的操作系统镜像n每台机器上有多个操作系统镜像n软件相对于硬件独立传统计算系统计算模式虚拟化计算系统计算模式未更改过的应用未更改过的OS虚拟硬件分布式计算分布式计算云计算云计算大数据大数据IaaS领域代表者AmazonIaaS云计算平台数据中心虚拟化技术、自动化部署技术Amazon的重点是提供弹性基础设施服务，其上的应用由用户灵活选择与决定l作为大型的电子商务企业，积累了大规模IT系统设计和维护的技术与经验，同时面临着业务淡季时IT设备的闲置问题，于是将设备、技术和经验作为一种打包产品去为其他企业提供服务，利用闲置的IT

13、设备来创造价值 分布式计算分布式计算云计算云计算大数据大数据PaaS：平台作为服务nPaaS Platform as a Servicen 把服务器平台或开发环境作为一种服务提供n 典型应用n 的 n Google App Enginen 800app：不再需要任何编程即可开发包括企业管理软件nPaaS的交付模型n计算资源平台做为一种服务提供给用户n可支持用户自有的工具与开发环境部署n客户通过可调用的接口拨接资源平台关键技术 技 术 特 点 成熟度评价 分布式存储采用冗余存储的方式来保证存储数据的可靠性，具有高吞吐率和高传输率的特点 分布式大规模数据管理构建了弱一致性大规模数据库系统，能够高效

14、的管理大数据集，能对海量的数据进行存储、读取以及高效分析 分布式编程环境保证后台复杂的并行执行和任务调度向用户和编程人员透明，适用于编写松耦合、高度并行化的程序 总体 nPaaS的价值n对服务提供商：灵活扩展业务，响应长尾需求，灵活调配资源n对开发者:加快开发速度，简化系统维护分布式计算分布式计算云计算云计算大数据大数据PaaS关键技术分布式并行计算平台Platform众多性能普通的服务器编程模型如MapReduce超大型文件系统如HDFS海量数据库如Hbase技术架构监控与调度管理API/SDK第三方软件开发者软件使用用户业务模式软件销售l新的业务模式-业务能力：通过分布式并行计算算法，将众

15、多性能一般的服务器的计算能力和存储能力充分发挥和聚合起来，能够为特定的应用提供海量数据处理能力-业务形态：形成一个高效的软件应用开发和运行平台，吸引第三方软件开发者基于该平台进行软件开发和应用托管，同时聚集海量终端用户使用该平台上的各种应用-目标客户群：第三方软件开发者，软件终端用户灵活易用的开发环境是PaaS的关键分布式计算分布式计算云计算云计算大数据大数据PaaS领域代表者GooglePaaS统一平台自有应用（搜索、Gmail、Google Docs等）Google全球超过200万台普通PC服务器（Google定制）云计算开放平台（Java、Python）（AppEngine）Google

16、构建的是新型的互联网分布式平台架构，传统的应用不能直接移植到该架构上利用分布式存储（GFS）、分布式数据库（Bigtable）、分布式/并行计算（Mapreduce）、同步（Chubby）以及集群监控与调度技术（BORG）等实现统一高性价比的架构平台l为支持搜索引擎和邮件服务等需要海量数据处理能力的应用，开发了分布式并行技术的平台，在技术和经验有一定积累后，逐步将平台能力作为软件开发和交付的环境进行开放分布式计算分布式计算云计算云计算大数据大数据SaaS：软件作为服务nSaaS Software as a Servicen SaaS是一种基于互联网提供软件服务的应用模式。n 软件租赁：用户按使

17、用时间和使用规模付费n 绿色部署：用户不需安装，打开浏览器即可运行n 不需要额外的服务器硬件n 软件（应用服务）按需定制nSaaS的交付模型n应用程序做为一种服务来提供n由提供商进行统一维护管理n吸引广大的个人和中小企业用户n用户不需对软硬件进行维护工作n通过网络浏览器使用服务关键技术 技 术 特 点 成熟度评价 统一身份认证和授权解决多用户组织访问和管理的需求 服务计费能根据使用情况进行灵活的计费 Web2.0 基于互联网平台，通过互动，提供更好的信息展现和组织方式，创造更好用户体验 面向服务的架构（SOA）将应用程序的不同功能单元（称为服务）通过标准的服务间接口联系起来，使业务应用能根据业

18、务的需要变得更加灵活，以适应不断变化的环境 总体 nSaaS的价值n提供灵活的租赁和付费方式n降低企业用户运营成本n降低中小企业信息化的门槛分布式计算分布式计算云计算云计算大数据大数据SaaS技术分析n用户可以使用按需定制的软件服务，按照定制软件的多少和时间付费n用户通过浏览器访问所需的服务，无需花费大量的精力用于IT设施的建设与维护技术模式n直接部署在底层物理资源上n部署在IaaS平台上n部署在PaaS平台上承载平台n在PaaS平台上开发并部署SaaS服务n在SOA（Service-Oriented Architecture，面向服务架构）架构下开发(soap、rest)开发技术意义n1)使

19、软件提供成为一种互联网服务；2)降低用户使用软件应用的门槛多租户技术：云计算要求硬件资源和软件资源能够更好地被共享，具有良好的伸缩性，任何一个用户都能够按照自己的需求进行客户化配置而不影响其他用户的使用。多租户技术就是云计算环境中能够满足上述需求的关键技术。11:01:3219分布式计算分布式计算云计算云计算大数据大数据SaaS领域的代表者SaleForce交互数据MID TIERDB软件运行和计算在网络侧完成终端通过web浏览器使用软件应用InternetMID TIERDBMID TIERDBMID TIERDBl业务模式：-业务能力：用户通过互联网获得所需的软件服务，无需花费大量的精力用

20、于IT设施的建设与维护；-业务形态：软件作为一种互联网业务，用户通过互联网购买和使用其所需的软件服务，按照购买软件的类型、数量和时间进行付费-目标客户群：需要移动办公的政企用户，互联网公众用户l技术特点：在线应用Salesforce的几个关键能力强大的功能：第 20 代产品具有 1000 多种功能灵活的定制：业界灵活度最高的 CRM 解决方案，用户可深度扩展，因此能满足各种规模的企业的需求 最佳的用户体验：方便易用，简洁的界面一目了然 快速实施：多数公司在 30 天内把Salesforce 成功融合于企业运转之中 快速回报：通常在实施后的几个月之内，客户即可获得可观的回报 高度安全：为系统和数

21、据提供了多层保护机制应用定制化和用户体验保障是SaaS的关键分布式计算分布式计算云计算云计算大数据大数据提提 纲纲 云计算概述 云计算关键技术 Google云计算原理 亚马逊云服务分布式计算分布式计算云计算云计算大数据大数据云计算关键技术云计算关键技术 体系结构体系结构 数据存储数据存储 计算模型计算模型 资源调度资源调度 虚拟化技术虚拟化技术分布式计算分布式计算云计算云计算大数据大数据云计算体系结构云计算核心服务通常可以分为3 个子层：基础设施即服务层（IaaS,infrastructure as a service）、平台即服务层（PaaS,platform as a service）、软

22、件即服务层（SaaS,software as a service）分布式计算分布式计算云计算云计算大数据大数据NoSQL数据存储类别类别产品产品特性特性列存储列存储HbaseCassandraHypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对某一列或者某几列的查询有非常大的IO优势。文档存储文档存储MongoDBCouchDB文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。key-value存储存储 Tokyo Cabinet/TyrantBerkeley DBM

23、emcacheDBRedis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储图存储Neo4JFlockDB图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储对象存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。xml数据库数据库Berkeley DB XMLBaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。分布式计算分布式计算云计算云计算大数据大数据MapReduce计算模型云计算的计算模型是一种可编程的并行计算

24、框架，需要高扩展性和容错性支持。MapReduce 是Google 提出的并行程序编程模型，运行于GFS 之上。它的设计思想在于将问题分而治之，首先将用户的原始数据源进行分块，然后分别交给不同的Map任务去处理。分布式计算分布式计算云计算云计算大数据大数据云计算资源调度11:01:3226n资源调度是云计算核心技术之一，它为云计算平台提供资源分配、任务调度等资源管理功能。通常云计算资源调度包括两个层面：一个是物理主机到虚拟机层面的资源分配（映射）；另一个是任务到虚拟机层面的调度（映射）。分布式计算分布式计算云计算云计算大数据大数据云计算虚拟化技术11:01:3227n虚拟化是云计算最重要的核心

25、技术之一，它为云计算服务提供基础架构层面的支撑。虚拟化技术包括：服务器虚拟化、存储虚拟化、网络虚拟化、桌面虚拟化、应用虚拟化等 分布式计算分布式计算云计算云计算大数据大数据提提 纲纲 云计算概述 云计算关键技术 Google云计算原理 亚马逊云服务分布式计算分布式计算云计算云计算大数据大数据Google云计算关键技术云计算关键技术pGoogle云计算平台的几个关键技术n文件存储，Google File System，GFSn并行数据处理MapReducen结构化数据表BigTablen分布式锁ChubbyGoogle云计算应用云计算应用MapReduceBigTableGFSChubby11:

26、01:3229分布式计算分布式计算云计算云计算大数据大数据GFS分布式计算分布式计算云计算云计算大数据大数据 一个软件架构，是一种处理海量数据的并行编程模式 用于大规模数据集（通常大于1TB）的并行运算 MapReduce实现了Map和Reduce两个功能 Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集 Reduce对结果集进行分类和归纳 Map()和 Reduce()两个函数可能会并行运行，即使不是在同一的系统的同一时刻MapReduce31分布式计算分布式计算云计算云计算大数据大数据Bigtable设计动机与目标需要存储的数据种类繁多需要存储的数据种类繁多：Goo

27、gle目前向公众开放的服务很多，需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的 海量的服务请求海量的服务请求：Google运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的 商用数据库无法满足商用数据库无法满足Google的需求的需求：一方面现有商用数据库设计着眼点在于通用性，根本无法满足Google的苛刻服务要求；另一方面对于底层系统的完全掌控会给后期的系统维护、升级带来极大的便利 设计动机分布式计算分布式计算云计算云计算大数据大数据逻辑视图 Bigtable是一个稀疏的、分布式的、多维度的、持

28、久化存储的超级大表。是一个稀疏的、分布式的、多维度的、持久化存储的超级大表。每行包含一个可排序的行关键字，一个可选的时间戳以及一些可能有数据每行包含一个可排序的行关键字，一个可选的时间戳以及一些可能有数据的列。的列。BigTable会存储一系列的行记录，行记录有三个基本类型的定义：行关键会存储一系列的行记录，行记录有三个基本类型的定义：行关键字（字（Row Key）,时间戳（时间戳（Time Stamp）,列（列（Column）。）。Row KeyTime StampColumn ContentsColumn AnchorColumn“mime”my.look.ca“n.www”T9CNNT8

29、CNN.COMT6“.“Text/htmlT5“.“t3“.“分布式计算分布式计算云计算云计算大数据大数据物理视图34Row KeyTime StampColumn:ContentsCn.wwwT6“.”T5“.”T3“.”Row KeyTime StampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COM分布式计算分布式计算云计算云计算大数据大数据DremelDremel是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce

30、 的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的交互式查询能力不足的有力补充。Dremel的数据模型是嵌套的，用列式存储，并结合了Web搜索和并行DBMS的技术，建立查询树，将一个巨大的复杂的查询，分割成较小较简单的查询，大事化小，小事化了，能并发的在大量结点上跑，如图所示。分布式计算分布式计算云计算云计算大数据大数据提提 纲纲 云计算概述 云计算关键技术 Google云计算原理 亚马逊云服务分布式计算分布式计算云计算云计算大数据大数据亚马逊云平台存储架构AWS提供一系列云计算服务，无疑要建立在一个强壮的基础存储架构之上，Dynamo是Amazon提供的

31、一款高可用的分布式Key-Value存储系统，具备去中心化，高可用性，高扩展性的特点Dynamo采用一致性哈希来完成数据分区。在一致性哈希中，哈希函数的输出范围为一个圆环，系统中每个节点映射到环中某个位置，而Key也被Hash到环中某个位置，Key从其被映射的位置开始沿顺时针方向找到第一个位置比其大的节点作为其存储节点分布式计算分布式计算云计算云计算大数据大数据亚马逊提供的云计算服务 弹性计算云弹性计算云EC2 简单存储服务简单存储服务S3 简单数据库服务简单数据库服务Simple DB 简单队列服务简单队列服务SQS 弹性弹性MapReduce服务服务 内容推送服务内容推送服务CloudFr

32、ont AWS导入导入/导出导出 关系数据库服务关系数据库服务分布式计算分布式计算云计算云计算大数据大数据Amazon Elastic Compute Cloud（弹性计算云（弹性计算云EC2）来自来自Amazon的的Elastic Compute Cloud（EC2，弹性计算云），弹性计算云）提供了可定制化的提供了可定制化的云计算云计算能力，这是专为简化开发者开发能力，这是专为简化开发者开发Web伸缩性计算而打造的。用户可以全面掌控自身的计算资源，同伸缩性计算而打造的。用户可以全面掌控自身的计算资源，同时时Amazon运作是基于运作是基于“即买即用即买即用”模式的。只需花费几分钟时间模式的。

33、只需花费几分钟时间就可获得并启动服务器实例，所以它可以快速定制来响应计算就可获得并启动服务器实例，所以它可以快速定制来响应计算需求的变化。需求的变化。价格价格：新：新AWS用户可以免费使用用户可以免费使用Amazon EC2一年时间。它还一年时间。它还提供了按需定制实例，提供了按需定制实例，Linux实例每小时实例每小时0.085美元起，美元起，Windows实例每小时实例每小时0.12美元起。保留实例的价格为每年美元起。保留实例的价格为每年227.50美元起，或是每小时美元起，或是每小时0.03美元起。美元起。分布式计算分布式计算云计算云计算大数据大数据Amazon Elastic Comp

34、ute Cloud（弹性计算云（弹性计算云EC2）EC2（Elastic Compute Cloud）简言之，简言之，EC2就是一部具有无限采集能力的虚拟计算机，用户能够就是一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。用来执行一些处理任务。EC2的主要特征：的主要特征：灵活性：可自行配置运行的实例类型、数量，还可以选择实例运行灵活性：可自行配置运行的实例类型、数量，还可以选择实例运行的地理位置。可以根据用户的需求随时改变实例的使用数量。的地理位置。可以根据用户的需求随时改变实例的使用数量。低成本：按小时计费低成本：按小时计费 安全性：安全性：SSH、可配置的防火墙机制、监控

35、等、可配置的防火墙机制、监控等 易用性：用户可以根据亚马逊提供的模块自由构建自己的应用程序，易用性：用户可以根据亚马逊提供的模块自由构建自己的应用程序，同时同时EC2还会对用户的服务请求自动进行负载平衡还会对用户的服务请求自动进行负载平衡 容错性：弹性容错性：弹性IP 分布式计算分布式计算云计算云计算大数据大数据Amazon Elastic Compute Cloud（弹性计算云（弹性计算云EC2）EC2的基本架构的基本架构分布式计算分布式计算云计算云计算大数据大数据Amazon Elastic Compute Cloud（弹性计算云（弹性计算云EC2）Amazon机器映像机器映像AMI（Am

36、azon Machine Image）由一个操作系统和当虚拟机启动时你想要预先载入的任何的应用由一个操作系统和当虚拟机启动时你想要预先载入的任何的应用程序组成。程序组成。AMI是用户整个云计算平台运行的基础，用户使用是用户整个云计算平台运行的基础，用户使用EC2服务的第服务的第一步就是要创建一个自己的一步就是要创建一个自己的AMI。公共公共AMI、私有、私有AMI、付费、付费AMI、共享、共享AMI 分布式计算分布式计算云计算云计算大数据大数据Amazon Elastic Compute Cloud（弹性计算云（弹性计算云EC2）实例实例Instance：用户创建好：用户创建好AMI后，实际运

37、行的系统后，实际运行的系统资源资源SmallLargeExtra LargeHigh-CPU MediumHigh-CPUExtra Large平台平台32位位64位位64位位32位位64位位CPU1ECU4ECU8ECU5ECU20ECU内存内存1.7G7.5G15G1.7G7G存储容量存储容量160G850G1690G350G1690G实例类型名实例类型名m1.smallm1.large m1.xlargec1.mediumc1.xlarge分布式计算分布式计算云计算云计算大数据大数据Amazon Elastic Compute Cloud（弹性计算云（弹性计算云EC2）弹性块存储弹性块存

38、储EBS（Elastic Block Store）卷，每个卷，每个EBS最多创建最多创建20个卷个卷 快照：可以捕捉当前卷的状态，并存储在快照：可以捕捉当前卷的状态，并存储在S3ZHONG，方，方便恢复。便恢复。分布式计算分布式计算云计算云计算大数据大数据Amazon Simple Storage Service（简单存储服务（简单存储服务S3）Simple Storage Service（简单存储服务（简单存储服务S3,）是一款在线）是一款在线存储服务，在云计算环境下提供了不受限制的数据存储空存储服务，在云计算环境下提供了不受限制的数据存储空间。用户可通过授权访问一个简单的间。用户可通过授权

39、访问一个简单的Web服务界面来存储服务界面来存储和获取和获取Web上任何地点的数据。上任何地点的数据。价格价格：新用户可以在：新用户可以在1年内每月免费获得年内每月免费获得5GB的的S3存储；存储；2万次万次Get请求；请求；2千次千次Put请求；请求；15GB的数据传入；和的数据传入；和15GB的数据传出。此后的花费请查看的数据传出。此后的花费请查看S3价格单。价格单。分布式计算分布式计算云计算云计算大数据大数据Amazon Simple Storage Service（简单存储服务（简单存储服务S3）S3为任意类型的文件提供临时或永久的存储服务为任意类型的文件提供临时或永久的存储服务 非传

40、统关系数据库存储模式非传统关系数据库存储模式简单、高效简单、高效存储、读取，非查询存储、读取，非查询 基本概念基本概念 对象：对象：S3的基本存储单元（数据、元数据），数据类的基本存储单元（数据、元数据），数据类型任意型任意 键：对象的唯一标识符键：对象的唯一标识符 桶：存储对象的容器（不能嵌套、在桶：存储对象的容器（不能嵌套、在S3中名称唯一、中名称唯一、每个用户最多创建每个用户最多创建100个桶个桶 分布式计算分布式计算云计算云计算大数据大数据Amazon Simple Storage Service（简单存储服务（简单存储服务S3）S3的基本结构的基本结构桶对象对象对象键数据元数据访问控

41、制分布式计算分布式计算云计算云计算大数据大数据Amazon Simple Storage Service（简单存储服务（简单存储服务S3）存储冗余：每个用户数存储冗余：每个用户数据有多个副本，且保存据有多个副本，且保存在不同服务器上在不同服务器上 最终一致性：在数据被最终一致性：在数据被充分的传播到所有的存充分的传播到所有的存放节点之前返回给用户放节点之前返回给用户的仍是原数据的仍是原数据分布式计算分布式计算云计算云计算大数据大数据Amazon Simple Storage Service（简单存储服务（简单存储服务S3）近日，近日，Amazon的云计算服务的云计算服务AWS（Amazon W

42、eb Services）发布）发布了了Amazon S3年度报告。其年度报告。其S3存储对象数量达到存储对象数量达到7620亿，相比亿，相比2010年的年的2620亿，增长了亿，增长了192%。分布式计算分布式计算云计算云计算大数据大数据简单数据库服务简单数据库服务Simple DB SimpleDB是经过优化的非关系型数据存储，它可以消除繁是经过优化的非关系型数据存储，它可以消除繁重的数据库管理员工作。重的数据库管理员工作。Web服务方式的数据项存储和查服务方式的数据项存储和查询请求，该服务自动创建和管理多份数据以确保数据的高询请求，该服务自动创建和管理多份数据以确保数据的高可用率和稳定性。

43、可用率和稳定性。价格价格：新用户可以每月免费获得：新用户可以每月免费获得25机时（机时（Machine Hour）和和1GB存储。之后的花费其参阅官网。存储。之后的花费其参阅官网。分布式计算分布式计算云计算云计算大数据大数据简单队列服务简单队列服务SQS Simple Queue Service（SQS，简单队列服务）是托管队，简单队列服务）是托管队列，它增加了不同任务应用在分布式组件之间的工作流。列，它增加了不同任务应用在分布式组件之间的工作流。SQS允许开发者移动数据，而不丢失信息，每个请求的组允许开发者移动数据，而不丢失信息，每个请求的组件通常都保持可用状态。件通常都保持可用状态。价格：

44、价格：新用户每月可获得新用户每月可获得10万万SQS排队请求。之后，用户排队请求。之后，用户每每1万请求收取万请求收取0.01美元。数据传输花费根据需求变化。美元。数据传输花费根据需求变化。分布式计算分布式计算云计算云计算大数据大数据 目标：解决低耦合系统间的通信问题，支持分布式计算机系目标：解决低耦合系统间的通信问题，支持分布式计算机系统之间的工作流统之间的工作流 特点：简单、无处不在特点：简单、无处不在 “在互联网的所有计算机不用安装任何软件或特殊在互联网的所有计算机不用安装任何软件或特殊防火墙配置就可以增加或读消息防火墙配置就可以增加或读消息”处理端：处理端：EC2上的上的AMI简单队列

45、服务简单队列服务SQS分布式计算分布式计算云计算云计算大数据大数据弹性弹性MapReduce服务服务 Elastic MapReduce（弹性（弹性MapReduce）允许企业和）允许企业和开发者或是其他人士处理大规模数据。使用运行在开发者或是其他人士处理大规模数据。使用运行在Amazon EC2和和S3的托管的托管Hadoop框架，用户可以即刻框架，用户可以即刻利用随心定制的计算力来完成数据密集型任务，诸如数利用随心定制的计算力来完成数据密集型任务，诸如数据挖掘或是科学仿真。据挖掘或是科学仿真。价格价格：每小时：每小时0.015美元起，另外还需附加标准美元起，另外还需附加标准Amazon E

46、C2和和Amazon S3价格。价格。分布式计算分布式计算云计算云计算大数据大数据弹性弹性MapReduce服务服务 Elastic MapReduce（弹性（弹性MapReduce）允许企业和）允许企业和开发者或是其他人士处理大规模数据。使用运行在开发者或是其他人士处理大规模数据。使用运行在Amazon EC2和和S3的托管的托管Hadoop框架，用户可以即刻框架，用户可以即刻利用随心定制的计算力来完成数据密集型任务，诸如数利用随心定制的计算力来完成数据密集型任务，诸如数据挖掘或是科学仿真。据挖掘或是科学仿真。价格价格：每小时：每小时0.015美元起，另外还需附加标准美元起，另外还需附加标准

47、Amazon EC2和和Amazon S3价格。价格。分布式计算分布式计算云计算云计算大数据大数据内容推送服务内容推送服务CloudFront CloudFront集合了其他的集合了其他的Amazon云服务，来为企业和云服务，来为企业和开发者提供一种简单方式，以实现高速传输分发数据。开发者提供一种简单方式，以实现高速传输分发数据。同同EC2和和S3最优化地协同工作，最优化地协同工作，CloudFront使用涵盖使用涵盖了边缘的全球网络来交付静态和动态内容。了边缘的全球网络来交付静态和动态内容。价格价格：用户可按需支付。：用户可按需支付。10TB范围内每月每范围内每月每GB向外传向外传输的起点价

48、格是输的起点价格是0.15美元。用户可通过美元。用户可通过AWS Simple Monthly Calculator（Amazon简单按月价格计算器）简单按月价格计算器）来估算每月的支出。预留能力价格经要求也是可以的。来估算每月的支出。预留能力价格经要求也是可以的。分布式计算分布式计算云计算云计算大数据大数据AWS导入导入/导出导出 AWS Import/Export工具采用工具采用Amazon公司内部的高速公司内部的高速网络和便携存储设备，绕过互联网来对网络和便携存储设备，绕过互联网来对Amazon云上的云上的数据移入移出，数据移入移出，Import/Export通常快于互联网连接，通常快于

49、互联网连接，比组织自己升级带宽具价格优势。比组织自己升级带宽具价格优势。价格价格：统一定价是每设备：统一定价是每设备80美元，还需附加每数据载入美元，还需附加每数据载入时的时的2.49美元。额外费用可通过美元。额外费用可通过Amazon专用计算机计专用计算机计算。算。分布式计算分布式计算云计算云计算大数据大数据关系数据库服务关系数据库服务 Relational Database Service（RDS，关系数据库服，关系数据库服务）在务）在云计算云计算环境下通过环境下通过Web服务提供了弹性化的关系服务提供了弹性化的关系数据库。接管数据库的管理员任务，以前使用数据库。接管数据库的管理员任务，以前使用MySQL数据库的所有代码，应用和工具都可兼容数据库的所有代码，应用和工具都可兼容Amazon RDS。它可以自动地为数据库软件打补丁并完成定期的按计划它可以自动地为数据库软件打补丁并完成定期的按计划备份。备份。价格价格：按需购买的：按需购买的DB实例，标准部署价格为每小时实例，标准部署价格为每小时0.11美元起，多美元起，多AZ部署价格为每小时部署价格为每小时0.22美元起。保留美元起。保留DB实例为每年实例为每年227.50美元起。还有预分配的数据库存美元起。还有预分配的数据库存储每月每储每月每GB是是0.1美元起。美元起。