1、BIG DATA 导论导论目录2.1 云计算概述2.2 云计算技术2.3 云计算与云存储2.4 云计算与大数据2.5 案例基于云计算的智慧城市建设框架云计算概述2.1云计算概述2.1.1 云计算的定义云计算是由硬件资源、部署平台和相应的服务等方便使用的虚拟资源构成的一个巨大资源池。根据不同的负载，这些用户所需的资源可以动态地重新配置，以达到一个最理想的资源使用状态。云计算是“云+端”的计算，将计算资源分散分布，分别放在云上、用户终端和合作伙伴处，最终由用户选择合理的计算资源分布。定义特征体系架构类型划分服务模式云计算概述云计算的条件满足三个条件是云计算定义特征体系架构类型划分服务模式服务可租用
2、：用户所需资源不在客户端而在网络服务可计量：服务能力具有分钟级或秒级的计算能力高性价比：具有较之传统模式5倍以上的性价比优势2.1.1 云计算的定义云计算概述定义特征体系架构类型划分服务模式2.1.1 云计算的定义按需自助式服务（On-demand Self-Service）广泛的网络访问（Broad Network Access）资源池（Resource Pooling）1.2.3.4.5.快速弹性使用（Rapid Elasticity）可度量的服务（Measured Service）云计算概述定义特征体系架构类型划分服务模式云计算概述定义特征体系架构类型划分服务模式云计算可以按需提供弹性资
3、源，其表现形式是一系列服务的集合。体系结构由5部分组成，分别为应用层，平台层，资源层，用户访问层和管理层2.1.3 云计算的体系架构云计算概述定义特征体系架构类型划分服务模式应用层提供软件服务为面向企业的用户提供软件服务，如财务管理，客户关系管理，商业智能等企业应用为面向个人的用户提供软件服务，如电子邮件，文本处理，个人信息存储等个人应用2.1.3 云计算的体系架构云计算概述定义特征体系架构类型划分服务模式 平台层为用户提供对资源层的各项云计算服务的封装，帮助用户构建所需的应用数据库服务提供可扩展的数据库处理的能力中间件服务为用户提供可扩展的消息中间件或事务处理中间件等服务云计算概述定义特征体
4、系架构类型划分服务模式云计算概述定义特征体系架构类型划分服务模式2.1.3 云计算的体系架构云计算概述定义特征体系架构类型划分服务模式 1）服务器服务提供操作系统的环境，例如Linux集群等 2）网络服务 3）存储服务 4）物理资源提供网络处理能力，如防火墙，VLAN等为用户所需的资源提供存储能力承载资源的物理设备，如服务器等资源层是指基础架构层面的云计算服务，可以提供虚拟化的资源2.1.3 云计算的体系架构云计算概述定义特征体系架构类型划分服务模式 用户访问层为用户使用云计算服务所需的各种支撑服务提供平台，对不同层次的云计算服务提供与之相应的访问接口包含所有服务的服务列表，用户可以通过目录直
5、观便捷地选择所需要的云计算服务可以对提供的服务进行管理，用户可以查看订阅的服务，也可以停止服务给不同层次的云计算服务提供访问接口2.1.3 云计算的体系架构云计算概述定义特征体系架构类型划分服务模式管理层对全部的云计算提供服务管理安全管理授权控制服务、用户认证和审计等功能服务组合用户可以对需要的云计算服务进行组合服务目录管理对服务目录和服务进行管理，管理员可以对服务进行增加和删除服务使用计量统计用户的使用情况，然后对用户进行计费服务质量管理管理服务的性能、可靠性等部署管理自动化部署和配置服务的实例服务监控记录服务的健康状态2.1.3 云计算的体系架构云计算概述定义特征体系架构类型划分服务模式私
6、有云公共云社区云混合云云计算单独为一个用户客户使用而构建的云基础设施，可以对数据的安全和服务质量进行最有效地控制由一个云计算服务的销售组织或公司所有的基础设施，由组织或公司销售给普通消费者使用基础设施是由 2 种或2 种以上的云组成，各类云相对保持独立，用专有的技术将它们组合起来被一些组织共享，提供某一方面的社区服务的基础设施，社区服务包括针对安全要求等2.1.4 云计算的类型划分云计算概述定义特征体系架构类型划分服务模式类型 特点私有云利用企业内网和专网，面向单一企业或组织社区云利用内网、专网和VPN，面向多家关联部门公共云利用互联网，面向公众混合云两种或三种其他云组合每一种云计算都有自身的
7、特点2.1.4 云计算的类型划分云计算概述定义特征体系架构类型划分服务模式基础设施即服务（IaaS）平台即服务（PaaS）软件即服务（SaaS）以服务的方式把应用程序提供给用户，用户不需安装软件，只需要通过浏览器就可使用Internet上的软件，满足其某种特定需求，供其消费以服务的方式把应用程序开发和部署平台提供给用户。用户基于云计算服务商提供的服务引擎构建服务，常用的服务引擎有互联网应用程序接口（API）或运行平台以服务的方式把服务器、存储和网络硬件以及相关软件提供给用户。用户不需购买物理设备，如网络设备、存储设备等，只要通过云计算服务上提供的虚拟硬件资源，进行网上租赁就可以创建应用程序2.
8、1.5 云计算的服务模式2.2云计算技术云计算技术1 虚拟化技术 硬件虚拟化 系统虚拟化 应用虚拟化 海量存储技术 元数据节点 数据节点 海量数据管理技术 列族存贮 主服务器 子表服务器 并行运算技术。映射（Map）规约（Reduce）234技术技术四大技术是拆分分布技术是合成虚拟化技术并行运算技术海量数据管理技术海量数据存储技术2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术有限的固定的资源根据不同需求进行重新规划以达到最大利用率的思路，从而实现简化管理，优化资源等目的的解决方案2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数
9、据存储技术服务器虚拟化存储虚拟化应用虚拟化桌面虚拟化服务器虚拟化技术是IaaS的核心技术，通过服务器虚拟化技术将一个服务器虚拟成多个独立的虚拟服务器，充分发挥服务器的硬件性能存储虚拟化是在基础管理层对大量存储设备进行统一管理。对存储数据的用户来说，如何将数据存储到终端，数据存储的安全性是他们关心的重点应用虚拟化是SaaS的基础，提供一个虚拟化平台，使所有的应用都可以在其上运行，所有与应用相关的信息、配置文件都由该平台提供桌面虚拟化是指将计算机的桌面进行虚拟化，使用户使用桌面更加安全和灵活。借助桌面虚拟化，用户可以实现通过任何设备远程工作2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量
10、数据管理技术海量数据存储技术服务器虚拟化2.2.1 虚拟化技术服务器虚拟化的优点在于：降低能耗，减少了物理服务器的数量，节省电力节省空间，通过虚拟化技术节省了众多物理服务器的空间提高基础架构的利用率，虚拟化大幅提升了资源利用率提高稳定性，安全性，可用性，可以负载均衡、动态迁移等提高灵活性，通过动态资源配置提高IT对业务的灵活适应力支持异构操作系统的整合，支持老应用的持续运行，减少迁移成本云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术存储虚拟化2.2.1 虚拟化技术 存储虚拟化在云存储系统中应用广泛，存储的容量成为衡量该系统性能的重要指标，通过在云存储系统中应用存储虚拟化，可以
11、避免不同厂家因为存储设备的不同而带来的差异化，也可以使原有的存储空间可伸缩，同时实现动态扩展存储容量和动态分配存储空间。一种云存储环境下典型的存储虚拟化结构如图所示。云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术应用虚拟化2.2.1 虚拟化技术 应用需要运行时，就不需要考虑安装环境，可以在不同的环境下运行。打包成单独文件的应用是在数据中心集中化管理，当用户需要安装、更新或者维护应用时，不需要重新安装应用程序，只需要通过在数据中心下载即可完成。云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术桌面虚拟化桌面虚拟化是指将计算机的桌面进行虚拟化，使用户使用桌面更加安全
12、和灵活。借助桌面虚拟化，用户可以实现通过任何设备远程工作2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术2.2.1 虚拟化技术实现桌面虚拟化和应用虚拟化转型VMwVMware Horizon 实现桌面虚拟化和应用虚拟化转型，从根本上转变了传统的 VDI，能够以更低的成本为您提供前所未有的简便性、灵活性、速度及扩展能力。相较于传统解决方案，VMware Horizon 承诺帮助您将完成设置并开始运行的速度提高 30 倍，同时将成本削减高达 50%。支持数字化工作空间在“客户
13、端-服务器”计算时代，Windows 占据主导地位，而指派给终端用户的任务则是在一个地点用一台设备完成工作，如今，这个时代早已一去不复返。现在，终端用户可以利用新型设备开展工作、访问 Windows 应用及非 Windows 应用，并且比以往更加机动灵活。云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术2.2.1 虚拟化技术桌面虚拟化和应用虚拟化产品Horizon 7 可通过单个平台跨不同设备和位置向终端用户安全地交付虚拟化桌面和已发布的应用Horizon Cloud on Microsoft Azure 将虚拟桌面和应用即服务的优势与基于使用情况的公共 IaaS 的灵活性结合
14、起来，得到一个更优质、更经济高效的数字化工作空间Horizon Apps 使终端用户可以快速而轻松地通过单个统一工作空间访问其所有已发布的应用、SaaS 应用和移动应用使用托管基础架构的 Horizon Cloud 简化向任何设备交付云托管桌面和应用的过程，让您无需管理自己的基础架构，也不会产生相关费用Horizon FLEX 通过集中控制和强有力的安全措施，为企业员工及合同工提供没有网络连接也能使用的基于 Mac 或 PC 的虚拟桌面云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术2.2.1 虚拟化技术通过单一平台交付桌面和应用保护数据并简化合规性管理大幅提高投资回报简化桌面
15、与应用管理将静态桌面转变为能够按需交付的安全数字化工作空间。通过单个 VDI 和应用虚拟化平台调配虚拟或远程桌面和应用，从而精简管理并轻松为终端用户授权。利用可动态适应终端用户计算环境的策略整合对终端用户计算资源的控制、交付和保护。利用虚拟网络连接简化并动态保护数据中心基础架构和工作负载。通过虚拟存储、虚拟计算和虚拟网络连接动态分配资源，从而简化管理并降低成本。通过可将虚拟化技术从数据中心延伸到设备的单个平台降低日常运维开销。利用可在数秒内交付桌面的现代桌面和应用交付体系结构，借助真正的无状态桌面降低存储和运维开销，并确保轻松进行应用打包和安装。支持丰富的自适应用户体验跨设备、位置、介质和连接
16、为知识型员工、移动员工甚至 3D 开发人员提供始终如一的卓越终端用户体验。云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术1）银行用户银行是国内最早使用大型主机和小型机的行业，在应用中得到的技术支持最多。其行业特点在于对成本敏感度低，对虚拟化技术的安全性和使用效率关注度高。2）政府部门对预算较敏感，通过最低的TCO（Total Cost of Ownership，总体拥有成本）获得最多的计算性能，对系统效率提高最关注。2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术3）企业单位虚拟化技术在企业的管理以及企业的信息化建设中发挥着作用，企业应用
17、虚拟化技术时，主要集中在对企业服务器虚拟化管理以及企业信息化建设应用中。服务器虚拟化提高资源的利用率，简化系统管理，实现服务器整合，可以给企业带来许多优势。4）高等院校 随着高校信息化的不断深入。校园网络上承载的应用越来越多，通过网络虚拟化技术可以实现不同应用的相互隔离，而同一类应用却可在全网范围内访问，实现将物理网络的逻辑纵向划分。2.2.1 虚拟化技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术单机（单个节点）即内部的多个CPU、多个核并行计算集群内部节点间的并行计算虚拟化技术目前已经有成熟的产品，而并行计算并没有成熟的产品，只有相对成熟的工具。并行计算的实现，依赖于开
18、发者和用户对业务的熟悉，对并行工具正确、熟练地使用。并行计算的实现层次【并行运算技术与虚拟化技术的区别】2.2.2 并行运算技术文献综述虚拟化技术并行运算技术海量数据管理技术海量数据存储技术1）在原有串行编程语言基础上，引入并行控制机制，提供并行API、运行库或者并行编译指令，这类模型包括OpenMP、MPI以及为人熟知的MapReduce；2）并行编程语言，其语言本身就是基于并行算法的，相对影响比较大的主要有Erlang。OpenMP一般用于实现节点内并行，MPI一般用于实现节点间的并行；而Erlang既可以实现节点间的并行，也可以实现节点内的并行。并行计算编程模型云计算技术虚拟化技术并行运
19、算技术海量数据管理技术海量数据存储技术2.2.2 并行运算技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术对大规模数据进行计算、分析和处理，如现在互联网的各种搜索引擎。以互联网为计算平台的云计算能够对分布的、海量的数据进行有效可靠地处理和分析。2.2.3 海量数据管理技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算系统中的数据管理技术主要是Google的BT（Big Table）数据管理技术以及 Hadoop团队开发的开源数据管理模块HBase和Hive。BT是建立在GFS、Scheduler、Lock Service和MapReduce上的一个大
20、型的分布式数据库，Google的很多项目使用 BT，其中包括网页查询、Google Earth和Google金融，如图是整个Big Table的存储服务体系结构2.2.3 海量数据管理技术文献综述虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算系统中广泛使用的数据存储系统是Google的GFS。GFS即Google文件系统（Google File System），是一个可扩展的分布式文件系统。GFS的设计理念是可以进行大规模的数据处理以及满足Google 应用特性。通过提供容错功能，使用户得到性能较高的服务。2.2.4
21、 海量数据存储技术文献综述虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术GFS,Big Table,Map Reduce称为Google的三驾马车，是许多基础服务的基石GFS于2003年提出，是一个分布式的文件系统，与此前的很多分布式系统的前提假设存在很大的不同，适用于以下场景：1）认为组件失效是一种常态，提供了容错机制，自动负载均衡，使得分布式文件系统可以在廉价机器上运行2）面向大文件存储，系统主要的工作负载是大规模的流式读取，写操作主要是追加方式写，很少有随机写3）一次写入，多次读取，例如互联网上的网页存储2.2.4
22、海量数据存储技术文献综述虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术GFS的系统架构如图所示。GFS将整个系统的节点分为三类角色：Client（客户端）、Master（主服务器）和Chunk Server（数据块服务器）。Client是GFS提供给应用程序的访问接口，它是一组专用接口，不遵守POSIX规范，以库文件的形式提供。应用程序 直接调用这些库函数，并与该库链接在一起。Master是GFS的管理节点，在逻辑上只有一个，它保存系统的元数据，负责整个文件系统的管理，是GFS文 件系统中的“大脑”。2.2.4 海量数据存
23、储技术Chunk Server负责具体的存储工作。数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了GFS的规模。GFS将文件按照固定大小进行分块，默认是64MB，每一块称为一个Chunk（数据 块），每个Chunk都有一个对应的索引号（Index）。文献综述虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术相对于传统的分布式文件系统，GFS针对Google应用的特点从多个方面进行了简化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。具体来说，它具有以下几个特点。
24、1采用中心服务器模式GFS采用中心服务器模式来管理整个文件系统，可以大大简化设计，从而降低实现难度。Master管理了分布式文件系统中的所有元数据。文件划分为 Chunk进行存储，对于Master来说，每个Chunk Server只是一个存储空间。Client发起的所有操作都需要先通过Master才能执行。2不缓存数据缓存（Cache）机制是提升文件系统性能的一个重要手段，通用文件系统为了提高性能，一般需要实现复杂的缓存机制。GFS文件系统根据应用的特点，没有实现缓存。3在用户态下实现在用户态下实现，直接利用操作系统提供的POSIX编程接口就可以存取数据，无需了解操作系统的内部实现机制和接口，
25、从而降低了实现的难度，并提高了通用性。4只提供专用接口GFS在设计之初，是完全面向Google的应用的，采用了专用的文件系统访问接口。2.2.4 海量数据存储技术文献综述虚拟化技术并行运算技术海量数据管理技术海量数据存储技术云计算技术虚拟化技术并行运算技术海量数据管理技术海量数据存储技术如图所示是一个大规模气象云存储服务系统体系结构，用户把气象资料存储在存储资源上，只需向服务提供商购买存储服务，而不需要购买存储资源。2.2.4 海量数据存储技术云计算与云存储2.3云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系云存储不是一种存储云存储是一种服务快速部署存储空间降低存储成本不是指某
26、一个具体的设备，而是指一个由许多个存储设备和服务器所构成的集合体使用者使用云存储，使用的是整个云存储系统带来的一种数据访问服务2.3.1 云存储的概述云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系将数据存储按需迁移到分布式的物理站点确保数据存储的高度适配性和自我修复能力，可以保存多年确保多个用户使用环境下的私密性和安全性改变存储购买模式，只收取实际使用的存储费用允许用户基于策略和服务模式按需扩展性能和容量结束颠覆式的技术升级和数据迁移工作线性的扩展性能和存取速度云存储的功能需求2.3.1 云存储的概述云计算与云存储可辩解型存储资源和服务用户使用界面服务生命周期流程计量和结算角色
27、和权限服务管理云存储的关键因素存储管理存储自动化：资源部署存储优化：重复数据删除、压缩数据存储虚拟化生命周期管理：数据迁移云存储的概述云存储的存储方式云存储与云计算的关系存储空间：大容量、磁带存储形式：块设备、文件系统数据保护：备份/恢复、灾备2.3.1 云存储的概述云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系对象存储是以对象（Object）为基本单位的存储方式，对象存储基于文件系统，通过文件系统来存储访问数据 对象 基于对象的存储设备OSD 元数据服务器MDS 文件系统2.3.2 云存储的存储方式云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系块存储是以块为基
28、本单位的存储方式，块泛指底层磁盘上的扇区组合，某个文件可以对应一个或者多个这样的块。块设备需要记录每个存储数据块在设备中的位置，增加了存储系统的管理任务2.3.2 云存储的存储方式云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系文件存储是以文件为基本单位的存储方式，文件存储设备通过以太网与服务器连接。文件设备主要用于用户文件共享2.3.2 云存储的存储方式云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系类型对象存储块存储文件存储存储单位对象块文件存储系统块存储设备+文件系统+定位逻辑+应用程序块存储设备块存储设备+文件系统典型产品代表OpenStack对象存储-Sw
29、iftHuawei OceanStor S5500THuawei OceanStor N9000FusionStorage优点支持高并行性支持可伸缩的数据访问管理性好安全性高高性能的随机I/O和数据吞吐率扩展性好易于管理2.3.2 云存储的存储方式云计算与云存储云存储的概述云存储的存储方式云存储与云计算的关系云存储是在云计算的概念上延伸和发展出来的一个新的概念，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来修通工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量
30、的存储设备，那么云计算系统就转变成为一个云存储系统。云存储是一个以数据存储和管理为核心的云计算系统，保证数据的安全性，并节约存储空间。2.3.3 云存储与云计算的关系云计算与大数据2.4大数据注重数据，为实际的业务提供数据采集，是对信息的积淀，云计算注重计算，为IT提供基础架构，是对信息的处理。云计算与大数据存在以下联系：2.4.1 云计算与大数据的关系云计算与云存储云计算与大数据的关系云计算与大数据的结合1 1）整体角度看，大数据与云计算相辅相成 云计算与大数据都是为数据存储和处理服务的，都需要占用大量的存储和计算资源2 2）技术角度看，大数据根植于云计算 海量数据存储技术、海量数据管理技术
31、、MapReduce等并行处理技术既是大数据技术的基础，也都是云计算的关键技术3 3）结构角度看，云计算及其分布式结构是大数据的商业模式与架构的重要途径 大数据的处理技术改变着计算机的运行模式，能够处理目前存在的各种海量数据；云计算架构能够支持数据的存储和处理，结合大数据的低成本硬件+云计算的低成本软件+低成本运维，推动了大数据的处理和充分利用的实现1）目的不同：大数据主要是通过充分挖掘海量数据以发现数据中的价值，而云计算是节省企业的IT部署成本，主要通过互联网更好地调用、扩展和管理计算及存储资源和能力2.4.1 云计算与大数据的关系云计算与云存储云计算与大数据的关系2）对象不同：大数据的处理
32、对象是“数据”；云计算的处理对象是“IT资源、处理能力和应用”4）带来的价值不同：大数据由数据中的价值发现带来收益，云计算节省IT部署成本3）推动力量不同：大数据的推动力量是从事数据存储与处理的软件厂商和拥有海量数据的企业；云计算的推动力量是存储及计算设备的生产厂商和拥有计算及存储资源的企业云计算与大数据的结合云计算与大数据云计算与大数据的关系云计算和大数据实际上是工具与用途的关系，即云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而且，从所使用的技术来看，大数据可以理解为云计算的延伸。2.4.1 云计算与大数据的关系云计算与大数据的结合云计算与大数据 云计算将成
33、为第四代IT产业改革。云计算可以使互联网速度更快，容量更大，成本更低。全球云计算市场将以28%的复合年增长率快速扩张，云计算快速发展背后的驱动力是全球数据快速增长。大数据若与云计算相结合，将相得益彰，互相都能发挥最大的优势。云计算能为大数据提供强大的存储和计算能力，更加迅速地处理大数据的丰富信息，并更方便地提供服务；而来自大数据的业务需求，能为云计算的落地找到更多更好的实际应用。右图形象的说明了云计算与大数据的结合。云计算与大数据的关系云计算与大数据的结合2.4.2 云计算与大数据的结合云计算与大数据云计算与大数据的关系云计算与大数据的结合阿里云是目前中国公有云IaaS市场最大的服务提供商，阿
34、里云由阿里巴巴集团投资成立于2009年9月10日，阿里云计算为阿里巴巴、淘宝、支付宝以及一些中小企业提供云计算服务。阿里云的云计算建立在大规模分布式计算系统上，提供了开放数据存储OSS、关系型数据库RDS、开放结构化数据服务OTS和开放数据处理服务ODPS等。产品类别产品详情弹性计算云服务器（ECS）负载均衡服务（SLB）云盾（Cloud Shield）云监控（Cloud Monitor）数据存储与数据库关系型数据库服务（RDS）开放存储服务（OSS）开放结构化数据服务（OTS）内容分发网络（CDN）大规模计算开放数据处理服务ODPS2.4.2 云计算与大数据的结合云计算与大数据 （2）资讯搜
35、索 对于资讯类的产品来说，“资讯量”和“时效性”是最重要的两点，需要掌握大量自动热点聚焦的实时新闻，随时随地满足用户阅读资讯的需求，才能使得产品被广大用户使用 （1）图片搜索 银河图片搜索，除了图片搜索的基本功能之外，技术团队还在“图像识别”领域进行研究，如希望做到优质图识别、商品图识别、人脸识别等，致力于给用户提供最精准的搜索阿里云计算的网页搜索，每天都要抓取更新数以亿计的网页，基于飞天云计算的离线处理系统，能够高效快速的处理海量的网页数据，包括各种复杂的网页特征处理。在具体的搜索中主要包括图片搜索、资讯搜索和音乐搜索。云计算与大数据的关系云计算与大数据的结合2.4.2 云计算与大数据的结合
36、云计算与大数据云计算与大数据的关系云计算与大数据的结合 阿里巴巴内部，阿里金融给多家小微企业和个人创业者提供融资服务，依靠的是企业经营数据和现金流的风险管理技术。阿里金融投放贷款的巨大金额依赖于电子商务平台的数据获取和阿里云的云计算平台对数据分析和处理的支持。施耐德创建了REM远程能源管理平台，在该平台上，采集用户用能的数据是通过能电表加网关的模式，将数据远程存储在OTS中，使用云计算的ODPS计算，并将最终的用能统计、用能分析等结果提供给企业，供企业管理和参考。利用能源即服务（EaaS）的新型能源管理服务模式，减少用户的最初投资，也提高能源使用效率，最终实现节能减排的目标。2.4.2 云计算
37、与大数据的结合云计算与大数据中石化基于阿里巴巴提供的基础云服务建设共享服务中心“易派客”，系统架构图如图2-15所示，基于大数据的技术与营销方法，精准服务8000万加油卡客户，提升客户体验。中石化基于阿里巴巴提供的基础云服务建设共享服务中心“易派客”，系统架构图如图所示，基于大数据的技术与营销方法，精准服务8000万加油卡客户，提升客户体验。云计算与大数据的关系云计算与大数据的结合2.4.2 云计算与大数据的结合云计算与大数据云计算与大数据的关系云计算与大数据的结合2.4.2 云计算与大数据的结合大数据通过与云计算结合能够释放出巨大的能力，这对于每个行业都是有推动作用的，而信息、互联网和通信产
38、业表现相对突出，特别是在通信业，传统的话务业务不能适应互联网发展的需求，而通过大数据与云计算的结合能够为通信业转型提供动力和途径，带来新的机遇。云计算与大数据云计算与大数据的关系云计算与大数据的结合2.4.2 云计算与大数据的结合基于大数据的海量数据存储技术，可以满足用户的存储需求；通过智能分析技术，能够有效提高网络维护的实时性，及时预测网络流量高峰值，对异常流量预警，给网络改造和优化提供参考依据，从而提高用户的体验。1)提升网络的服务质量2)提高客户洞察的准确性通过使用大数据的分析挖掘工具和方法，通信业可以整合来自内部各个部门的数据，比如市场部、营销部、服务部等，能够全面客观的了解客户，能够
39、精准刻画用户的形象，寻找到目标客户，并制定行之有效的营销计划、产品组合或者商业决策，提升客户形象和价值。云计算与大数据云计算与大数据的关系云计算与大数据的结合2.4.2 云计算与大数据的结合随着社会、经济的发展，用户对于智能化的要求将逐步强烈，因此运营商如能把大数据技术整合到行业信息化方案中，帮助用户通过数据采集、存储和分析更好地进行决策，将能极大提升信息化服务的价值。3）增强行业信息化的服务水平大数据和云计算相结合，可以提供一种数据分析的服务，通信业目前的云计算服务，以数据中心等资源的提供为主。下一步，通信业可以在数据中心的基础上，搭建大数据分析平台，通过自行采集、第三方提供等方式汇聚数据，
40、并对数据进行分析，为相关企业提供分析报告。4）基于云的数据分析服务案例基于云计算的智慧城市 建设框架2.5案例智慧城市（Smart City）是一种基于知识社会下的一代创新型城市信息化形态，在整个城市的各行各业综合运用新一代信息技术，最终实现信息化、工业化与城镇化的深度融合，通过智慧城市的建设能够帮助现代城市缓解“大城市病”，在提高城镇化的质量和进程的同时对城市实现动态管理。智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结2.5.1 智慧城市的内涵案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结科技智能信息化的管理和谐安全更舒适的生活健康合理可持续的
41、经济智慧城市的经济是绿色经济、低碳经济和循环经济，通过高科技对资源高效利用和循环利用，建立经济社会生态的和谐统一用现代的技术支撑，建立智慧生态、智慧交通、智慧社区、智慧医疗等。通过构建智慧的城市架构，为广大居民提供一个安居乐业之所运用智能化、信息化的手段进行政府管理和居民生活管理。利用先进的信息技术随时随地进行数据和信息的感知、获取、传递和处理2.5.1 智慧城市的内涵案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结云计算技术虚拟现实技术物联网技术“智慧城市”的各类智慧应用的承载和实现，需要云计算的数据计算与处理综合平台的有力支撑，这将极大改善资源部署及应用开发模式，实
42、现统一的服务交付，从而提升资源利用率，降低智慧成本，深化城市智慧程度虚拟现实技术（Virtual Reality）,简称VR技术，是一种利用电脑模拟产生三维空间的模拟世界的技术，这种技术可以通过对使用者视觉、听觉等感官的模拟使使用者产生身临其境的感觉。在具体智慧城市的建设中，将感应器安装到电网、铁路和隧道等城市的基础建设中，综合连接这些设施，形成智慧城市的物联网。2.5.2 智慧城市的支撑技术案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结智慧城市需要打造一个统一的平台，设立城市数据中心，构建三张基础网络，通过分层建设，构建面向未来的智慧城市系统框架2.5.3 智慧城市
43、的体系架构案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结256134统一硬件/存储/安全方案系统资源共享能力系统平滑演进能力快速的应用提供能力数据统一分析能力第三方系统集成能力核心能力2.5.3 智慧城市的体系架构案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结智能政务以政务信息资源开发利用与共享为核心，以关键业务应用系统建设为重点，以网络与信息安全体系建设为保证，通过电子政务，加强现有基础数据资源和政务信息资源的建设，促进各政务部门之间的信息共享和工作协同2.5.4 智慧城市的应用案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市
44、的应用总结智能产业推动时代发展，智能产业不仅在自身发展的过程中产生着新的技术、产品和观念，并且智能产业的产业格局也在发生着重大变化。伴随着新的技术模式，智能产业将开启新的时代，在新时代下，随之改变的是当今社会和人们的生活模式。智能产业通过科技的创新对当今社会经济复苏发挥着关键作用。2.5.4 智慧城市的应用案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结智慧巡检是利用数字化、信息化的措施对电信运营商和能源行业等的一种新型管理模式，用手机现场拍照录像、GIS地图服务等方式进行施工工程的管理、日常运维巡检管理以及故障发现、上报等，通过智慧巡检帮助运维人员更好的监督管理，进而
45、提高运维管理的效率。2.5.4 智慧城市的应用案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结智能社区的应用场景：1）公共通道及电梯闭路电视监控系统能不间断监控各部位的情况；2）小区内部环境的监控，保证小区环境的整洁，及时发现小区业主长期无故滞留；3）周边防范，对人员的非法进入及时报警；可视对讲提供住宅小区住户与来访者的音像通信。2.5.4 智慧城市的应用案例智慧城市的内涵智慧城市的支撑技术智慧城市的体系架构智慧城市的应用总结随着物联网技术的不断进步和应用范围的扩大与普及，将对智慧城市建设模式产生深远影响，基于位置信息的公共服务平台也将在智慧城市的建设中发挥重大作用。地理空间信息共享服务平台、基于位置的公共服务平台、物联网服务平台和云计算服务平台的整合与重构，将对智慧城市建设模式提出新的要求。2.5.5 总结随着城市的不断发展，对城市建设、运行、管理的要求将继续提高，从而推进智慧城市建设进程。智慧城市建设没有统一的模式，不同的城市间是不同的模式，各城市需要按照各自的特点具体分析，结合本城市的实际情况制定智慧城市的发展目标和建设模式。谢谢
