1、vPowerPoint Template_Sub 4.3.4云计算技术案例云计算技术案例第四章第四章 云计算与大数据云计算与大数据4.3.5大数据技术大数据技术vPowerPoint Template_Sub Amazon云计算平台云计算平台Amazon Elastic Compute Cloud (Amazon EC2)Amazon Elastic MapReduce (Amazon EMR)Amazon Simple Storage Service（Amazon S3） Amazon DynamoDBGoogle云计算平台云计算平台Google Compute EngineGoogle A
2、pp EngineGoogle Cloud DatastoreGoogle Cloud SQL云计算技术案例云计算技术案例vAmazonAmazon云计算应用案例云计算应用案例Amazon EC2Amazon EC2是一种云基础设施服务是一种云基础设施服务基于服务器虚拟化技术，为用户提供大规模、可靠、基于服务器虚拟化技术，为用户提供大规模、可靠、可伸缩的计算资源可伸缩的计算资源用户可以申请和定制所需的计算资源，按需付费用户可以申请和定制所需的计算资源，按需付费 Amazon EMR Amazon EMR是一种是一种 Hadoop托管服务运行架构托管服务运行架构提供提供执行数据密集型应用计算，完
3、成执行数据密集型应用计算，完成 Web 索引、数据索引、数据挖掘挖掘等数据处理任务等数据处理任务-1-2-vAmazonAmazon云计算应用案例云计算应用案例Amazon S3 Amazon S33是是Amazon云平台提供的具有高扩展性、可云平台提供的具有高扩展性、可靠性、安全性的网络存储服务靠性、安全性的网络存储服务 用户可以将自己的数据放到存储云上，通过互联网访用户可以将自己的数据放到存储云上，通过互联网访问和管理问和管理Amazon DynamoDBAmazon DynamoDB是一个完全托管的是一个完全托管的NoSQL数据库服数据库服务务可以提供快速的、可预期的性能，并且可以实现无
4、缝可以提供快速的、可预期的性能，并且可以实现无缝扩展扩展 -3-vG Googleoogle云计算应用案例云计算应用案例Google Compute EngineGoogle Compute Engine是一个基础架构服务，可以让是一个基础架构服务，可以让用户使用用户使用Google的服务器来运行的服务器来运行Linux虚拟机虚拟机具有极高的延展性、高性能以及性价比具有极高的延展性、高性能以及性价比Google App Engine Google App Engine 允许用户在允许用户在 Google 的基础架构上的基础架构上运行网络应用程序运行网络应用程序应用程序易于构建和维护，并可根据用
5、户应用程序的应用程序易于构建和维护，并可根据用户应用程序的访问量和数据存储需要的增长轻松扩展访问量和数据存储需要的增长轻松扩展 -4-vG Googleoogle云计算应用案例云计算应用案例Google Cloud DatastoreGoogle Cloud Datastore提供了一个托管的提供了一个托管的NoSQL无模无模式数据库，用于存储非关系数据式数据库，用于存储非关系数据Google自动处理分片和复制自动处理分片和复制,以提供高可用性和一致的以提供高可用性和一致的数据库数据库支持类支持类SQL查询查询 Google Cloud SQLGoogle Clooud SQL提供关系数据库的
6、云服务。用户可提供关系数据库的云服务。用户可以将其数据库迁移到云中以将其数据库迁移到云中用户使用用户使用Cloud SQL时，所有事务都在云中由时，所有事务都在云中由Google管管理理vPowerPoint Template_Sub 大数据概念大数据概念大数据与物联网关系大数据与物联网关系从物联网构成分析大数据需求从物联网构成分析大数据需求 大数据处理技术在物联网中的应用大数据处理技术在物联网中的应用 大数据相关技术介绍大数据相关技术介绍分布式计算框架分布式计算框架HadoopSAP HANA内存计算系统内存计算系统机器学习机器学习大数据技术大数据技术v大数据概念大数据概念Variety 据
7、多样性丰富，来源广泛，数据种类和格式丰富据多样性丰富，来源广泛，数据种类和格式丰富Velocity数据处理速度快，在数据量非常庞大的情况下，也能数据处理速度快，在数据量非常庞大的情况下，也能够做到数据的实时处理够做到数据的实时处理 Volume数据体量大，为大型数据集数据体量大，为大型数据集 Value数据价值密度较低数据价值密度较低 -6-7-v大数据与物联网关系大数据与物联网关系从物联网构成分析大数据需求从物联网构成分析大数据需求联网实体的扩大化联网实体的扩大化 需要大数据处理技术为需要大数据处理技术为联网实体产生的大量数据联网实体产生的大量数据其提供其提供存储、分析的支持，以获取重要信息
8、并实时作出决策存储、分析的支持，以获取重要信息并实时作出决策 网络层需求网络层需求 需要大数据传输技术为需要大数据传输技术为物联网物联网应用层应用层产生的大量数据产生的大量数据提提供足够的高可靠与低延迟数据传输承载能力供足够的高可靠与低延迟数据传输承载能力 以应用为核心的数据需求的增长以应用为核心的数据需求的增长 应用数量的增加，将使得用和核心的数据迅速增长，必应用数量的增加，将使得用和核心的数据迅速增长，必然需要借助大数据技术来对这些数据进行分析与挖掘然需要借助大数据技术来对这些数据进行分析与挖掘 -8-v大数据与物联网关系大数据与物联网关系大数据处理技术在物联网中的应用大数据处理技术在物联
9、网中的应用海量数据存储海量数据存储海量数据传输海量数据传输海量数据分析与挖掘海量数据分析与挖掘实时决策实时决策 -9-v大数据相关技术介绍大数据相关技术介绍分布式计算框架分布式计算框架HadoopHadoop是一个开源的分布式框架，可以实现在由大量服是一个开源的分布式框架，可以实现在由大量服务器组成的集群上，通过分布式的计算模型和存储模型务器组成的集群上，通过分布式的计算模型和存储模型处理大数据集处理大数据集 Hadoop具有高容错性，可靠性，可扩展性等优势具有高容错性，可靠性，可扩展性等优势 Hadoop生态系统图-10-v大数据相关技术介绍大数据相关技术介绍Hadoop生态系统主要组件生态
10、系统主要组件Haoop Common 提供系统配置工具Configuration、序列化机制、远程过程调用RPC和Hadoop抽象文件系统HDFS等 工具HDFS Hadoop的分布式存储系统，具有高度容错特性，是Hadoop体系中数据存储管理的基础MapReduce 并行处理的编程模型，基于它编写的应用程序能够运行在由大量服务器组成的大型集群上，并以可靠容错的式并行处理TB级别的数据集 HBase 高可靠、高性能、面向列、可伸缩的非关系数据库，提供了对大规模数据的随机、实时读写访问 Pig 运行在Hadoop上，对大型数据集进行分析和评估的平台 Hive 建立在Hadoop基础上的数据仓库架
11、构 -11-v大数据相关技术介绍大数据相关技术介绍SAP HANA内存计算系内存计算系统统SAP HANA 是一款面向数是一款面向数据源的、灵活、多用途的据源的、灵活、多用途的内存应用平台设备内存应用平台设备SAP内存计算技术包括列内存计算技术包括列式数据库设计、数据压缩、式数据库设计、数据压缩、分区计算、动态数据聚集分区计算、动态数据聚集和大规模并行处理、数据和大规模并行处理、数据复制和分析建模等技术复制和分析建模等技术HANA 内存计算系统架构-12-v大数据相关技术介绍大数据相关技术介绍机器学习机器学习模拟或实现人类的学习行为，以获取新的知识或技能模拟或实现人类的学习行为，以获取新的知识
12、或技能通过机器学习的研究，可以深度挖掘大数据中蕴含的价值通过机器学习的研究，可以深度挖掘大数据中蕴含的价值 机器学习方法机器学习方法以用户为基础的协同过滤以用户为基础的协同过滤以项目为基础的协同过滤以项目为基础的协同过滤 聚类聚类 分类分类-13-v大数据相关技术介绍大数据相关技术介绍聚类聚类聚类即将数据分组成为多个类。在同一个类内对象之间具聚类即将数据分组成为多个类。在同一个类内对象之间具有较高的相似度，不同类之间的对象差别较大有较高的相似度，不同类之间的对象差别较大 主要聚类算法主要聚类算法划分法划分法层次法层次法基于密度的方法基于密度的方法基于网格的方法基于网格的方法基于模型的方法基于模型的方法 -14-v大数据相关技术介绍大数据相关技术介绍分类分类分类是一种种数据分析形式，通过分析训练集中的数据，分类是一种种数据分析形式，通过分析训练集中的数据，为每个类别建立分类分析模型，然后用这个分类分析模型为每个类别建立分类分析模型，然后用这个分类分析模型对数据集的记录进行分类对数据集的记录进行分类 主要分类算法主要分类算法决策树决策树贝叶斯贝叶斯算法算法人工神经网络人工神经网络K-近邻近邻算法算法支持向量机支持向量机基于关联规则的分类基于关联规则的分类
