1、内容简介什么是云计算云计算解决方案的特点：按需自助服务广泛的网络访问资源池快速弹性测量服务云计算模式简介混合云是一种将两个单独的云（公共云和私有云）绑定在一起的技术，以组合和补充每个云提供的优势公共云是云服务提供商提供的供公众访问和使用的基础架构，平台或应用程序服务私有云是一种私有的且受用户自管理的云，其提供类似于公共云的优点，但是被设计使得用户在自己的数据中心管理和维护私有云的基础设施数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统IaaSP
2、aaSSaaS本地部署云计算服务模式如何理解IaaS PaaS和SaaSIaaS目标用户是企业内部架构师，基于云平台提供底层基础架构服务。PaaS目标用户是应用开发者，提供各种预制的托管的开发环境。SaaS目标客户是终端用户，为企业提供最终解决方案。到底该如何理解云平台服务模式呢快速理解IaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统IaaS快速理解PaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统PaaS快速理解SaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统SaaS网络存储服务器虚拟化操作系统中间件运行环境数据应用网络存储服务器虚拟化操作系统中间件运行环境数据应
3、用网络存储服务器虚拟化操作系统中间件运行环境数据应用网络存储服务器虚拟化操作系统中间件运行环境数据库应用私有云计算（laaS、PaaS）实例1）如果你自己买了服务器，要托管在集团数据中心：2）你直接向数据中心申请服务器资源：3）如果有需要，数据中心连中间件和运行环境也提供：4）我们的数据中心，甚至可以直接提供数据库资源：服务的类型服务可用性那些服务可以优先上云不适应迁移到云上的服务新服务如何部署云原生原则12-factor容器即服务CaaS快速理解容器即服务CaaS其实还没完，还有FaaS妈妈再也不担心我封装服务了更多的XaaS常见云平台分析常见云平台分析常见云平台分析常见云平台分析常见云平台
4、分析天翼云分析天翼云3.0产品视图注：加星号产品为天翼云3.0中新增加的产品，RDS计划2016年3季度上线 天翼云3.0以云主机为基础核心产品，从计算、存储、网络、安全及管理等维度不断丰富云计算产品能力，满足客户对网络接入、服务能力弹性扩展、应用安全等场景需求天翼云3.0基础产品总览互联网/企业内网云资源池弹性云主机云硬盘镜像服务弹性负载均衡弹性伸缩虚拟私有云云硬盘备份云监控DDoS流量清洗123公网IP + 公网带宽VPN接入4云专线接入1基础云主机产品：为用户提供包括vCPU、内存、操作系统和数据盘在内的具备计算能力的云主机提高云主机服务能力：使资源配置情况能够根据业务发展灵活调整，为用
5、户提供高可用、可扩展的云主机服务2增强云主机产品安全：为用户提供逻辑隔离的网络、数据备份和恢复服务，并能随时监控资源使用情况，做到异常情况及时告警提供网络接入能力：以多种方式提供云主机与互联网、与企业内网相连接的能力34物理机 自助独享的资源能力 多重保障的安全机制 独特的云网融合产品 可信认证的产品能力更贴近政企客户需求的差异化能力差异化的云网融合产品DCIChinaNet/CN2东西向融合南北向融合云资源+云网络（CN2/互联网）云公司一点受理东西向融合，催生产品新质态依托DCI承载东西向流量，依托业务调度系统实现资源统一调度产品新质态：业务容灾与100公里内双活、客户不同节点部署的资源互
6、访、按需配置跨域带宽南北向融合，实现“云+网”一体化服务将CN2 MPLS VPN纳入云网络标准产品与集团IT/流程贯穿，统一业务受理，统一故障受理“云+网”作为整体能力面向行业应用及合作伙伴开放私有云平台分析计算机家族80,000 IOPsPremium Storage入门级常规用途计算优化大内存StorageNetworkingManagement家族新成员高性能虚机H存储优化虚机L支持GPU的虚拟机更多新成员CY17-Q1CY17-Q2ADFEv3GAv2Av2Dv2Optimized for Database WorkloadsOptimized for Storage Workloa
7、dsLHIGHEST VALUELARGEST SCALE-UPUNDER NDA ONLYAv2NHCY17-Q2General Purpose & Application Workloads Dv3CY17-Q2MOptimized for largest enterprise applications including SAP HANACY16-GAOptimized for large SAP HANA workloadsCY17-Q2BSmall Workloads HIGHEST VALUELARGEST SCALE-UP可用性集Virtual machineVirtual ma
8、chineSQL Serverprimary SQL Serversecondary 可用性集 高可用(SLA 99.95)可用性集将应用层分为不同的可用性集容错域机架容错域机架前端高可用集后端高可用集VMVMVMVMIIS1SQL1IIS2SQL2UD #2UD #2UD #1UD #1将负载平衡器与可用性集合结合使用Web VMWeb VMSQL-AVSETSQL-AVSETIIS-AVSETIIS-AVSETSQL Mirroring端到端的高可用性解决方案单实例虚机 SLAVirtual machineSQL Serverw/ SSD 高可用性(SLA 99.9)什么是虚拟机规模集？S
9、calable VMOS Image DiffBaseOS ImageScalable VMOS Image DiffScalable VMOS Image DiffScalable VMOS Image DiffScalable Virtual MachineOS Image Diff DiskMicrosoft.Compute/virtualMachineScaleSets独立于平台Azure 存储Azure 网络Web and mobileLine of Business Apps like SAP ,SharepointMicroservice appsDev and testBig
10、data and analyticsInternet of ThingsBackup, recovery, and archiveHigh performance computingDigital mediaIaaS方案的典型起点备份，存档和灾难恢复Backup+Archive+DR开发和测试Dev/testLine of Business 应用LOB apps内容一览云平台管理NFVOverlayOpenFlowXENKVMvSphereHyper-V存储虚拟化ServerSAN硬件基础架构管理层资源虚拟化层基础设施层计算虚拟化网络虚拟化存储虚拟化和云计算相关的IT技术计算虚拟化-实现资源弹
11、性扩展开源通用平台(华为、华三等)全虚拟化技术永不过时的虚拟化技术开源技术VMware 采用全虚拟化技术独立开发支持设备驱动私有技术Citrix华为采用半虚拟化技术技术社区没落使用厂商减少开源技术 微软采用全虚拟化技术Window2008标准功能私有技术NV网络虚拟化Overlay网络：对物理网络进行隧道叠加，逻辑划分成虚拟网络分片，满足基于租户的个性化需求网络功能虚拟化：剥离网络功能，虚拟化2-7层网络业务功能，将硬件和软件解耦和；由欧洲电信联盟提出标准软件定义网络：控制与转发分离，网络控制集中化，实现4层以下流量调度Openflow是SDN典型协议之一SDN软件定义网络NFV网络功能虚拟化
12、-广义的SDN分类网络虚拟化狭义SDN传统网络软件定义网络自己思考自己踢自己思考别人踢SDN就是“中央集权制”的最佳实践网络虚拟化-Overlay网络 VxLAN虚拟化环境下用于业务隔离为了业务隔离而生局域网环境下用于业务隔离隔离容量：212=4K隔离容量：224=16M网络虚拟化-NFV网络功能虚拟化存储虚拟化帮助数据高效流动x86服务器内部资源虚拟共享存储池网络虚拟化计算虚拟化存储虚拟化超融合第一阶段超融合第二阶段软件定义最佳实践超融合超融合基础架构（Hyper-Converged Infrastructure，或简称“HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存储虚拟化等资源
13、和技术，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展（Scale-Out），形成统一的资源池。-Gartner权威定义管理服务操作系统服务器虚拟化网络虚拟化存储虚拟化超融合IT架构（所有硬件资源池化）超融合引领IT时代的变革超融合IT架构应用/业务操作系统安全服务操作系统超融合IT架构灵活性强业务按需部署业务逻辑隔离资源利用率高计算及存储效率提升网络带宽利用率提升自动化程度高自动化配置部署专业的管理平台安全融合网关DatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDat
14、abaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseInternet安全融合网关核心、汇聚交换机接入交换机物理服务器FC 交换机物理存储超融合私有云建设的基础单元传统的数据中心的架构超融合单元超融合单元超融合单元超融合单元集群1虚拟网络虚拟计算虚拟存储DatabaseDatabaseDatabase安全融合网关核心、汇聚交换机接入交换机Internet超融合数据中心的架构超融合私有云建设的基础单元实现云计算数据中心的步骤01100111100010101100010100100110001010101100010100011
15、00111100100101010110001010001100111100100111000101000110001011000101000110000100101100010100011111100110110010001100111100100100101001010003超融合 硬件化 设备独立 硬件孤岛 管理割裂 厂商异构 横向扩展 管理统一传统数据中心虚拟化数据中心0102 资源池化软件定义数据中心虚拟化04混合云云化数据中心三方兼容 云交互 云爆发 云迁移 云备份 网络虚化 易于管理 存储虚化自动部署69私有云平台架构范例云服务中心产品管理订单管理施工管理资源管理资产管理软件管理
16、业务系统管理业务域管理计费管理报表管理视图管理系统管理我的业务系统申请服务我的订单我的资源软件管理操作日志告警通知云监控物理机监控虚拟机监控网络监控存储监控虚拟化监控应用监控数据库监控操作系统监控告警管理自动化运维大屏监控综合视图硬件设备服务器存储网络运营门户自助门户虚拟化层WinServer虚拟化管理中心虚拟化管理层CNware中间件层虚拟化融合引擎资源统一管理平台常规的私有云方案通过虚拟化、资源池化、自动化资源调度、容灾备份、数据中心可视化等关键技术，构建高效、智能的云计算平台；为企业用户提供云服务交付、运营和运维的一体化功能。概述私有云平台功能分析70云计算平台统一纳管云计算资源池和服务
17、，提供对整体资源的动态调度能力、运维管理以及业务支撑功能、实现对IaaS、PaaS等资源池的调度以及云平台资源和服务的综合监管控概述云服务能力IaaSPaaS云服务门户数据库服务应用自服务门户云平台管理员门户桌面云结构化数据库服务非结构化数据库服务中间件服务应用容器业务总线消息队列云管理平台超 融 合 一 体 机网络资源存储资源SDC服务器资源公 有 云 服 务云 运 营 管 理云 安 全 管 理云 运 维 管 理VMwareHyper-VXenKVMSDNNFVOpenflowOverlaySDS虚拟化网关分布式存储云资源调度平台 商用云调度平台开源云调度平台用户管理员资源池整体设计框架“资
18、源池”的概念经过近年的发展和演进，正在企业私有云环境中逐步取代“IaaS”的概念，成为云计算第一个能够真正完整落地的基础架构新型应用方式。目前“资源池”已经成为概念有共识、涵盖范围较为清晰的基础架构方案。池概设综述资源池：资源池是整个基础架构的新型应用方式，而不仅仅是现有环境下的X86虚拟化。通常企业项目会考虑讲生产环境中的各个业务部门的物理机，虚拟机、存储设备、备份设施、网络设施和云资源管理系统等各类要素整合在一起形成整体资源池。资源区（子管理区）：实现对于资源池的监管控以及所有资源池元素的资源调度。应用网 ：业务应用为了避免相互影响而独立划分的网络区域概念定义计算池：按照技术类型、应用需求
19、原则分成若干个资源池，分别容纳小型机资源池、X86物理资源池、X86虚拟资源池存储池：按照应用需求、数据类型原则分成若干个资源池，分别为高端SAN存储资源池、NAS 存储资源池、分布式存储资源池资源池划分IaaS的核心是资源的池化基础设施基础设施即服务(IaaS)服务器服务器服务器服务器服务器服务磁盘阵列磁盘阵列磁盘阵列磁带库存储服务+服务器服务器服务器服务器服务器虚拟化磁盘阵列磁盘阵列磁盘阵列磁带库存储虚拟化+虚拟服务器文件系统逻辑卷应用入池分析框架根据应用对CPU和内存的负载特点，可以将应用分成不同的类型。轻量级、可分布式的应用可整体部署在X86虚拟化池中，重量级、紧耦合的应用需考虑整体部
20、署在物理机池中。对于大部分应用来说，可以将应用进行层次拆解，从不同层次来分析应用的入池需求。应用入池需求分类将应用拆解为不同部分，分类入池整体进X86虚拟池低CPU、低IO的应用计算需求负载低，CPU占用率低IO需求低，对IO的占用率低高CPU、低IO的应用计算需求负载高，CPU占用率高IO需求相对较低，对IO的占用率低高CPU，高IO的应用计算需求负载高，CPU占用率高IO需求高，对IO的占用率高低CPU、高IO的应用计算需求负载低，CPU占用率低IO需求高，对IO的占用率高例：综合管理类应用例：应用集成、实时订单系统等例：ERP数据库、核心应用系统例：财务管控、安防系统、门户目录等应用入池
21、分析应用云化分析结论p绑定专用设备的应用p特征：非标准化硬件类型和系统p结论：保持现状、不作云化p运行在物理机上的应用p特征：应用对资源性能要求不高,有部分定制化操作系统。p结论：仅OLTP使用，规模小(6%)，不做云化；p p 其它应用p特征：标准X86架构和Linux或Windows系统，性能要求不高p结论：以当前X86服务器性能（主流4路16核），具备云化承载应用条件。 业务3业务2业务1CA业务系统OLTP基础服务专用设备物理服务器资源需求：p某些应用需要绑定硬件服务器p近期对物理服务器的需求物理机企业私有云待分析应用资源类型：专用设备物理机虚拟机私有云平台X86虚拟池的设计内容通常包
22、括：交付单元的硬件、虚拟化软件平台、高可用设计，云平台调度功能设计等内容。设计内容将虚拟化软件平台的核心功能映射到X86虚拟池硬件交付单元设计上，描述在X86虚拟池中虚拟化软件平台如何进行有效管理和资源调度，包括实现如何实现虚拟化高可用、如何进行虚拟化存储和网络的配置等。虚拟化软件平台设计通过设计“交付单元”标准化硬件基础架构 针对集中式数据中心，设计两种不同规格的交付单元，高性能交付单元和高密度交付单元，满足不同应用入池需求。硬件设计交付单元设计高可用设计通过硬件冗余和虚拟化软件平台动态迁移技术实现交付单元内部的高可用。计算存储节点的设计规范交付单元的概念，价值在于：交付单元包含了配套的服务
23、器、存储、接入交换机等各种资源，同时在交付单元内实现了高可用性设计；交付单元用来作为未来资源交付的最小模块，有利于扩容管理和成本管理；保证同一个交付单元的服务器之间数据交换主要限制本地接入交换机内，尽量减少对汇聚层和核心层网络带宽的占用，适应大规模的池化环境；最小交付单元的设计方案保证机房在大规模环境下标准化、模块化的交付方式。交付单元服务器虚拟化设计原则高性能交付单元定义高性能交付单元是为了解决X86服务器虚拟化环境下，容易满足处理器和内存需求但忽略存储性能情况下造成的问题，提出的以I/O性能为导向的交付单元。配比原则为了保证性能的要求，虚拟化比设为1：4，超配比设为1：1 以4路x86服务
24、器为例：处理器是4*16核 ，可以虚拟出64颗vCPU，平均每个vm可以配到16颗vCPU，可以满足关键应用的需求。高密度交付单元定义高密度交付单元是为了向I/O性能要求并不高的应用组件提供成本较为低廉的计算资源的交付单元组合，是资源池解决I/O性能和成本矛盾的重要手段。配比原则虚拟化比可设为1：6或更高，超配比可设为1：1.2或更高 以2路x86服务器为例：处理器是2*10核 ，可以虚拟出20颗vCPU，平均每个vm可以配到3.3颗vCPU，为了满足至少一个vm4颗vCPU的需求，则需要24颗vCPU，超配比为1：1.2。4台：4路x86服务器 每台服务器配置为4颗16核CPU/256GB内
25、存/3300GB本地磁盘/ 4个千兆口（电）/4个万兆口（光）/2个双口8Gb HBA卡4台：2路x86服务器 每台服务器配置为2颗10核CPU/256GB内存/3300GB本地磁盘/ 4个千兆口（电）/4个万兆口（光）网络链路通过网络列头柜接入计算节点交付单元配置样例交付单元配置机柜示意图772路x86服务器2U机架式服务器，处理器：2*10核 主频2.3GHz； 包含硬件辅助虚拟化技术Intel VT（Virtualization Technology ）技术内存：256G DDR4，可扩充至1536GB；硬盘：3300GB 支持RAID01510；最大支持28块2.5寸热插拔硬盘或者14
26、块3.5寸热插拔硬盘；网络：4个100/1000M以太网电接口，2个双光口万兆网卡；电源：2个热插拔电源 远程管理监控：包含基础架构监控系统，是一套针对数据中心基础架构设备的远程管理监控解决方案，它能够对数据中心内的各类设备包括服务器、存储、光纤交换机和主流操作系统进行监控x86服务器作为虚拟化主机4路x86服务器4U机架式PC服务器，处理器：4*16核 主频2.2GHz，可扩充至8路处理器；包含Intel VT技术内存：512G DDR3，可扩充至6TB；硬盘：3300GB；支持RAID0、1、5、10；网络：4个100/1000M以太网电接口，2个双光口万兆网卡，2个双口8Gb HBA卡；
27、电源：4个热插拔电源远程管理监控：包含基础架构监控系统LIM计算入池设备配置规范虚拟化池和物理机池需要根据应用对其要求及功能定位，选用不同配置的设备，以达到合理利用预算及优化资源配比的目标，通常的虚拟化主机配置范例如下：配置规范私有云存储入池设备选型及配置规范对于各类数据存放的要求，需要使用NAS、SAN和分布式存储三类设备，每类设备的设计规范如下：配置规范2个机房各一台，准生产和开发测试环境1台，共3台作为集中式存储，存储虚拟机镜像和应用数据选型建议： NetApp 8000系列的8040 FAS8040 双节点（NAS 横向扩展，2个HA对）；128GB CACHE；DS4246（4U；2
28、4 个驱动器，硬盘7.2K RPM 4TB） ；Data ONTAP 8.2.1 RC2；NASSAN2个机房各一台，准生产和开发测试环境1台，共3台生产环境配200TB， 开发测试环境配50TB存放关键核心应用的数据库数据选型建议： EMC VMAX 200K系列 512GB CACHE； 600G 10K SAS Driver在生产环境和开发测试环境各部署一台存放视频等非结构化数据选型建议：联想LeoStor并行存储系统分布式存储服务器虚拟化平台设计Zone1主数据中心2#数据中心生产环境DataCenter开发测试环境Zone3 虚拟化软件主机集群（cluster）即一组互相兼容的服务器
29、的高可用性边界，即在单个集群内部可以实现自动的高可用性切换，当单台服务器发生故障，可以由冗余节点接管故障节点。管理组件数量manager3套clustern个Zone2生产区cluster1准生产区cluster1开发测试区cluster2配置数量集群说明接入区cluster2基础服务区cluster3运维管理区cluster4生产区cluster5接入区cluster6基础服务区cluster7运维管理区cluster8私有云网络设计原则 系统设计应采用开放技术、开放结构、开放系统组件和开放用户接口，以利于网络的维护、扩展升级及与外界信息的沟通。开放性 能够采用的安全措施有效、可信，能够在多
30、层次上、以多种方式实现安全的控制。安全性 具有很高的MTBF(平均无故障工作时间)和极低的MTBR(平均无故障率)，提高容错设计，支持故障检测和恢复，可管理性强；可靠性 在系统的选择与开发过程中，既能满足当前网络的应用需求，又可以在将来需要扩展的时候，能方便地扩展；先进性 实用性设计应能满足目前对网络应用的要求，充分实现内部管理、信息化等要求，使网络的整体性能尽快得到充分的发挥，并且便于掌握。实用性 在系统的设计过程中，坚持“三统一”，即统一规划、统一标准、统一出口。统一性 用户有两个或以上的数据中心L2互联需求； 或者用户在数据中心内有跨L3的L2连接需求； 适用于：主机集群、虚机高可用、主
31、机迁移；2015 Lenovo Internal. All rights reserved.私有云平台整体网络架构实例APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器SAN主数据中心APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器虚拟化服务器集群APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器SAN2#数据中心APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器
32、虚拟化服务器集群DWDMGE/10GGE/10GEVI应用场景 基于IP层面实现跨数据中心的L2互联 不依赖MPLS & STP、对广播流量有优化措施、对多地点的网关一致性有配套的解决方案。 对虚拟高可用有优化支持。技术优势2#数据中心，与主数据中心数据中心，与主数据中心间采用密集波分系统间采用密集波分系统DWDM链路高速连接链路高速连接DWDM通过通过OADM基于基于10G/GE连接到互联交换设连接到互联交换设备备 大二层网络二层多路径二层的扩展 多中心选路LSIP 多中心互联DWDMEVI VM流量感知VMotionHADRS 服务可用DNSLB私有云网络安全设计原则防火墙作为边界防御设备
33、，决定了哪些内部服务可以被外界访问；外界的哪些人可以访问内 部的哪些服务，以及哪些外部服务可以被内部人员访问。防火墙（FireWall） 全自动的精确检测、实时阻断恶意连接； 在线部署，也可旁路部署入侵防御系统（IPS） DDoS防御设备通过静态漏洞攻击特征检查、动态规则过滤、异常流量限速和 “基于用户行为的单向防御”技术流量清洗（Guard） NAT不仅能解决了lP地址不足的问题，而且还能够有效地避免来自网络外部的攻击，隐藏并保护网络内部的计算机。网络地址转换（NAT） 支持SSL / IPsec VPN，通过加密技术、完整性校验技术保障。 完整性和保密性保护虚拟私有网络（VPN） 部署堡垒
34、机设备，是为了加固数据中心运维环境的安全系数，最小化的规避运维过程中面临的风险问题，保障良好的交付水平，同时也能有效的提高数据中心运维工作的安全管理能力及时间成本。堡垒机网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。网络安全概念私有云网络高可用&高扩展技术特性建议 设备、线路冗余备份； 主要板卡、电源、风扇冗余备份，避免单点故障；高可用冗余设计 背板无源设计，避免单点故障； 各组件均支持热插拔功能； 支持端口聚合，支持链路跨板聚合； 控制引擎和交换网板相互独立；高可用硬件设计 插槽式，支持多个
35、业务板卡； 支持高密度的万兆和千兆接入能力； 接口丰富；高扩展核心设计 支持端口的线速转发； 支持POE; 支持万兆上链； 支持堆叠；高扩展接入设计1 2008年9 月，美国自然（Nature）杂志专刊The next google,第一次正式提出“大数据”概念。2 2011年2月1日，科学（Science）杂志专刊Dealing with data，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。3 2011年5月，麦肯锡研究院发布报告Big data: The next frontier for innovation, competitio
36、n, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”。 “大数据”这一概念的形成，有三个标志性事件：大数据的由来4 V特征种类多（Variety）速度快（Velocity）价值高（Value）体量大（Volume）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。随着现代感测、互联网、计算机技术的发展，数据生成、储存
37、、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。大数据的特点大数据数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率云计算、硬件性价比的提高以及软件技术的进步智能设备、传感器的普及，推动物联网、人工智能的发展计算运行、计算速度越来越快存储 存储成本下降 智能实现
38、信息对等解放脑力，机器拥有人的智慧大数据的技术支撑美国著名管理学家爱德华戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。”（1）有数据可说 在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。 （2）数据更可靠 大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律
39、，只要通过适当编码，均可以通过统一的数字信号表达出来。 因此，“用数据说话”、“让数据发声”，已成为人类认知世界的一种全新方法。大数据意义风马牛可相及 在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价值所在。经典案例：（1）啤酒与尿布（2）谷歌与流感大数据的意义来自大量传感器的机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据海量的数据的产生随着人类活动的进一步扩展，数据
40、规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。大数据的来源大数据的采集1大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。常用的数据采集的方式主要包括以下几种：数据抓取01数据导入02物联网传感设备自动信息采集03大数据处理方法导入/预处理2虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将
41、这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。数据清理数据集成数据变换数据归约主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。是将多个数据源中的数据结合起来并统一存储，建立数据仓库。过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。寻找依赖于
42、发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。大数据处理方法 统计与分析3统计与分析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求，在这些方面可以使用R语言。R语言是用于统计分析、绘图的语言和操作环境，属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R语言在国际和国内的发展差异非常大，国际上R语言已然是专业数据分析领域的标准，但在国内依旧任重而道远，这固然有数据学科地位的原因，国内很多人版权概念薄弱，以及学术领域相对闭塞也是原因。R语言是一套完整的数据处理、计算和制
43、图软件系统。R语言的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动地进行数据分析，甚至创造出符合需要的新的统计计算方法。在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。大数据处理方法大数据挖掘4数据挖掘是创建数据挖掘模型的一组试探法和计算方法，通过对提供的数据进行分析，查找特定类型的模式和趋势，最终形成创建模型。分类朴素贝叶斯算法一种重要的数据分析形式，根据重要数据类的特征向量值及其他约束条件，构造分类函数或分类模型，目的是根据数据集的特点把未知类别的样本映射到给定类别中。
44、支持向量机SVM算法AdaBoost算法C4.5算法CART算法聚类BIRCH算法目的在于将数据集内具有相似特征属性的数据聚集在一起，同一个数据群中的数据特征要尽可能相似，不同的数据群中的数据特征要有明显的区别。K-Means算法期望最大化算法（EM算法）K近邻算法关联规则Apriori算法索系统中的所有数据，找出所有能把一组事件或数据项与另一组事件或数据项联系起来的规则，以获得预先未知的和被隐藏的，不能通过数据库的逻辑操作或统计的方法得出的信息。FP-Growth算法预测模型序贯模式挖掘SPMGC算法一种统计或数据挖掘的方法，包括可以在结构化与非结构化数据中使用以确定未来结果的算法和技术，可
45、为预测、优化、预报和模拟等许多业务系统所使用。大数据处理方法大数据7个应用场景 环境教育行业医疗行业 农业 智慧城市零售行业金融行业大数据应用场景Hadoop的由来面临的问题Hadoop设计思想Hadoop的构成Hadoop 分布式文件系统 (HDFS)Hadoop的存储系统以块（block）为存储单位文件被分成多个块，并存储在整个集群的工作节点上HDFS向用户隐藏了这些数据分块切片及分布的复杂性MapReduce范例1：计算达芬奇笔记中所有单词的数目范例2：数独Hadoop群集部署模式内容一览企业云平台发展方向企业IT云之路物理设备虚拟化资源整合资源按需使用自动化管理资源弹性调度基于大集群的
46、HA，DRS多数据中心整合统一管理和运维多级备份容灾SDN网络虚拟化统一管理资源最优配置业务灵活迁移PrivatePublicHybrid Cloud私有云虚拟化分布式云数据中心混合云关注资源逐渐关注业务关注全局业务灵活的业务驱动OpenStack概述OpenStack概述OpenStack的优势北向标准OpenStack API，生态系统丰富大规模的云3rd Network3rd Hypervisor3rd Storage3rd DCManagementMANO/BOSS3rd Guest OS &ApplicationsNovaCinderNeutronHeatOpenStack + Op
47、enStack：架构开放、扩展性良好、支持多厂商基础设施的统一平台OpenStack 概念架构图OpenStack 核心组件服务服务功能功能HorizonPortalNova计算服务Neutron网络服务Swift对象存储 Cinder块存储Keystone认证服务Glance镜像服务Ceilometer计量监控 Heat业务编排 OpenStack认证服务KeystoneOpenStack计算服务NovaOpenStack镜像服务GlanceOpenStack对象存储服务SwiftOpenStack块存储服务CinderOpenStack网络服务NeutronOpenStack管理Porta
48、lHorizonOpenStack计量服务CeilometerOpenStack业务编排HeatOpenStack部署架构OpenStack4节点部署架构控制节点概述网络节点概述计算节点概述存储节点概述OpenStack部署过程OpenStack部署方法演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStac
49、k环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署
50、OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境演示：使用Fuel部署OpenStack环境商用版OpenStack扩展商用扩展 易部署 易运维 高可靠 安全加固 自动化 扩展性商用版 OpenStackOpenStack Extension（Plugin/Driver Extension ）Common ServiceInstall, upgrade, monitor, Alarm, Log, HA运维监控系统HeatResource PluginAPI -ExtensionCeilometerAPI -ExtensionAgen
