XX云计算平台IAAS平台规划方案.pptx

1、XX云计算平台IAAS平台规划方案云计算趋势云计算特性云计算自助服务弹性伸缩资源池化广泛的网络接入可计量服务 服务提供商需要支持弹性伸缩；服务使用方（应用系统）也要支持此特性；机遇与挑战准实时服务抗浪涌冲击发布灵活应用轻量化海量数据处理部署周期长扩展能力不足应用成本高服务标准化部署自动化管控集中化资源弹性化敏捷开发持续集成灰度发布CLOUDCLOUDIAASPAASSAAS实施策略-云方案的选择兼容性安全性定制与集成成本体验弹性混合云私有云公有云计算资源的考虑行业应用基础设施服务虚拟资源池硬件平台桌面开发管理支持核心应用中间件多渠道云管理IAAS平台Unix CloudServerX86 Cl

2、oudServerSAN StorageObject StorageVPCELBElastic BlockAPPSDeployment云服务编排ConvergentServerConvergent ServerVMVMPowerVMRISCServerDataBaseX86ServerHadoopX86ServerSparkX86ServerVMESXiX86ServerX86ServerVMKVM服务目录资源池快速部署容易扩展数据中心管理平台Self Service Portal用户管理性能监控统一报告分析考虑事项：计算资源池按需分类l 群集（Cluster）l 与应用匹配l 通用VS.特制

3、l 大小：节点数量l 服务/硬件匹配 硬件l X86 VS.RISCl 物理 VS.虚拟l 机架式VS.多节点VS.一体化 全归云操作系统统一管理存储资源的考虑联机交易服务&数据考虑事项：存储资源按需分类l 按高可用、性能等清晰定义，匹配应用需求 FC-SANl 关键应用（延迟、服务质量等）l 通过层化（SSD、SAS）和虚拟化进一步优化 Server-SANl 高性价比&高扩展的解决方案来降低FC-SAN压力l 适合虚拟化环境（Web on VM等）软件定义存储存储分类中间业务产品管理风险管理客户洞察业务分析数据库数据虚机图像数据分享&交换在线图像数仓大数据Hadoop系统备份图像归档媒体/

4、通讯/邮件服务管理和编排存储作为服务数据保护作为服务块文件对象复制备份恢复一体化存储SAN/NASServer SAN分布式文件存储分布式对象存储云计算趋势IT架构演进路径数据中心云化的本质：由“分离”重归“融合”“天下大势，合久必分，分久必合”，云计算时代数据中心IT架构的下个十年，是从分离重归融合的十年合虚拟化1955-1980 大型机/小型机OSOSAPP1APPn.多应用共享封闭的软硬件系统分1980-2010 小型机/服务器+存储+交换设备OS1APP1APPn.应用绑定服务器合虚拟化2010&Later 云基础设施资源池多应用共享，开放的“云计算机”.OS2OSnAPP2.OS1A

5、PP1APPn.OS2OSnAPP2实施策略架构演进趋势之一微服务概念：微服务专注于实现单一业务功能；独立于其他（微）服务，或在某些情况下，很少依赖其它服务；通过不依赖语言的API进行沟通；运行于独立的进程中；从底层平台和基础设施解耦。Pre-SOA（monolithic）Tight couplingTraditional SOALeaver couplingMicroservicesDecoupledCoupling内容目录9 IAAS发展趋势 IAAS技术架构 分场景方案 混合云方案 为什么使用混合云 混合云多种方式 混合云设计 双活方案 为什么使用双活 双活的多种实现方式 双活设计IAA

6、S背景趋势1011IAAS平台架构计算资源池寄居虚拟化架构裸金属虚拟化架构操作系统虚拟化架构混合虚拟化架构优点 简单、易于实现 虚拟机不依赖于操作系统支持多种操作系统，多种应用 简单、易于实现 管理开销非常低 相对于寄居虚拟化架构，没有冗余，性能高 可支持多种操作系统缺点 安装和运行应用程序依赖于主机操作系统对设备的支持 管理开销较大，性能损耗大 虚拟层内核开发难度大 隔离性差，多容器共享同一操作系统 需底层硬件支持虚拟化扩展功能厂家VMware WorkstationVitrual PCVMware ESXServer、Citrix XenServer、Microsoft Hyper-V、F

7、usionSphereVirtuozzoRedhat KVM寄居虚拟化架构宿主操作系统操作系统应用应用虚拟化层裸金属虚拟化架构虚拟化层应用操作系统应用控制台应用操作系统操作系统虚拟化架构宿主操作系统虚拟容器应用系统模板库虚拟容器应用系统模板库混合虚拟化架构宿主操作系统应用操作系统应用操作系统应用操作系统虚拟硬件管理业界主流虚拟化技术都是裸金属架构、硬件辅助虚拟化技术计算资源池统一的业务服务管理支持业务和计算资源的逻辑分离和组合映射，面向业务提供计算服务，对各种服务建立SLA，实现自动化、流程化运维标准集中的资源池化管理建立资源池化管理模型，统一资源的管理、支持源横纵扩展，实现集约化运维，提高系

8、统可靠性动态的调度分配管理实时监控计算资源的使用情况，根据预定策略启动资源的伸缩、调配，提高资源利用率、降低业务等待时间辅助技术运维监控技术 备份技术 容灾技术 安全技术 X86资源池VM热迁移弹性伸缩虚机热备X86独立服务器计算资源池可扩展性高可靠性负载均衡纵向扩展双机横向扩展安全性主机安全网络隔离可管理性统一管理自动化服务能力外围区B类C类管理区C类D类DMZ区A类B类C类核心区A+/A类B类业务分类X86服务器虚拟化(裸金属)存储热迁移计算资源池虚拟机资源弹性伸缩集群资源弹性调度业务资源复用资源池资源管理内存复用CPU QOSCPU热插拔VM休眠VM唤醒GPU 直通磁盘扩容Disk sh

9、rinking存储瘦分配网络优先级网络限速网络份额资源池预留资源池扩减容资源池优先级资源池份额计算DRS存储DRS分布式存储DPMvMotion存储热迁ELB业务伸缩业务间分时复用业务内分时复用业务间共享资源VIP业务资源抢占网络软件定义网络业务层业务应用APIAPIAPI网络服务SDN Controller控制-转发通信接口控制层转发层网络设备网络设备网络设备 控制转发分离：传统网络设备紧耦合的网络架构，被分拆成控制和转发两个平面。同时，在控制平面，增加集中控制器进行整体调度，将命令和逻辑发送回硬件（路由器或交换机）的数据转发平面。开放API及软件定义：即通过基于SDN技术的对外开放的API

10、进行软件编程，实现整个网络集中的管理能力，而不需要在每个路由器或交换机上分别以设备为中心进行管理。网络软件定义网络存储分布式存储存储分布式存储MDSAPOSSOSSAPAP统一名字空间APOSSOSSMDS物 理逻 辑数据被分 块后存储 在所有的 OSS存储分布式存储特点分布式 存储共享 性易扩 展经济 性通用 性易管 理高可用云管理前端层基础设施服务层桌面云开发测试云生产云统一管理层基础设施服务目录层基础设施云服务IAAS中间件云服务PAAS应用环境服务其他服务交互组件员工桌面接入网关前端缓存统一通信组件即时通信消息短信和邮件时间服务时间服务统一信息发布统一设备驱动输入或输出组件知识库知识管

11、理全文检索模式识别图像识别二维码识别柜面客户中心VTM手机银行ATM业务用户集团商户基础设施资源层接入服务池云部署单元网络资源通用服务层应用服务池云部署单元数据服务池云部署单元管理服务池云部署单元名称服务负载均衡网络接入存储资源文件存储块存储计算资源网卡CPU内存数据库SQL基础设备管理云管理资源池管理IT服务管理集中监控管理监控操作管理运维分析管理配置管理服务流程管理应用项目架构管理资源管理产品管理管控体系运行物理环境数据中心机房机房管理监控核心骨干网络分布存储QOSNOSQL广域网专线互联网云管理规范化自动化标准化将资源进行颗粒化拆解，形成标准模板结合中佳业务类型，划分主机配置模型（如CP

12、U、内存）划分性能模型（如存储IOPS需求）划分业务高可用分级模型（FT、HA、互斥）划分使用期限模型形成统一的标准的几类云主机模型规范主机使用需求减少差异化需求形成资源生命周期管理规范降低管理难度和运维风险提供IT资源服务门户形成服务目录用户通过门户进行资源申请主机生成，无管理员参与，后台通过服务模板自动快速构建服务化以服务导向动态服务管理加速IT资源的供应速度各种服务建立SLA，实现自动化、流程化运维标准云运维集中统一IT资源管理自动响应高频故障事件关联管理知识库管理IT管理可视化IT管理电子化IT管理流程化、标准化量化管理、精细化管理统计各类报表，为决策提供依据云运维云安全立体安全防护体

13、系立体安全防护体系能够有效处理大流量DDoS、CC、DNS和各种攻击DDoS高防专区支持三网IP，可实现数百G的DDoS防护带宽DNS劫持检测提供域名在Local DNS上的解析监控，及时发现域名指向异常平台监控，秒级响应；全方位监控服务器的安全状态，受到攻击时能够秒级响应资深安全专家提供7*24小时不间断服务硬件防火墙体系软硬紧密结合，提高处理效率和安全防护能力DDoS防御支持HTTP、TCP、UDP协议入侵检测后门木马检测：安全加固组件及时检测暴力破解告警：云服务器密码暴力破解发现及告警漏洞监测：空档期对漏洞增加虚拟补丁，抵挡黑客的攻击为何需要双活数据中心25 DevOps应用的连续可用性

14、 提高数据中心的效率 提高现有IT资源的效率 云计算概念，随时随地访问Reliance on IT Low High RPO&RTO Days Hours Minutes Seconds Zero Present Past Recovery Point ObjectiveRecovery Time Objective 应用24x7不停 方便简单的数据迁移 利用闲置资源 部署应用更加灵活 来自运维人员的需求促使观念的改变双活需要考虑因素26网络双网络双活活存储双存储双活活数据库双数据库双活活应用双应用双活活双活实现方式27种类种类实现方式实现方式1网络采用大二层设计，存储使用vplex等同步技术

15、，数据库采用oracle RAC架构，采用全局应用负载均衡实现双活 2网络采用三层设计，使用vmwareNSX提供网络支持，存储使用vmware VSAN提供延伸群集，数据库使用oracle RAC架构，应用使用全局负载均衡提供3按照地域划分为同城双活和异地双活4按应用分为主备双活、主主同业务双活、主主多业务双活等本次我们重点介绍第二种双活实现方式本次我们重点介绍第二种双活实现方式双活数据中心总体架构双活存储集群双活存储集群站点站点A站点站点B延伸的延伸的vSphere集群集群100 km28行为与单个vSphere相同 延伸距离最大100KM通过VMware HA与vMotion实现自动的D

16、R保护需要双活存储集群，如VMware vSAN、EMC的vPlex，NetApp的MetroCluster等计算资源计算资源-延伸群集设计延伸群集设计群集开启HA、appHA各组件间时间需同步延伸群集横跨两个数据中心计算资源存储资源网络资源需大致一致支持长距离虚拟机跨三层网络在线迁移29VMware vFabric tc Server计算资源计算资源-群集群集HAPolicy-basedProtect off-the-shelf apps30功能简介 网络延时不大于100毫秒 标准迁移担保 灵活的虚拟机策略优点优点 数据中心间随时迁移 灾难避免 灾难规避测试 多站点负载平衡计算资源-长距离在

17、线迁移在线迁移vSphere 6.0支持跨三层网络和跨vCenter Server的vMotions31网络资源设计网络资源设计-双活数据中心网络架构物理二层(裸光纤)逻辑二层 层叠网络/VPN二层分段VMVMVM二层分段VMVMVM二层网络扩展的二层网络(二层内容在 数据中心互连 链路上传递)站点A站点B二层网络15网络资源设计网络资源设计-NSX利用层叠网络实现双活数据中心双活存储vSphere城域存储集群数据存储储1数据存储储2vCenterServer三层网络站点A站点BVM1VM 2VM3逻辑逻辑交换换机A172.16.10.0/24VM 4VM5逻辑逻辑交换换机B 172.16.2

18、0.0/24分布式逻辑路由器站点A 边界网关上联网络A站点B边界网关上联网络B17网络资源设计网络资源设计-NSX 多站点多站点单单VC实例的延伸群集实例的延伸群集VMware ESXiVMware ESXiVMware ESXiStretched Workload ClusterVMware ESXiSite ASite BVMware ESXiVMware ESXiVMware ESXiStretched Edge ClusterVMware ESXiSite ASite B群集群集配置配置横跨两个物理站点的延伸群集在延伸群集中的NSX中配置管理、Edge和工作负载群集等功能在A站点使用H

19、A保证NSX组件的高可用性VMware ESXiVMware ESXiVMware ESXiStretched Management ClusterVMware ESXiSite ASite BvCenter Server19网络资源设计网络资源设计-NSX 多站点多站点单单VC实例的延伸群集实例的延伸群集NSX 配置(1)传输区域横跨多站点，VXLAN逻辑交换机提供与虚拟机二层连接分布式逻辑路由器用来给虚拟机提供默认网关每个站点的上行链路和Edge网关为本地提供网络出口，A站点主机有分布式逻辑路由的默认网关，通过该网关连接外网.站点B同样。在分布式逻辑路由中关闭动态路由,使用静态路由连接NS

20、X ManagerNSX Edge 网关有静态路由到分布式逻辑路由器分布式防火墙提供虚拟网卡策略用来相互隔离虚拟机VM1VM2VM3Web Logical Switch 172.16.10.0/24Site ASite BVM4VM5App Logical Switch 172.16.20.0/24VM6VM7DB Logical Switch 172.16.30.0/24Distributed Logical RouterInternal LIFs.1Site A NSX Edge GW192.168.10.1Site B NSX Edge GW192.168.20.1Uplink Net

21、A 192.168.10.0/29Uplink A LIF 192.168.10.2Uplink Net B 192.168.20.0/29Uplink B LIF 192.168.20.2网络资源设计网络资源设计-NSX 多站点多站点单单VC实例的延伸群集实例的延伸群集NSX 配置(2)传输区域横跨两个站点，VXLAN逻辑交换机为虚拟机提供二层连接每个站点都使用相同的内部地址来配置NSX Edge 网关NSX 分布式防火墙二层网络策略用来阻止ARP广播到远端的网关，提供的本地出口仅供本地Edge网关来学习Site ASite BVM1VM2VM3VM3Site A NSX Edge GW19

22、2.168.10.1Site B NSX Edge GW 192.168.10.1Logical Switch 192.168.10.0/24网络资源设计网络资源设计-网络带宽规划网络带宽规划23Site ASite BvSphere+VSAN Stretched ClusterHDDSSDHDDSSDHDDSSDHDDSSDHDDSSDHDDSSD10/20/40 gbpsActiveActiveL2 with Multicast200 ms RTT over 100 mbpsL3 no multicastFault Domain AFault Domain CFault Domain B2

23、00 ms RTT over 100 mbpsL3 no multicastwitnessvESXiappliance网络资源设计网络资源设计-双活数据中心间网络带宽双活数据中心间网络带宽23带宽 Wb(写操作带宽)*md(Data Multiplier)*mr(Resynchronization Multiplier)官方建议值，带宽 Wb*1.4*1.25，也即 带宽 Wb*1.75数据乘数：由VSAN元数据跨站点写开销等相关的操作组成再同步乘数：数据站点之间同步事件所需要的总开销举例：VSAN运行一个IOPS为1万的全写负载业务。写的block为4KB。这需要消耗40MB/s的数据站点间

24、的带宽（4KB*10000），也就是320Mbps。按照上一小节的计算公式：B=320Mbps*1.4*1.25=560Mbps；因此，在这个负载情况下，VSAN数据站点之间需要的带宽至少应为560Mbps。网络资源设计网络资源设计-数据站点与仲裁站点间网络带宽数据站点与仲裁站点间网络带宽23带宽计算公式：1138 B*NumComp/5seconds 例如：虚拟机由如下内容组成：VM namespace 1VMKD（小于255GB）1VM Swap file 1FTT=1Stripe width=1 以上配置的虚拟机数量是166个，那么仲裁站点就需要获取到996个组件信息。996=3*2*1

25、*166.我们用1000进行计算：B=1138B*8*1000/5s=1820800bps=1.82Mbps；官方推荐预留10%的额外带宽用于信息双向传输：1.82*1.1=2Mbps。因此，在这个场景下，数据站点与仲裁站点的带宽应为2Mbps。从左侧可得出结论：1000个组件的带宽需求为 2Mbps我们在进行网络带宽设计时可参考该值，进行带宽估算。存储双活-同城双活数据中心解决方案场景描述 站点级双活(可支持应用级双活)，整合距离相对较近的两个数据中 心中的计算、存储和网络资源，实现高度灵活的负载分配，结合数 据中心内部的高可用机制，为业务连续性提供最高级别保障。方案特点 跨数据中心实现高可

26、用性与负载平衡，支持各种应用 管理简便，资源利用率高，成本较低 数据零丢失，无单一故障点，可靠性高，可最大化业务在线时间 可实现城域级别的应用迁移与灾难避免/灾难恢复同城双活40Site AFault Domain AFault Domain BFault Domain CVirtual SAN ClusterSite CSIte Bvmdkwitness witnessvmdkvmdkvmdk从机架感知升级到站点感知：1，迷你容错站点专用于witness 2，优先从本地站点读取数据以提升性能41存储双活-同城双活数据中心解决方案同城站点B同城站点A存储双活-同城双活数据中心解决方案16需求条

27、件 数据中心距离小于100公里，具备裸光纤链路 通过二层IP网络连接两个数据中心，BW250M，RTT100ms.可通过NSX虚拟网络或其它大二层网络技术实现 采用存储虚拟化技术提供数据同步服务(RTT5ms)存储支持FC,iSCSI,NFS等类型如EMC VPLEX、NetApp MetroCluster、HP LeftHand、IBM SVC等 利用VSAN实现存储的跨数据中心镜像 第三站点提供仲裁服务VMware相关产品与服务vSphere Ent+VSAN+NSX SRM(可选，用于实现有计划的业务切换)跨数据中心集群vCenter仲裁站点C控制器控制器vSphere Metro St

28、orage Cluster工作原理vSphere HA ClusterStretched across campus or metro areavMSC Certified StorageMetro ClusterPlex1APPOSAPPOSAPPOSPleAxP0POSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArray based synchronous replicationPlex043vSphere Metro Storage Cluster工作原理Standard vMotionof Virtual MachinesvMSC Cer

29、tified StorageMetro ClusterPlex1OSAPPOSAPPOSvSphere HA ClustervMotionAPPPleAxP0POSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArray based synchronous replicationPlex044vSphere Metro Storage Cluster工作原理vSphere HA ClusterStorage takeovervMSC Certified StorageMetro Clusterfor mainPtlen1anceAPPAOSPPAOS

30、PPOSPleAxP0POSOSAPPAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSSite shutdown45vSphere Metro Storage Cluster工作原理vSphere HA ClustervMSC Certified StorageMetro ClusterPlex1AperformOS ePd,OsS itPe OSPAOSdrestorPeleAxP0PPAOSPPOSOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPO

31、SAPPOSAPPOSAPPAPPAPPPlex1Plex0Automatic resyncMaintenance46vSphere Metro Storage Cluster工作原理vSphere HA ClustervMSC Certified StorageNetApp MetroClusterPlex1APPAOSPPAOSPPOSPleAxP0POSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Standard vMotionto return VMsAccess ret

32、urned47EMC VPLEX for Stretched Metro ClustersInstant vMotion Dual Site HA Dual Site DRSvCenterStretched vSphere ClusterSite A(Active)Site B(Active)VPLEX10ms,IP or FC建立 VPLEX Active-Active 方案跨远距离迁移VMware HA 在站点内自动重启虚拟机跨两站点平衡负载支持容错功能 VPLEX Metro 灵活性不一定需要FC直连可选用IP或FC连接两个站点第三个站点 IP可达即可VPLEXSite C(Option

33、al Witness)VPLEX Distributed Virtual Volumes48EMC VPLEX for Stretched Metro ClustersInstant vMotion Dual Site HA Dual Site DRSvCenterStretched vSphere ClusterSite A(Active)Site B(Active)VPLEX10ms,IP or FC建立 VPLEX Active-Active 方案跨远距离迁移VMware HA 在站点内自动重启虚拟机跨两站点平衡负载支持容错功能 VPLEX Metro 灵活性不一定需要FC直连可选用IP

34、或FC连接两个站点第三个站点 IP可达即可VPLEXSite C(Optional Witness)VPLEX Distributed Virtual Volumes49Oracle RAC虚拟机环境设计延伸群集延伸群集oracle RAC设计设计故障域故障域活动活动双双活活方案简化了管理主机仅连接到它们本地的Vsan 群集，无需交叉连接到远程的Vsan群集主机仅发送I/O 到本地的群集消除了宝贵的CPU周期消耗在基于主机的镜像作为一个单元，保护多个数据库和/或 应用程序Vsan 为关键任务Oracle RAC提供了 100%正常运行时间-跨距离Vsan延伸群集活动存储共享卷设计共享卷设计应用

35、设计应用双活应用双活54生产数据中心SAN数据库/应用TCP/IP网络存储阵列TCP/IP网络容灾数据中心SAN数据库/应用TCP/IP网络存储阵列客户端/用户客户端/用户客户端/用户应用/数据同步WAN/广域网零停机零中断，双活数据中心,RPO“0”,RTO=“0”容灾建设达到国标最高级“第6级”；数据零丢失，远程中心在线实时镜像、作业动态分配、实时无缝切换；应用双活应用双活主主模式主主模式55生生产产数据中心数据中心1生产产数据中心1生生产产数据中心数据中心2生产产数据中心2应应用B应应用A应应用A应应用B应应用A访问访问应应用B访问访问应应用B访问访问Clients应应用A访问访问n业务

36、或用户分配到每个生产数据中心n每个生产中心都有自己的应用集群对外服务n跨双生产中心建立共用数据库n通过数据复制技术将数据镜像到对方n出现灾难时，正常的生产数据中心根据需要接管所有基于指定应用的请求n所有的中心、主机和存储设备均处于生产状态和实现负荷分担应用双活应用双活主备模式主备模式56生生产产数据中心数据中心1生产产数据中心1生生产产数据中心数据中心2生产产数据中心2应应用B 备备份系统统应应用A应应用A 备备份系统统应应用B应应用A访问访问应应用B访问访问Clientsn双生产中心均需要完成生产业务n通过数据复制技术将数据复制到对方n通过业务模块或用户的方式将业务分配到不同的中心n平时主要

37、的处理能力均分配给生产应用系统使用n出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用应用双活应用双活双运营双运营模式模式57生生产产数据中心数据中心1生产产数据中心1生生产产数据中心数据中心2生产产数据中心2应应用B应应用A应应用A应应用BClients应应用A访问访问应应用B访问访问应应用A访问访问应应用B访问访问n双生产中心均需要完成生产业务n通过数据复制技术将数据复制到对方n通过业务模块或用户的方式将业务分配到不同的中心n平时主要的处理能力均分配给生产应用系统使用n出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用DevOps的主流工具的主流工具58Docker对对IAAS的影响的影响59Docker 对数据中心的巨大影响，重新定义对VM的认识，对网络的认识，对存储的认识。对硬件使用的密度加大IaaS 对运行Docker的支持将变得主流uAmazon 在 Elastic Beanstalk 已经开始支持 DockeruGoogle 在Google Cloud Platform里开始支持容器引擎uCenturyLink 开发 Panamax 支持 DockeruDigital Ocean 支持 CoreOS 为 base image预测在2016年会有全新的围绕容器技术的工具，API，云服务出现 THANKS!