1、运营商私有云平台体系架构技术创新，变革未来2341中国移动私有云现状私有云管理面临的挑战和解决思路私有云管理平台技术架构思考和展望 各省公司私有云各省公司私有云 全国已建设私有云资源池上百个，PC服务器总规模上万台，单资源池平均规模为百台级 全国31省均已建设私有云资源池，其中19个省已建1-3个资源池，12个省公司已建3个以上。全网初步形成两级资源池布局，现全网初步形成两级资源池布局，现阶阶段以段以提提供供IaaS基础基础资资源服源服务务为主为主 一级私有云一级私有云 已建设3个私有云一级资源池一级资源池，总规模为近万台近万台PC服务器。在建资源池2个，规模6千余台。 一级资源池已承载约60
2、多多个应个应用用，包括业务平台、业务支撑、网络管理、企业信息化等领域系统。中国移动私有云现状中国移动私有云现状中国移动私有云资源池建设的总中国移动私有云资源池建设的总体体目标目标123集中管理集中管理资源共享资源共享按需分配按需分配费用费用需求需求资源资源运营运营产品产品 “一级平台、两级管理一级平台、两级管理”。 中国移动私有云发展策略中国移动私有云发展策略 重点建设重点建设 IaaS 能力，逐步发展能力，逐步发展 PaaS、SaaS。依托开源社区，立足自主研发。依托开源社区，立足自主研发。结合业务需求，深度定制，迭结合业务需求，深度定制，迭代代开发。开发。10月份Openstack峰会，中
3、国移动正式成为enstack黄金会员和超级用户。积极参与开源社区并推动积极参与开源社区并推动标标准化工作准化工作积极参与云计算的行业协会、标准化和开源社区工作，是工信部主导的开源产业联盟（OSCAR）和中 国开源云联盟（COSCL）两个组织的副理事长单位，并主导千节点云平台工作组；在Linux,Openstack，SheepDog等开源社区中的贡献名列前茅，多次举办开源社区峰会，在开源社区 中具有较强的影响力。在国家信标委的云计算标准工作组中牵头制定多项国家标准，其中弹性计算和对象存储的两项标准已经 发布，正在牵头制定块存储和云运营等两项国家标准。从OpenStack Juno版本开始，中国移
4、动成长为中国十大OpenStack公司之一； 截止到目前，提交了513个patch， 251个bug和8个blue prints。2341中国移动私有云现状私有云管理面临的挑战和解决思路私有云管理平台技术架构思考和展望A业务业务CPU利用率利用率资源池资源池 地域分布广地域分布广峰值长期低资资于7%源利用源利用 平均值长期低于1% 不均衡不均衡设备设备 型号多型号多挑战挑战 No1. 资源池分布广、设备种类多资源池分布广、设备种类多StorageStorageComputeComputeMemoryMemoryBandwidthBandwidthCompute传统业务云化和新增传统业务云化和新
5、增 业务带来业务带来多多样化需样化需求求。挑战挑战 No2. 承载业务需求多样承载业务需求多样挑战挑战 No3. 资源池规模大资源池规模大 私有云资源池的规模不断扩大现有资源池PC服务器规模超过3万台 未来规划机架数量超过10万架分布在全网多个数据中心 云资源管理技术面临挑战突破单个OpenStack管理规模的局限性对分布在多个地点的资源池实现统一的资源管理Cloud10资源 管理资源 管理资源 管理资源 管理阶段三阶段三 一级平台、两级管理（一级平台、两级管理（2019-2020）阶段二阶段二 平台融合、省平台融合、省内内整合（整合（2017-2019）阶段一阶段一 统一视图、制定标准（统一
6、视图、制定标准（2016-2017）私有云资源池管理平台的实私有云资源池管理平台的实施施步骤步骤产品规格定产品规格定 义义计算产计算产品品规格规格（14）存储产品规格（存储产品规格（6）网络产品规格网络产品规格私有云资源池产品规格的统私有云资源池产品规格的统一一定义定义制定统一产品规格制定统一产品规格预定义预定义/自定义自定义vCPU 核核/内存容量内存容量/根根 分区磁盘容量分区磁盘容量提高虚拟化比例提升整合比及资源利用率 引入SDN技术简化资源池的基础硬件的规格型号资源池设计和实施的基本策略资源池设计和实施的基本策略2341中国移动私有云现状私有云管理面临的挑战和解决思路私有云管理平台技术
7、架构思考和展望云 资 源 管 理 平 台远 端 资 源 管 理 模 块防火墙防火墙机架服务器机架服务器SDN防火墙防火墙机架服务器机架服务器磁盘阵列磁盘阵列SDN总体技术方案总体技术方案总体技术方案总体技术方案OpenStack 组件的选择和应用组件的选择和应用 总体架构中Openstack定位于资源调度 运营和运维：一级私有云运营功能定制化程度高，运维对接设备复杂，Openstack现有组件无法满足 要求，采用定制化开发方式实现资源调度：一级私有云资源模块包括虚拟机、物理机、块存储、文件系统和S DN等，架构上结合属地 的资源模块类型选择NOVA、Ironic、Cinder、Manila和N
8、eutron等组件 各个组件在社区版的基础上依据呼哈私有云的业务需求进行了功能增强定制组件组件功能定制功能定制Keystone社区版Glance增加异地备份功能Nova支持SAN设备多路径、支持本地虚拟机热迁移、支持本地+共享存储的混合存储类型 虚拟机热迁移、支持存储热迁移、支持卷共享Cinder支持镜像缓存、支持增量备份Ceilometer支持从虚拟串口采集虚拟机性能数据、支持使用时间序列数据库保存数据Neutron深度定制，厂家SDN、Ironic功能对接Ironic深度定制，增强存储和网络功能OpenStack 组件的选择和应用组件的选择和应用几个关键的技术问题几个关键的技术问题 采用多
9、region架构解决大规模资源的统一调度引入混合SDN架构提供更加丰富灵活地网络服务 引入Ironic管理物理机集群资源瓶颈：数据库、消息队列02面临问题和挑战面临问题和挑战呼和浩特资源池管理1800台虚拟化服务器和1200台物理裸机。01建设需求建设需求堵塞堵塞 严重严重规模大规模大03解决方案比较和选择解决方案比较和选择单Region部署Nova Cell部署多Region部署关键技术问题解关键技术问题解决决 多多 Region 方案方案尽量减少Region的数量多Region间组件尽量共享关键技术问题解关键技术问题解决决 多多 Region 方案方案01业务需求业务需求面临问题和挑战面临
10、问题和挑战0203解决方案解决方案组网灵活性要求高 网络运维自动化原生态的Neutron组件扩展性不 够引入混合SDN解决方案关键技术问题解关键技术问题解决决 灵活的组网方案灵活的组网方案核心生产区核心生产区AZ1-DMZRegion1AZ2-COREAZ1-DMZRegion2AZ2-COREAZ1-DMZRegion3AZ2-COREAZ3-STOREDMZ区区存储区存储区呼和浩特资源池呼和浩特资源池01业务需求业务需求面临问题和挑战面临问题和挑战02103解决方案解决方案安全域划分原生的OpenStack技术框架缺少 对安全域的支持借用AZ实现安全域的隔离关键技术问题解关键技术问题解决决
11、 安全域的划分安全域的划分 物理机/虚拟机统一调度，集中监控。 社区版本不成熟 推动 Ironic 组件的逐步完善关键技术问题解关键技术问题解决决 物理机的管理物理机的管理2341中国移动私有云现状私有云管理面临的挑战和解决思路私有云管理平台技术架构思考和展望思考和展望思考和展望云已经成为电信业务的主要组成部云已经成为电信业务的主要组成部分分 NFV/SDN 网络转型基于基础设施的云化 运营商的云基础设施运营要求更高 资源整合需要重构上层业务 云化架构追求更加高效，更加敏捷开放、借鉴、引领开放、借鉴、引领 发挥主导运营商作用 积 极 参 与 开 源 社 区 工 作 合作、共赢DevOps 成为
12、主要工作模式成为主要工作模式 改变传统电信网络设计实施方式 快速迭代，持续优化Cloud传统电信业务需要适应云化架传统电信业务需要适应云化架构构中国移动在云计算领域的积累中国移动在云计算领域的积累2016.32014.12OpenstackOpenstack转型转型2007.72009.122010.52011.122012.82014.6启动大云研启动大云研 搭建大规模云计搭建大规模云计发布大云发布大云私有云和移私有云和移国家教育国家教育移动云正移动云正发布大云发布大云呼哈一级私呼哈一级私发项目发项目算实验室算实验室1.0动云试点动云试点云上线云上线式发布式发布3.0有云建设有云建设存储存储
13、计算计算网络网络弹性计算弹性计算对象存储对象存储弹性块存储弹性块存储S虚拟网络系统虚拟网络系统管理域管理域运营管理运营管理资源池管资源池管 理理云计算安全云计算安全BC-Linux (Docker）弹性文件系弹性文件系统统云计算应用（公云计算应用（公众众服务服务云云,企企业业私私有有云云，混混合合云）云）企业网盘企业网盘集成中间件集成中间件应用中间件应用中间件大数据中间件大数据中间件电信能力中间件电信能力中间件数据中心操作系数据中心操作系统统BC-DCOS云化云化CDN政务云政务云容灾备份容灾备份流媒体流媒体“大云大云”系列产品通过多项系列产品通过多项国国家评测家评测和和认证认证拥有自主知识产
14、权拥有自主知识产权 “大云”产品累计申请专利182项 “大云” 产品已获得18项计算机软件著作权通过多项国家级测评及认证通过多项国家级测评及认证 移动云获得工信部“可信云可信云”认证认证，成为首批可信云服务。 移动云云主机和云存储IaaS服务、“大云”弹性计算（BC-EC）和对象存储（BC-oNest）的IaaS解决方案，首批通过国家标准信首批通过国家标准信息息技术、技术、云云计算、计算、参参考架考架构构 （等 同采用ISO/IEC 17789）的标准符合性评估。 大云弹性计算（BC-EC）产品，通过国家标准信息技术信息技术 弹性计算弹性计算 应用接口应用接口基本 功能的首批标准符合性测试；大
15、云对象存储（BC-oNest）产品，通过国家标准信信 息技术息技术 云存储与管理云存储与管理 第第2部分：基于对象的云存部分：基于对象的云存储应用接口储应用接口基本功能的标准符合性 测试。中移大云技术社区中国移动在云计算领域的自中国移动在云计算领域的自主主研发实践研发实践大云产品商用累计部署规模超过大云产品商用累计部署规模超过14000台服台服 务器，不仅支持中国移动私有云，而且提供务器，不仅支持中国移动私有云，而且提供公公 有云、政务云、教育云、金融云等行业解有云、政务云、教育云、金融云等行业解决方决方 案案基于基于OpenStack研发的研发的“大云大云” 3.5版本、版本、4.0版本版本 已已经在移动公有云、各省私有云上线，经在移动公有云、各省私有云上线，KVM节点累节点累计计超超 过过5000个个，VMWare节点超过节点超过1000个；个；存储总量超过存储总量超过50PB，其中分布式存储其中分布式存储40PB，盘盘阵阵与与Nuage合作的合作的1000节点节点SDN超大集群在公有云上超大集群在公有云上10PB；线线建设中的一级私有云，总节点数量超过建设中的一级私有云，总节点数量超过6000个，并个，并 将首次在生产环境采用将首次在生产环境采用 Ironic + SDN 方案。方案。
