1、公司简介简称：苏研中国移动苏州研发中心目录中国移动为什么需要集中化大数据平台平台建设之路回顾、思考和总结面向未来，我们准备做的几件事中国移动是典型的大数据公司Volume：数据量大Variety：种类多网络类数据：通话、短信、位置、上网、基站测量报告，涵盖文本、图像、视频等多类非结构化数据。运营管理数据：BOM域等内部运营IT系统等结构化数据。9.16亿移动端用户+1.47亿家庭宽带用户+300万基站，带来每天超过60PB的网络数据和运营管理数据。Value：价值高Velocity：实时性位置信息：可直接从所有终端获取无需授权，室外定位精度达到50米，部分室内定位精度可达10米。用户价值挖掘：
2、拥有用户全量上网数据，可挖掘人群喜好和价值推荐。位置信息、上网行为、通话行为、终端状态等数据实时获取、实时处理，数据及时性可达到分钟级响应。多类统计信息：应用排行、终端品牌使用情况、区域人流量、人口信息、行业中国移动具备大数据4V属性，从数据角度定义是典型的大数据公司。大数据是中国移动战略转型的中坚力量数字化时代，基于云、管、端基础设施实现人和物的“普遍连接”成为最重要的特征。中国移动基于此背景在16年确定“大连接” 战略，万物互联通过连接驱动发展是公司实现新一轮可持续增长的必由之路。依托大数据和云计算平台创造一系列智能化、软件化、定制化的数字化服务成为最主要的生产方式。中国移动大连接战略愿景
3、内涵成为数字化创新的全球领先运营商做大连接规模做优连接服务做强连接应用移 动 领 先 数 工 字 程 家 庭 智 工 慧 程 政 企 智 工 慧 程 物 联 创 工 新 程 驱 动 下 工 一 程 代 网 络 工 程 卓越人才工程能力提升工程重点举措大数据驱动营销下一代网管平台推动IT资源集中化建设数字化应用具体内容（大数据相关）大数据基础设施物联网大数据平台加快大数据建设和运营大数据、AI等人才梯队在“大连接”战略十大工程内容中，大数据已然成为数字化转型最重要的驱动力，承担多领域数据中心建设，支撑百花齐放的数字化应用和业务创新。历史原因促使IT支撑系统分省建设 早期中国移动为适应市场需求快速
4、发展用户，各省根据自身区域经济情况进行网络建设和营销计费，相应也独立建设各自的IT支撑系统。 这种方式对营销计费系统比较适用，但不能满足联合经营分析需求，因此集团公司作为统筹管理部门，通过制定统一规范方式收集各省统计结果数据，进行全国经营管理分析。 20002012年，各省分建IT系统，集团公司2002年开始制定统一规范，建设了全球最大的传统数仓构建两级经营分析系统。市场驱动独立建设IT支撑系统 2012年开始，启动多个新技术试点，引入Hadoop、MPP、流处理等大数据新技术，各省系统逐步演进。使用传统数仓构建两级经分系统 2013年，下发规范，各省启动多技术混搭的系统升级改造。探索大数据技
5、术各省普遍引入Hadoop 2014-2015年各省普遍开始引入Hadoop系统。随着4G时代到来，数据流量迅速增长，带动业务增长，传统分省的IT系统出现发展瓶颈，数据融合不足，阻碍全网共性应用建设，与外部行业融合不足，难以发挥数据价值。两个典型例子。一证五号（内部业务）旅游大数人据口 迁（移外部应用）区域用户画像旅游指数拥堵预警通过集中化系统收集用户数据，进行号码统一管控旅游天数各省用户数据独立存储，省公司间用户数据流通不便各省公司数据不全，业务目标难以实现数据融合平台缺失导致画像不全，预测不准大数据平台处理平台处理平台处理平台省1业务支撑系统省31业务支撑系统省公司系统省1数据省31数据大
6、数据集中化建设势在必行企业大数据集中化建设驱动业务发展，助力数字化转型势在必行，也是目前业界普遍趋势。2014年底集团根据业务发展需求，确定集中化建设思路。2015-2016年出台“大数据建设指导意见”、“大数据应用指南”、“大数据技术指南”等规范为大数据建设做好前期准备。2016年底正式启动和制定全网统一大数据平台规划和运营方案。集中化大数据平台建设总体目标重点发展主题搭平台聚数据强管控建生态依托呼和资源池建立集中化分布式集群，以多租户方式提供从数据采集到应用开发的全栈大数据平台能力。大数据新技术推进数据标准化、规范化，以中国移动大数据平台为基础，实现行业优质数据资源和移动大数据的融合。人工
7、智能统一管控，构建全覆盖的安全能力。智慧运维实现跨域、跨平台的数据安全管控。数据不涉及隐私，数据不出系统、系统不出移动。资源池建设大数据PaaS平台为各方提供开放平台服务，共同建设面向“大连接” 的大数据开放生态。集中化数据融合规划目标通过统一各省数据标准化，加强集成与治理能力，快速实现多域数据融合，形成企业资产目录，供内外部应用使用。B域O域M域DPI应用外部 性能数据 MR数据 资源数据 告警数据 工单数据 拨测数据 路测数据 资产数据 应收应付数据网页信息和分类黄页信息终端信息经济信息位置POI信息 三户数据 订购关系数据 通信详单数据 渠道数据 产品数据 营销数据 客服数据 终端数据
8、位置数据上网数据开关机数据流量数据寻呼数据漫游数据用户数据订购数据登录数据浏览数据点击数据使用数据数字内容数据财务数据合同数据预算数据供应链数据集中化支撑内部大数据应用规划目标对内构建多样化的大数据应用服务，支撑公司数字化、精细化运营管理与智能化营销服务，促进全网管理和营销效率提升。精细化管理精准化营销智能化服务持续审计量化薪酬成本分析市场洞察4G终端营销宽带业务营销集团客户营销智慧营销智能客服性能管理智能运维集中化与外部行业融合应用规划目标对外基于用户行为、位置、偏好、社交、信用等数据，面向电力能源、市政交通、商业快消、金融征信、欺诈治理、商业快消等多个垂直行业领域合作，提供12类大数据应用
9、服务。智慧电力智慧旅游市政交通咨询规划人口统计劳动就业卫生医疗金融征信行业测评商业快消广告传媒网络舆情机构选址与门店客情分析服务网络舆情监测城市规划与交通现网规划信贷风控常驻与流 大学生就动人口业分析传统传媒效果评估路网状态实时监测与公共交通调度信息验真服务信息验真服务公共区域安全监测消费者评级企业征信程序化广告投放跨省、跨区迁徙农民工流动分析终端/APP分析终端/APP分析终端/APP分析客情分析与营销推荐职住地OD分析目录中国移动为什么需要集中化大数据平台平台建设之路回顾、思考和总结面向未来，我们准备做的几件事大数据集中化平台架构整合全网IT资源及企业内外部数据资源，中国移动企业级大数据平
10、台以多中心、混搭技术架构及多类服务模式，为集团、省公司、专业公司及外部行业提供灵活的大数据服务。内部支撑行业合作内/外部应用共性应用个性应用金融行业政府集团公司应用专业公司应用省公司应用位置服务身份识别应用支撑应用门户 / 应用商店固化应用自助应用实时触发多终端支持全网统一管控服务开放PaaSDaaSSaaS关系型数据库Hadoop技术新型MPP数据库流式计算内存计算计算存储数据采集数据源最佳路径接入与整合主从多中心主控节点全网分布节点区域分布节点数据源B域M域O域DPI专业公司外部其他集中化经分项目建设历程 通常业界公司Hadoop集群从建立到扩展到5000+节点通常需要5年以上 从零开始，
11、三年内建设上超过10000节点Hadoop集群项目三期 2018年10月启动约12个集群预计总共约21000节点项目二期预计Hadoop单集群10000节点 2017年11月启动 8个集群总共约3600节点 Hadoop单集群1600节点项目一期 2016年8月启动 3个集群总共约600节点 Hadoop单集群400节点HadoopHiveHBaseSparkFlumeKafkaHadoopHiveHBaseSparkFlumeHadoopHiveHBase当前集中化最大单集群运行情况日志集群：主要处理2/3/4G，WLAN上网日志，家庭宽带等业务主要运行应用包括MR、Hive、Spark，各
12、省数据仍在持续接入节点个数节点超过1600节点123日均数据量存储数据量目前日均数据量约520TB（预估值的58%）存储数据量约40.08PB文件数超过2.6亿4文件个数日均作业数约30000个5日均作业数Hadoop Stack开源社区接受patch数：100+最新的版本？最新的技术？三期项目开始部署Hadoop3.1.02018.10.1二期项目开始部署Hadoop2.8.22017.11.1Apache Hadoop2.8.2 release2017.10.24Apache Hadoop3.1.0 release2018.4.6激进的开源版本选择，并非简单的拿来主义，而是对新版本特性的切
13、实需求。开源新技术的应用 RouterBasedFederation 大规模集群扩展性上的提升 计算组件性能的提升 存储效率的提升 YARNFederation FairCallQueue Hive on Tez Hive LLAP Spark SQL Adaptive Execution Erasure CodeHadoop集群规模的挑战从数百节点扩展到上万节点，Hadoop集群的性能瓶颈在哪里？从400节点到1600节点 Namenode单点性能，内存存储空间，RPC处理能力-HDFS-Federation Ambari扩展性能LDAP负载压力RouterBasedFederationYa
14、rnFederationSub ClusterYARNSub ClusterYARNSub ClusterYARN从1600节点到10000+节点HDFSHDFSHDFSFederationFederationFederation跨网络区域（POD）NS1NSNS1NSNS1NS222 更多的单点瓶颈（NN、RM、Ambari-Server、KDC） NameSpace数据均衡问题NS3NS4NS3NS4NS3NS4AmbaribalancerAmbaribalancerAmbari数据采集方案的演进（背景）数据采集到HDFS的过程中，数据需要经过一系列处理 先对传输的文件内容进行解压 解析每
15、条记录 对记录按照用户指定字段进行过滤 对记录中的用户手机号码和时间进行格式处理 对手机号码进行加密 处理完成后把记录写入HDFS以上这些操作都需要在Flume中实现，WHY？ 安全规范的要求，敏感数据在落地之前必须经过加密！数据采集方案的演进面对问题：采集逻辑通用性差，服务稳定性差改造方案： 开发基于SQL引擎的数据处理拦截器，具体的业务逻辑通过定义UDF实现，多个业务逻辑在一个SQL拦截器中实现 优化Flume内核，对MemoryChannel进行优化，使用LazySimpleSerDe数据序列化算法。改造前改造后：基于SQL的数据处理拦截器效果提升 单节点吞吐量由50MB/s 提升到79
16、0MB/s，减少数据采集定制化开发和维护工作量，Flume服务保持稳定，未再出现僵死现象应用的优化虽然笨拙但是有效 应用流程产生IO请求和流量过高手动重写合并托拉拽流程，请求数量减少40% 采集数据字段过多产生性能问题重写数据序列化方法，对字段进行合并，采集性能提升70%从文档规范到流程规范 一次删除千万级别文件目录导致NN卡死 频繁调用重请求（ContentSummary）导致瞬时负载过高 形成平台使用规范文档，限制应用执行对平台产生性能影响的高危操作 预上线环境，新的应用只有在预上线环境中稳定运行并经过评估之后才能上生产环境安全，层层加码中国移动大数据平台建设对数据安全有着极高的要求安全机
17、制： Kerberos认证 VS自研 BCID认证 Ranger统一管理权限 更细粒度的权限管控 与4A系统的对接性能的损失在所难免，但是必须承受 相比原生Simple认证或者自研BCID认证，Kerberos认证产生额外约15%的性能损耗 HDFS中使用Ranger鉴权，产生约27%的RPC额外消耗，对Ranger鉴权性能优化后，性能损耗降低到18%运维！不让同样的错误再次发生之前运维过很多个小集群，但运维大规模集群仍然会不断出现问题的疏漏 HBase region数据倾斜导致磁盘写满引起服务宕机 上线一个新应用产生大量RPC请求导致Namenode性能急剧下降 文件数量太多直接导致Name
18、node OOM了面对一次故障恢复业务，运维手段规避问题再次发生沉淀到运维工具产品，避免重复踩坑更智能的运维，挖掘更多潜在的风险总结思考技术的选型，版本的选择不需要刻意追求最新的技术和版本，在满足实际功能和性能需求的前提下，考虑稳定性和兼容性。建设超大规模的Hadoop集群考虑各组件的性能瓶颈；物理独立，逻辑统一可能是更切合实际的建设方案。运维中的实践运维的问题很少有完美的解决方案，关键是要有效。一次次实践中的问题解决，沉淀到自动化工具，形成运维的“智能”。目录中国移动为什么需要集中化大数据平台平台建设之路回顾、思考和总结面向未来，我们准备做的几件事对外开放平台推动创新合作以中国移动数据能力开
19、放为核心，通过多租户、安全隔离的方式提供数据资源、基础平台、数据处理和应用开发能力，驱动数据价值挖掘和对外应用合作创新。大数据应用创新平台安全脱敏样例数据对外开放一级分类二级分类三级分类精准营销商业选址景区热度交通路况金融征信终端数据统计终端型号终端品牌使用情况应用层能力层区域数据统计行业数据统计人群数据统计景区热门路线交通信息城市出行信息管理门户金融信息房产信息征信信息内部数据应用数据服务开发服务成果服务常驻人口外省流动数据人群特征自服务门户运营门户运通信行为维门户应用统计热门应用排名细分领域排名大数据AI服务数据库服务中间件服务外部公众数据气象数据人口数据行业数据经济数据POI信息黄页信息
20、外部数据计算网络外部合作数据微博数据论坛数据企业数据微信数据APP数据集中化生产集群新硬件应用提升大数据处理速度随着业务对计算性能越来越高，软件优化空间越来越小，业界普遍趋向通过硬件提升在某些场景的计算速度，大幅提升整体性能，我们计划将Hadoop存储和计算分离，在存储、压缩、网络、计算方面结合软件优化，应用新硬件技术突破性能瓶颈。 GPU在机器学习和深度学习等场景下性能比CPU高出数据挖掘、数据分析、实时处理50-100倍，未来预计在大数据集群中会增加GPU集群用于模型训练。GPUInfiniBand网卡主流带宽为40GE、56GE、100GE，但极致的性能是有代价和限制的，如InfiniB
21、and组网规模多用于小规模IB网络打通主机和存储的连接。InfiniBand 压缩卡在大数据一体机中主要用于降低数据存储空间，提升网络的交换能力，同时减轻CPU负担。压缩卡 在HDFS和HBase中根据数据冷热程度，设置不同的存储策略，提升热数据读取速度。 Spark 异构存储主要是 Spark 作业支持优先使用 SSD进行 Shuffle，提高计算速度。SSD集中化与区域中心（1+N）协同计算建设目标：基于充分利用全网IT资源，加强中心与省、省与省间快速协同能力，同时满足共性应用与个性化应用需求等原因，设置区域中心，构建全集团1+N大数据协同计算平台。全网共性应用数据服务 工具组件 资源服务
22、核心特点集中节点租户任务调度中心与区域数据及时互通融合、跨省应用孵化更快速分层数据模型试点数据租户省级个性化应状态上报用统一平台软件版本降低集中采集全量数据网络流量瓶颈提高整体系统处理能力省大数据平台区域节点1 区域节点N加强PaaS能力MBODPIMBODPI就近省份基础数据下一代网管系统建设下一代网管是面对物联网、5G等新网络、新业务的运维与管控系统。新网络： NFV/SDN的引入带来网络架构的颠覆，需要网络运维向以软件功能为对象的自编排、自开发的维护体系转变新业务：以物联网为代表全网性业务，需完善一点发放、全网服务响应机制网络优化性能管理故障管理资源管理网络编排智能运维能力开放应用开发下一代网管系统集中化大数据平台IT&CTNFV云数融合网络切片SDNVNF感谢聆听！
