1、1使用说明文档名称辽宁移动FusionInsight LibrA成功案例(一页案例+详版案例)目的给客户讲解辽宁移动成功使用LibrA打造经分系统的成功故事受众一页版:客户CXO,战略规划部、市场部等早期拓展交流详细版:客户的技术,规划等部门交流关键信息1.辽宁移动背景和存在的问题2.华为LibrA方案设计3.项目实施效果版本记录版本描述作者审批人V1.0LibrA 上市营销材料,首次版本上线.党张波 00330169行销;MKT;研发2辽宁移动通过FusionInsight LibrA实现秒级客户群分析 I/O瓶颈:瓶颈:经营分析数据量的爆发性增长,现存系统I/O无法支撑 成本压力成本压力:
2、传统IOE设备昂贵,扩容成本压力大 演进困难演进困难:面向未来需要建设一个支撑海量数据的经分、决策支持、数据挖掘、数据仓库等的新型OLAP数据分析平台客户的痛点和挑战:华为提供的解决方案:开发架构开发架构:基于x86服务器+Linux 开发平台的分布式系统 水平扩容水平扩容:采用通用廉价方案代替昂贵小机,完成了标签库、自助取数和数据集市的建设,平滑融入现有基础架构辽宁移动的收益:x100 倍性能:倍性能:客户群分析从10分钟缩短到数秒完成 成本按需:成本按需:设计容量180T,可以容纳现有标签库、自助取数和数据集市全部数据,并支持后续在线扩容 架构演进:架构演进:Cloud Ready,支持面
3、向未来混合云演进一页案例Security Level:辽宁移动FusionInsight LibrA新型OLAP分析平台成功案例华为大数据营销团队2018-05-24详版案例4辽宁移动背景介绍(1)辽宁移动是中国东北地区最大的移动业务提供商,占据辽宁移动通信市场客户份额69.9%以上,年通信服务收入已超过200亿。5辽宁移动背景介绍(2),数据时代到来 互联网业务发展推动中国移动战略转型,传统的“小型机+集中共享存储+Oracle数据库”架构模式存在业务风险高、性能扩展性差、投资费用高和资源利用率低的缺点,集团公司也对支撑系统技术架构演进提出了明确要求。6小型机+磁盘阵列硬件层接口层标准JDB
4、C、ODBC辽宁移动经分系统客户画像精准营销应用层自助报表地市级数据集市数据库Oracle数据库Shared-Disk架构扩容难,查询分析性能差旧系统存在以下问题:u【存不下】磁盘阵列成本高,空间有限,导致大量历史数据以文本方式存储,数据规模180T,日增量1.5T。u【查不出】标签库查询有200+条件,在原小型机+Oracle系统上查询耗时长(10min)u【扩容难】小型机+Oracle 横向扩容难,扩容成本高,处理能力存在瓶颈(50TB)中移动集团公司对IT支撑系统技术架构明确提出了X86 化改造的要求。辽宁移动经分系统的需求与挑战7FusionInsight LibrA+通用硬件解决方案
5、LibrA服务器(20台)数据加载服务器(4台)LVS服务器(2台)OMS服务器(2台)亚信经分系统4A系统ITOM告警管理批量导入系统堡垒机客户端.RPCRPCODBCODBCJDBCJDBCSMTPSMTPSFTPSFTPSFTPSFTPJDBCJDBCFusion Insight LibrA立足X86+Linux开放平台,以通用廉价方案代替昂贵小机方案。在辽宁移动经分一期项目中,LibrA以26台华为2288服务器(通用X86)搭建一个分布式系统,搬迁现网小机+Oracle。在应用对接上,LibrA支持SQL标准,SNMP和SFTP,分别与业务应用、告警管理、数据导入系统无缝衔接,平滑融
6、入现有基础架构。RAID:系统盘采用2盘RAID1;数据盘3组RAID5,每组6块盘网络:交换机和网卡双冗余,网卡bondOS:redhat 6.5;文件系统ext4,单个3.8TLibrA集群:(1CN+6DN)/节点,主备从采用安全环部署;OMS和LVS双机主备8比拼测试:5个厂家中排名第一LibrA在比拼测试环节,从5个家厂商(Greenplum、GBase、Vertica、神舟通用、华为)中脱颖而出,技术指标第一,成功中标辽宁移动项目。性能分类LibrAGreenplumGBaseVerticaVerticaGreenplumGBaseLibrA单表导入耗时687.599 s560 s
7、2130 s1200+s0201压缩比6.24.752.7102001多表导入耗时757.218 s不详,比我们优2400 s不详,比我们差0201压缩6.1不详,比我们差不详,比我们差不详,比我们优2001全表扫第1项2.72445 s20+s0.15 s秒级,比我们差3124第2项0.807455 s5 s4.8 s秒级,比我们差第3项0.953236 s7 s2.9 s秒级,比我们差多表关联第1项26.6021 s13 s19 s1min以上1324第2项11.9492 s80 s67 s1min以上insert52GB108GB90GB88GB3124delete不清理磁盘不清理磁盘不
8、清理磁盘不清理磁盘0000truncate全部支持全部支持全部支持全部支持2222分区全部支持全部支持全部支持全部支持2222嵌套14 s10 s39 s11 s3412distinct5.6 s60+s92 s10+s3214即席查询全部支持全部支持全部支持全部支持4444工单6.27544 s160+s2.1 s2 s4132导出1002 s1800+s1900 s1200+s3216性能总分3232262620203838来源:根据POC测试结果模拟打分,客户未正式公开发布。只分析了主要三个竞争对手的情况,神州通用数据未获取。9替换4台小机+磁阵,约1.x千万,LibrA硬件采购和扩容成
9、本仅需25%,同时性能获得巨大提升:p 数据入库性能提升1倍:日新增数据1.5TB,数据入库时间由60min降低到30min。p 自助报表查询性能提升100倍:由10min降低到6s。p 用户画像性能提升5倍:由客户不可忍受的5分钟以上,降低到1分钟之内完成。p并发能力提升5倍:从200并发量提升到1000。数据入库性能自助报表查询用户画像关键性能指标对比OracleFusionInsight LibrA关键性能指标对比10助力辽宁移动进行分布式数据库改造,释放数据价值l助力运营商ICT转型:实现数字化运营,释放数据价值,华为LibrA系统上线BSS域,完成标签库、自助取数和数据集市的建设,平
10、滑融入现有基础架构,帮助客户关键业务X86化改造迈出了坚实的一步。l性能百倍提升:从分析人员无法忍受客户群分析耗时10分钟,提升至数秒,且并发能力提升5倍。l降低约75%成本:用26台2288通用X86服务器卸载4台IBM小机+3台磁阵(约1.x千万)。l分布式架构满足业务长期演进:设计容量180T可以容纳3年经营数据,并支持后续在线扩容。Copyright2016 Huawei Technologies Co.,Ltd.All Rights Reserved.The information in this document may contain predictive statements
11、including,without limitation,statements regarding the future financial and operating results,future product portfolio,new technology,etc.There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements.Therefore,such information is provided for reference purpose only and constitutes neither an offer nor an acceptance.Huawei may change the information at any time without notice.Thank You.121314151617