1、亚信联创“橘云计划”：打造高效低成本的电信级BSS云服务三层橘云，演进路线橘云计划:全面降低电信级BSS服务的总持有成本云集成云集成云应用云应用云运营云运营亚信核心软件的云亚信核心软件的云化化支撑云的创新业务支撑云的创新业务利用虚拟化利用虚拟化,集中管集中管理技术实现云的集理技术实现云的集成成以云CRM,云Billing,云BI和云集成为4个突破口，探索云技术与核心支撑软件的结合点从技术层面探索新兴的业务运维模式和新的创新业务规划目标执行策略以构建云能力中心为研究目标，初期从构建 VEE虚拟执行环境为切入点，找到具备高度的可管理和可维护性的亚联的集成技术路径和标准私云私云公云公云/外部私云外部
2、私云橘云计划战略执行路线图宣布宣布“亚联橘亚联橘云战略云战略”，全，全面启动云技术，面启动云技术，市场和新型商市场和新型商业模式研究工业模式研究工作作200906200906橘云战略细化，橘云战略细化，圈定研究范围和圈定研究范围和确定阶段性工作确定阶段性工作目标目标2009070920090709橘云委员会橘云委员会PMOPMO成立，推成立，推动公司整体橘云动公司整体橘云战略执行战略执行200910200910核心产品线云化规核心产品线云化规划，近期目标以云划，近期目标以云CRM,CRM,云云Billing,Billing,云云BIBI和云集成为和云集成为4 4个个突破口进行论证突破口进行论证
3、2009101220091012搭建搭建C3C3试验平台，试验平台，推进核心产品云化推进核心产品云化孵化进程孵化进程重点推进云重点推进云BillingBilling商商用实现用实现寻找商用试点机会寻找商用试点机会201001201006201001201006市场引导和推广，市场引导和推广，拓展行业和领域影拓展行业和领域影响力响力拓展云安全，云拓展云安全，云BOSSBOSS研究研究201007201012201007201012We are Here一阶段橘云研发原则：创新小型化架构(SMA)，极大的降低运营商硬件投资成本，并且具备高度的可管理和可维护性A3:VEE 基础框架基础框架 A2:V
4、EE 管理管理A1.3:BI云化方案云化方案A1.1:Biling云化方案云化方案A1.2:CRM云化方案云化方案A1.4：云环境下的应用的部署、管控（：云环境下的应用的部署、管控（BOMC）云能力中心（云能力中心（CCC）应用云化及云环境下的应用部署、管控应用云化及云环境下的应用部署、管控XENVMWareGPFSHadoopLustreOpenNEublaabiCloudGigaSpaceOracle CoherenceWebSphere eXtreme Scale内存数据网格技术内存数据网格技术memcached适合适合CRM的并行处理机制的并行处理机制适合适合Billing的并行处理机
5、的并行处理机制制适合适合BI的并行处理机制的并行处理机制应用发布机制应用发布机制KVMIBM TPMIBM TSAMMPP 数据仓库数据仓库亚联建立了C3实验室，与行业领先的云产品供应商进行电信级测试，建立可管理云环境u服务提供商：提供云计算服务服务提供商：提供云计算服务u系统集成商：帮助用户搭建云平台系统集成商：帮助用户搭建云平台u应用开发商：开发云计算应用应用开发商：开发云计算应用u平台提供商：提供云计算平台平台提供商：提供云计算平台u最终用户最终用户1C3的愿景目标是探索建立一个无边界的，可管理的云环境，给上层应用无缝使用DB_ADB_Bp借鉴互联网技术，采用刀片服务器替换原有小型机p借
6、助先进的软件体系架构，实现系统的分布式、并行处理能力和平行扩展能力p借助刀片服务器的使用实现降低投资、平滑计算需求与投资曲线的目标基础平台刀片服务器系统管控CRM系统刀片化并不是将系统简单迁移到刀片服务器上就可以实现的。必须有适合刀片集群的应用架构及相应的管控手段。服务器刀片化对应用软件能力要求：p 分布式处理能力p 跨平台运行能力p 系统级容错能力p 集群部署、集中监控能力橘云CRM在接入层已经完成分布式部署的基础上，进一步将应用层移植到SMA(Small Machine Architecture)2CRM应用刀片化能力平台化的优势流程配置APPDM数据模型业务规则、服务定义权限管理(Sec
7、Frame)界面框架产品数据定义业务处理逻辑系统业务受理客户管理产品管理权限管理营销管理资源管理渠道管理合作伙伴亚联橘云CRM系统基于亚信联创 AppFrame 平台开发、运行。AppFrame平台的特性使CRM系统具备了应用刀片化的能力。AppFrame服务管理JavaBeanEJBServiceServiceServiceServiceBCE业务过程统一工作流引擎中（UWFE）ComFrame内部服务EJB内部服务EJB内部服务EJBWebService服务WebService服务WebService服务面向业务组件的服务管理面向实现的业务过程面向系统的私有流程面向外部的企业级流程（SOA
8、架构）p 采用全JAVA技术架构，集成了工作流引擎、规则引擎、内存缓冲、数据库连接池等先进技术结合先进的软硬件技术,CRM刀片化成为可能基于AppFrame平台的CRM系统：分布式处理能力 跨平台运行能力 系统级容错能力 集群部署能力 集中监控能力刀片服务器优势：适用于服务器集群 低成本 线缆大规模地减少 低功耗 模块化，即插即用采用开放的接口、可扩展的服务、灵活的流程订制和模拟，高效率的并行计算实现了像基于经分、BOSS的信息提示业务的快速支撑、业务资源动态调整，新业务快速支撑、复杂业务逻辑执行过程描述，提高实现效率、以及秒级的响应速度，所有这些共同推进了内外部客户满意度的提升。典型业务操作
9、总时长(秒)服务请求时长(秒)缴费20.612用户资料查询10.535详单查询10.286产品变更31.604系统效率和响应速度超过传统交易中系统效率和响应速度超过传统交易中间件架构。间件架构。橘云CRM的应用实现硬件成本降低85%050010001500200025000200400600800100012001400投资估算计算能力需求(万tpmc)硬件设备投资曲线小型机成本估算刀片服务器成本估算CRM应用服务器替换前后投资比较说明：比较数据2009年CRM应用服务器替换前后设备数据计算。替换前，CRM应用服务器 HP RP8440*8，产品管理服务器 HP RP8420*2，共10台小型
10、机 替换后，CRM应用服务器 HP BL685C*28，产品管理服务器 HP BL460C*4项目 小型机 刀片服务器 比较(刀片/小型机)1.计算能力(百万tpmC)8.7212-采购 2.购买成本(百万元)23.23.8817%3.单位tpmC购买成本(元)2.660.3212%维护 4.年维护成本(百万元)6.961.16417%5.年单位tpmC维护成本(元)0.80.113%扩容 6.扩容投资台阶(百万元)20.126%0510152025123456刀片服务器小型机目前集团公司南方基地、浙江移动的目前集团公司南方基地、浙江移动的CRMCRM系统已经引系统已经引进此系进此系统架构。统
11、架构。下一步，亚联CRM将实现包括数据库层在内的完全SMA化，从而极大降低硬件成本，提供可维护性阶段阶段说明工作目标市场目标工作内容时间计划1内存网格技术的引入降低数据库压力20%进一步提高支持的用户数/降低设备成本内存网格抽象封装多种内存网格产品（商用，开源）集成结合CRM现状，选取合适的缓存策略2010-122CRM统一管控平台与云能力中心联合实现云CRM统一管控平台提升客户体验，提高系统的可管控性应用平台监控应用系统监控数据库监控内存网格监控数据稽核2010-123多数据库支持支持多种数据库（EnterpriseDB,DB2,Sybase,MySQL）降低CRM系统数据库软件耦合性，能够
12、提供低软件成本解决方案系统现有持久层梳理非标准数据库对象改造兼容性测试性能测试待定4数据库分库策略 实现多维度数据库分库策略，降低单库压力降低CRM系统数据库主机压力，能够提供低硬件成本解决方案多维度分库策略可行性论证及实施兼容性测试、性能测试待定2传统计费系统运行在高性能小型机上，亚联云计费分4步进行架构创新，全部SMA化，并极大提高性能Level 1Level 2Level 3Level 4高性能1分钟平均话单处理 40s平均话单处理 20s平均话单处理 20s高可扩展性大部分应用可扩展所有应用可扩展一定规模下的可线性扩展完全线性扩展高可用持续服务能力一般全年维护时间不超过 2 天全年维护
13、时间不超过 0.5 天全年不间断服务高可管理简易的管理界面大部分人工操作系统的管理界面部分人工操作完善的管理界面人工操作不多极少或者免人工管理高可配置运行参数，资费具备完善的配置界面运行参数，资费，应用环境具备完善的配置界面运行参数，资费，应用环境，业务逻辑具备完善的配置界面完备的二次开发环境低成本小型机;磁盘阵列ORACLE部分小型机，部分刀片机，磁盘阵列，ORACLE刀片机并行文件系统ORACLE云集成平台u演进方向OpenBilling 4.5云计费平台云计费平台1.5云计费平台云计费平台1.01010年年1 1月月1010年年9 9月月1111年年9 9月月注：平均话单处理指从话单生成
14、到话单入库被能够查询到所需时间间隔注：平均话单处理指从话单生成到话单入库被能够查询到所需时间间隔3云计费平台定位说明产品类别产品类别平台/框架适用范围适用范围采集,计费,结算,帐务等实时/准实时批处理应用系统;技术特点技术特点云计算技术的引入:分布式资源管理,分布式应用管理,分布式存储引入,支持定制map/reduce策略.行业高度行业高度通过这个平台,使公司的采集,计费,结算,帐务等产品线提升为行业领先地位;基于该平台的计费帐务系统能够赶超Amdocs的V7.5TC传统系统基于云计费平台的系统可用性可用性持续服务能力差软件升级,部分参数调整都需要服务中断7*24小时不间断服务软件升级,参数调
15、整不需要中断服务扩展性扩展性应用处理和硬件绑定,新增硬件设备需要手工迁移应用服务;部分系统受架构限制,不能方便扩展,比如mdb无缝,自动扩展硬件和迁移应用;分布式解决内存数据库的扩展问题可管理性可管理性应用和参数可以做到界面化管理;运行管理需要人工操作全界面的应用配置,参数配置和运行管理资源利用率资源利用率通过虚拟化的方式提升资源利用率;应用和资源绑定,多个应用共享硬件资源的能力差;不能根据负载自动释放和占用硬件资源各系统间硬件资源可以完全共享;应用可以根据负载自动占用和释放资源低成本低成本小型机架构,需要oracle数据库,集中存储支持刀片机构,分布式存储云计费平台解决问题云计费平台云计费平
16、台核心结构DBE分布式计费引擎SAL存储抽象层DBE、DBM、SAL 是分布式计费系统的核心，其它子系统还包括：DBF（分布式计费基础功能集）、DBI（系统的对外接口）提供一个统一的管理界面完成监控、统一配置、日常维护、界面集成等功能分布式计费的核心，包括集群、负载均衡、节点路由、数据路由等功能，同时支持在线和离线计费使用 REST 的资源定义风格屏蔽 MDB、并行文件系统、Cached I/O、本地存储、SAN、数据库等的不同DBM分布式计费管理器关键设计1分布式任务处理基本的服务l各应用模块可以申请任务或发布任务到任务总线.l采用应用服务主动向任务总线申请任务的方式,以得到更好的负载均衡能
17、力.l具有良好的事务控制,异常情况下能够发起回退处理及任务的再处理l能够实时提供任务处理状态,将数据展现在DBM页面l具备良好的过载及异常保护机制,避免任务总线阻塞现象.典型的任务处理流程任务总线TSNRMTSCANRTSNRMTSCANRTSNRMTSCANR队列队列队列任务输入TS任务处理TS任务输出TSSRM（系统管理）1234任务总线是系统内部任务传递的机制关键设计2多级负载均衡机制关键设计3节点高可用性机制关键设计4分布式内存数据库关键设计5版本安装、升级版本升级分类新系统上线系统割接升级系统版本升级新业务上线数据模型升级原有功能升级/回退考虑因素：与原有业务逻辑冲突与原有业务逻辑不
18、冲突123支持AIX,SOLARIS,SUN,LINUX多种操作系统支持同一厂家的多种操作系统版本支持不同厂家的多种操作系统版本支持小型机和刀片机混合环境利旧现有设备特性：混合硬件环境特性：系统扩展能力传统的系统传统的系统基于平台的系统基于平台的系统关键词:自动负载均衡自动负载均衡中心中心中心中心中心中心中心中心CC中心中心集群集群(2(2台主机台主机)集群集群(台主机台主机)特性：超大规模/超高性能维度描述关键数字计算节点计算节点最大支持250个节点的计算集群250个计算节点设计目标设计目标-计费系统计费系统用户数用户数支持亿全业务计费用户,亿话单数话单数(事务数事务数)每天处理话单量40亿
19、,每秒峰值万/秒24万/秒话单计费时延话单计费时延在线计费:99.99%,5ms以内离线计费:99.9%,s以内(采集到入库)5ms5s特性：7*24小时服务软件版本升级,不中断服务参数更新不中断服务新增硬件,删除硬件不中断服务节点异常,节点网络异常不中断服务特性：极低的维护成本软件安装软件安装应用部署应用部署应用起停应用起停应用迁移应用迁移异常告警异常告警异常定位异常定位日志查看日志查看参数配置参数配置版本升级版本升级版本回退版本回退主机管理主机管理运行统计运行统计特性：极低的建设和扩容成本二次开发成本 开发接口简单 应用只需要做应用服务的开发.管理和调度等功能都自动支持硬件成本 支持刀片
20、混合硬件环境支持,充分利旧 资源利用率高,有效的削峰填谷第三方软件 不需要第三方中间件 不需要第三方内存数据库 不需要关系型数据库特性：多开发语言支持Java 应用TS framefor JavaC+应用TS framefor C+Java 扩展TB framefor JavaC+扩展TB framefor C+TS framefor TB/JavaTS/C+TS/TB/C+TS/Javap DBE 提供的 TS frame 完成底层通讯功能；p 开发人员只需在应用层用熟悉的语言实现业务逻辑。p TB 只供 Java 和 C+的扩展；p DBE 提供的 TB frame 完成底层通讯功能；p
21、扩展模块实现定制的 map/reduce、业务流程等功能。与集团业务支撑中心、移动研究院联合研究总部内容计费结算系统云计算方案n 以GPRS业务处理流程为原型，近期目标以满足1000亿月话单处理能力，远期目标满足10000亿月话单量处理能力n 在满足1000亿月话单处理能力，硬件由200多台刀片机组成，硬件成本至少节省70%n 计划采用开源共享文件系统n 采用HIVE或Mysql数据库实现详单查询n 应用系统尾号号段MAP，根据下发省reduce管理节点系统监控发布管理配置管理权限管理传输接口服务器计算节点接口模块输入模块中间处理输出模块MDBIDX节点管理备份管理详单系统计算节点接口模块输入
22、模块中间处理输出模块MDBIDX节点管理计算节点存储访问接口。数据同步数据同步数据同步管理D&P Queue运营商BI的投资结构分析表明，主要资金集中在数据仓库和集市的主机，存储和数据库总体第三方软硬件投资，按不同应用方向的投入占比年度常规扩容的第三方软硬件投资，按不同应用方向占比4详细分析了BI的总体架构，识别目前BI系统的主要矛盾，逐层分析并给出亚联核心BI软件在基于云的基础设施之上实现：高性能、可扩展、且弹性的部署能力。目前在实验室，亚联BI已经能够在30%的硬件投资上，达到相同甚至更好的数据仓库性能二阶段：在极大降低运营商BSS系统的建设成本的基础上，亚联也积极探索B/OSS云服务的可行性对电信运营商的意义：提升更简单、高效的IT环境更高的可靠性、可用性更高的灵活性，业务上线的速度更快业务应用数量增加Etc.降低降低IT维护成本，集中在业务开发而不是IT环境的维护降低风险成本电费节省空间，更简单、高效的IT支撑系统，Etc.亚亚信联创橘信联创橘云云(BOSS(BOSS云云/CRM/CRM云云/BI/BI云）云）传统自有系统模式传统自有系统模式云计算模式云计算模式
