1、上海电信上海电信BSS项目项目数据整合和迁移经验交流数据整合和迁移经验交流上海电信企业信息化部2005年9月16日周益平周益平上海市电信公司企业信息化部经理美国南加里福尼亚大学工商管理DBA博士目录目录项目整体项目整体情况介绍情况介绍1.CRMCRM数据导入工作数据导入工作2.ODSODS数据整理工作数据整理工作3.面临的问题和困难面临的问题和困难4.项目整体项目整体情况介绍情况介绍上海电信上海电信MBOSS目标系统总体架构图目标系统总体架构图F实现A保障B计费管理支撑OSS-业务实现（业务实现（IBP综合业务处理）综合业务处理）WF WF 施工调度路由设计资源指派RM RM 网络资源管理网络
2、资源管理资源创建资源维护本地本地数据数据内容内容长途长途/无线无线资源调配数据管理资源调配数据管理资源调配数据管理资源调配数据管理采集采集本地数据内容长途无线融合计费融合计费融合帐务融合帐务综合结算帐单打印发放产品目录（从）帐单核销财务数据批价处理开帐处理帐单定制欠费和催缴BSS计费帐务计费帐务网元管理网元管理 FCAPSOSS-OSS-服务保障服务保障TEST测试TT用户故障处理MR网络维护与恢复MM综合网络管理综合网络管理出错告警分析综合网络配置用量数据采集运行性能监测网络安全管理SM服务管理CN用户网络管理本地网管数据网管无线网管长途网管内容网管投诉管理故障受理与跟踪信用审核定单受理与跟
3、踪 CRMBSS客户关系管理客户关系管理客户客户客户数据产品数据交互记录Mail&Fax&SMS10000号号CTI/IVR代理商门户CSP客户自助门户市场营销 产品销售忠诚度管理客户SLA管理客户信息查询营销知识库产品目录(主)代理商信息管理帐户变更帐单征收客户合同管理帐单查询财务财务管理管理(FI)单点登录身份认证自助服务 URL重定向内容管理 个性化界面ICE集成集成协作协作环境环境OAELKMMSS-管理支撑管理支撑ERPEIP员工员工信息信息门户门户人力资源工程管理财务管理OSS-OSS-业务实现业务实现(IBP(IBP）OP OP 订单处理订单处理（本地、数据、内容、长途、无线）N
4、A NA 网络激活网络激活（本地、数据、内容、无线、长途）工单分解指令分解处理流程订单分解工单管理BP BP 业务开通业务开通CRMBILLINGETL数据整合平台ODS运营数据仓储统一客户视图数据同步综合报表平台EDW企业数据仓库CUBEIBP其它SAP/R3SAP/SEM战略管理绩效管理预算管理（数据存储241)内部客户数据查询BASOAS数据挖掘CUBEEDA-企业数据架构企业数据架构CRM数据BILLING数据IBP数据其他系统数据收入摊分CQD对外客户数据库外部客户数据查询SAP/BW预处理预处理 预付费预付费GL总帐模块AR应收模块AP应付模块AM固定资产LM贷款管理JM岗位管理C
5、EA成本要素会计SPL特殊分类帐CCA成本中心会计CO-PA获利能力分析PCA利润中心会计FM基金管理EC-CS合并报表OM组织管理PA人员管理PY薪资管理IM投资管理PS项目管理MM物料/库存管理TEM培训管理PD人员发展ESS员工自助CM现金管理PM资产实物管理SD销售管理SAP/R3代理商代理商MetaSolvBO XISiebelCSG Kenan/BPInformatica AIS审计模块BSS项目总体思路项目总体思路q目标应用系统架构以EAI总线为信息流转的基础,以松耦合的方式建置，支撑上海电信的需求q通过采用国际一流的成熟的商业软件包，引进行业最佳实践和先进的管理经验，提升上海电
6、信总体竞争能力q目标应用架构突出统一面向客户的CRM系统,提供现有业务和新业务的统一受理界面，实现市区和郊县范围内部的统一计费、统一优惠折扣，规范客户、产品、计费和资源数据模型，有效共享订单、计费、客户数据，减少业务受理时间，提供灵活的优惠折扣，固化BPR需求，实现端到端的运营流程97系统改造应分成系统改造应分成5个模块进行个模块进行97系统号线资源管理系统CRM系统订单管理业务开通系统运营数据存储（ODS）企业应用整合平台（EAI）重点重点松耦合，同步实施每个模块的实施必须遵循CTG-MBOSS制定的基本规范BSSBSS项目建设目标项目建设目标q客户信息整合，建立全公司统一的客户信息视图，实
7、现上海电信的客户管理模型，从系统上支撑从面向产品向面向客户的转变。q提供全公司统一的产品目录管理，提供灵活的产品配置，捆绑，组合。q业务流程优化，全程状态掌控；渠道全面整合，信息集中共享；兼顾现有业务，面向未来发展IBP组组ODS组组EAI组组CRM组组BSSBSS项目组织图项目组织图Billing组组CRM数据导入工作数据导入工作全部导入全部导入增量导入增量导入分两个步骤实施分两个步骤实施CRM数据导入的工作（全部导入）数据导入的工作（全部导入）q从97系统获得全部生产数据表备份；q导入Siebel数据库中的97数据表（在Siebel数据库中建立了与97数据表完全相同的表，便于统计比较）；q
8、在Siebel数据表中按照产品统计资产数量；q在97数据表中按照产品统计资产数量；q两边比对资产数量；q将97中遗漏的未处理数据导入Siebel数据库；CRM数据导入的工作（增量导入）数据导入的工作（增量导入）步骤一：从97数据表中获得每天的增量数据，通过Oracle工具导出到文件。这步有数据导出的应用程序日志供检查步骤二：通过Oracle工具将97数据导入Siebel预处理表，通过检查Load数据的日志文件，检查数据导入的正确性 步骤三：对97数据进行转换处理，将97的数据处理成Siebel的数据格式。这步工作可以通过检查脚步检查处理结果。步骤四：将转换后的数据导入Siebel的EIM数据表
9、。通过检查Load数据的日志文件，检查数据导入的正确性。步骤五：将数据导入Siebel的基本表。通过检查脚本检查导入的结果 在每天增量数据同步完后，通过对以上几步操作的结果检查，保证每天增量数据的正确性。对于出现错误的情况，通过单独处理将遗漏的数据补充入Siebel数据库。CRM数据导入的工作量数据导入的工作量q600多万客户q6700多万资产（设备）q100多个产品q几千种营销活动和2000多万的营销活动ODS数据整理工作数据整理工作 ODS/EDW实现了在实现了在BSS架构中最重要的客户信息整合；架构中最重要的客户信息整合；ODS/EDW整合了客户树整合了客户树(客户层级客户层级),客户与
10、客户经理的关系等其他非常客户与客户经理的关系等其他非常重要的客户数据重要的客户数据 ODS/EDW统一了收入类指标的定义，整合了产品分类和收入分类，提统一了收入类指标的定义，整合了产品分类和收入分类，提供了上海电信在最准确和完整的收入类数据，这部分数据将提供给各个供了上海电信在最准确和完整的收入类数据，这部分数据将提供给各个系统作进一步的统计和分析系统作进一步的统计和分析ODS/EDW在整个在整个BSS项目数据迁移中扮演了至关重要的角色项目数据迁移中扮演了至关重要的角色企业三户数据模型企业三户数据模型客户B客户A客户C资产1资产2拥有拥有使用客户付费付费客户帐户2帐户客户D使用客户帐户1集团客
11、户1上级客户上级客户 对一个客户而言，可能拥有几个账户，几个资产；而对某一个资产而言，存在着2个角色，使用客户角色和付费客户角色，这些角色可以是同一客户，也可以是不同的客户。整合客户与账户、资产这三者关系，对于电信企业来说有着非常重要的意义：-能够形成对电信客户最完整的视图-能够从各个角度分析客户对电信的价值和贡献 （目前只能从付费者的角度统计客户对电信的贡献）-能够对不同性质的客户展开针对性的营销BSS建设的客户数据结构建设的客户数据结构 客户与资产的关系客户与资产的关系 客户所购买的所有的上海电信的产品，在Siebel中以资产的形式存放 客户的三种属性并不直接体现在树状结构中，而是体现在客
12、户与资产的关系中 任何一个资产，都分别有产权客户，使用客户，和付费客户与之对应，可能是同一客户，也可能是不同的客户 一个客户在一项资产上，可能是产权客户，可能是使用客户，可能付费客户，也可能是其中的两项或三项都是联系人使用，产权，付费使用，产权，付费CRM97老计费老计费产权与付费产权与付费付费者信息变更付费者信息变更资产与付资产与付费者费者资产与产权资产与产权,付费者付费者资产与产权信息资产与产权信息老计费有最准确的老计费有最准确的资产与付费者信息资产与付费者信息CRM 有最准确的有最准确的资产与产权信息资产与产权信息但是没有一个地方有完但是没有一个地方有完整的三户视图？客户的整的三户视图？
13、客户的付费信息的变更也没有付费信息的变更也没有及时地反映到及时地反映到CRM在在ODS整合三户之前的上海电信整合三户之前的上海电信客户客户现状现状使用，产权，付费使用，产权，付费CRM97老计费老计费产权与付费产权与付费付费者信息变更付费者信息变更资产与付资产与付费者费者资产与产权资产与产权,付费者付费者ODS资产与产权资产与产权,使用使用者者资产与付费资产与付费ODS整合了资产与产整合了资产与产权者，付费者，使用权者，付费者，使用者的完整信息，形成者的完整信息，形成了完整的三户视图了完整的三户视图ODS最后将完整的最后将完整的三户信息返回给三户信息返回给CRM在在ODS如何整合如何整合客户数
14、据客户数据付费者丙:客户B=付费者甲客户ACRMBilling客户A客户B客户C付费者甲付费者乙付费者丙客户C=付费者乙ODS整合以后整合以后仅存在仅存在CRMCRM的的客户客户CRMCRM和和老计费老计费都存在都存在的客户的客户仅存在仅存在老计费老计费中的客中的客户户ODS客户整合结果示意客户整合结果示意CRM97ExistingBillingODSCSS1.从CSS获得客户（大客商客）、客户经理和客户（大商）的关系、客户经理和分帐要求的关系（公客）、分帐要求、分帐要求和客户的关系2.TMP从CRM获得客户3.TMP整合客户后返还给CRM1.整合后增加的CSS的大商客2.客户（大商客）的层级
15、关系3.分帐要求和客户的关系（大商客相关的）4.合并成功的大商客和客户经理的关系、客户经理和分帐要求的关系（公客）4.CRM给ODS所有客户、客户经理和客户的关系（大商）、资产、分帐要求（大商客）和客户的关系5.从老计费获得所有分帐要求、设备业务细节、帐单、详单6.从97获得历史的一次性费用7.将资产和设备业务细节整合，97一次性费用整合，全部的付费客户、全部的分帐要求（req_id）、匹配上的资产及其之间的关系返还给CRM，CRM根据分帐要求创建帐户，一些需要CRM手工增加的资产。8.CRM修改后给ODS，给ODS公客客户和客户经理的关系，所有的帐户给ODS，帐户和资产的关系ODS init
16、ial load（整合步骤整合步骤1）TMP11234758612345678客户客户CSS的大的大客客商客商客CRM客客户户需要新增的客户需要新增的客户大客大客商客商客CRM的公的公客客需要新需要新增的客增的客户户全部全部分帐要求分帐要求全部全部全部全部资产资产CRM初始初始资产资产需要新需要新增的资增的资产产客户经理客户经理全部全部客户和分帐要求客户和分帐要求CSS的的大客大客商客商客大客大客商客的商客的大客大客商客的商客的现有的现有的客户客户全部全部客户和资产客户和资产产权产权付费付费分帐要求和资产分帐要求和资产全部全部客户和客户经理客户和客户经理客户经理和分帐客户经理和分帐要求的关系（
17、公要求的关系（公客）客）客户经理和客户客户经理和客户的关系（大商）的关系（大商）全部全部CRM97ExistingBillingODS3541.CRM将每天受理的定单传到97系统用于开通2.97每天将完工信息通过接口批量传送给老计费3.老计费每天将分帐要求（帐户）和设备业务细节传给ODS，每月将帐单和详单传给ODS4.每天CRM将客户、定单和资产批量送到ODS，部分一次性费用5.每天ODS将帐户和资产关联后，将资产和帐户的关联关系、帐户、需要新生成的客户传给CRM6.97每天将CRM没有覆盖的局向的客户、定单、资产（已经配置了产品的资产，且删除拆机的资产）传送给CRM7.每月老计费将分帐要求、
18、帐单传给BAS/CSS8.从CRM获得所有的客户、资产、帐户数据用于测试9.从老计费获得所有需要的信息进行测试10.每月的一次性费用11.每天同步客户和客户经理的关系NewBillingAfter ODS on going Before CRM Have all Asset（整合步骤整合步骤2）21689BAS/CSS71011CRM97ExistingBillingODSBAS3541.CRM将每天受理的定单传到97系统用于开通2.97每天将完工信息通过接口批量传送给老计费3.老计费每天将分帐要求（帐户）和设备业务细节传给ODS，每月将帐单和详单传给ODS4.每天CRM将客户、定单和资产批量
19、送到ODS（所有产品的资产）5.每天ODS将帐户和资产关联后，将资产和帐户的关联关系、帐户、需要新生成的客户传给CRM6.不需要再反馈数据给CRM7.每月老计费将分帐要求、帐单只传给BAS，CSS被全面替代8.设备与金卡银卡客户对应关系变更细节，用于摊分9.从CRM获得所有的客户、资产、帐户数据用于测试10.从老计费获得所有需要的信息进行测试11.开始从新计费倒测试数据，以保证将来从新计费过来的数据和现在从老计费过来的数据一致NewBillingAfter ODS on going After CRM Have all Asset（整合步骤整合步骤3）217910数据营帐长途营帐8*与前面有变
20、化的用红色标明了11CRM97ExistingBillingODS231.在初始化之前的A点，97需要将A点所有完工工单数据全部倒入老计费2.老计费根据这些完工工单生成帐户和设备业务细节，将最后一部分增量分帐要求倒入ODS，由ODS检查所有的数据是否和老计费相同。（根据上阶段测试，ODS应该做到这部分数据和老计费一致，也和将来新计费过来的一致）3.ODS将最后一批需要更新的帐户、资产和帐户的关系、需要新增的客户倒入CRM4.CRM将所有的客户、帐户、资产数据给新计费5.新计费从老计费获取其他数据NewBillingNew Billing Initial Load（整合步骤整合步骤4）145CR
21、M97ExistingBillingODS3541.CRM将每天受理的定单传到97系统用于开通2.97每天将完工信息通过接口批量传送给老计费3.老计费每天将分帐要求（帐户）和设备业务细节传给ODS，每月将帐单和详单传给ODS4.每天CRM将客户、定单和资产批量送到ODS（所有产品的资产），金山的客户、帐户、完工资产数据5.每天ODS将帐户和资产关联后，将资产和帐户的关联关系、帐户、需要新生成的客户传给CRM6.设备与金卡银卡客户对应关系变更细节，用于摊分7.实时从CRM获得金山的客户、资产、帐户数据8.将金山的收费信息传给老计费9.倒入新计费的金山开帐数据、收费数据，同时倒入老计费相同数据只是
22、用于比较NewBillingNew Billing on going(golden mountain)（整合步骤整合步骤5）2178数据营帐长途营帐69CRM97ODS31.CRM将每天受理的定单传到97系统用于开通2.实时从CRM获得所有的客户、资产、帐户数据3.每天CRM将客户、定单和资产批量送到ODS（所有产品的资产）4.新计费每天将收费信息给ODS，每月将帐单和详单传给ODS5.设备与金卡银卡客户对应关系变更细节，用于摊分NewBillingNew Billing on going（整合步骤整合步骤6）12数据营帐长途营帐54CRM客户CSS客户160023万19万共6727万5578
23、万（55777073）第二次62673587 一期共5066万1979万 关闭163万未找到设备号（其中215351 一期资产）3087万未关闭1150万660万26万8300设备业务细节资产大商公客户整合结果客户整合结果资产整合结果资产整合结果440万设备号找到但没有对应关系（包括二期）15368个没有找到设备号（7400）37.2万572.9万18.9万2400万匹配上的（23975393）289万（第二次）1115万没有对应（11153789）第二次4605609从分帐要求来整合34万设备业务细节（第二次）整合结果统计整合结果统计问题问题原因原因建议建议数量数量CRM有的资产，而老Bil
24、ling没有对应业务细节CRM（97）会缺省生成一部分业务细节，而老Billing在用户使用时才生成相应业务细节需要市场部确认，是否这些数据不需要Billing profile，如果需要Billing profile，是否可以缺省为根资产上的Billing profile其中声讯总数为：830万其馀还包含来电显示,PHS 短消息等等老Billing有CRM没有的资产老Billing根据用户使用而缺省生成的业务细节需要市场部确认这些数据是否需要CRM（97）来补齐，如何补齐数据其中IDD，DDD，ISA，NSA，IP主叫直播业务为60万CSS整合策略CSS 集团客户与主客户归并规则还没完全确认,
25、其中已经确认的包含：同客户群（集团客户）的归并原则 同客户群（主客户和集团客户）跨树的归并原则同客户群（集团客户）的归并原则需要市场部确认：跨客户群（主客户和集团客户）的归并原则 异常数据需要市场部确认数据整合工作挖掘出的问题数据整合工作挖掘出的问题 将老计费系统的设备与设备业务细节与将老计费系统的设备与设备业务细节与CRM的资产进行对应；的资产进行对应；将老计费系统的分账序号将老计费系统的分账序号(付费者信息付费者信息)与与CRM得客户信息进行对应得客户信息进行对应;如果来自老计费的付费者信息存在对应的客户信息则合并该付费者信息，否则如果来自老计费的付费者信息存在对应的客户信息则合并该付费者
26、信息，否则根据该付费者信息在根据该付费者信息在CRM中创建新的客户；中创建新的客户；将老计费系统的分账序号将老计费系统的分账序号(付费者信息付费者信息)与老计费的设备业务细节关系转换到与老计费的设备业务细节关系转换到CRM的资产与付费者的关系；的资产与付费者的关系；ODS客户的整合结果：客户的整合结果：在在ODS整合整合客户数据客户数据的关键环节的关键环节数据的一致性：CRMCRM 和 老老计费计费 的数据的一致性数据的源头：CRMCRM 和 老老计费计费 数据以谁为源头数据归并：CSSCSS 集团客户与主客户归并CRMODS老计费老计费产品资产组织帐户营销活动优惠合同客户订单一次性费用帐单收
27、费记录产权客户属性关注重点关注重点数据整合工作关注点数据整合工作关注点 CRM的资产大部分从的资产大部分从97过来，但是根据过来，但是根据CRM的产品定义和资产生成原则，将的产品定义和资产生成原则，将会产生大量的资产，对于每一个资产，必须定义其资产的产权拥有者，付费者会产生大量的资产，对于每一个资产，必须定义其资产的产权拥有者，付费者和使用者和使用者 同时在老计费系统中，由于历史的原因，老计费会根据自己的业务类型和实际同时在老计费系统中，由于历史的原因，老计费会根据自己的业务类型和实际开帐与否定义设备与设备业务细节以及相应的付费者关系开帐与否定义设备与设备业务细节以及相应的付费者关系 必须将必
28、须将CRM的资产与老计费的设备与设备业务细节作匹配，否则将无法为的资产与老计费的设备与设备业务细节作匹配，否则将无法为CRM的资产定义准确地付费者关系！的资产定义准确地付费者关系！难点在于不能简单地根据设备号做匹配，因为同一个设备号可以有多个设备业难点在于不能简单地根据设备号做匹配，因为同一个设备号可以有多个设备业务细节！务细节！客户整合过程最关键的部分客户整合过程最关键的部分 CRM资产资产(产品实例产品实例)与设备业务细节的比对与设备业务细节的比对为此定义了完整的对应关系为此定义了完整的对应关系(将将CRM的产品目录与老计费系统的设备类型的产品目录与老计费系统的设备类型作了匹配作了匹配)老
29、计费中的设备类老计费中的设备类型与设备业务细节型与设备业务细节类型类型CRM中的产品中的产品代码代码例如老计费中的例如老计费中的17909IP的的设备业务类型为设备业务类型为1001，24对应到对应到CRM的二级产品的二级产品101012在此基础上，在此基础上，ODS完成完成了多达了多达20,000项设备业项设备业务类型与务类型与CRM产品代码产品代码的对应的对应在设备类型的对应基础上根据设备号完成在设备类型的对应基础上根据设备号完成CRM资产与老计费业务细节的资产与老计费业务细节的对应对应CRM的某一条资产纪录的某一条资产纪录老计费的某一条设备业务细节老计费的某一条设备业务细节纪录纪录基于这
30、样的方法，基于这样的方法，ODS完成了完成了CRM多达多达90,000,000资产与设备资产与设备业务细节的匹配业务细节的匹配在资产的整合基础上，在资产的整合基础上，ODS完成了客户的整合完成了客户的整合 客户整合的原则是根据同名同标示同址的原则客户整合的原则是根据同名同标示同址的原则 根据设备业务的付费者信息在根据设备业务的付费者信息在CRM寻找匹配客户信息，如果存在匹配客户，则寻找匹配客户信息，如果存在匹配客户，则在对应在对应CRM资产基础上将付费者标示成对应的资产基础上将付费者标示成对应的CRM客户，如果不存在匹配客户，客户，如果不存在匹配客户，则表示该付费者是一个新的则表示该付费者是一
31、个新的CRM客户客户基于这样的方法，基于这样的方法，ODS完成了多达完成了多达100,000,00客户与老计费付费者信息客户与老计费付费者信息的匹配，将高达的匹配，将高达900,000,00资产的付资产的付费者信息全部匹配完毕费者信息全部匹配完毕整合后的客户数据示意整合后的客户数据示意587552815875528158755281288321362883213628832136584500005845000058450000288388582883885828838858长途本地月租长途本地月租长途本地月租长途本地月租表示单个客户，不同的颜色代表不同的客户产权客户付费客户资产CRM客户数据总
32、数客户数据总数657万万6571398CRM资产（一期）资产（一期）6727万万67279207帐务设备业务细节帐务设备业务细节5066万万50660698分帐要求数据分帐要求数据1297万万12976409整合后整合后5800万条资产中产万条资产中产权和付费不同的资产权和付费不同的资产423万万4234778整合后产权和付费不同的整合后产权和付费不同的资产上的产权客户数资产上的产权客户数37万万377644整合后产权和付费不同的整合后产权和付费不同的资产上的付费客户数资产上的付费客户数32万万320028整合后只有付费资产的客整合后只有付费资产的客户数户数19万万（大商）（大商）整合后只有产权资产的客整合后只有产权资产的客户数户数23万万（大商）（大商）面临的问题和困能面临的问题和困能面临的问题和困难面临的问题和困难q总体架构需统一考虑，没有经验可寻q建设过渡阶段多，并行期数据同步难度高，维护工作量大q数据清理数量大（地址、客户归并）q培训工作量大谢谢 谢！谢！
