数据仓库建设规划课件.ppt

1、南充市商业银行数据仓库建设规划南充市商业银行科技部第1页概述第2页数据仓库业务支持的目标 数据仓库的投产不同于传统的信息系统，它是萃取原始数据转换成决策信息，进而衍生企业智慧的一段旅程，数据仓库系统的投产是旅程的起点而非终点。数据仓库的价值体现在深度运用中，用于持续改善的过程，而非一个短暂的项目。建立成熟完备的BI环境进行业务支持是一个重要手段，应该建建立、健全一套完整的业务支持流程立、健全一套完整的业务支持流程，针对不同特点的应用使用不同的方式，提供不同种类的应用模式，从而提高对业务需求的响应速提高对业务需求的响应速度和质量度和质量。除了流程的规范，还应该完善完善EDWEDW自身数据体系的建

2、设自身数据体系的建设，同时加大用户的培训力度加大用户的培训力度，用各种可能的方式和渠道推广数据仓库，实现最大程度发挥信息平台业务价值最大程度发挥信息平台业务价值的终极目标。第3页数据仓库的应用模式随机查询随机查询 具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题。数据挖掘数据挖掘 在灵活分析的基础上，对某些业务问题进行数据属性的提炼和归纳，如“评分模型”、“违约模型”、”细分模型”等。应用系统应用系统 支持复杂业务逻辑的应用系统，典型的包括营销管理、利润贡献度、平衡计分卡等。国际先进银行的企业级数据仓库系统实践表明，应用系统的开发离不开需求的成国际先进银行

3、的企业级数据仓库系统实践表明，应用系统的开发离不开需求的成熟和稳定，只有通过大量的灵活分析和数据挖掘的应用，才能形成成熟稳定的应熟和稳定，只有通过大量的灵活分析和数据挖掘的应用，才能形成成熟稳定的应用需求，反之，应用系统在业务中的大量使用，又会促进分析人员更加深入、有用需求，反之，应用系统在业务中的大量使用，又会促进分析人员更加深入、有效的分析探索数据。效的分析探索数据。Data Mining(Modeling)ApplicationsAd HocReports固定报表固定报表 以固定模式回答简单、常规的业务管理、统计类问题。第4页应用模式描述应用模式定义及特色与其他应用模式关系关键点Repo

4、rt固定报表该应用模式主要满足常态，定期的业务统计需要；具有确定性和普遍性，也包含一些常态的交互式报表部分常用的，能够提炼出共性的灵活查询可能会转化为固定报表;报表的管理，建立准入与退出机制；数据共享管控Ad-hoc灵活查询具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题具有随意性和不可重复性浏览固定报表发现问题，并进行问题的追踪；探索性问题的获取,并转化成Report需求；建立有效的支持中心，支持服务并推广培训和推广是要分步骤分阶段分别推广Application应用包括分析型应用和操作型应用，分析型应用由一系列逻辑整合的固定报表，交互式报表和数据挖掘的结

5、果构成,在明确的业务主题内的流程和任务的指导下，提供整合的信息，使得用户能够访问，分析与操作；可以将各类的结果直接部署到操作型应用上，用于指导业务流程和业务操作，一般多用于前端营销系统分析型应用并不是一堆报表的堆砌，而是将固定报表和交互式报表甚至数据挖掘的结果嵌入流程中，体现一定的管理逻辑建立业务解决方案架构小组；应用数据共享管控Data Mining数据挖掘通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势，预测未来趋势及行为，做出前摄的、基于知识的决策。目标是从数据库中发现隐含的、有意义的知识 数据挖掘应该和分析型应用系统嵌套使用，并整合至业务流程中，将业务决策和营

6、销管理文化发生转变如何将数据挖掘与应用系统整合发挥作用，而不是为了数据挖掘而数据挖掘第5页应用模式一:灵活查询特点：特点：随机性随机性随时发生、可以由任何部门发起。时效性时效性应对突发需求的相应能力，要求比较高。开放性开放性可能是简单统计，或是某种测算，或是某项明细数据查询，也可能是某种复杂逻辑的处理。独特性独特性特定的目标，特有的度量、专用的视角和算法。不确定性不确定性过程不确定、方法不确定、查询路径不确定、分析结果不确定、表现形式也不确定。关注点：关注点：需求、数据、效率的平衡需求、数据、效率的平衡业务人员的参与和交互业务人员的参与和交互提供知识共享的途径和办法提供知识共享的途径和办法分析

7、模板用户培训依赖条件依赖条件数据的了解 业务知识和经验查询分析工具的运用沟通、应变能力利用分析工具直接进行任意的数据探索和查询，回答各种未预先定义的业务问题。第6页应用模式二:固定报表特点：确定性确定性信息所涉及的度量和维度是确定的、权威的，一般由归口业务部门对其进行明确定义。普遍性普遍性信息经常在部门内部乃至全行的信息需求中多次出现；简单、容易理解，对用户要求不高。跨系统跨系统不依赖单一业务系统，需要全局视图。关注点：关注点：信息共享信息共享统计口径统计口径大用户量大用户量主要元素主要元素维度、指标设计报表设计规范控制总量准入准出制度数据要求：数据要求：语义层的准备固定报表是数据仓库信息共享

8、的主要途径之一，是最重要的展现方式。部分常用的，能够提炼出共性的灵活查询可能会转化为固定报表第7页应用模式三:应用特点：特点：逻辑整合逻辑整合某种程度的业务逻辑内嵌于此应用以便用户能够按照一定的规则完成其任务。交互式交互式相对于操作型应用非常固定的用户界面，分析型应用提供交互式的访问途径。信息整合信息整合分析型应用是以业务主题为导向的，会使用多个信息来源。建构在数据仓库环境上的分析型应用在多个维度上保证信息的一致性。业务主题业务主题应用一定是服务某个业务主题定义。例如风险管理、营销管理等。关注点：关注点：自建还是购买自建还是购买架构和部署架构和部署BI架构数据架构技术架构主要元素主要元素外观和

9、感受业务逻辑报表和分析功能数据模型数据映射包括：分析型应用和操作型应用；而分析型应用绝不仅仅是固定报表随意的堆砌，应用系统中特意设定的业务逻辑可以帮助用户逐步访问与分析一系列交互式的报表，并在特定的业务主题背景下采取经过优化的行动。第8页应用模式四:数据挖掘特点：特点：全面性全面性挖掘模型使用的数据通常都需要大量详细的历史数据支持，大多需要跨业务领域进行综合的关联分析。专用性专用性大多数挖掘模型都是针对某个特定领域的特定问题创建，应用的范围和服务的对象都比较特定。抽象性抽象性数据挖掘使用的统计技术以及模型的产出结果都具有高度的抽象性。周期性周期性挖掘模型的创建是基于建模时的训练和校验数据，一段

10、时间后可能需要根据性能对模型进行回顾和调整。关注点：关注点：业务人员的参与业务人员的参与资质目标规则架构架构仓内仓外产出结果产出结果存储发布应用从大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程，主要基于人工智能、机器学习、模式识别、统计学等技术，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。第9页应用模式综合应用场景 应用模式和需求并不是一一对应的，一个业务需求的提出和解决可能需要多种应应用模式和需求并不是一一对应的，一个业务需求的提出和解决可能需要多种应用模式的综合应用用模式的综合应用 挽留客户示例看看最近客看看最近客户流失率是户流失率

11、是否有异常？否有异常？他们有什么他们有什么特征？能不特征？能不能提前发现？能提前发现？查查原查查原因？因？挽留成挽留成功！功！部署在应用部署在应用中，例如事中，例如事件式营销件式营销报表挖掘灵活查询应用同业案例四:某股份制银行界面同业案例四:某股份制银行界面同业案例四:某股份制银行界面第13页同业现状同业案例一:某国有银行数据应用层数据整合层数据交换层基础环境层DW数据集成历史数据管理 各类MIS市场客户风险统一数据交换离线数据管理元数据管理统一调度监控平台 综合统计报表 专题集市集成信息服务主机数据交换通用文件传输业务分析同业案例二:某区域银行数据应用层数据整合层数据交换层基础环境层DWED

12、IP历史数据管理各类MISMACRM风险离线数据管理统一报表信息系统元数据管理数据质量管理 数据标准管理统一ETL平台 统一报表平台 统一卸数ECIF事件式营销信贷集市集成信息服务数据交换平台营销反洗钱信贷同业案例三:华东某城商行数据应用层数据整合层数据交换层基础环境层DWODS历史数据管理各类MISMAACRM风险准实时数据管理业务快报元数据管理 数据质量管理 数据标准管理统一ETL平台 统一报表平台 操作型应用 专题集市应用数据集成服务准实时数据服务 历史数据服务同业案例三:华东某城商行一期之前背景同业案例三:华东某城商行一期结束的架构基础数据层FDM汇总数据层ADM协议团体事件帐务产品渠

13、道公用数据集市层历史拉链轻度汇总指标汇总集市汇总同业案例三:华东某城商行二期结束的架构基础数据层FDM汇总数据层ADM协议团体事件帐务产品渠道公用数据集市层客户数据集市数据管控分行数据支持历史拉链轻度汇总指标汇总集市汇总应用及数据延续同业案例三:华东某城商行一期价值汇总模型基础模型报表平台ETL平台报表应用专题应用技术数据应用业务价值 管理驾驶舱（管理者数据）部门管理报表模型(FDM、ADM)数据接入数据供应ETL平台;公共应用平台;数据交换平台一期的能力：应用：建立公共应用平台，具备决策支持、数据分析支持能力数据：全行数据集成能力（ODS数据模型）；全行数据交换能力技术：BI应用门户；ETL

14、处理中心同业案例三:华东某城商行二期价值汇总模型基础模型报表平台ETL平台数据管控平台报表应用专题应用技术数据应用业务价值业务价值管理驾驶舱完善部门管理报表完善CRM优化支持数据库营销支持模型扩充（数据接入）数据供应（新增、迁移）客户主题集市分行数据规划数据管控平台平台升级完善二期的能力：应用：决策支持、数据分析支持能力；分行服务支持能力；客户主题分析数据：全行数据交换能力；全行数据集成能力；数据管控能力技术：BI应用门户；ETL处理中心；数据管控平台第22页项目背景当前行内系统分类联机交易系统核心业务系统：资产、负债、结算（同城/跨行/票据等）、分录账务、报表、客户账户管理、公共（角色/权限

15、)外汇系统：外币综合系统，账户、客户、负债业务、分录账务、报表卡平台系统：ATM/CDM、POS、银联、兴业柜柜通、城商柜面通的渠道接入MBFE支付系统：人行大小额支付前置综合前置系统：代收类业务、网银接入、代付类业务的渠道接入网银系统：外包方式，当前在自建其它：财务系统、电话银行接入前置、网银接入前置、TIPS系统、指纹识别系统、电票系统.数据系统财务系统的报表模块：监管机构报表流程系统OA系统：公文流转与审批，公告和办公沟通信贷管理系统：流程管理、信息管理、基本数据分析风险监管系统事后监督系统：票据监督、账务监督、操作类风险事后检查压力测试系统：在建其它系统反洗钱、反假币、征信系统等，主要

16、为监管机构要求的系统系统类型占比1：本币、外币核心系统分开，客户、账户、渠道、公共信息不能共享，不利于业务拓展和新产品创新2：联机交易系统前置众多，故障风险点高，维护量大3：数据系统不足，难以满足决策分析的要求4：流程类系统集中在专项系统，对全行商业流程管理、信息内容管理支撑有限5：风险监管系统缺少操作风险管控和风险预警系统信息系统的业务支撑情况服务层操作层科技客户经理决策层分管行领导董事长监事长行长智囊层业务法规市场产品执行层零售业务公司业务中间业务投资业务同业业务分行管理层分行领导分行部门领导客服人员风管/审计OA/邮件系统信贷管理系统后督系统人力资源综合柜员联机交易系统绩效考核系统已投产

17、信息系统管理组织架构业务和数据要求u总账数据报表u办公支持u决策管理系统u其他数据分析u数据分析和挖掘u日常办公支持u报表和钻取u客户经理和门柜管理u办公支持、客户管理u执行性/监管性报表u分行经营数据分析u分行报表和查询u日常办公u对公、对私存贷业务u中间业务u电子渠道交易企业数据总线在规划的信息系统各电子渠道系统行内重要信息系统数据图存在问题当前存在问题p 整个架构为网状结构，相互影响较大p 维护量巨大p 数据口径不统一p 指标不全面今后拓展存在得隐患p 数据存放零散,存在数据冲突,无法支持灵活查询和应用,缺乏对业务拓展的持续支撑p 没有全面一致得数据历史积累,今后无法进行数据挖掘,构建决

18、策分析/风险预警等系统p 无法保证数据资产不被泄露第27页整体规划规划思路业务创新期-基础建设-数据治理-报表支持管理优化期业务支持期-数据整合-专题应用-数据开放-创新业务技术主导业务参与业务需求技术支持业务主动技术服务业务价值驱动从技术“推”到 业务“拉”的转变养育数据、由小而大、分期建设规划勾画骨架；项目勾画血肉目标蓝图:技术框架总行分行目标蓝图:支持能力信息科技部管理信息部数据分析支持数据管理决策支持分行服务支持总行领导全行业务状况分析业务发展决策分析各业务系统收集业务数据控制数据标准总行各部门公司业务部个人业务部金融同业部风险管理部人力资源部。分支行机构分支机构领导分支机构业务部门分

19、支机构管信部客户经理业务状况分析业务发展决策分析相关业务状况分析业务统计报表支行业务状况分析重点业务部门支持相关客户业务分析与支持目标分解:体系架构数据管控体系战略与规划业务应用体系服务运营体系技术平台体系政策、流程、制度数据标准数据质量元数据管理数据架构业务创新战略决策运营策略管理优化应用驱动型服务数据驱动型服务运营驱动型服务数据运营治理数据仓库平台数据服务平台数据应用平台数据管控平台运营管理平台目标分解:业务应用体系目标分解:数据管控、服务运营体系目标分解:技术平台体系线路图规划原则客户信息渠道与整合层绩效管理客户关系管理产品系统风险管理其他支持系统排定的优先级别应用模块的优先顺序中度优先

20、最高优先高优先要点 认识客户的基础，同时也是提供差异化服务的基础 强化销售能力与多维度绩效管理 支持销售型网点的基础 产品交付的管道 服务与认识客户的基础 支持销售型网点及后台交易集中的基础 提供全功能的远端线上银行 整合渠道管理 提供差异化服务的基础 强化销售能力与多维度绩效管理并且及时提供精确的绩效分析报表 建构全行资金转移定价的模式 提供基于活动的全成本配置机制 提供覆盖全面的产品平台 支持销售型网点及后台交易集中 提供弹性产品组合与协销机制，建构专业产品发展过程 认识客户的基础，同时也是提供差异化服务的基础 强化销售能力 建立风险市集以累积风险数据 良好的风险防范与监督检查机制 建立目

21、标导向并且定期更新的风险评级机制 支持实时市场风险模拟、贷后及全产品风险管理机制 支持先进的操作性风险管理 交易集中化是销售型网点的基础 组织化的人力资源管理与便利的办公室自动化（需要支持异地经营）适时的人力资源开发与培养 可信且实时的预算管理线路图整体规划规划管理规划调整与实施监控服务运营体系数据服务流程、制度制定业务应用体系业务快报业务价值驱动的专题应用（客户、运营、风险、财务、信息）政策、流程、制度制定数据治理体系数据架构管理数据安全技术平台体系基础数据平台（ODS）业务价值 数据架构 技术架构 应用架构 管控架构数据开放数据标准、元数据管理、数据质量主数据管理数据交换服务数据集成服务历

22、史数据服务数据开放服务基础数据平台（历史数据平台）基础数据平台（EDW）数据管控平台ETL平台公共应用平台主数据管理平台基础数据平台（数据交换）专题应用系统管理驾驶舱部门报表线路图第38页一期计划本期规划统一数据平统一数据平台台整体规划规划管理规划管理整体规划与实施监控本期本期后续分期后续分期数据交换数据交换数据采集组件总总、总分数据交换与互动多种分发模式支持分发管理功能增强（排序、优先级、流量控制等）数据发布组件组件配置管理与控管的接口数据加工数据加工ETL公共组件数据加工平台建设ETL集群管理ETL自动化开发ETL组件优化系统管控系统管控系统监控系统调度ETL自动化开发优化完善平台优化拓展

23、管控服务平台建设最终目标最终目标数据质量数据质量数据质量检核机制内部质量管理规范和制度数据质量制度、流程、认责体系建立数据质量事前检核、事中、事后监控机制运行保障运行保障内部运维规范和制度数据平台数据平台运维规范和制度数据交换平台数据交换平台数据加工平台数据加工平台数据控管平台数据控管平台高质量的高质量的数据平台数据平台高可靠性的高可靠性的数据平台数据平台数据治理数据治理元数据框架技术检核元数据平台质量平台标准管理平台数据治理平台数据治理平台技技术术平平台台制制度度数据采集组件组件配置管理ETL公共组件ETL自动化开发系统监控内部质量管理规范和制度内部运维规范和制度数据标准化应应用用应应 用用

24、基础报表平台自助式报表绩效考核基础报表平台一体化营销风险控制产品定价数据共享平台数据共享平台数据模型数据模型基础数据模型FDM建设公共加工数据模型建设企业级企业级单一数据视图单一数据视图数数据据数据交换建设数据交换建设项目范围项目项目范围大类范围大类明细项明细项基础数据平台系统整合（一阶段）核心业务系统外汇系统财务管理系统信贷管理系统卡平台系统综合前置系统基础数据平台系统整合（二阶段）网上银行人行支付系统电话银行系统ETL统一管控平台统一调度、统一日志、统一监控、统一代码统一数据交换平台单表接口、多表接口、文本接口、视图接口统一报表平台100张KPI管理驾驶舱经营与盈利分析系统内和同业占比重点

25、客户分析业务结构分析业绩考核分析一阶段完成32张KPI管理驾驶舱报表，二阶段完成剩余的68张第41页项目范围大类项目范围大类明细项明细项统一报表平台50张业务分析报表：计财类报表信贷&风险类报表会计结算类报表公司业务报表个人业务报表银行卡业务报表同业报表国际业务报表电子银行业务报表审计稽核报表均放在二阶段完成1104非现场监管报表：G01 资产负债表G01附注第部分：非应计贷款、委托业务及债券发行情况报表第部分：贷款质量五级分类情况简表第部分：存贷款明细报表（二）第部分：人民币备付率和存贷比报表第部分：各项垫款情况表第42页项目范围大类项目范围大类明细项明细项统一报表平台1104非现场监管报表

26、（续）：G02表外业务统计表G03各项资产减值准备情况表G04利润表G05利润分配表G11资产质量五级分类情况表第部分：按行业分的贷款（按贷款投向）第部分：资产质量及准备金G12贷款质量迁徙变化情况表G13最大十家关注类/次级类/可疑类/损失类贷款情况表G14授信集中情况表G15最大二十家关联方关联交易情况表G16抵债资产账龄情况表G17银行卡业务情况表G21流动性期限缺口统计表G22流动性比例监测表G23最大十家存款客户情况表G24最大十家金融机构同业拆入情况表G31有价证券及投资情况表G32外汇风险敞口情况表G33利率风险情况表第43页项目范围大类项目范围大类明细项明细项统一报表平台110

27、4非现场监管报表（续）：G41资本充足率汇总表G42表内加权风险资产情况表G43表外加权风险资产情况表G51客户大额授信统计表G52房地产汽车零售贷款违约统计表G53分地区情况表第部分：资产负债简表第部分：利润简表第部分：贷款行业情况简表第部分：五级分类情况简表1104报表功能上具体包括：指标管理、表样设计、报表状态管理、校验规则管理及校验、报表上报格式导出等建议1104报表在本期实施完毕后与老系统并行运行，在下一期再完全替换老系统并终止老系统的运行。统一对外供数平台供数统一配置供数规则供数安全性并发供数机制第44页项目范围大类项目范围大类明细项明细项统一BI应用集成平台统一BI应用集成平台基

28、于J2EE框架，采用平台化设计，支持市场上主流报表服务器，具体功能包括：统一权限管理认证管理系统管理数据源管理渠道管理任务调度管理应用资源管理实施计划需求确认需求确认设设 计计开发及自测开发及自测业务测试业务测试一阶段上线一阶段上线需求确认阶段需求确认阶段需求确认范围核实需求签字需求受控设计阶段设计阶段架构设计库表设计模块设计编程规范开发自测阶段开发自测阶段开发和自测交叉走查规范走查准备业务测试测试阶段测试阶段功能测试业务测试Bug修改验证测试结果签字确认准备上线一阶段上线一阶段上线上线上线后抽测文档、培训和移交始始:2011-5-11终终:2011-5-18始始:2011-5-19终终:20

29、11-5-27始始:2011-5-30终终:2011-7-31始始:2011-7-15终终:2011-8-10始始:2011-8-11终终:2011-8-15始始:2011-5-09终终:2011-5-10项目启动项目启动启动阶段启动阶段初始计划组织结构项目管理启动会维护维护验收验收需求确认需求确认设设 计计开发及自测开发及自测业务测试业务测试二阶段上线二阶段上线需求确认阶段需求确认阶段需求确认范围核实需求签字需求受控设计阶段设计阶段架构设计库表设计模块设计开发自测阶段开发自测阶段开发和自测交叉走查规范走查准备业务测试测试阶段测试阶段功能测试业务测试Bug修改验证测试结果签字确认准备上线二阶段

30、上线二阶段上线上线上线后抽测文档、培训和移交始始:2011-8-15终终:2011-8-26始始:2011-8-19终终:2011-9-05始始:2011-9-06终终:2011-10-25始始:2011-10-08终终:2011-10-31始始:2011-11-01终终:2011-11-06一 阶 段二 阶 段第46页6月月7月月11月月9月月8月月10月月一阶段需求确认一阶段需求确认业务测试业务测试一阶段开发编码及自测一阶段开发编码及自测验收验收&维护维护上线上线2011年年5月月5/27完成完成7/31完成完成项目启动项目启动一阶段设计一阶段设计5/18完成完成8/10完成完成二阶段需求

31、二阶段需求10/25完成完成5/10完成完成业务测试业务测试二阶段开发及自测二阶段开发及自测备注：项目一期分两个阶段完成，一阶段从备注：项目一期分两个阶段完成，一阶段从20112011年年5 5月月-20112011年年8 8月，二阶段从月，二阶段从20112011年年8 8月月-2011-2011年年1111月月实施计划8/15完成完成8/26完成完成二阶段设计二阶段设计9/05完成完成10/31完成完成上线上线11/06完成完成里程碑和交付件项目启动项目启动2011.05.102011.05.10设计设计一阶段一阶段2011.05.272011.05.27二阶段二阶段2011.09.052

32、011.09.05需求确认需求确认一阶段一阶段2011.05.102011.05.10二阶段二阶段2011.08.262011.08.26开发及自测开发及自测一阶段一阶段2011.07.312011.07.31二阶段二阶段2011.10.252011.10.25业务测试业务测试一阶段一阶段2011.08.102011.08.10二阶段二阶段2011.10.312011.10.31上线试运行上线试运行一阶段一阶段2011.08.152011.08.15二阶段二阶段2011.11.062011.11.06 里程碑描述里程碑描述交付件交付件交付形式交付形式确定整体实施计划、人员安排、组织角色及相关职

33、责项目计划 MPP分别确定一、二阶段的业务需求范围及系统需求描述需求规格说明书 WORD完成一、二阶段系统设计数据库设计说明书数据字典系统概要设计说明书ETL-MAPPINGErwinExcelWord完成一、二阶段系统前后端代码开发及自测，批量调度及运维程序开发及测试，包括交叉走查、单元测试、集成测试系统详细设计说明书测试计划测试用例测试报告WordExcel业务人员全面参与系统一、二阶段的测试，包括功能测试、数据准确性测试、性能测试，并进行缺陷跟踪业务测试计划业务测试用例业务测试报告缺陷跟踪报告WordExcel完成系统到生产系统的部署以及试运行监测；完成相关用户的培训工作，一、二阶段的培训可以放在最后一并进行上线部署方案试运行报告培训PPT用户使用手册系统维护手册WordPPT