1、BI总体架构设计总体架构设计nBI总体架构总体架构nBI总体架构设计原则总体架构设计原则nBI总体架构设计目标总体架构设计目标nBI总体架构设计内容总体架构设计内容nBI总体架构总体架构案例案例2主主 题题3某企业某企业BI总体架构现状总体架构现状1、技术多不统一技术多不统一2、重复处理重复处理3、重复存储、重复存储4、处理规则统一、处理规则统一5、成本高、成本高6、集成难度大、集成难度大1、技术多不统一技术多不统一2、处理规则统一、处理规则统一3、成本高、成本高4、集成难度大、集成难度大4这么多问题如何解决呢？这么多问题如何解决呢？5BI总体架构常用架构总体架构常用架构6总体架构设计对企业的
2、价值总体架构设计对企业的价值管理层管理层IT科技部门科技部门技术的技术的优势优势价值价值n需要总体架构需要总体架构nBI总体架构设计原则总体架构设计原则nBI总体架构设计目标总体架构设计目标nBI总体架构设计内容总体架构设计内容nBI总体架构总体架构案例案例7主主 题题8BI总体架构设计原则总体架构设计原则(API+EMS)n可扩展性可扩展性保证系统根据业务要求合理配置，稳步发展，从逻辑架构、数据架构、技术架构、物理架构等四个方面考虑系统的可扩展性n高性能高性能作为企业级的系统，首先需要具备高性能，以满足服务基线时间窗口的需求。n高可用性高可用性架构主要通过集群和负载均衡的角度充分考虑系统的健
3、壮性，其它的核心服务模块n可管理性可管理性具备高可管理能力，保证系统的生产运行，在出现异常的情况，可以快速定位并恢复。n安全性安全性系统稳定安全运行。n可集成性可集成性避免重复投入，包括物理设备、系统软件、框架组件、规范方法等。9BI总体架构设计原则总体架构设计原则-高性能高性能n高性能设计关键因素：调度性能保障事件触发减少轮询等待资源通道管理优先级设置ETL处理集群数据库性能nETL过程高性能最佳实践：减少落地数据交换、分发性能保障压缩传输并行控制ETL产品调优ETL作业调优工具选型（datastage、脚本）开发流程规范自动化开发工具基线时间窗口保障非基线时间窗口划分10BI总体架构设计原
4、则总体架构设计原则-可扩展性可扩展性n硬件可扩展调度交换加工存储n软件可扩展各模块耦合设计调度层：调度引擎与调度产品结合；可以用产品化的组件来取代调度层交换层：数据交换与传输工具结合；可以用其他产品替代加工层：加工处理与ETL产品结合；可以用其他产品替代11BI总体架构设计原则总体架构设计原则-可管理性可管理性n统一调度监控全服务过程监控可视化的管理功能灵活的作业执行过程干预作业执行过程动态调整n统一日志体系系统运行日志用户操作日志备份管理日志n有效的运行管理办法流程化运维标准操作方法n培训和文档系统设计原理日常工作流程问题知识库12BI总体架构设计原则总体架构设计原则-高可用性高可用性n硬件
5、配置容错关键节点双机热备调度集群交换集群ETL集群n应用容错可干预和重复执行提供人工干预的机制和重复执行的功能，来保障系统发生故障时也能够继续稳定的运行。作业封装实现ETL作业的ABC功能作业封装包含完整的审计（audit）、平衡（balance）和控制（Control）组件，实现ETL作业的ABC功能，保障系统的稳定运行。Reject、Warning机制统一的Reject和Warning机制，对无法处理的数据以Reject方式提交出来，对字段赋缺省值等系统自动修改的数据以Warning的方式提交出来，保证数据在处理过程中有完整的可回朔性。13BI总体架构设计原则总体架构设计原则-安全性安全性
6、n数据传输安全性向各目标系统系统进行数据分发前，需向各目标系统进行身份认证，确保数据接收对象的合法性。数据传输过程中，应根据安全等级要求，对有保密需求的数据进行加密传输。n系统权限控制提供访问控制，可参数化配置多层次安全控制，可按照用户组定义安全策略。n数据备份清理机制对于源系统供过来的数据设计适合的容错周期和存储策略。14BI总体架构设计原则总体架构设计原则-可集成性可集成性n调度监控：数据架构中的集中调度监控中心，提供接入系统的监控管理服务。n集中交换：集中数据交换中心，支持各种交换模式的集成。n通过JSI封装作业执行模块，提供统一的调度接口，可以方便扩展更多类型的交换、ETL作业。n传输
7、组件、加工组件的复用。n自动化开发工具规范了文件交换、文件加工作业的设计、开发。n需要总体架构需要总体架构nBI总体架构设计原则总体架构设计原则nBI总体架构设计目标总体架构设计目标nBI总体架构设计内容总体架构设计内容nBI总体架构总体架构案例案例15主主 题题16BI总体架构设计目标总体架构设计目标(LD-TOP)nBIBI总体架构设计目标总体架构设计目标1、逻辑架构：逻辑架构确定体现在系统划分(子系统)2、物理架构：软硬件的配置3、数据架构：数据存储规划4、技术架构：系统软件技术规划，包括软件工具及技术体系5、运维架构：备份与恢复策略运维架构运维架构1、独立性2、依赖性尽量小3、数据冗余
8、最小4、考虑今后管理发展需要5、便于系统分阶段实现1、稳定性高2、可用性高3、性价比要高4、扩展性好1、统一性2、扩展性3、重用性4、成熟度5、可集成1、层次性2、层次界定明确3、层次功能清晰4、模型扩展性5、尽量屏蔽源系统变化影响1、可管理性（简单、易用）2、可恢复性3、可用性4、高性能n需要总体架构需要总体架构nBI总体架构设计原则总体架构设计原则nBI总体架构设计目标总体架构设计目标nBI总体架构设计内容总体架构设计内容逻辑架构物理架构技术架构数据架构运维架构nBI总体架构总体架构案例案例17主主 题题18BI总体架构总体架构-逻辑架构逻辑架构19BI总体架构总体架构-逻辑架构逻辑架构-
9、调度特性调度特性20BI总体架构总体架构-调度逻辑架构调度逻辑架构(事件驱动方式事件驱动方式)21BI总体架构总体架构-调度策略调度策略22BI总体架构总体架构-调度策略说明调度策略说明n作业调度时机作业调度时机外部事件就绪：比如源系统文件到达，源系统库表就绪。计划时间到：某个时刻到达。作业完成：需要其依赖的作业完成。以上三种事件类型中的逻辑组合（AND 或者OR）n作业调度通道作业调度通道通道指的是能执行通道指的是能执行ETLETL作业的作业的1 1个节点或多个节点的集合。个节点或多个节点的集合。一般通道：大部分作业将在一般通道运行。专用通道：指运行某一类作业的通道。比如大作业，运行在专用通
10、道上，可使其不影响一般作业的处理。VIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。n负载均衡负载均衡调度服务器负载均衡ETL Server负载均衡ETL Client负载均衡23BI总体架构总体架构-调度负载均衡调度负载均衡24BI总体架构总体架构-调度层次调度层次25BI总体架构总体架构-监控要点监控要点26BI总体架构总体架构-监控逻辑架构监控逻辑架构27BI总体架构总体架构-ETL逻辑架构逻辑架构数据应用层加工子系统数据交换子系统数据交换子系统监控管理子系统调度子系统FTP数据库直抽代理采集增量比对数据标准化筛选FTP代理分发检查格式合并
11、全量入库关联汇总筛选关联汇总筛选拆分数据数据源源系统系统核心系统信贷管理系统零售信贷系统其它其它数据仓库风险监测系统对公信贷系统数据数据应用应用系统系统ETL1ETL2ETL3加工子系统中间汇总层基础数据层数据缓冲层配置管理子系统元数据子系统28BI总体架构总体架构-数据质量要素数据质量要素影响数据质量的因素影响数据质量的因素:完整性完整性唯一性唯一性一致性一致性准确性准确性合法性合法性及时性及时性安全性安全性扩展性扩展性 29BI总体架构总体架构-数据质量逻辑架构数据质量逻辑架构数据质量示例数据质量示例数 据 质 量 管 理 体 系描述：数据系统定义ODS关联的源系统以及目标系统，提供用户一
12、个完整的系统视图描述：数据接口定义与源系统或目标系统相关的数据文件或数据表，最终提供一个完整的系统数据接口视图描述：应用数据线定义用户关注的数据应用实例，是全行数据线的子集，提供用户一个小角度的数据视图描述：质量指标定义全行的稽核指标点，通过指标点可以计算数据线指标值和全行指标值描述：提供全行指标的查询功能描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标演示了源系统的信息查看 描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标演示了及时性指标值的细节 描述：通过预先定义的应用数据线，以图形的方式展现应
13、用数据线的指标演示了完整性指标的细节查询 描述：定义了业务或技术人员需要监控的指标值，及时提醒用户告警对象以及及时解决数据质量问题描述：分析全行的指标趋势，反映数据质量的时间变化 描述：数据监控人员发现指标异常，填写问题发现单 质量检查小组审核问题发现单，派发给解决人员处理 描述：质量解决人员接到问题单，查找原因并解决问题，最后提交给质量检查小组 描述：质量检查小组跟踪问题解决流程，最终形成问题报告，提供用户查询及输出描述：定义质量管理人员考核标准，通过合理的人员考核提高数据质量31BI总体架构总体架构-数据质量数据质量(点、线、面点、线、面)ICSODSDWECIFICSODSDWECIF一
14、致性准确性安全性扩展性完整性及时性合法性唯一性单点系统应用数据线企业层面32BI总体架构总体架构-元数据逻辑架构元数据逻辑架构33BI总体架构总体架构-物理架构物理架构34BI总体架构总体架构-技术架构技术架构(层次层次)35BI总体架构总体架构-技术架构技术架构(拓展拓展)36BI总体架构总体架构-数据架构数据架构(层次层次)第一层第一层结构几乎和源系统一致部分数据保持全量少量数据保持少量历史第二层第二层面向整合主题设计提供规范和共享第四层第四层面向应用按需定制第三层第三层初级的数据加工明细VS汇总依赖对应用的提炼37BI总体架构总体架构-运维架构运维架构运维架构运维架构程序优化作业配置优化
15、任务依赖优化实施工艺流程优化数据源来数基线时间数据处理结束时间数据传输结束时间供数基线时间目标系统要求数据时间对外服务时间定期系统运行情况报告系统规划容量规划性能规划系统维护系统配置参数管理正常启停机检查清理过期数据故障干预备份恢复管理定期维护管理报告系统运行情况监控性能监控服务状态监控作业执行情况监控源数据到达情况监控供数情况监控nBI总体架构设计总体架构设计nBI总体架构设计原则总体架构设计原则nBI总体架构设计目标总体架构设计目标nBI总体架构设计内容总体架构设计内容nBI总体架构总体架构案例案例建总行ODS逻辑架构建总行ODS物理架构兴业EDIP逻辑架构兴业EDIP物理架构中信ODS逻
16、辑架构中信ODS物理架构38主主 题题39建总行建总行ODS-逻辑架构逻辑架构40建总行建总行ODS-物理架构物理架构41兴业兴业EDIP-逻辑架构逻辑架构42兴业兴业EDIP-物理架构物理架构43中信银行中信银行ODS-逻辑架构逻辑架构44中信银行中信银行ODS-物理架构物理架构n需要总体架构设计吗需要总体架构设计吗nBI总体架构设计原则总体架构设计原则nBI总体架构设计目标总体架构设计目标nBI总体架构设计内容总体架构设计内容nBI总体架构实战总体架构实战-示例示例nBI总体架构总体架构-分类分类45主主 题题46BI总体架构总体架构-分类分类BIBI架构架构数据交换类数据交换类数据整合类数据整合类应用集市类应用集市类ODSODSEDIP EDIP EDWEDWODSODSECIFECIFCRMCRM风险风险报表平台报表平台.47
