XXX商业银行数据仓库系统完整解决方案-(上半部)课件.pptx

1、XX商业银行数据仓库系统解决方案EDCBA主题3Longtop BI基础数据平台行业背景数据交换数据交换体系数据加工数据处理环境+数据整合模型数据服务综合应用平台+多层次数据服务系统剧增；网状交换数据化经营对数据的需求数据加工资源重复投入业务系统减负；T+1数据需求业务创新带来应用的多样化解决问题数据配套数据治理+数据安全数据质量、数据标准、数据安全问题Longtop BI基础数据平台典型案例分析EDCBA主题EDCBA主题背景与需求总体规划逻辑架构数据架构ETL架构物理架构数据质量管理运营管理技术架构7背景与需求n背景背景：整合所有的业务系统源数据，准确完整地分析南充市商业银行现有的数据及其

2、流向，建设一套强大的基础数据平台n整合系统整合系统：p一阶段：核心、外汇、财务管理、信贷管理、卡平台、综合前置；六个系统p二阶段：网上银行、人行支付、电话银行三个系统n建设范围建设范围：p基础数据平台建设pKPI仪表盘p业务报表应用p绩效考核系统数据源接口设计公共数据标准化仓库模型设计指标库设计应用模型设计总体框架设计ETL作业设计ETL调度平台建设BI门户建设KPI指标梳理KPI仪表盘框架设计KPI仪表盘开发及测试业务报表梳理报表平台设计报表设计报表开发及测试客户经理绩效考核系统调研及需求整理应用功能开发及测试数据应用开发及测试主题总体规划逻辑架构数据架构ETL架构物理架构数据质量管理运营管

3、理技术架构9原则与目标n设计原则设计原则：p实用性和适用性p开放性、兼容性和连通性p先进性p高可靠性和可用性p灵活性和可扩充性p易维护性p标准化n总体目标总体目标：n业务目标业务目标：p基础数据平台初步建设p180张核心系统报表p200业务报表n技术目标技术目标：p系统搭建基础数据平台p标准化数据进行处理，建立业务数据模型。p支持主流厂商ETL、报表和展现工具。p基于J2EE框架设计。p采用平台化设计，支持功能性拓展。p通过系统设计，保持统计结果的一致性。p支持多用户并发查询报表和海量数据处理。p提供报表管理功能。p提供调度控制功能。p包含元数据的管理功能。p提供监控管理功能。p支持水平扩展和

4、垂直扩展。p有效的数据质量提升策略和方法。p具有数据分发和报表分发功能。p支持集中式和分布式部署模式。p扩充方便，修改灵活，操作简单。p提供相关接口功能p具有开放性，做到标准化、通用化。p系统安全、可靠。p按照软件工程要求提供各类文档。系统规划蓝图10系统规划线路图11逻辑架构主题数据架构ETL架构物理架构数据质量管理运营管理技术架构13本期逻辑架构14逻辑架构：系模块间关联1415逻辑架构：系统间数据流向15技术架构主题数据架构ETL架构物理架构数据质量管理运营管理17技术架构17数据架构主题ETL架构物理架构数据质量管理运营管理19数据架构1920数据模型：总体设计20数据标准层SDM基础

5、数据层FDM团体主体产品主题渠道主题事件主题总账主题公用模型加工汇总数据层ADM应用接口层源数据缓冲层TDM数据模型层次划分数据模型层次划分协议主题ODS缓冲区21数据模型：源数据缓冲层21n层次设计p源的统一数据采集区，主要存放增量数据p数据结构接近于源，进行数据的临时保存p可作为全行历史归档数据的提供者n数据获取的两种方式p源卸数后主送p直接抽取n源系统增量获取的关键点p确认增量数据的识别规则p确认增量卸出的时间p增量文件的接口规范定义数据标准层SDM基础数据层FDM团体主体产品主题渠道主题事件主题总账主题公用模型加工汇总数据层ADM应用接口层源数据缓冲层TDM数据模型层次划分数据模型层次

6、划分协议主题ODS缓冲区22数据模型：数据标准层22n层次设计p对数据缓冲层的增量数据进行标准化处理p消除不同源在信息表达上的差异p为后续的数据整合流程提供标准化基础n标准化范围p公共代码标准化p数据类型标准化p数据格式标准化数据标准层SDM基础数据层FDM团体主体产品主题渠道主题事件主题总账主题公用模型加工汇总数据层ADM应用接口层源数据缓冲层TDM数据模型层次划分数据模型层次划分协议主题ODS缓冲区23数据模型：基础数据层23n层次设计p按主题对全行各业务系统的关键基础数据进行归类、整合和存储p数据来源于数据标准层p数据结构采用近源结构，可剪裁非关键数据p制定数据保存策略，保存全量快照或者

7、明细表，保存关键数据的历史拉链p维护稳定的主体模型，需求变更时通过辅表的方式关联，避免主体模型受到变更影响。p主题划分p对数据进行归类p提高数据的使用便利性p分为：团体、协议、事件、渠道、产品、总账、公用模型设计概述基础数据层模型设计概述基础数据层（团体）模型设计概述基础数据层（产品）模型设计概述基础数据层（渠道）模型设计概述基础数据层（协议）模型设计概述基础数据层（事件）模型设计概述基础数据层（总账）31数据模型：建总ODS模型示例数据模型：加工汇总层32n层次设计p应用上共享的原子共性汇总，一次计算，多次共享p源于应用需求，统一分析、统一提炼p汇总主题划分交易汇总账户汇总客户汇总渠道汇总机

8、构汇总33数据模型：物理化33n接口设计p源是数据库时，从源直抽并直接加载到目标的直接用DataStage实现，无需接口。p源是文本时，采用DataStage直接加载。p文件直传由交换层直接实现，无需接口p目标需要文本的，使用目标文本接口标准p针对多个目标的一致性应用，无需复杂处理的可以建立统一的数据视图，需要复杂处理的可以编制统一数据发布接口，为多个目标提供统一应用p统一对外的XML报文接口标准n存储优化设计p确定索引策略p确定数据存放位置p确定存储分配n稳定性设计p不使用“select*”p数据标准层SDM中尽量不删除和修改字段，只是新增字段p使用辅表方式n屏蔽源系统设计p模型标准层入库设

9、计p数据筛选设计34数据模型：模型设计工艺34划定数据范围表级映射字段级分析逻辑模型设计模型规划模型规范Mapping设计数据库物理设计模型验证字段差异调整35数据模型：模型设计工艺（示例）35ETL架构主题物理架构数据质量管理运营管理37ETL架构3738ETL组件化3839ETL并发调度3940ETL处理集群4041ETL最佳实践41n工具、组件积累nDatastage开发规范Stage Name命名说明AggregatorAGG_description聚合Change CaptureCCP_description变化数据比对CopyCPY_description数据拷贝Data SetD

10、TS_filenameData Set文件，其中filename为文件名DB2/UDB API(DB2/UDB Enterprise)DBA_tablenameDB数据表，其中tablename为表名File SetFST_filenameFile Set文件，其中filename为文件名n常见的Datastage错误处理、经典的场景案例、DatastageAPI开发等案例问题描述解决方法JOIN组件关联不到如果在Join之前有做过排序操作的话，数据在各个分区的分布会重新被打乱，如果不进行重新分区的话，会出现记录关联不上的问题在Join组件里面进行重新分区，分区方法一般选取HASH分区方式，H

11、ASH的主建就选取需要做关联的组件即可数据库乱码问题用Oracle Enterprise组件进行入库，常常会出现汉字入库后变成乱码的问题这是由于数据库中的字符集和DataStage中用到的字符集不一致导致的。这时需要去查看数据库中的字符集，然后修改DataStage中的字符集映射：$APT_ORCHHOME/etc/oracle_cs.txt文件，文件中要能够找到映射关系，并且映射关系要于数据库中相符。物理架构主题数据质量管理运营管理总体物理架构44软硬件配置：软件配置建议44软件类别软件类别软件功能软件功能配置配置1基础数据平台 管理和存储基础数据的数据库Oracle 2ODS数据模型 管理

12、和存储基础数据的数据模型LFT ODS DataModel3控管软件实现系统的调度、监控和自动化开发ETL PLUS4ETL软件支持对ETL任务的定制和自动调度，以实现数据自动抽取和装载SQL/SPL5前端展现平台 实现报表、查询、多维分析、仪表盘的定制和开发功能BI.Office6应用服务器实现Web应用服务器功能在用的应用服务器45软硬件配置：硬件配置建议45系统硬件配置系统硬件配置DB Server1台4CPU 8GB内存今后可以扩充为RAC 集群管控、报表、传输服务器1台4CPU 8GB 安装ETL PLUS、BI.Office，今后根据业务增长再各自独立ETL Server1台2CP

13、U 4GB内存今后可能需要再增加1台ETL Work1台4CPU 8GB内存今后可能需要再增加12台数据质量管理主题运营管理数据质量：度量标准47n非功能性p及时性：指数据刷新、修改和提取等的及时和快速性p安全性：主要包括数据在传输、使用过程中的安全性p扩展性：该系统数据体系在不满足业务需求时进行扩展的可能性与复杂度n功能性p完整性：主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面p唯一性：指主键唯一和候选键唯一两个方面p一致性：指统一数据来源、冗余存储和统一口径的一致性p准确性：指计量误差、度量单位等方面的精确度p合法性：主要包括格式、类型、值域和业务规则的有效性数据质量：问题根源4

14、8n缺乏明确、一致的数据需求定义p数据不正确p数据不完整p数据不一致n缺乏统一的数据规范p规范不完整p规范不一致n缺乏数据质量问题解决的组织和既定的流程p缺少合适的组织来解决质量问题p缺少制定合适的解决流程数据质量：解决框架49n成立专门的数据质量管理团队p高层管理人员把控，协调不同部门，不同系统间关系。p制定数据质量规则p不定期发现质量问题及解决n建立统一的数据质量规则p统一术语规范p统一通用代码p禁止对数据的直接修改，以新记录方式修改数据。n建立并完善数据质量问题处理流程p质量问题报告p协调相关部门p形成数据问题处理建议和方案p执行方案，反馈结果p质量问题持续跟踪n数据质量长期治理n在治理

15、的规范，流程支持下，建立数据质量管理平台主题运营管理51系统运营管理：实施工艺5152运营管理：系统运行管理52n系统运维管理p定制日常标准操作流程和特殊标准操作流程p对系统资源的监控、对系统性能的分析p数据服务情况监控和干预（到数、作业加工和供数）n数据服务基线管理p源系统简称、目标系统简称、源最早来数时间、源最晚来数时间p文件就绪时间、数据处理结束时间、传输结束时间p供数基线时间、目标系统要求数据时间、数据平台服务时间n系统运行分析p制定分析的指标，系统定时收集运行信息p阶段分析运行指标，持续调整和优化应用53运营管理：安全管理53n安全策略p机密性：确保信息不暴露给未授权的实体或进程。p

16、完整性：只有得到允许的使用者才能修改数据，并且能够判别出数据是否已被篡改。p可用性：得到授权的实体在需要时可访问数据，即攻击者不能占用所有的资源而阻碍授权者的工作。p可控性：可以控制授权范围内的信息流向及行为方式。p可审查性：对出现的网络安全问题提供调查的依据和手段。n系统安全设计n应用与数据安全设计p身份验证p权限控制p验证登录客户机p数据传输安全p数据存储安全54运营管理：备份与恢复54n制定数据备份策略p全备份：备份系统中所有的数据；p增量备份：只备份上次备份以后有变化的数据；p差异备份：只备份上次完全备份以后有变化的数据；p按需备份：根据临时需要有选择地进行数据备份。n制定数据恢复策略

17、p全崩溃恢复机制p服务器崩溃恢复机制p磁盘阵列崩溃恢复机制p系统软件全崩溃恢复机制p操作系统崩溃恢复机制p数据库系统崩溃恢复机制p部分数据丢失恢复机制p单磁盘崩溃恢复机制主题主题数据交换ETLPLUS调度监控综合报表应用实施工艺促进非功能性BIOFFICE报表平台数据加工57数据交换：整体架构5758数据交换：组件部署58n数据传输客户端p查询某个节点上某个数据文件是否存在。p将本地数据文件安全，完整，快速的传输到指定的节点。p将指定节点上的数据文件安全，完整，快速的下载到本地。n数据接收服务端p提供安全认证。p提供数据传输服务p相关管理功能59数据交换：数据采集59n定向推送1.源系统自行判

18、断数据可以卸载的时刻，使用通用的卸载程序卸载文本。2.卸载后处理调用传输客户端的传输命令3.传输程序完成文件接收操作,记录数据的状态信息；4.文件名称标准化5.事件通知文件到达6.传输程序结束文件传输操作。7.触发调度流程、加工作业调起n主动抽取p系统扫描约定信号（数据库状态）或约定时间p触发就绪事件通知，进一步触发ETL抽取作业调度进行抽取60数据交换：数据发布60n 数据发布触发方式1.ETL加工作业成功完毕2.通过管控系统进行补发等干预n 数据发布方式p 直传p ETL加工后传输p 直接加载p 直接下载（不建议）n 数据发布接口 双文件发布 控制文件接口规范（file-name,file

19、-size,file-row）数据文件接口规范 文件名规范$SOURCE_SYSTEM_$TARGET_SYSTEM_$TABLE$DATE_$BATCH.dat 文件内容规范 定长，分隔符，换行符 填充符(补空格方式)码制(GBK,ASCII)61数据交换：全行数据交换通道61数据加工数据源核心系统核心系统零售信贷零售信贷其他其他数据源数据源EDWODS分行管理信息系统分行特色系统总行分行目标系统分析型应用BI类应用近实时类应用操作数据服务分行数据下发服务业务快报服务历史数据应用总行批量数据服务数据交换数据管控数据治理6262数据交换：配置示例（1）6363数据交换：配置示例（2）基本选项：

20、基本选项：传输任务名输入端信息目标信息传输执行计划传输日历是否就绪文件前置传输任务高级选项：高级选项：分发模式：自动方式、手工方式传输方式：cp拷贝/ln连接/文件传输程序/其他压缩参数：0:不压缩，1:gzip压缩拆分参数：按拆分参数的值对文件进行拆分，并生成拆分后的文件列表如：填1073741824表示把文件拆分成的若干个1073741824字节的小文件再传给目标。优先级：按规范分为级：80（最低）、55、40、20、1（最高）数据加工主题ETLPLUS调度监控综合报表应用实施工艺促进非功能性BIOFFICE报表平台正常处理流程ETL过程框架6566异常处理流程66n错误数据处理错误数据处

21、理异常类型异常小类产生原因处理方法业务异常Reject文件没有清洗规则、主键重复等数据质量管理平台统一收集处理基础平台异常操作系统、数据库、网络异常掉电、系统升级通过统一管控平台恢复操作主机资源不够并发数过多作业需要重新配置，或者减少并行度表空间已满磁盘资源不足新增逻辑卷，扩大表空间日志空间已满事务过大调整日志级别、扩大存储空间操作异常程序缺失不明从版本库恢复程序67ETL加工组件示例常用组件67n全量求增量n清洗检核n标准代码转换ETL加工组件示例-通用检核规则68规则名称规则名称子规则名称子规则名称规则描述规则描述所有字段的长度检核长度控制1、定长记录，长度不为指定的接口长度，直接reje

22、ct这条记录，程序继续运行；2、不定长记录，长度超出指定的接口长度，直接reject这条记录，程序继续运行。主键字段检核主键空值1、参数中的allowKeyNull为True时,不对主键字段作任何特殊处理2、参数中的allowKeyNull为False时,对所有主键作空值判断，为空则reject这条记录，程序继续运行。数值字段检核空格处理定长记录或不定长记录，数据全部为空格或者是出现|的空值情况：1、schema中若设置为nullable，正常输出null值；2、schema中没有设置nullable,赋默认值0或default值，登记warning文件。程序继续运行。整型字段检核长度控制若s

23、chema中没有设置固定长度或是最大长度，则默认int32的最大长度是10，而int64最大长度是20。本长度包含符号位。整型字段检核大小控制Int32类型的，只能在-2147483648，2147483647区间，Int64类型的，只能在-9223372036854775808,9223372036854775807区间。不在上述指定的区间内，若设置了default值，则登记warning并赋为default值；若没有设置default，则reject这条记录，程序继续运行整型字段检核非数值判断该字段出现非”0123456789”和空格“”情况，若设置了default值，则登记warning

24、并赋为default值；若没有设置default，则reject这条记录，程序继续运行 其他数值字段检核非数值判断该字段出现非”0123456789.”和空格“”情况，若设置了default值，则登记warning并赋为默认值；若没有设置default，则reject这条记录，程序继续运行。其他数值字段检核小数点处理该字段只出现字符.，置为0，程序继续运行。其他数值字段检核大小控制定长数据，不等于接口规定的长度；不定长数据，超出接口规定的最大长度(包含整数位超长或小数位超长），这两种情况都视为非法，若设置了default值，则登记warning并赋为default值；若没有设置default，

25、则reject这条记录，程序继续运行。日期字段检核特殊字符处理定长记录或不定长记录，数据全部为空格或者是出现|的空值情况，1、schema中若设置为nullable，正常输出null值；2、schema中没有设置nullable,则赋值为0001-01-01或default值。程序继续运行。日期字段检核不满足月日条件数据不满足月日条件且不在上面所列情况的,如月份：不在1-12月之间,日期不在1-31之间，登记warning，赋值为0001-01-01或default值，程序继续运行。时间、时间戳的检核同日期字段的检核，时间的内部固有默认值为12:00:00，时间戳的内部默认值为0001-01-

26、01 12:00:00。69ETL加工组件示例-成熟组件支持 程序名称类型功能说明H010_CCB_AcctConv.so.V1.1DataStage帐号转换H010_CCB_CheckSort.so.V3.3DataStage清洗检核H010_CCB_CodeConv.so.V1.4DataStage公共代码对照H010_CCB_ConvNull.so.V1.1DataStage空值处理，用于支持UDI过渡H010_CCB_Decode.so.V2.9DataStage转码(ebcdic2asc)，也可以是asc文件H010_CCB_Delta.so.V1.3DataStage求增量H010

27、_CCB_MultiSource.so.V1.0.1DataStage多源取数（oracle、sequencefile、teradata）H010_CCB_OrgMerg.so.V3.0DataStage增量机构拆并libCCB_H010_routine.so.V1.1DataStage公用函数集create_org_cfgDataStag生成erpf基线机构与ODS一级分行号的对应关系H010_divide.V1.4DataStag按分行进行拆分H010_inc_merge.V1.5DataStag文件增量合并全量unordered_file_process.shDataStagerpf不定

28、期来数的拆分传输程序名称类型功能说明H010_CCB_XmlSequence.so.V1.0 C文件机构拆并H010_CMMSCConv.V1.3C参数档转码（一对多转）H010_inc_merge_multi.V1.0C可以合并一批文件H010_AddDivsrc2cds.sh、H010_AddDivsrc2cds.ctlshellODSH公共代码维护（src2cds）H010_AddDivsrc2std.sh、H010_AddDivsrc2std.ctlshellODSH公共代码维护（src2std）H010_AddDivstd2cds.sh、H010_AddDivstd2cds.ctls

29、hellODSH公共代码维护（std2cds）H010_CCB_DB2File.sh.V1.0shell从全量库导出文件H010_DBUtilities.sh.V1.1shell接口程序，用于返回某张表的记录个数H010_DivTranFile.sh.V1.0shell大文件（大于2G）拆分传输H010_FileMerg.sh.V2.0shell根据文件列表合并H010_FileTran.sh.V1.1shell正常文件传输、文件不存在生成空文件传输目标、如果空文件不传输H010_ImportJob.sh.V1.0shell根据数据库的结点表往主结点里面同步导入作业H010_JCI_runcm

30、d.sh.V3.1shellJCI远程SHELL的AgentH010_JCI_check.sh.V1.1shell检查分行的ds环境是否正确H010_genUpdateProjnameSQL.sh.V1.0shell通过读取文件（作业和工程名对应关系），产生批量修改projname的sql语句H010_JCI_GetLinkInfo.sh.V1.0shell列出一个作业的全部link信息H010_Loadsrc2std.sh.V1.0、H010_Loadsrc2std.ctlshellODSB公共代码维护（std2cds）H010_PhysMerg.sh.V1.0shell文件物理合并H010

31、_TranByList.sh.V1.1shell按照文件列表进行传输H010_Unloadsrc2std.sh.V1.0shell到制定目录下查找该分行需要的代码文件H010_VerCtlFlagFile.sh.V1.2shell标志文件控制程序，用于产生，设置和删除控制文件，供参数文件同步使用H010_WriteReadyFile.sh.V1.2shell生成就绪文件OdsPutFileshell文件拷贝（可以只生成连接文件而不实际拷贝）H010_JCI_TermCycle.sh.V1.0shell为新的调度产品使用，该SH除执行原来的TermCycle功能外，增加执行ctm_ods_ord

32、er.sh。当TermCycle执行失败，SH失败退出，当TermCycle执行成功，ctm_ods_order.sh执行失败，SH失败退出，下次执行时TermCycle可以重复执行，不报错。H010_JCI_GetRunningJobCount.sh.V1.0shell返回当前运行的作业个数ETLPLUS调度监控主题综合报表应用实施工艺促进非功能性BIOFFICE报表平台71ETL PLUS平台架构7172ETL PLUS调度逻辑架构7273ETL PLUS调度技术架构7374ETL PLUS调度功能74n外部事件通知n主服务程序n事件接收进程池n事件处理进程池n作业调度进程池n定时事件处理

33、进程n监控进程n资源管理模块n作业调度代理nJSI作业调度接口75ETL PLUS调度模式75n作业调度时机作业调度时机p外部事件就绪：比如源系统文件到达，源系统库表就绪。p时间到：某个时刻到达。p作业完成：需要其依赖的作业完成。n作业调度通道作业调度通道p一般通道：大部分作业将在一般通道运行。p专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。pVIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。n异常处理异常处理p自动修复类：调度管理器会间隔一定的时间，自动尝试恢复。比如事件到达，但文件还没到（网络存储

34、系统的延迟造成）。p人工干预类：则需要运维人员，根据具体的异常类型，进行手工处理，此信息登记到全局异常表，通过管控平台展示。76ETL PLUS调度示例：配置作业76n加入一个新作业n加入作业来源n加入依赖作业77ETL PLUS调度示例：并发调度配置7778ETL PLUS资源监控78n资源监控n运行概况监控n到数、供数监控n作业监控79ETL PLUS故障干预与运维报表79n故障干预n运维报表运维报表BIOFFICE报表平台主题综合报表应用实施工艺促进非功能性81BI.Office报表平台逻辑架构8182BI.Office报表平台功能架构8283BI.Office报表平台功能83n选择报表

35、模板浏览报表n切换报表参数n获取报表原始数据刷新；n获取报表存档数据刷新；n数据回写（到用户指定的数据源）n实现报表存档及其回退（在中间数据库中保存报表数据）n实现审核及其回退n权限许可条件下自由汇总n数据转换（舍位问题的）n表内校验n表间校验n全局校验规则执行n表内取数n表间取数n全局取数规则执行n展示汇总下级数据n打印n导出excel等格式84BI.Office报表平台报表开发8485BI.Office报表平台灵活查询定制8586BI.Office报表平台仪表盘86BI.Office报表平台表内/表间校验BI.Office报表平台补录回写BI.Office报表平台汇总n汇总定义n汇总结果汇总结果BI.Office报表平台SQL查询定制BI.Office报表平台存储过程查询定制BI.Office报表平台跳转查询综合报表应用主题实施工艺促进非功能性94