数据治理平台系统介绍优质课件.ppt

1、国家开发银行数据治理平台系统简介2008年11月数据治理项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块2数据治理平台项目组建设背景?数据平台一期已构建完成并投入使用，所面临的问题：数据平台一期已构建完成并投入使用，所面临的问题：?数据标准缺乏结构化管理源数据变化造成数据平台数据混乱对数据平台数据问题如何快速定位原因？如何有效监控和改善数据平台数据质量？。?建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监

2、控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。问题、数据质量问题、元数据管理问题和数据服务问题。3数据治理平台项目组项目目标围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点：?数据标准规范化数据标准规范化-规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。?数据关系脉络化数据关系脉络化-实现对数据间流转、依赖关系的影响和血缘分析。数据质量度量化数据质量度量化全方位管理数据平台的数据质量，实

3、现可定义的数据质量检核和维度分析，以及问题跟踪。?数据服务电子化数据服务电子化-为数据平台提供面向业务用户的服务沟通渠道。4数据治理平台项目组数据治理平台构成与定位数据服务数据服务分析类应用系统提供平台沟通渠道数据提供数据提供数据平台数据平台数据集市管理会计数据流风险管理平台数据质量Schemas核心业务系统信贷业务系统信用风险管理系统系统数据抽取数据抽取ODS管理行内数据标准管理平台元数据，进行数据影响、血缘分析数据质量数据质量管理管理数据标准数据标准5元数据管理元数据管理数据治理平台项目组对数据平台业务的支持 数据标准?查询数据标准，以开发符合数据标准的应用?提交标准代码比对文档应用开发者

4、?维护数据标准?制订、发布标准?应用系统代码标准比对?查询数据标准规范，反馈建议数据标准子系数据标准子系统统数据标准管理员?提出数据标准需求申请业务部门6数据服务数据服务数据治理平台项目组对数据平台业务的支持 元数据数据平台数据源系统数据抽取应用开发者?查询数据平台相关元数据，为开发应用提供参考元数据管理员元数据子系统元数据子系统?数据变更影响分析?数据问题血缘分析?数据变更影响评估申请数据服务数据服务7数据治理平台项目组对数据平台业务的支持 数据质量?针对数据质量问题提出完善建议应用开发者?定义检核需求与规则?分析数据平台数据质量?发现、发布数据检核问题业务部门?了解本机构特定系统数据质量?

5、提出业务数据质量检核需求数据质量数据质量检核检核数据质量管理员8数据治理平台项目组对数据平台业务的支持-数据服务?数据平台服务申请应用开发者?提供数据平台服务?数据平台服务申请?与数据平台有效沟通业务部门数据服务数据服务数据服务单管理员9数据治理平台项目组数据治理相关系统关系数据治理平台数据治理平台登录认证AD(目录)系统单点登录与角色管理统一认证统一认证与用户管与用户管理模块理模块用户与机构信息同步数据服务子数据服务子系统系统执行检核数据质量管理数据质量管理子系统子系统提供检核系统元数据提供库表结构元数据数据平台元数据子元数据子系统系统统一用户管理系统数据标准数据标准子系统子系统提供标准相关

6、元数据10数据治理平台项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块11数据治理平台项目组客户层客户层表现层表现层业务层业务层ImportExport集成层集成层资源层资源层DatabaseOperationEngineObjectsRelationAnalysisEngineORMHibernate外部数据XML文本EXCEL应用系统Management&ControlSecurityTask/TransLogDriver&AdapterWebBrowserHTML/A JAX/HT T

7、PExtJSInterfaceListsSerializeJDBCODSDataMartUA12数据治理平台项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块13数据治理平台项目组功能需求?管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。功能定义功能定义数据标准文档管理数据标准文档管理数据标准文档制订数据标准文档制订数据标准文档发布数据标准文档发布数据标准文档版本管理数据标准文档版本管理数据标准信息项管理数据标准信息项

8、管理维护数据标准相关文档类信息对数据标准相关文档进行发布管理对数据标准相关文档的历史版本信息提供查看功能。标准代码定义标准代码定义主数据定义主数据定义维护数据标准公共代码。维护主数据标准数据标准查询与反馈数据标准查询与反馈数据标准文档查询与反馈数据标准文档查询与反馈数据标准信息项查询数据标准信息项查询应用代码标准符合性检查应用代码标准符合性检查新应用开发者将本应用代码与标准代码进行匹配，提交系统检查14数据治理平台项目组应用界面15数据治理平台项目组应用界面?数据标准文档管理数据标准文档管理?数据标准制订?数据标准导入?数据标准文档版本管理16数据治理平台项目组应用界面?数据标准信息项管理数据

9、标准信息项管理?公共代码管理?数据标准管理17数据治理平台项目组应用界面?数据标准反馈意见数据标准反馈意见?查看反馈意见?反馈意见18数据治理平台项目组逻辑架构19数据治理平台项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块20数据治理平台项目组功能需求?对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理，实现数据间的血缘分析和影响分析。的归集管理，实现数据间的血缘分析和影响分析。功能定义功能定义

10、完成情况完成情况技术元数据技术元数据源系统数据结构定义源系统数据结构定义导入源系统数据字典，并以系统-表-字段的层级关系展现已完成各级数据关系。导入主数据ERwin模型，解析生成模型各层级关系。已完成定义数据平台各部分，以及源系统间的数据关联映射关系。已完成主数据主数据ERER模型模型数据与映射关系定义数据与映射关系定义数据影响与血缘分析数据影响与血缘分析数据变化对比分析数据变化对比分析依赖所定义的数据平台各部分，以及源系统间的数据映射已完成关系，图形化展现数据变化影响和数据问题溯源。针对元数据不同版本进行差异部分识别与比较。已完成定义数据平台公共代码及其与源系统代码的关系。定义数据平台业务报

11、表的构成元素与结构。定义数据平台业务报表中指标的计算规则。已完成已完成已完成业务元数据业务元数据代码定义代码定义报表表头定义报表表头定义报表指标定义报表指标定义报表指标勾稽关系分析报表指标勾稽关系分析定义数据平台业务报表中指标间的依赖关系，并进行影响已完成与血缘分析。21数据治理平台项目组功能需求功能需求功能定义功能定义系统管理系统管理完成情况完成情况元数据手动采集元数据手动采集 手工上传元数据定义文件已完成提供针对不同目标应用的适配器，实现定时的自已完成，但需数据平元数据自动采集元数据自动采集 动采集台提供采集支持，接口方式尚需确定。版本管理版本管理提供元数据定版、批量定版、版本回溯的功能已

12、完成访问控制管理访问控制管理提供针对元数据细节操作的访问控制已完成22数据治理平台项目组应用界面23数据治理平台项目组应用界面?业务元数据业务元数据报表清单?报表表头报表表样导出报表表头定义24数据治理平台项目组应用界面?业务元数据业务元数据?报表指标查看指标相关ER图25数据治理平台项目组应用界面?技术元数据技术元数据?影响分析26数据治理平台项目组逻辑结构27数据治理平台项目组采集适配器?元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter

13、适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。数据平台数据平台数据模型数据集市数据集市存储过程存储过程数据模型应用应用表头指标代码E/R Win模型元元数数据据ETLPowerCenterMapping文件接接口口区区文本文件XML文件EXCEL文件元元数数据据管管理理平平台台 图例：采集流适配器数据库解析流数据流28数据治理平台项目组元数据存储结构?元数据存储模型层包括两部分内容：元数据存储模型层包括两部分内容：?元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。?元数据实例存储，元数据实例存储到关系数据库中。XML定义模型对象属性对

14、象行为对象定义对象关系实例关系实例属性值所属对象编号所属实例对象实例编号关系顺序对象目标对象属性1打散超过的属性/纵向 存储属性目标实例属性2值属性3属性4属性5属性629数据治理平台项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块30数据治理平台项目组系统目标?根据根据“数据质量检核管理办法数据质量检核管理办法”中中PDCAPDCA方法论，基于现有数据平台，对其上数方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、据进行全质量生命周期的管

15、理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。跟踪反馈。?检核需求检核需求?检核指标检核指标检核调度检核调度检核对象检核对象收集需求收集需求分析规则分析规则规则库规则库数据质量数据质量知识库知识库?检核调度检核调度管理管理?修正修正问题数据问题数据执行执行数据质量数据质量检核分析检核分析数据质量数据质量趋势分析趋势分析31数据质量数据质量问题管理问题管理?数据治理平台项目组数据质量度量分类数据质量度量分类大类大类细类细类正确性正确性唯一性检查非空检查类型检查格式检查值域检查代码检查指标标准偏差检查数据集市指标准确性检查完整性完整性外键约束检查一致性一致性业务规则检查及时性及时性数据平台

16、数据生成及时性检查32数据治理平台项目组功能需求功能需求功能定义功能定义数据质量检核定义数据质量检核定义完成情况完成情况检核系统定义检核系统定义检核指标与规则定义检核指标与规则定义检核调度策略定义检核调度策略定义数据质量检核执行数据质量检核执行对纳入数据质量管理需求的系统、数据表纳入检已完成核范围，并定义相关信息按数据质量度量标准，为各类检核指标定义相关已完成属性和数据检查规则。为数据质量检核指标类和业务方案定义灵活的检已完成核策略调度符合执行策略数据质量检核指标，并分派给已完成对应的处理器对数据质量检核指标执行特定于其指标类的检查已完成程序检核控制引擎检核控制引擎检核执行处理器检核执行处理器

17、33数据治理平台项目组功能需求功能需求功能定义功能定义数据质量检核分析数据质量检核分析对数据质量检核的结果按机构、系统、数据质量问题三个维度进行分布分析对数据质量检核的结果按时间维度分析，判断问题趋势分析问题趋势分析质量改善情况对同一检核指标的不同批次进行对比，分析质检核指标批次对比检核指标批次对比量改善情况检核执行报告检核执行报告对特定日期的检核结果，形成统计报表完成情况完成情况问题分布分析问题分布分析已完成已完成已完成已完成已完成已完成已完成已完成已完成数据质量问题管理数据质量问题管理问题发现问题发现问题发布问题发布问题处理问题处理问题归档问题归档数据质量知识管理数据质量知识管理知识库维护

18、知识库维护归集数据质量的特定问题，以及特定的解决方案，形成知识信息查询数据质量知识信息查询符合特定条件的数据质量检核问题将需处理的数据质量检核问题归集到一个问题单，并发布给特定的机构跟踪问题单的处理情况对处理完结的问题单进行归档处理知识库查询知识库查询已完成34数据治理平台项目组应用界面?检核系统管理检核系统管理35数据治理平台项目组应用界面?检核指标管理检核指标管理?主键唯一36数据治理平台项目组应用界面?检核调度策略管理检核调度策略管理?业务解决方案37数据治理平台项目组应用界面?数据质量检核分析数据质量检核分析?批次对比分析?问题分布分析38数据治理平台项目组应用界面?数据质量问题管理数

19、据质量问题管理?问题发现39数据治理平台项目组逻辑结构?三个层面：三个层面：?定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息；?执行层：使用已定义的检核配置信息，对数据平台数据进行检核；?分析层：对检核执行结果进行定量、定性的分析与处理。?前后端：前后端：?前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能；?后端：系统根据检核策略在后台自动执行，无需与用户交互。40数据治理平台项目组检核调度与分派41数据治理平台项目组检核规则处理器类别固定存储过程：固定存储过程：固定SQL固定固定Java程序程序复杂简单存储过程：自定义存储

20、过程：自定义SQL自定义自定义Groovy规则脚本规则脚本自定义42数据治理平台项目组Groovy脚本示例package groovypackage groovyimport java.sql.Connectionimport java.sql.Connectionimport java.sql.ResultSetimport java.sql.ResultSetimport groovy.sql.Sqlimport groovy.sql.Sqlimport cn.cdb.backend.RuleHandlerimport cn.cdb.backend.RuleHandler/*author

21、author 马春宇马春宇 2008-11-112008-11-11*/public class exampleGroovyRuleHandler extends RuleHandlerpublic class exampleGroovyRuleHandler extends RuleHandler/groovy/groovy数据库执行句柄数据库执行句柄def sql_DQDB,sql_DPDBvoid init(long KPP_BH,Connection CONNS)super.init(KPP_BH,CONNS)sql_DQDB=new Sql(conns0)sql_DPDB=new S

22、ql(conns1)/该方法目标：定义扫描检核目标表的该方法目标：定义扫描检核目标表的 SQLSQL语句。语句。/sqlHead=select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,t0.*from ODS_EFF.CDBCT_CONT_INFO t0;private String getSqlScanTarTable(String sqlHead)String sqlScanTarTable;String cusClause;/-自定义部分-开始cusClause=where(t0.TranSourCoun is null or

23、 trim(t0.TranSourCoun)=)and t0.data_end_date=99999999;/-自定义部分-结束sqlScanTarTable=sqlHead+cusClause;return sqlScanTarTable;/该方法目标：描述对单记录的检核规则该方法目标：描述对单记录的检核规则,如是问题记录则返回如是问题记录则返回 falsefalse，否则返回，否则返回truetrueprivate boolean exeSingleRecCheck(ResultSet rs)boolean succFlag=false;/-自定义部分-开始String CredStatN

24、o;CredStatNo=rs.getString(CredStatNo);def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo=?,CredStatNo)if(it.LoanType in 51,52,53,54)succFlag=true;/-自定义部分-结束return succFlag;43数据治理平台项目组采用技术?前端前端?基于Ext Ajax、Spring、hibernate技术实现：检核配置定义 数据质量问题管理知识库管理数据质量对比分析、检核报告系统管理?基

25、于Cognos报表系统实现数据质量分布与趋势分析?后端后端?基于Java、多线程技术实现检核调度与分派?基于数据库Job Schedule、存储过程实现存储过程检核策略?基于Groovy脚本技术实现复杂自定义检核规则的执行44数据治理平台项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块45数据治理平台项目组数据平台服务单流程流程定义流程定义数据服务申请数据服务申请新建申请新建申请提交申请提交申请数据服务审核数据服务审核审核申请审核申请服务创建与分配服务创建与分配数据服务实施数据服务实施任务创

26、建任务创建任务执行任务执行任务签收任务签收服务验收服务验收服务归档服务归档周期性服务周期性服务申请方（包括业务部门或申请方（包括业务部门或外包公司）外包公司）?数据标准处数据标准处服务提供方（数据处或平台服务提供方（数据处或平台实施商）实施商）?新建服务实例新建服务实例?46数据治理平台项目组功能需求功能需求功能定义功能定义完成情况完成情况已完成已完成数据服务申请数据服务申请维护申请维护申请提交申请提交申请数据服务审核数据服务审核审核申请审核申请服务创建与分配服务创建与分配数据服务实施数据服务实施任务创建任务创建任务执行任务执行任务签收任务签收服务验收服务验收服务归档服务归档事件管理事件管理服

27、务提供者为服务分解任务服务提供者填写任务执行情况服务申请者对单个任务，选择签收或拒绝服务申请者、数据服务管理员验收服务已验收的服务归档对服务处理过程中的事件进行管理已完成已完成已完成已完成已完成已完成数据服务管理员审核服务申请已完成数据服务管理员创建服务实例，并分配给已完成指定的服务提供者服务申请者新增、维护服务申请服务申请者提交服务申请周期性服务周期性服务新建服务实例新建服务实例数据平台论坛数据平台论坛对周期性服务，提供特定的处理提供通用论坛功能已完成已完成47数据治理平台项目组功能界面?数据服务审核数据服务审核?审核申请?服务分配48数据治理平台项目组功能界面?数据服务实施数据服务实施?任

28、务创建?任务签收?服务验收49数据治理平台项目组逻辑结构控制层逻辑控制层逻辑数据访问:服务数据访问服务数据访问+取得需要当天创建的服务列表()+保存服务()控制:数据处数据处+获取服务对象()+归档服务()+取得申请()+保存申请()业务业务+保存任务实例()+取得任务实例()+取得周期服务列表()+取得活跃服务列表()控制:数据申请人数据申请人+查询历史服务()+获取附件()控制:控制器控制器控制:服务管理服务管理+删除附件()+创建周期服务实例()+获取附件列表()+创建单次服务():单次服务+创建周期服务():周期服务+取得需周期服务列表()+数据处验收()控制:实施方实施方+主申请审批

29、通过()+拒绝主申请()+通过增补申请()+中止服务()+通过签收()+拒绝签收()+增补申请()控制:时间任务时间任务+记录进度()+数据申请人验收()+新建任务()+取得催办列表()控制:文件控制文件控制+取得事件列表()+取得周期服务列表()+保存文件()+取得活跃服务列表()+获取文件()+查询历史服务()+删除文件()+取得服务()+取得历史服务()+上传附件()控制:事件中断器事件中断器控制:催办中断器催办中断器+获取附件()+删除附件()+获取附件列表()+处理事件()+处理催办信息()数据访问:归档服务数据访问归档服务数据访问spring:事件服务代理事件服务代理spring:

30、催办服务代理催办服务代理+保存归档实例()+取得历史服务()业务实体关系业务实体关系审批审批-审批人:String归档服务实例归档服务实例-审批结果:String-评估结果:String+创建归档服务()+建立审批():审批1事件事件1-操作:String-操作人:String申请申请-操作对象:String-申请信息:String0.*1申请状态申请状态1+创建事件()-申请时间:Date+创建申请()服务服务0.*+修改申请()0.*催办事项催办事项+通过申请()-服务号码:String-提醒内容:String+拒绝申请()1-服务提供时间:Date-反馈时间:Date1-被提醒人:Str

31、ing+生成催办信息()0.*-申请方:String1-实施方:String-状态:String任务任务+设置服务号()-任务名称:String+创建服务()-任务描述:String+申请审批通过()-解决方案:String+拒绝主申请()10.*-预计工作量:Long+设立实施方()+创建任务()1+中止服务()+取得任务实例()+增补申请()+数据申请人验收()+新建任务()+保存附件记录()周期服务周期服务0.11-时间间隔:Integer-间隔单位:周期单位附件附件-周期开始时间:Integer1-数据处活跃服务实例活跃服务实例-文件名:String+创建活跃服务实例()-实例号:St

32、ring-物理文件名:String+计算下次生成日期()验收验收-服务开始时间:Date-上传人:String+创建周期服务()-验收人:String-服务结束时间:Date10.*-上传日期:Date-验收单位:String+创建任务实例(in 任务列表)-附件说明:String-验收意见:String+创建服务实例()+创建附件()-验收时间:Date+获取文件地址()周期单位周期单位+创建验收()11任务实例任务实例+计算周期时间()-数据申请人1-完成度:Long-处理人:String-状态:String签收签收-任务开始时间:Date-签收人:String服务号生成器服务号生成器-任

33、务结束时间:Date-签收单位:String-最新服务号:Long0.*+创建任务实例()1-签收意见:String-服务日期:Date+通过签收()1-签收日期:Date+拒绝签收()+取得服务号()+创建签收()+申请签收()+记录进度()50数据治理平台项目组统一认证与用户管理模块?实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。功能定义功能定义单点登录与认证单点登录与认证ADAD认证认证单点登录单点登录用户与机构同步用户与机构同步全量同步全量同步提供平台统一的到AD目录的认证在平台各子系统间提供单点登录功能提供

34、从“统一用户管理系统”的用户和机构数据全量同步提供从“统一用户管理系统”的用户和机构数据每日增量同步提供非行内用户的注册功能提供非行内用户的用户信息维护功能为用户分配系统角色平台系统角色管理与平台级授权完成情况完成情况已完成已完成已完成增量同步增量同步用户注册用户注册用户管理用户管理用户角色分配用户角色分配角色定义与授权角色定义与授权已完成已完成已完成已完成已完成51数据治理平台项目组议题1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块52数据治理平台项目组用户访问?保持用户身份?单点登录?验证用户身份?访问?用户认证?登入?访问子系统?平台主控界面平台子系统?进入子系统?用户信息获取53数据治理平台项目组实现逻辑?单点登录单点登录54?行内用户统一管理行内用户统一管理?全量?增量统一登陆平台(UAP)调用WebService统一用户管理系统返回返回xml数据数据数据治理平台项目组谢！谢！55数据治理平台项目组谢谢感谢观感谢观看看点击此处添加副标题感谢观感谢观看看点击此处添加副标题感谢观感谢观看看点击此处添加副标题感谢观感谢观看看点击此处添加副标题