1、如何实现有效的数据治理？数据治理要素1平台实施组织架构制度流程平台功能基于数据治理平台的实施包括数据治理的相关数据范围确定、梳理，以及数据的初始化及持续更新从事数据管理决策、规划、实施、管理、监控的团队的工作团队人员及组织结构数据治理过程中必须遵守的相关政策与规章制度，以及从事数据治理规划、实施、管理、监控的团队之间协同工作、报告、评估流程为顺利从事数据治理工作而必须准备的支持环境、包括软硬件环境、系统环境、数据字典、元数据等如何实现有效的数据治理？数据治理建设思路2组织架构平台功能平台实施制度流程组织架构3数据治理小组部门N部门1系统X数据所有者系统Y数据所有者系统A数据所有者系统B数据所有
2、者元数据管理员数据质量管理员数据经理1数据经理2数据经理M数据保管者1数据保管者2数据保管者M高层领导办公会委员会主任业务主管技术主管工作组数据治理管理委员会系统开发系统运维1233345数据标准管理员数据治理建设思路4组织架构平台功能平台实施制度流程数据管理（管控）思路：基于数标的全流程数据管理5数据质量流程6元数据管理流程7数据治理建设思路8组织架构平台功能平台实施制度流程9应用功能元数据管理接口二次开发权限集成数据访问分析服务元数据应用数据质量管理数据标准管理数据治理流程管理辅助业务应用元数据管理功能元数据技术功能元数据分析功能检核规则管理检核方法管理数据质量应用数据标准应用系统管理角色
3、管理在线用户密码管理权限管理用户管理日志管理参数管理配置管理辅助开发运维数据质量监控数据质量分析数据标准分析元模型管理检核任务管理质量问题管理标准体系浏览数据标准管理数据标准文档管理标准综合查询数据治理统一架构逻辑架构知识库管理信息管理数据治理数据标准流程系统元数据1.提供检核对象1.提供数据标准信息访问数据标准存储到元数据1.标准相关的指标检核结果数据质量数据质量流程报表需求流程数据模型流程元数据流程数据交换流程数据标准流程采集基准库、对象库反馈检核结果1.质量检核结果作为质量问题2.质量提升工作结果1.提出度量规则和检核方法2.数据质量问题存储3.数据质量需求1.提供数据标准定义2.数据标
4、准变更数据标准执行情况报表需求存储1.报表需求访问2.报表使用情况影响分析1.模型采集2.度量规则修改影响分析元数据采集2.提供标准代码2.系统代码与标准代码匹配情况3.数据标准执行情况2.度量规则、检核指标存储到元数据数据治理统一架构各模块关系数据治理建设思路11组织架构平台功能平台实施制度流程平台实施示例元数据实施范围CWM元模型物理模型ETL元数据PowercenterETL元数据shell日志Cognos元数据业务术语业务指标维度度量系统信息 表记录数报表访问数过程元数据技术元数据业务元数据数据源分析、报表工具数据挖掘工具EDWDM元数据元数据数据流元数据管理范围平台实施示例 数据质量
5、检核实施检核实施数据仓库平台数据质量系统平台内交互线平台外交互线公共检核组件生成检核脚本征集度量规则收集检核方法内容生成检核任务制定度量规则模板检核方法审核检核需求提出检核类别确定制定检核方法模板根据模板填写检核方法内容生成检核结果度量规则和检核方法建立映射关系执行检核组件依赖其他作业检核任务调度作业触发检核结果问题汇总检核结果分析数据质量多角度分析报告审核不通过，反馈，修改将收集的检核模板文件导入质量系统仓库内数据治理仓库外源数据协调治理问题数据治理流程启动问题处理流程问题数据分析问题知识库检核结果问题总结ETL Server123546789101113141516171819202122
6、质量系统调度作业仓库依赖作业根据模板填写度量规则内容12数据的检核过程13明确数据管控工作的主要参与者及职责划分，制定数据管控的办法及详细操作流程数据治理工作的目标将数据管控与业务流程结合，通过业务操作过程中对数据完整性、准确性的要求来提升业务的规范性实施数据管控相应的技术实施方案，通过数据管理系统等实现对数据管控的支撑123数据管控的主要对象是全行的数据，通过设计全行的数据管控组织、制度和流程，以及相应的技术方案和数据管理系统，实现对数据的有效管理，提升全行的数据质量。设计全行数据管控的组织，包括全行数据管控组织的层次划分、参与方及主要职责 设计全行数据管控（数据标准、数据质量、元数据）的策
7、略、管理办法和操作流程，提交行领导审阅并做好正式发文准备 设计全行数据质量提升的整体工作方案 基本完成全行数据管理系统建设，支持数据管控体系的运行 推动数据管控体系在全行的实施，完成数据管理系统的建设和应用 逐步完成全行主要系统的数据质量提升工作 逐步实现数据管控工作与业务流程的结合，实现对具体业务流程的控制 持续完善数据管控体系和数据管理系统 将数据管控工作与全行的业务流程紧密结合，确保对各业务控制环节的有效支持201220092013+案例1：国家开发银行数据管控整体情况案例1：国家开发银行数据管理建设思路 以数据服务流程管理为载体，元数据管理、数据质量管理、数据标准管理、数据调度监控管理
8、为手段，建立“一个流程，两个维度”的框架体系。结合开行数据管理办法梳理数据服务流程间流转关系，从而实现在管理维度提供系统支持。在技术维度上划分为元数据管理、数据质量管理、数据标准管理、数据调度监控管理和数据服务流程管理模块。数据标准管理从数据定义阶段入手贯穿于整个数据生命周期。数据生命周期管理流程数据标准管理流程元数据管理流程数据质量管理流程管理维度数据管理制度与流程体系(包括数据管理组织、制度、流程，覆盖数据标准、管控、数据应用支持及数据应用)技术维度数据标准发布数据标准制定管理数据标准变更管理元数据采集管理元数据使用管理元数据模板管理元数据采集元数据分析元数据检索数据质量问题库管理数据质量
9、检核维度管理检核规则管理检核方法管理分支机构数据管理专项考核仓库质量管理全景视图数据分类定义数据归档定义数据归档执行归档数据检索数据分类定义管理数据归档定义管理数据标准落地管理数据质量检核指标管理数据质量检核执行管理数据归档执行管理数据标准变更归档数据共享管理数据标准发布管理数据标准维护12负责代表本部门长期参与数据标准化与数据治理工作；参与各项数据标准化与数据治理制度的制定，并负责在本部门宣介；收集、整理并向小组办公室反馈元数据、数据标准、数据质量等相关工作需求；参与数据治理工作中相关问题的解决。1各相关部门数据管理综合岗职责2各分行职责负责按照数据标准和数据质量管理要求进行数据的录入与维护
10、工作；按照各项数据治理制度参与数据治理工作。案例1：国家开发银行数据管控组织架构案例1：国家开发银行数据管控组织架构数据标准类数据应用支持类数据治理类数据应用类所有领域数据管理管理制度与流程管理办法管理流程技术规范及模板数据标准管理办法各类数据标准管理细则数据标准管理相关流程数据质量管理办法数据采集录入管理办法数据模型管理办法元数据管理办法数据流管理办法数据安全管理细则外部数据管理办法历史数据归档管理办法数据质量管理相关流程数据模型管理相关流程元数据管理相关流程数据流管理相关流程数据安全管理相关流程外部数据管理相关流程历史数据归档管理相关流程数据平台数据交换管理办法数据平台运维管理办法数据平台
11、ETL开发管理细则数据集市管理办法数据仓库管理办法数据库统一运维管理办法数据平台数据交换管理相关流程数据平台运维管理相关流程数据平台ETL开发管理相关流程数据集市管理相关流程数据仓库管理相关流程数据库统一运维管理相关流程新协议实施数据管理和完善模块工作管理 报表需求管理办法数据服务管理办法数据应用手工数据补录管理办法管理驾驶舱系统数据管理实施细则开放数据服务支持系统管理细则报表需求管理相关流程数据服务管理相关流程数据应用手工数据补录管理相关流程数据管理与应用绩效管理流程数据质量度量规则及检核方法模板 数据模型设计评审/备案申请表IT系统改造、新建或变更投产元数据管理审核单元数据专项服务需求审批
12、表IT系统改造、新建或元数据日常变更通知单数据交换需求审批表ETL编写规范报表新增需求审批表报表变更需求审批表数据管理与应用关键指标及计算说明数据管理与应用绩效管理办法数据标准需求审批表案例1：国家开发银行数据管控制度与流程体系架构案例1：国家开发银行数据管控制度流程示例案例1：国家开发银行数据管控制度流程示例业务系统全流程信贷中小企业信贷核心系统CRM系统.产品业务客户业务资产业务公共代码数据管理系统产品种类完整性产品种类正确性数据标准检核涉及物理模型财务业务交易业务协议业务营销业务渠道业务表外产品一致性客户类别完整性客户是否金融机构完整性客户是否金融机构与金融机构类型一致性客户金融机构类型
13、与金融机构许可证代码一致性企业出资人经济成分完整性债权性质分类完整性合同状态正确性案例1：国家开发银行数据质量体系案例1：国家开发银行数据质量检查点22公路收费权公路收费权资产编号资产描述项目名称电力收费权电力收费权资产编号资产种类供应商收费权收费权资产编号资产管理系统数据仓库DW基础区收费权.资产编号数据整合度量规则表 字段必须存在于表 字段;表 字段必须存在于表 字段检核脚本select length(trim(siidno),count(1)from odsfdm.f_ci_per_cisia where siidtp=01 group by length(trim(siidno);se
14、lect count(*)from F_CI_PER_CISIA where siidtp=01 and length(trim(siidno)=18 and(substr(siidno,11,2)not between 01 and 12)or(substr(siidno,13,2)not between 01 and 31)or(substr(siidno,7,4)not between 1900 and 2010)规则来源度量规则案例1：国家开发银行数据质量-资产业务-收费权主外键规则案例1：国家开发银行数据质量考核指标24案例1：国家开发银行标准落地示例客户标准落地 案例1：国家开发银
15、行标准落地示例信贷类产品数据标准落地 平台建设制度流程平台价值平台实施一级功能6项，二级功能17项核心功能：元数据采集、元数据分析、版本管理、变更管理、数据地图、视图管理等一级功能5项，二级功能15项核心功能：数据质量问题发现、数据质量问题分析、数据质量提升、数据质量度量规则、数据质量考核、综合查询等功能一级功能3项，二级功能10项核心功能：基础类数据标准浏览、公共代码浏览、数据标准需求、数据标准发布、数据标准变更、数据标准执行、综合查询等一级功能6项，二级功能14项核心功能：报表需求管理流程、数据交换管理流程、数据变更管理流程、数据模型管理流程等元数据数据质量数据标准电子流程元数据类别：表、
16、字段、报表指标、表级映射、字段级映射、表到报表映射涉及系统：12个业务生产类系统、9个管理分析类系统、3个业务支持类系统、ODS、RDM、中间表集市和财务集市检核指标：2011年下半年12个考核指标由系统进行检核，5个考核指标人工检核检核范围：主要是对ODS数据进行检核六大主题管理：客户、产品、交易、财务、资产、协议公共代码管理：173个代码六个流程：报表新增需求管理流程、报表变更需求管理流程、数据交换需求管理流程、重要数据变更管理流程、后台数据变更管理流程、数据模型管理流程元数据采集流程元数据使用流程数据质量使用流程数据质量度量规则管理流程数据标准的制定、评审与发布流程数据标准执行流程数据标
17、准变更流程数据标准复审流程六个电子流程协助下游报表应用的数据问题的追溯企业级元数据的一致性、完整性检查和过程管控辅助EDW平台开发及运维提供完整的元数据视图，实现元数据信息的集成，便于从多角度查询、应用元数据辅助数据质量问题定位和分析支持业务部门提出的常效检核规则检核工作辅助数据标准落地执行满足数据管理处对数据标准浏览、检索辅助报表需求管理辅助数据交换需求管理辅助重要数据变更管理辅助数据模型管理案例1：国家开发银行数据管控效果案例2 2：中信银行数据治理元数据 建设方案：EDW存储及映射：分析EDW建设过程中使用的数据库环境、ETL加工处理所使用的ETL工具、编程语言、日志格式，设计EDW元数
18、据管理的采集方案；EDW数据文件管理：分析EDW供数需求，了解供数范围，分析EDW数据实体表和供数文件的关系，设计数据文件管理策略；EDW逻辑模型管理：开发逻辑模型展现功能将管理的EDW模型进行图形化展现，并建立逻辑模型和物理模型关联关系，协助用户快速的逻辑EDW模型设计及整合思路；元模型构建：对不满足数据仓库采集存储的元模型进行重新构建，如：文件存储元模型、表和文件的关系建立，Erwin元模型调整，逻辑模型和物理模型关系映射调整；元数据采集验证符合：数EDW元数据采集是从不同元数据载体中进行数据抽取得到的，在所有数据对象、数据关系采集完成后需要对采集结论进行初始化验证，这是后续元数据使用的前
19、提；EDW元数据更新机制：梳理可落地的EDW元数据更新机制，保障元数据的新增、变更能及时更新维护；建设目标：管理EDW建设过程中涉及的业务、技术元数据，元数据范围包括系统信息、数据库信息、表视图信息、数据文件信息、数据映射信息。提供图形化展现逻辑模型的功能；管理EDW对外供数的数据文件信息，为业务人员提供分析数据需求的查询平台。应用层功能层存储层获取层辅助开发逻辑模型展现多元分析资源展现视图可配置分析质量审核数据文件管理基于流程的变更逻辑模型管理元数据管理系统技术元数据业务元数据DB数据库采集数据仓库数据仓库数据记录采集Perl日志采集28案例2 2：中信银行数据治理元数据报表、指标、科目关系
20、分析应用建设目标：通过元数据承载和管理指标体系、科目体系，建立基础指标和组合指标的关联关系、指标和科目的关联关系、指标和数据源的关联关系，并建立相应的日常管理和分析应用功能，为指标口径变更影响、科目变更影响等提供支持。建立基础指标和组合指标的关系建立指标和科目的关联关系建立指标和报表的关联关系建立指标和报表的关系本期贷款余额贷款余额净增长率上期贷款余额5010350104贷款余额净增长率贷款余额净增长率贷款余额净增长率贷款余额净增长率贷款余额净增长率指标指标科目科目表表报表报表29案例2 2：中信银行数据治理元数据辅助科目改造场景科目13520调整为：16001、16002、16003会影响哪
21、些指标KJ_T048-存款准备金报表？客户贷款信息表？毕马威审计报数？让人迷惑的数据，如何确认范围，如何做？13520银行汇票中间业务收入确定确定指标指标范围范围中间业务收入支付工具结构情况季报表KJ_D001-业务状况表(表内)确定确定报表报表范围范围支付工具结构情况季报表KJ_D001-业务状况表(表内)确定确定系统系统范围范围支付报表系统综合业务报表 通过元数据系统的分析支持，得到科目13520科目变更会影响到：1、支付报表系统支付工具结构情况季报表2、综合业务报表平台的KJ_D001-KJ_D001-业务状况业务状况表表(表内表内)报表报表1 1、梳理报表所使用的上下游系统数据文件结构
22、，建立链路关系、梳理报表所使用的上下游系统数据文件结构，建立链路关系2 2、梳理当前报表信息项所使用到的旧科目信息、梳理当前报表信息项所使用到的旧科目信息3 3、梳理旧科目和新科目的对应关系、梳理旧科目和新科目的对应关系4 4、梳理表和科目的关系，即表的数据是从哪些科目中筛选来的、梳理表和科目的关系，即表的数据是从哪些科目中筛选来的30案例2 2：中信银行数据治理数据质量 建设方案：度量规则：数据质量管理平台作为数据仓库数据质量度量规则的收集平台，提供需求提出者进行度量规则需求的提交和保存的功能，对提出的度量规则需求进行分析。确定需求可行性；检核方法：根据数据质量度量规则接，开发完成与度量规则
23、对应的检核方法，由系统提供检核方法模板，根据度量规则和模板生成检核脚本；检核结果：提供数据质量检核结果的展示、分类查询、问题数据明细查询；检核调度：设置定时调度检核任务检核的周期为t+1；ODS临时区基础区汇总区集市区主键重复非法值总分核对空记录空记录主键重复非法代码非法值空记录主键重复非法代码非法值主键重复业务规则数据有效性历史拉链表业务规则总分核对数据有效性历史拉链表系统间一致系统间一致表间企业级数据仓库数据流向总数核对总数核对总数核对总数核对建设目标：建立主动发现数据仓库数据质量问题的方法。制定数据仓库的度量规则，基于度量规则在数据仓库内数据流向的各个环节区域上横向检查，区域之间的纵向检
24、查，形成在数据仓库的内数据的纵横监控网，有效发现仓库内的数据质量问题，并提供数据告警和质量问题分析报告。31案例2 2：中信银行数据治理数据质量32为业务人员带来帮助：支撑维护人员：将数据质量的发现前提到数据仓库，使得业务应用系统从数据仓库获取数据的质量得到保证数据质量管理员：监控数据仓库中的数据，及时发现质量问题，便于数据质量管理人员了解仓库内数据的质量，为下游应用提供高质量的数据。数据仓库检核方法数据仓库度量规则数据仓库检核结果检核方法规则案例2 2：中信银行数据治理数据质量数据仓库平台数据质量系统平台内交互线平台外交互线公共检核组件生成检核脚本征集度量规则收集检核方法内容生成检核任务制定
25、度量规则模板检核方法审核检核需求提出检核类别确定制定检核方法模板根据模板填写检核方法内容生成检核结果度量规则和检核方法建立映射关系执行检核组件依赖其他作业检核任务调度作业触发检核结果问题汇总检核结果分析数据质量多角度分析报告审核不通过，反馈，修改将收集的检核模板文件导入质量系统仓库内数据治理仓库外源数据协调治理问题数据治理流程启动问题处理流程问题数据分析问题知识库检核结果问题总结ETL Server123546789101113141516171819202122质量系统调度作业仓库依赖作业根据模板填写度量规则内容12数据的检核过程33案例2 2：中信银行数据治理数据质量辅助数据质量问题分析及
26、34 建设方案：数据质量报告：根据度量规则、检核方法和检核出来的问题数据，按照规则，方法，周期，区域等维度，定期或手动生成某天或某周期时间段内数据仓库内数据质量报告；质量问题告警：质量问题告警是系统提高了数据质量问题的时效性以及数据管理人员对问题数据的响应速度；数据质量考核：通过统计一段周期内的数据质量情况，计算每层有效运行规则的占比并结合权重评分，得出各层数据质量属性得分，和各层数据质量总分，并汇总计算出系统的整体分值。支持系统定时运行和手工运行；数据质量问题分析及解决：根据数据质量分析报告和质量考核评分结果，对于数据仓库的数据质量问题进行分析和问题治理，并且特别针对仓库中的薄弱环节进行专项
27、的问题治理；应用层功能层存储层获取层数据质量总体分析数据质量分层分析数据质量按规则类别分析度量规则设置检核任务调度质量问题告警考核指标设置评分标准和权重检核方法设置数据质量管理系统评分维度分析报告评分规则检核数据获取维度和指标获取元数据库数据仓库建设目标：结合数据仓库数据质量的发现和监控，加强数据质量告警事后评估，通过数据质量考核机制，建立考核指标，量化体现数据质量的整体情况，找出数据仓库中数据质量的薄弱环节，使得数据质量管理工作有的放矢，提升数据仓库质量管控能力，形成闭环的数据质量管理流程。案例2 2：中信银行数据治理数据标准本期建设目标：建立数据标准管理系统，对基础类数据标准、分析类数据标
28、准进行管理，或者在元数据管理系统中管理数据标准。对各系统落地情况进行管理，掌控各系统执行数据标准的情况，为数据标准的落地推行提供平台支持。建设方案：统一数据标准模板：将现有数据标准各主题的模板整理成统一的样式，对不符合采集要求的模板进行调整，对缺失的数据按照元数据采集格式要求进行补录；设计元模型：分析数据标准文档中元数据设计元数据存储模型，将数据标准按合理的模型进行存储。；数标模板和元模型映射：将数据标准模板和设计的元模型进行映射，保证模板中得数据可以按设计的模型进行存储；开发数据标准管理系统：数据标准据一般有包括基础类数标和分析类数标，而且信息项的分类存在一定的差异，需要单独开发前端展现页面
29、，按照数据标准管理需求进行设计开发。如只做简单管理可将数据标准通过元数据系统进行管理；采集及验证：按配置好的模板映射进行数标的采集，分析数据标准的内在管理，建立切合实际的关系，如信息项和代码的关系、基础指标和衍生指标的关系等。应用层功能层存储层获取层标准信息项定义查看标准代码分布分析业务术语与IT系统关联基础类数据标准浏览公共代码浏览数据标准执行数据标准版本管理数标文档管理分析类数据标准浏览数据标准管理系统基础类数标模型分析类数标模型Excel模板-数标模型映射配置35案例3 3：上海银行数据管理系统总体功能结构元数据基础管理数据源管理元数据审核元数据导出血统分析全链分析元模型管理采集适配器任
30、务管理映射变更元数据检索影响分析数据地图变更比对版本控制模糊检索高级检索数据质量管理检核方法计划检核任务管理检核结果分析问题管理字段问题处理度量规则计划度量规则管理检核方法管理检核任务执行质量全流程问题分派报表问题处理专项任务跟踪与查询质量报告评分卡主题树管理数标分类数标任务管理数标管理代码层级管理标准代码管理数标映射管理统计管理数标订阅数标检查数标浏览数标查询主管部门管理角色管理菜单管理权限管理公共参数配置机构管理系统清单用户管理公共模块需求基本信息基础字段申请报表台账信息指标需求字段逐条审批例外处理需求关联元数据导入非标建标字段、报表补录需求检查项需求上线与关闭StepStepStepSt
31、epStepStepStepStepStep需求管理基础类数标分析类数标元数据分析服务数据质量核心流程数据标准Step 上海银行数据管理建设思路侧重于事前预防，将各领域数据管理的要求融入到系统研上海银行数据管理建设思路侧重于事前预防，将各领域数据管理的要求融入到系统研发当中，从需求编写和需求分析等数据产生源头进行管理。严格按照数据标准进行需求编发当中，从需求编写和需求分析等数据产生源头进行管理。严格按照数据标准进行需求编写，结合数据质量管理、元数据管理串联整个软件生命周期。写，结合数据质量管理、元数据管理串联整个软件生命周期。软件生命周期数据标准落地总体流程测试上线软件开发软件设计需求分析运行
32、维护 数标引用需求 模型设计审批IT开发数标修改流程。录入数标与元数据映射运行态模型采集F01）需求发起F02）需求编写F03）需求会签F04）需求接收F01）业务元数据导入F02）技术元数据导入F03）应用场景编写F01）元数据完整性检查F02）数标映射完整性检查F03）生成检核规则F04）自动生成检核脚本F01）元数据比对检查F02）元数据变更管理F03）元数据分析案例3 3：上海银行数据治理全面数据管理全流程数据标准落地S01)数据标准引用需求（维护需求/开发需求）填写，提供批量导入方式和页面填写。S02)发起数据标准引用需求流程。S03)用户数据标准引用需求经有权人审批并成功提交后，由
33、IT人员进行数标引用需求编号与业务需求编号的关联。S04)IT 完成开发后，进行该需求引用编号下的技术元数据、业务元数据、应用场景的导入。S05)测试阶段系统对元数据完整性准确性、映射完整性进行检查，生成检核方法和检核任务进行验证；S06)系统用户在数标引用需求在上线前任一环节均可退回、变更及重新提交审核。发起需求审批流程分析类数标指标需求基础类数标字段需求业务元数据需求系统功能开发完成元数据收集非标字段落标指标补录指标开发指标落地报表台账报表补录报表开发报表需求报表上线需求关闭需求审核指标需求审核报表需求审核集成测试用户测试需求上线上线评估科技、业务双确认案例3 3：上海银行数据治理全面数据
34、管理全流程数据标准落地案例3 3：上海银行数据管理系统指标管理39指标管理指标明细指标关联分析案例3 3：上海银行数据管理系统数据质量检核方法度量规度量规则则编写计编写计划划检核任务配置检核任务配置度量度量规则规则检核方检核方法法检核任检核任务配置务配置检核任务检核任务执行执行检核结果检核结果分析分析 数数标标对应对应ITIT人员人员尽快完成并提交尽快完成并提交检核方检核方法编写法编写计划计划核心流程核心流程关闭关闭检核结果数检核结果数为零为零系统主动关系统主动关闭闭核心流程核心流程生成生成SQLSQL通知通知ITIT执行执行源系统执行源系统执行生成结果导入生成结果导入流程发起者流程发起者检核
35、结果上检核结果上传传质量问题质量问题通知检核任务通知检核任务owner,owner,补充补充提交检核任务提交检核任务检查检核方检查检核方法是否全部法是否全部编写完编写完强制生强制生成成数标修订数标修订有度量规有度量规则则问题明细数据问题明细数据入库入库比对重复问题比对重复问题邮件邮件通知通知案例4：长城资产数据治理 金融资产管理行业数据治理背景2014年12月中国银监会，财政部，中国人民银行，中国证监会，中国保监会关于印发金融资产管理公司监管办法的通知。“第八章 信息资源管理 第一节 数据管理”中对资产管理公司有了明确的要求；第一百二十六条 在符合相关法律、法规前提下，集团应当建设统一的数据管
36、理机制，建立集团管理信息数据库，集中汇总各级附属法人机构的业务、财务和风险管理数据，满足监管信息报送、信息披露、综合营销、集团风险管理、资本管理和经营分析的需求，并持续提升对数据的分析和运用能力。第一百二十七条 集团母公司应当明确数据统一管理的部门及其职责，负责集团数据管理的领导、组织、协调工作，协调和督促集团母公司各相关部门及各附属法人机构，共同做好数据管理工作，定期检查并发现数据质量存在的问题，提出合理化建议。第一百二十八条 集团母公司各相关部门及各附属法人机构负责本部门及本机构业务范围内有关数据的日常管理工作，在集团数据统一管理部门的组织协调下，全面开展数据管理工作。第一百二十九条 集团
37、数据统一管理部门应当牵头建立全面、科学的集团管理信息指标体系，做好信息的监测、分析和风险预警，推进集团管理信息数据库建设，为监管信息报送、经营分析、管理决策、信息披露提供信息分析和支持服务。第一百三十条 集团母公司应当逐步推进集团数据标准建设，重点加强集团管理信息指标的数据标准建设，推动数据信息逻辑整合，提高监管机构、集团母公司与附属法人机构信息系统之间数据对接的准确性、一致性。银监会对数据管理工作的要求案例4：长城资产数据治理42数据治理现有系统风险客户管理业务财务DW(数据仓库)人力其他生产系统ETL抽取转换加载数据质量接口监控变更分析程序监控指标监控元数据应用系统数据系统间数据流向数据仓
38、库数据逻辑ETL数据转换过程数据标准技术指标定义业务逻辑定义数据编码数据分类辅助决策报表业务分析指标分析主题分析数据披露数据报送123案例4：长城资产数据治理 组织架构设置43 1.领导小组：公司信息化建设领导小组。2.技术工作组：信息技术部分管领导、数据管理处和普元数据治理专家。3.业务工作组：战略发展部、资产经营事业部、投资投行事业部、城镇化金融事业部、中小企业金融事业部、资金营运事业部、业务审核部、人力资源部、计划财务部、法律事务部、评估业务部、合规风险部。将任务具体分解落实到由部门分管领导、熟悉业务的人员组成的业务工作组。案例4：长城资产数据治理数据标准制定44业务通知单资产管理与处置
39、客户信息管理系统投资与综合金融资金运营业务审核审批资金财务一28个业务系统梳理页面中的信息项二 公司体系文件三 28系统数据模型梳理文档中的信息项梳理数据模型中的信息项数据整合(Primeton.ETL)数据管控(Primeton.EDG)21个上游系统17个下游应用系统基础数据平台Oracle 11g数据采集数据补录历史数据QDS元数据管理数据质量管理任务调度运行监控和管理7张表准实时数据T+N应用集市数据安全txtxlsxml当日缓冲当日缓冲ODSODS全量细节全量细节DDSDDS数据标准DatastageDatastagePrimeton.DI数据分发数据交换案例5：兴业银行全面数据管理
40、元数据库生产环境元数据库待上线环境元数据库开发环境数据库JDBC手动上传手动上传运行态设计态变更任务变更任务变更任务变更任务上游变更下游确认版本发布变更确认变更确认变更确认变更确认领导审核领导审核系统自动通知上游变更内容系统自动发现变更系统自动发现变更开发新版本开发新版本待上线新版本待上线新版本生产新版本生产新版本跨库比对定时采集获取变更时效性自动通知事中监控全流程跨库比对事后监督一致性历史归档开发归档开发归档待上线归档待上线归档生产归档生产归档开发恢复开发恢复待上线恢复待上线恢复生产恢复生产恢复跨库比对案例6：北京银行元数据管理普元大数据平台产品元 数 据 管 理 源系统源系统源系统源系统E
41、TL数据服务StageFDMADM数据服务数据服务元数据元数据元数据元数据元数据数据应用计算规则展现控件报表展现元数据元数据元数据业务元数据数 据 质 量 管 理 影响分析、血缘分析数据标准管理源系统流数据处理引擎适配器适配器数据输出实时展现、预警源系统元 数 据 管 理 源系统源系统源系统源系统ETL数据服务StageFDMADM数据服务数据服务元数据元数据元数据元数据元数据数据应用计算规则展现控件报表展现元数据元数据元数据业务元数据数 据 质 量 管 理 影响分析、血缘分析数据标准管理源系统流数据处理引擎适配器适配器数据输出实时展现、预警源系统非实时数据整合数据治理实时数据整合数据发布数据
42、可视化普元大数据平台产品普元数据治理平台4949应用功能元数据管理接口二次开发权限集成数据访问分析服务元数据应用数据质量管理数据标准管理数据管控流程管理辅助业务应用元数据基础管理元数据分析服务元数据采集检核指标管理检核执行调度数据探查数据质量应用数据标准应用系统管理角色管理在线用户密码管理权限管理用户管理日志管理参数管理配置管理辅助开发运维数据质量监控数据质量改进标准执行监控辅助标准执行元模型管理质量问题管理知识库管理标准体系浏览标准综合查询数据标准管理数据标准采集普元数据治理平台组成和相互关系50数据管控平台数据标准流程系统元数据1.提供检核对象1.提供数据标准信息访问数据标准存储到元数据1
43、.标准相关的指标检核结果数据质量数据质量流程报表需求流程元数据流程数据标准流程采集基准库、对象库反馈检核结果1.质量检核结果作为质量问题2.质量提升工作结果1.提出度量规则和检核方法2.数据质量问题存储3.数据质量需求1.提供数据标准定义2.数据标准变更数据标准执行情况报表需求存储1.报表需求访问2.报表使用情况2.提供标准代码2.系统代码与标准代码匹配情况3.数据标准执行情况2.度量规则、检核指标存储到元数据数据治理的核心要素元数据管理51元数据管理是整个数据管控实施的核心要素之一，是数据管控的核心基础设施应用场景-系统升级影响定位52应用场景因国际业务系统升级，在“ACCT_MASTER”
44、表中修改字段：非贸交易类型NONTRADE_TYPE_NORE，长度由2修改为10，需要定位本次升级对后续相关系统的影响处理方案对元数据“非贸交易类型NONTRADE_TYPE_NORE”进行影响分析，发现对下游的II,ODM,SDM,FDM都有影响，IT部门定位到影响之后修改相应程序，有利于快速锁定影响提高效率和质量业务系统升级业务系统升级修改字段长度，可能会导致对后续系统产生影响IT IT部门对相关元数据部门对相关元数据进行影响分析进行影响分析借助元数据管理系统的影响分析功能分析对下游的影响解决问题消除升级解决问题消除升级影响影响通过定位影响并做相应修改，达到消除影响的效果应用场景-辅助报
45、表问题定位53应用场景某客户经理发现“产品营销分析”报表数据存在质量问题处理方案客户经理向IT部门提出异议，技术人员通过元数据平台血统分析发现“产品营销分析”受到上游FDMEDM_CRM等各层的影响，从而定位问题的源头，有利于快速低成本解决问题客户经理提出异议 报表数据存在质量问题IT部门核查问题 通过元数据管理系统对问题报表进行血统分析，发现与其相关的上游元数据基于问题定位解决报表数据问题 IT人员通过血统分析定位可能的问题路径，分析程序解决报表数据问题应用场景-元数据辅助开发运维数据仓库（下游）ETL宏观系统数据库（上游）数据ETL处理元数据管理系统模型/ETL设计人员2.2.利用影响分析
46、功能，锁定变化影响的下游库表，依据ETL策略，系统给出下游库表变更建议。3.设计人员根据变更建议确定下游库表的变更并可从系统中导出DDL脚本2.1、发现变化后及时将变化情况通知相关人员1.监测上游库表变化DDL4.通过执行DDL更新下游库表数据情况应用过程应用场景-辅助EDWEDW开发55前提：确保生产环境中的基准库和对象库一致全流程元数据及其关系准确要点：严格控制项目上线流程基于元数据变更的通知机制EDW在基准库订阅元数据变更通知 EDW在基准库订阅好变更通知，即入仓的所有表发生变更则元数据系统自动邮件通知业务系统模型变更 CRM系统的客户类型字段长度由CHAR(1)修改为CHAR(5)ED
47、W接收变更通知并分析影响 EDW接受变更通知，并且通过快捷方式进行变更元数据的影响分析应用场景-基于元数据的模型设计示例需求场景某IT部门负责人在检查审核多个系统设计时，发现各系统设计时没有统一设计规范，如各系统对字段“用户ID”取英文名有“USERID”（按户审批权限表）、“USER_ID”（用户信息表）等形式，另外，各系统之间的设计复用程度非常低，如多个系统都有账户表，但设计形式却各不相同处理方案建立企业级元数据管理制度，对数据标准的公共代码，对共性的技术元数据模型化组织、规则标准化，这些元数据统一存储到元数据管理系统，为设计人员设计过程提供支持，对设计人员的产出物进行审计56ITIT部门
48、负责人发现多系部门负责人发现多系统之间没有统一设计规统之间没有统一设计规范及复用范及复用 各系统设计时没有统一设计规范或遵循度低 各系统之间的设计复用程度非常低建立企业级元数据管理建立企业级元数据管理制度制度 数据标准的公共代码、共性的技术元数据标准化到元数据系统并提供查询服务 对设计产出物建立元数据审计制度解决设计不规范及共享解决设计不规范及共享度低问题度低问题 通过元数据管理系统的规范化查询服务提高设计标准化程度，为数据集成及系统间信息共享奠定基础 通过元数据管理系统的规范化审计确保设计产出物的质量普元元数据管理平台（MetaCubeMetaCube）57元数据管理平台组织结构元数据采集流
49、程ETL开发规范制度流程SQL编写规范功能实施元数据功能元数据维护自动化采集数据地图数据分析元数据实施实施调研采集设计数据采集质量检查支持Shell日志格式规范数据仓库数据服务清算移动支付完善系统变更上线流程完善数据仓库运维规范变更元数据管理流程应用应用识别负责与关联处室定义元数据角色支撑确定实施接口人公共参数风险采集采集平台功能58应用功能元数据基础管理接口服务采集权限集成元数据关系管理元数据维护版本管理变更管理元数据检索视图管理元数据统计元数据分析服务影响分析血统分析差异分析辅助业务应用代码管理辅助EDW开发系统管理角色管理参数管理配置管理元数据导出元模型管理数据地图采集适配器管理采集模板
50、管理元数据采集管理数据访问二次开发分析服务全链路分析系统缓存管理元数据入库管理适配器Powercenter9cognos10ERWin7.3Excel模板Perl日志dataStage采集注释采集DB数据字典DB数据记录PowerDesignerDB数据字典DDL案例效果：数据地图大数据中的元数据采集60厂商厂商工具工具采集接口采集接口采集内容采集内容apacheapacheHadoop HcatalogPhysical Data Model via jdbccolumn,Table,Diagram,Database,Subject Area,CLUSTERED,Index,Logical R
