1数据资源管理工具整体介绍V13讲解课件.ppt

1、数据资源管理工具及其建设意义完善数据质量保障机制建立企业数据资源手册建立数据资源全生命周期管理工具提升数据中心日常运维管理手段提升数据集成服务能力五 个 工 作 目 标支撑三项基础工作数据综合治理SG-CIM及数据集成信息化标准管控质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面七 大 系 统 功 能数据资源管理工具一数据资源管理工具简介二数据资源管理工具应用策略三数据资源管理工具实施策略提纲数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景随着智能电网的全面建设、公司信息化“十二五”规划及“SG-ERP”的全面启动，实现对公司范围内的核心数据资源的统一管控，更好地保障核心数

2、据资产的安全和权威，当好数据的“管家婆”，最大化地巩固已有系统建设成果，基于数据中心建设企业级的数据资源管理工具显得尤为必要。项目建设的背景及必要性还来自于核心数据资源需要统一管理建立结构化数据资源手册，采用主数据、元数据、编码、模型、指标等方式对数据资源统一管理通过数据资源的统一管理，保证公司核心资源的唯一性，维护核心数据源的权威数据集成服务需要逐步建立依据组件接口规范（CIS）建立基于数据中心之上的数据服务和集成“总线”，有力支持公共数据模型（SG-CIM）的有效落地和标准化执行，保证集成服务“语义”的一致性数据质量保障机制需要完善建立基于规则的数据质量分析机制，对横向共享、纵向级联、指标

3、等数据的及时性、准确性和完整性进行验证，对业务应用中的数据编码、接口、模型的标准化进行验证，支撑数据综合治理工作开展业务运行和发展的趋势通过对公共信息模型（SG-CIM）的应用研究和技术支撑，实现模型的统一管理、应用和维护，保障系统间集成模型的一致性；同时为资产全寿命、ERP、财务与交易等多系统集成提供技术支撑数据中心运维管理手段需要完善为数据中心日常管理提供技术支撑手段，解决过去传统数据中心管理中工具不完备、运维体系庞大、人工化操作效率低下的问题数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景u企业核心数据资源的索引工具u形成公司数据资产“设备台帐”信息u信息化标准、主数据等资源

4、的全生命周期管理工具u建立核心数据资源维护流程u业务运行和发展的支撑工具建立数据资源全生命周期管理工具建立企业数据资源手册u基于规则的数据质量管理机制u支撑数据综合治理工作要求u建立更可靠的数据质量分析机制完善数据质量保障机制u公共数据模型（SG-CIM）的管理工具u基于组件接口规范的数据服务u促进数据共享开放u数据中心数据量统计、数据抽取情况分析u数据资源运行及健康分析u数据治理水平评价机制提升数据中心日常运维管理手段提升数据集成服务能力质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景研究和完善现有数据质量管理机制，为公司信

5、息化标准建设提供流程支持，优化标准全寿命周期管理过程；为标准的落地和应用提供技术支持，实现对标准编码的符合度进行检查。1.对信息化标准落地情况进行管控梳理数据质量考核规则，并建立数据资源与考核规则间的对应管理；对业务系统的编码、模型、指标、接口应用情况和符合度进行检查、分析；对业务资源手册、指标资源手册、数据中心横向共享、纵向贯通资源的及时性与完整性进行跟踪，出具分析报告，保证用于公司战略层面数据分析、辅助经营决策各项关键数据的可信度。2.支撑和推动数据综合治理工作的开展基于规则的数据质量管理机制支撑数据综合治理工作要求促进数据质量分析体系建设 2010年来，公司启动了数据综合治理工作，并将“

6、执行数据强化标准规则及流程，完成数据质量分析报告的生成和管理，明确数据唯一来源，实现指标的一致性管理”作为数据综合治理工作对于数据资源管理方面的工作要求。然而，针对数据质量的保障“机制”还不完备，这主要体现在数据资源的一致性检查、符合分析和验证、信息化标准的落地和实用化情况等无法进行有效系统化管理。因此，完善数据质量保障“机制”，目标在于研究和完善现有数据质量管理机制，为公司信息化标准、指标资源、横向共享、纵向级联等资源建设和落地应用提供技术支持，依据规则实现对数据资源的符合度进行检查。完善数据质量保障机制数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景 随着公司“三集五大”建设的

7、要求，业务应用间融合度需要进一步提高，这需要更加规范、可靠、丰富、灵活地实现对企业结构化数据资源的统一管控、应用，以更有力支撑公司未来全面融合的业务需要。基于此，按照数据综合治理工作要求，梳理公司范围内的结构化数据资源（含表定义、字段定义、应用信息、数据源信息等），形成业务资源手册、指标资源手册、横向共享资源手册、纵向级联资源手册，同时，提供公司数据资源手册统一发布查询手段，满足公司数据资产“设备台帐”查询的需求。建立企业数据资源手册企业结构化数据资源总册业务数据资源手册指标数据资源手册横向共享数据资源手册纵向级联数据资源手册数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景 建立公

8、司核心数据资源的流程化管理机制，即采用工作流对信息化标准、模型、主数据、编码、指标、接口服务等资源的起草、审批、修订、分发、废止环节进行统一管理和监控。从企业级层面来保障各类数据资源如主数据标准与应用的统一，消除二义性，保证公司核心数据资源的唯一性，维护核心数据源的权威。数据资源全生命周期废止分发审批起草修订信息化标准模型主数据编码指标接口服务建立数据资源全生命周期管理工具数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景 数据中心建设以来，基于统一数据模型的、语义一致的数据集成服务的概念和传输通道还未建立。因此，依据组件接口规范（CIS）建立基于数据中心之上的数据集成服务，将有力支

9、持公共数据模型（SG-CIM）的有效落地和标准化执行，降低集成过程中的网状结构复杂度；同时，通过标准的数据共享服务，支撑跨业务应用深度集成，提升数据共享开放能力。数据集成服务能力基于组件接口规范的数据服务业务应用与数据服务的融合语义一致的接口规范和标准数据共享开放能力公共数据模型（SG-CIM）的管理提升数据集成服务能力数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景 随着海量实时、电网空间、非结构化等数据管理平台对数据中心发展的不断深化，实现对数据中心管理手段的信息化，解决过去传统数据中心管理中没有工具、运维体系庞大、人工化操作效率低下的问题既有必要，又很迫切。这也是数据中心建设

10、的必要选择和必然趋势。数据资源运行及健康分析数据中心运维工作平台和交互平台数据中心运维流程标准化 资源运行情况图形化、报表化 对数据中心日常统计报表进行配置、发布、查询 对数据服务接口健康情况进行监控 常见运维问题汇总 业务运维人员与数据中心运维人员交互窗口 数据中心运维制度化 水平评价常态化提升数据中心日常运维管理手段数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景数据检查服务 规则库及时性合法性一致性完整性标准数据自动分析人工分析质量分析结构化数据 实时数据电网空间数据维护规则质量管理制度支持字段级、记录级、表级和日期

11、参数等通用验证规则配置；支持不定长编码、组合码、层级编码和树形编码等编码规则配置；支持调用地址、参数、方法定义和返回值等接口规则配置；支持文件方式将规则信息导入到规则库。通用数据检查服务（模型、编码、接口符合度），可根据预先配置好的检查规则，实时或定时的运行数据检查；信息化标准符合度检查服务；主数据在线抽取检查服务。支持对重复数据按去重规则进行去重；支持模型、编码及服务接口符合度分析；支持通过灵活的检查方式(数据源方式、文件方式、关联标准方式等)对信息化编码符合度进行检查或比对；支持纵向级联、横向共享数据的及时性、完整性、一致性校验。质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面 配

12、合数据综合治理工作，建立统一的数据质量稽核体系，对数据完整性、及时性、合法性、一致性进行检查。结合纵向数据级联、横向数据共享、主数据质量管理等，采用抽取、主动采集、直接访问等方式，对检查接口进行数据冗余分析、数据残缺及完整性验证等，全面提升公司数据质量。数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景标准管理年度计划文档管理权限管理术语管理.标准建设支撑标准化检查标准采用质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面 标准管理内容包括：标准体系资料库、年度计划管理、文档管理、标准管理、标准权限管理、术语管理、评论管理、标准编码符合度验证等功能；标准管理可以为信息化标准制定

13、者以及标准采用方提供完善的非结构数据和结构化数据管理，以及对标准制定产生的文档提供全面的搜索服务。同时，针对业务应用中标准编码的符合度情况进行验证，形成验证报告。标准信息项标准编码符合度验证标准应用分析JDBC方式文件方式标准检索非网省实施内容数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景模型库主数据模型业务应用模型公共数据模型数据仓库模型.模型权限管理模型管理模型预览模型检索质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面支持企业信息模型的日常管理；支持模型的浏览及检索管理；支持模型的关联关系设置、模型符合度检查。数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设

14、背景数据资源手册基础编码、指标定义 建立数据资源手册，实现对业务资源、指标资源、横向共享资源、纵向级联等资源的统一管理，并形成数据资源管理手册。数据资源手册维护 采用图文方式展现数据中心各类数据资源，提供更加可视化的方式展现数据资源。数据展现 支持对基础数据的全局检索、信息项定义浏览等。数据资源检索质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景集成场景配置质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面集成标准映射 支撑全网公共数据模型（SG-CIM）共享库的建立和管理，并通过系统实现对模型的统一管理和维护，保障全网

15、SG-CIM的一致性；基于企业服务总线，构建统一的组件接口规范（CIS）服务，为系统间的数据共享提供基础的数据模型与接口服务，为跨业务应用深度集成和SG-CIM模型落地提供技术支撑。集成接口监控数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景运维辅助运维知识管理运维报表水平评价基础参数维护为运维人员提供相关技术支持文档，含常见技术问题FAQ、常见错误问题清单及解决方法等。监控数据中心的数据量变化情况、并对ETL抽取异常信息进行监控分析。对数据中心的各类集成接口健康状况进行监控。质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面 通过对数据中心数据量统计、数据集成接口健康情况检

16、查、数据治理水平评价指标采集等功能，为数据中心运维人员提供运维支撑手段，辅助数据中心日常管理和监控。为数据中心日常运维人员提供直观的操作界面，如业务系统数据源、公告信息、首页展现报表等进行配置。针对数据综合治理工作汇总的各类定量指标进行采集，并将采集结果通过一体化平台上传到总部汇总。数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景公告信息搜索引擎信息展现公告信息提供系统公告列表展示及公告详情查询；提供个人待办列表展示及公告快捷处理页面，并可对个人待办进行分类展示。搜索引擎提供数据资源（模型、标准、数据元、编码、主数据等）的全局综合检索。信息展现提供整体、详细、不局限于非结构化格式的

17、用户使用手册；提供可配置的工具关键信息展示页面，采用portal方式实现；为分析系统、智能决策等应用提供数据展现配置套件及可视化组件。质量管理标准管理模型管理数据管理数据服务运维辅助数据桌面数据资源管理工具介绍建设目标功能架构功能介绍部署模式建设背景数据资源库ODS共享库业务应用数据库数据资源管理工具标准管理主要业务模块模型管理运维辅助数据服务集成/共享数据管理数据资源库ODS共享库业务应用数据库主要业务模块模型管理数据管理运维辅助数据服务集成/共享数据资源管理工具纵向贯通省市公司数据中心公司总部数据中心质量管理质量管理数据桌面数据桌面u 数据资源管理工具采用“两级部署（部分一级部署），多级应

18、用”模式实施，基于数据中心现有环境部署。u出于对全局核心数据资源统一管理、统一分发的考虑，标准管理、数据管理（主数据、企业级项目编码器）采用一级部署；出于大量业务应用系统两级部署，数据中心两级建设的考虑，数据管理（数据资源手册、指标管理等）、模型管理、运维辅助、数据服务、质量管理、数据桌面6个模块两级部署。一数据资源管理工具简介二数据资源管理工具应用策略三数据资源管理工具实施策略提纲数据资源管理工具应用策略数据资源管理工具的用户序号功能组件使用用户1标准管控标准组：标准制修订及检索、标准符合度验证；研发单位：信息化标准建设及浏览；系统：信息化标准编码、接口符合度验证过程中待验证的系统。2模型管

19、理SG-CIM实施人员：发布统一标准模型；数据中心运维人员：发布本地化个性模型，查询模型；业务人员：查询模型；系统：采用SG-CIM集成的相关约10个系统。3数据服务SG-CIM实施人员：接口开发配置；系统：采用SG-CIM集成的相关约10个系统。4数据管理数据中心运维人员：收集数据资源，统一管理；业务人员：查询数据资源；系统：主数据管理相关11个系统，企业级项目编码器相关6个系统。5质量管理数据中心运维人员：配置质量检查规则，生成质量报告；业务人员：查询质量报告；系统：按需接入，目前重点检查数据中心ODS的数据情况、IAS指标数据接入情况。6运维辅助数据中心运维人员：管理数据源，统计数据量；

20、采集数据治理水平评价指标；系统：目前重点在ODS数据交换相关数据展现和应用。7数据桌面所有人员：查看公告信息、统一搜索数据资源信息、自定义关注信息。数据资源管理工具应用策略1、按数据治理工作要求推进3、按公共数据模型（SG-CIM）实施场景推进 数据质量提升工作要求 数据资源统一管理要求 水平评价指标采集要求SG-CIM共享库部署SG-CIM集成场景工作要求标准管理质量管理数据桌面模型管理数据服务运维辅助数据管理2、按依据信息化标准全过程管控要求推进 对业务系统中信息化标准编码的应用情况进行检查（一级部署）提升数据资源的可视化展现能力非网省实施内容指标库指标关系数据来源逻辑规则业务规则数据质量

21、分析方式数据管理规则库数据共享库数据结构数据字典对应关系数据链路指标数据横向共享数据、业务数据数据梳理数据梳理指标数据资源业务数据资源质量管理规则管理质量检查水平评价数据资源管理工具应用策略 基于数据治理工作完成指标数据资源、业务数据资源、横向共享数据资源梳理，并将梳理结果导入数据资源管理工具。1.按数据资源统一管理要求，利用数据管理对指标数据资源、业务数据资源、横向共享数据资源进行梳理，形成数据资源手册；2.按数据质量提升工作要求，利用质量管理对数据资源手册中的各类数据资源按规则进行检查，形成数据质量报告；3.按水平评价指标采集和分析要求，利用运维辅助水平评价功能对各单位水平评价指标进行统一

22、管理、采集并上报。质量报告横向共享数据资源数据资源管理工具应用策略 根据信息化标准全过程管控要求，梳理信息化编码检查规则，利用标准管理的编码符合度功能对业务系统中的信息化标准编码的违例数据进行检查，形成编制符合度报告。1.数据资源管理功能目前能够检查的标准a)信息模型标准；b)信息分类与编码标准。2.支持的检查方法a)接口抽取方式：通过横向、纵向接口方式，将待检查系统中的待查数据抽取到工具库中进行检查；b)JDBC方式：通过JDBC方式连接到待检查系统数据库中进行标准比对检查；c)EXCEL方式：总部提供待查标准数据收集模板，待检系统端填报后由导入工具进行检查；d)指标量化考核方式：定义各种考

23、核性指标，由检查人员对标准应用情况分析后在线打分进行检查。非网省实施内容业务系统ERP生产管理营销管理综合管理数据中心SG-CIM共享库企业服务总线数据资源管理工具（模型管理、数据服务组件）服务注册服务调用服务调用数据接口数据资源管理工具应用策略 依据公共数据模型（SG-CIM）的实施推进路线，建立常态化的CIM库管理及业务集成服务支撑体系，建议总部统一推广的所有集成场景均采用数据服务进行集成，确保“全网省，全模型”集成接口标准的一致性和规范化，保证实施工作的有序开展，进一步提升数据共享开放能力：1.按照SG-CIM共享库统一部署和管理要求，利用模型管理对模型定义进行统一管控，利用数据服务对集

24、成场景中的各类接口调用进行支撑，形成模型库实例化数据；2.按照SG-CIM集成场景工作要求，利用数据服务对业务系统服务的服务注册、服务调用进行管理，对数据调用过程进行监控，保证集成场景的数据传输可靠。一数据资源管理工具简介二数据资源管理工具应用策略三数据资源管理工具实施策略提纲项目试点单位国家电网公司总部、华东分部，北京、上海、江苏、福建、重庆项目开发地点国网信息通信有限公司（国网信通亿力科技股份有限公司）项目上线和部署地点国家电网公司总部、华东分部，华北电网公司及26家省（自治区、直辖市）电力公司项目实施和维护地点国家电网公司总部、华东分部，华北电网公司及26家省（自治区、直辖市）电力公司数

25、据资源管理工具实施策略环境要求组织机构工作职责实施计划实施地点实施目标实施进度五、项目组织实施五、项目组织实施项目进度项目进度环境要求组织机构工作职责实施计划实施地点实施目标实施进度1、数据资源管理工具功能深化及完善开发2、数据资源管理工具-总部实施4、数据资源管理工具-推广实施3、数据资源管理工具-试点实施序号 工期内容 15个月/4人标准管理需求分析及设计24个月/2人模型管理需求分析及设计34个月/2人数据服务需求分析及设计43.5月/3人质量管理需求分析及设计53个月/4人运维辅助需求分析及设计61.5月/2人系统参数管理及数据桌面需求分析及设计73.5月/3人数据管理需求分析及设计8

26、5个月/2人试点实施单位个性化功能分析及设计91周/2人系统集成测试103周/1人第三方测试、安全测试、知识产权交接序号 工期 内容 13周/2人项目管理24周/2人差异分析及方案设计33.5月/3人数据收集及处理40.5月/2人系统部署及配置51月/3人系统集成61月/1人系统测试70.5月/2人培训81周/3人上线准备及切换93月/1人上线试运行支持1012月/1人质保运维序号 工期 内容 18天/2人项目管理26天/3人差异分析及方案设计324天/3人数据收集及处理43天/2人系统部署及配置512天/3人系统集成69天/3人系统测试74天/2人培训87天/2人上线准备及切换966天/1人

27、上线试运行支持1044天/1人质保运维序号 工期 内容 16天/2人项目管理26天/2人差异分析及方案设计315天/2人数据收集及处理43天/2人系统部署及配置59天/2人系统集成69天/2人系统测试74天/2人培训86天/2人上线准备及切换966天/1人上线试运行支持1044天/1人质保运维以下是依据数据资源管理工具可研给出的参考工期，实际进度以实施单位实施计划为准。通过模型管理，实现模型日常发布，并能够对统一模型和个性化模型进行检索；通过数据服务，各业务应用直接调用接口服务，实现数据共享交换；通过数据管理，统一管理数据中心各接入数据项；统一管理业务资源手册、指标管理手册、横向共享数据手册；

28、通过质量管理，实现横向共享数据及时性和完整性验证；实现数据质量验证规则配置，支撑数据质量报告生成；通过运维辅助，统一管理数据治理水平评价指标；统一管理数据源；实现数据量统计；通过桌面管理，采用图形化手段，提升数据资源管理的便捷性；未部署单位需要全新部署系统，其他已部署的单位只需升级系统。数据资源管理工具实施策略环境要求组织机构工作职责实施计划实施地点实施目标实施进度数据资源管理工具实施策略序号名称用途配置备注1数据库服务器部署数据资源管理工具数据库CPU：4核2.3GHz及以上内存：8G及以上硬盘：160G及以上沿用数据中心已有软硬件环境2WEB服务器部署数据资源管理工具系统硬件清单序号名称版

29、本软件厂商备注1WindowsSERVER 2003，64位微软2Oracle10g，64位甲骨文3Weblogic9.2甲骨文4JDK1.5甲骨文软件清单环境要求组织机构工作职责实施计划实施地点实施目标实施进度数据资源管理工具实施策略环境要求组织机构工作职责实施计划实施地点实施目标实施进度数据资源管理工具实施策略序号时间段内容1系统部署或升级工具组（主导）、数据中心运维团队（配合）2数据资源收集并导入数据中心运维团队（主导）、工具组（配合）3质量规则和报表配置数据中心运维团队（主导）、工具组（配合）4数据服务接口维护SG-CIM实施组（主导）、工具组（配合）5用户培训工具组（主导）、数据中心运维团队（配合）6门户目录集成门户项目组（主导）、工具组（配合）环境要求组织机构工作职责实施计划实施地点实施目标实施进度序号时间段内容12011年09月制定、编写实施方案，系统部署、升级22011年10月用户培训，门户集成；3配合数据治理工作组，梳理数据资源并导入工具4配合数据治理工作组，整理数据质量检查规则并导入系统，生成数据质量报告52011年08月-11月配合SG-CIM工作组，支撑SG-CIM共享集成场景推广工作62011年11月配合数据治理工作组，采集水平评价指标72011年12月起常态运维支持数据资源管理工具实施策略环境要求组织机构工作职责实施计划实施地点实施目标实施进度33