业务数据全生命周期管理工作思路课件.ppt

1、业务数据全生命周期管理工作思路1目目 录录123数据管理背景及目标数据管理背景及目标数据全生命周期管理数据全生命周期管理数据管理工作流程数据管理工作流程2应建立数据安全管理制度，规范数据的产生、获取、存储、传输、分发、备份、恢复和清理的管理，以及存储介质的台帐、转储、抽检、报废和销毁的管理，保证数据的保密、真实、完整和可用。商业银行数据中心监管指引银监办发2010114号对重要信息资源设置敏感标记，依据安全策略严格控制用户对有敏感标记重要信息资源的操作。检测系统管理数据、鉴别信息和重要业务数据在采集、传输、使用和存储过程中完整性，并采取必要的恢复措施。应采用加密或其他有效措施实现系统管理数据、

2、鉴别信息和重要业务数据采集、传输、使用和存储过程的保密性。金融行业信息系统信息安全等级保护实施指引JRT0071-2012 银行业金融机构1应当制定全面科学有效的数据管理制度，包括但不限于组织管理、部门职责、协调机制、安全管控、系统保障、监督检查和数据质量控制等方面。银行业金融机构数据治理指引银保监发【2018 】22 号建立实施信息分类保护体系，培训员工信息保护流程。严格管理客户信息的采集、处理、存贮、传输、分发、备份、恢复、清理和销毁。保存交易记录，确保完整性，安全保存和可恢复。商业银行信息科技风险管理指引银监发200919号1.11.1数据管理的外因- -金融行业监管的相关要求3确保数据

3、集至少有一个完整年度的数据周期，能够看到一个完整年度的数据，这通常是数据保存周期的最低要求。越来越多的需求要包括去年加上今年的数据，这样会要求设置25个月，使得能够处理2年以上时间段的数据分析。 主要应用于内部管理的数据使用，受业务使用需求驱动。此类规则主要是受税务及其它报告法规的需求驱动，在国际会计准则下，一般都要求保留7年的可查询业务场景数据。此规则也是为适应经济情况分析的需求，基本近似于一个完整的经济周期，对于制定合理的业务规划预算是非常重要的分析数据源。银行的数据保存周期策略，最常用的经验法则是13个月规则和7年规则。1.11.1数据管理的外因- -国际会计准则等业务管理需求41.21

4、.2数据管理的内因监管审计和经营分析和数据查询需求5降低成本：按业务与技术分析要求，控制生产在线数据容量，降低高端存储的容量成本提升性能：通过迁移并清理历史数据，重新回收数据库的存储资源，提升应用系统交易与批量性能有效处置：将生产数据库容量控制在较小的范围内，在发生数据库等故障的情况下，便于快速处置在线在线生产数据生产数据归档瘦身近线生产数据数据迁移数据迁移按需回退按需回退结构数据非结构数据归档库交易访问明细查询数据调用归档瘦身归档瘦身61.21.2数据管理的内因解决关键系统数据库容量管理问题 目目 录录123数据管理背景及目标数据管理背景及目标数据全生命周期管理数据全生命周期管理数据管理工作

5、流程数据管理工作流程72.12.1数据的全生命周期管理定义 数据全生命周期管理数据全生命周期管理：是指根据数据价值随时间推移的演化关系，提供高效、低成本、安全、访问便捷的管理架构。 数据全生命周期管理贯穿于数据产生数据产生（开发设计、投产变更）、数据使用数据使用（采集、修改、存储、调阅）、数据保数据保管管（备份、恢复、测试）、数据销毁数据销毁等各个环节。活跃活跃10%半活半活跃跃20%静态静态70%创建创建安全与保护安全与保护保存与归档保存与归档访问与访问与查找查找回收回收大多数是非结构化大多数是非结构化82.12.1数据的全生命周期管理目标 数据是我行的重要资产之一，健立健全数据管理体制，满

6、足监管要求，提升数据管理能力，充分发挥数据价值，为经营决策提供有力支撑，已成为当前科技工作的主要任务。NormOptinizeSupportEfficiency全生命周期管理规范管理 提高系统资源使用效率，确保系统安全、稳定、高效运行。提高效率 通过规范数据的生命周期管理，提高数据的整体管理水平，满足监管要求。 做好历史数据管理，为客户服务和经营分析提供数据支撑数据支撑 优化数据存储结构，有效控制在线数据规模，提高生产数据访问效率。优化存储结构9管理对象结构化数据非结构化数据数据存放策略在线近线离线数据访问方式平台接口生产数据库归档/历史数据库大数据平台备份工具/磁带生产存储内容检索平台备份工

7、具/磁带DBDB在线访问专门工具访问专门工具访问在线访问专门工具访问恢复后访问恢复后访问2.12.1数据的全生命周期管理方案 102.12.1数据的全生命周期管理理论与方法 在数据的整个生命周期中，不同阶段的数据其性能、可用性、保存等要求也不一样。 通常情况下，在其生命周期初期，数据的使用频率较高，需要使用高速存储，确保数据的高可用性。 随着时间的推移，数据重要性逐渐降低，使用频率会随之下降，应将数据进行不同级别的存储，为其提供适当的可用性、存储空间。 最终大部分数据将不再会被使用，可以将数据清理后归档保存，以备临时需要时使用。在线阶段在线阶段归档阶段归档阶段销毁阶段销毁阶段系统系统快照快照用

8、户用户快照快照在线归档在线归档离线归档离线归档历史数据历史数据平台平台影像平台影像平台老化表老化表磁带磁带光盘光盘低端磁盘低端磁盘结构化非结构化归档清理清理转移 在线归档阶段（也被称为近线阶段）在线归档阶段（也被称为近线阶段）：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在另外的磁盘并提供相应的查询； 离线归档阶段离线归档阶段：将访问频度较低且应用需求不高的数据从应用 中分离出来，保存在磁带、光盘及低端磁盘上。离线归档后不提供信息联机查询入口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统。数据生命周期管理流程数据生命周期管理流程11目目 录录123数据管理背景及目标

9、数据管理背景及目标数据全生命周期管理数据全生命周期管理数据管理工作流程数据管理工作流程123.13.1数据管理工作流程各阶段的主要管理内容15423设计（开发）阶段：结构化数据支持读写分离，非结构化数据支持按时间和业务部门进行分离；充分考虑数据清理机制。投产变更阶段：评审数据管理服务协议，确认协议中的备份策略、清理策略的合理性。修改维护阶段：根据通过审批流程的哈尔滨银行应用系统生产数据维护申请书进行数据维护，并记录相关信息。数据调阅阶段：业务部门提交经主管业务部门审批通过的哈尔滨银行应用系统生产数据调用申请书。经科技部审批通过后，运维中心提取数据并漂白后反馈业务部门。数据备份阶段：根据已签订的

10、数据管理服务协议建立备份策略，并制定恢复测试计划，验证备份数据的可用性。数据管理6数据销毁阶段：对超过保管期限的生产数据提交拟销毁数据清单和申请，经科技发展部审批通过后，在办公室和安保部全程监督下实施销毁。133.23.2数据管理工作流程数据管理服务协议 数据管理服务协议是为保证各应用系统环境及业务数据的安全，确保在生产系统发生故障、事故或者灾难时能够快速和完整的恢复生产环境数据，满足相关业务部门、稽核、审计以及监控部门对数据的调阅和检查要求而制定的协议文档。 数据管理服务协议是明确系统环境数据系统环境数据和业务数据业务数据的备份内容备份内容、备份方式（在线、近线、离线）、数据保存周期、数据清

11、理规则备份方式（在线、近线、离线）、数据保存周期、数据清理规则等内容。数据备份数据备份分类分类系统环境备份系统环境备份业务数据备份业务数据备份操作系统操作系统数据库软件数据库软件中间件系统中间件系统应用程序应用程序应用应用 日志日志确认人确认人运维经理运维经理：主要负责操作系统、数据库软件、中间件系统以及相应配置文件需备份内容的确认工作以及根据已确定的数据管理协议内容提交备份申请。研发经理研发经理：主要负责应用系统、应用配置文件、应用日志等需要备份内容的确认工作。业务经理业务经理备份内容备份内容备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份

12、任务名称备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份任务名称清理规则清理周期数据库零级数据库正文非结构化数据备份数据备份模式及保留周期运维经理研发经理业务经理签订数据管理服务协议建立数据备份及清理策略按协议执行备份及清理任务检查数据备份情况并测试数据有效性143.33.3数据管理工作流程数据调阅流程153.33.3数据管理工作流程数据调阅流程申请单位申请单位 申请日期申请日期 申请人申请人 联系方式 申请人所在单位负责人申请人所在单位负责人 数据所在系统 数据调用目的：数据调用目的：业务分析业务分析 业务测试业务测试 审计审计 案件分析案件分析 财务检查财务检查 数据上报数

13、据上报 其他：其他： 数据使用环境：测试环境数据使用环境：测试环境 其他环境：其他环境： 调用数据内容：调用数据内容： 数据提交时间数据提交时间 数据使用截至日期 数据提交周期数据提交周期一次性 每月定期（需每年审批一次） 其他 数据屏蔽要求（如无特殊要求，缺省按照管理规范中数据屏蔽要求执行，如数据屏蔽要求（如无特殊要求，缺省按照管理规范中数据屏蔽要求执行，如不能执行缺省屏蔽，请详细说明原因）不能执行缺省屏蔽，请详细说明原因）数据保密声明：数据保密声明：本单位保证：将严格遵照以上声明的目的使用数据，保证不向声明使用范围本单位保证：将严格遵照以上声明的目的使用数据，保证不向声明使用范围之外的任何

14、人员扩散，否则，本部门自愿承担因数据非法扩散给银行造成的之外的任何人员扩散，否则，本部门自愿承担因数据非法扩散给银行造成的经济损失。本次申请审批通过后保证自动生效。经济损失。本次申请审批通过后保证自动生效。 业务主管部门意见业务主管部门意见 签章：业务主管行长意见业务主管行长意见 签章：银行计算机系统生产数据调用申请书银行计算机系统生产数据调用申请书申请书要点申请书要点：1.对数据调用目的调用目的进行细分；2.区别数据使用环境：数据使用环境：测试环境、生产环境；3.明确数据提交周期数据提交周期：一次性、每月定期、其他；4.明确要求描述数据屏蔽需求数据屏蔽需求，为数据脱敏处理提供依据。163.4

15、3.4数据管理工作流程数据备份流程人员角色人员角色 业务管理人员业务管理人员系统开发人员系统开发人员应用管理员应用管理员系统操作人员系统操作人员备份数据管理员备份数据管理员介质管理员介质管理员系统运行负责人系统运行负责人岗位描述岗位描述是指对各类生产系统的业务功能进行日常维护管理的人员是指对各类生产系统进行日常应用开发管理的人员是指对各类生产系统进行日常维护管理的人员是指对各类生产系统进行日常操作的人员是指对数据备份的主要软硬件环境进行管理的人员是指对备份介质进行日常维护管理、对备份有效性进行检查确认的人员数据备份的审批人和监督人工作职责工作职责负责提出业务数据备份的需求负责提出和确认数据备份

16、需求，并配合完成数据备份策略的制定负责对各类数据备份策略的制定和备份申请的提出。负责执行预先定义好的数据备份任务和数据备份检查任务负责数据备份软硬件的安装、卸载、变更和维护，数据备份策略的制定，以及数据备份任务的建立、变更和撤销负责备份介质的存放、保管、检查、转移和销毁负责各类数据备份策略的审批，数据备份任务建立、变更和撤销过程的审批，以及对系统管理员和数据管理员在数据备份管理方面工作的监督。备份策略分类备份策略分类数据备份周期数据备份周期数据保留时间数据保留时间数据备份介质的选择数据备份介质的选择数据保管地点及份数数据保管地点及份数系统环境备份策略系统环境备份策略不超过不超过1个月个月不小于

17、不小于3个月个月核心及关键类系统数据备份介核心及关键类系统数据备份介质选择虚拟带库和物理磁带库质选择虚拟带库和物理磁带库两地机房各一份两地机房各一份应用环境备份策略应用环境备份策略13个月个月13个月个月磁带库磁带磁带库磁带仅在应用所在机房保留一份仅在应用所在机房保留一份业务数据业务数据备份策略备份策略数据库零级备份数据库零级备份每天每天不少于不少于3天天虚拟带库和物理磁带库虚拟带库和物理磁带库同城两地机房各一份同城两地机房各一份数据库正文备份数据库正文备份可选每天可选每天/每月每月/每年每年可选一个月可选一个月/一年一年/永久永久 可选虚拟带库或物理磁带库可选虚拟带库或物理磁带库可选一份可选

18、一份/两地机房各一份两地机房各一份其他数据文件备份其他数据文件备份 可选每天可选每天/每月每月/每年每年可选一个月可选一个月/一年一年/永久永久 可选虚拟带库或物理磁带库可选虚拟带库或物理磁带库可选一份可选一份/两地机房各一份两地机房各一份岗位职责表岗位职责表数据备份策略表数据备份策略表173.43.4数据管理工作流程数据备份流程1. 备份任务建立：备份任务建立：签字确认签字确认数据管理服务协数据管理服务协议议制定数据备份策略；制定数据备份策略；通过通过ITIL提出备份策略申请提出备份策略申请应用管理员开发和建立备份任务开发和建立备份任务数据管理员2.备份任务执行：备份任务执行：调度指令执行调

19、度指令执行/监控监控执行错误通数执行错误通数据管理员据管理员系统操作员确认执行结确认执行结果（正常）果（正常）系统操作员“永久保留永久保留”数据数据建立建立“永久保留数据备份工单永久保留数据备份工单”系统操作员系统操作员4.执行结果确认执行结果确认：每天备份任务的执行情况将通过邮件发送给备份策略提出申请人进行确认（每天备份任务的执行情况将通过邮件发送给备份策略提出申请人进行确认（目前系统组正在做此项工作目前系统组正在做此项工作）5.介质可用性检查：介质可用性检查：专用介质柜和磁带库中的磁带介质专用介质柜和磁带库中的磁带介质每年检查一次每年检查一次介质管理员登记检查结果登记检查结果系统运行负责人

20、系统操作员3. 变更与撤销：变更与撤销：业务变更后的业务变更后的数据管理服务数据管理服务协议协议制定新的数据备份策略；制定新的数据备份策略；通过通过ITIL提出备份策略提出备份策略申请申请应用管理员开发和建立备份任务开发和建立备份任务数据管理员1819业务数据管理与归档相关工作、配套制度与细则20以应用系统为对象的业务数据管理协议21业务数据归档与全生命周期管理整体工作规划 目前的数据管理，是从数据已经创建并生成开始，规划对其存储、归档、使用、销毁等，但缺少了关键的数据规划阶段，也就是以目标为导向，确定具体业务场景所应管理的数据内容、分布、标准、控制方式等要素，并按照各个业务场景，形成有针对性

21、的数据管理协议，例如：三方渠道类业务数据管理协议，并将数据管理协议落实到对应的管理工具中，调度相关人员与工具，实现业务数据的全生命周期控制，整体管理工作流程图示如下：22业务数据归档与管理当前需要解决的问题与信息安全管理、数据治理等内部管理制度与工作，以及内审外审的衔接配合问题【制度-流程-任务-介质】缺少按业务数据使用场景，进行应用系统的数据结构映射与连续性控制手段，尤其是应用系统换代后的业务数据视图数据结构连续性问题【已下线核心贷款数据调阅问题】；缺少针对手工数据管理协议的动态更新控制手段，与投产关联，并且实现数据库正文抽取、去重、防篡改、防丢失等【卡前置日志审计调用问题，4月介质丢失】；

22、新核心及外围系统在实施阶段，规划在线数据保存周期，但需配置可靠的迁移、抽取、归档、查询，提供长期明细数据的查询数据源【分7天、3个月、长期模式】；缺少可靠的明细与场景数据调用源【尤其是非结构化数据】，安全可靠的数据清理手段；对于已有的在线、近线、归档存储资源【存储、SDS、SVC】、离线介质的统一登记与控制【离线介质的在线备份】；23业务数据归档与管理项目实施目标，日常工作规划（1 1） 登记：以要求/需求为基准，针对应用系统，建立线上业务数据管理协议，包括视图、规则、字典、对象、任务、介质、周期、条件（帐前、时点.）等关键要素【工作输入：监管审计、数据治理、数据事件；工作输出：运维任务、介质

23、调度、数据服务】； 映射：以业务数据视图为基准，建立应用系统数据结构映射关系及历史版本信息表，同时实现登记数据结构与生产数据结构的比对，确保业务数据视图的连续性【工作输入：数据治理、投产变更；工作输出：数据调用】 调度：针对在线数据的抽取、备份、归档、映射、清理、调用、回灌、漂泊、测试、销毁的全过程，与相关管理平台（如ITIL）、加工工具（如NBU）等集成，实现全过程控制，避免遗漏【工作输入：事件、审计；工作输出：检查、调用】 视图维护：根据监管、审计、分析、内控、巴三等要求，建立并维护业务数据视图，一个业务数据视图对应N个应用系统的部分表结构【工作输入：数据管理、投产变更；工作输出：数据治理

24、、运维任务】； 数据重构：针对近线、离线的结构化数据、非结构化数据（如信贷全流程的交易明细与影像文件），执行数据重构任务【内置、集成】，并登记重构结果，提供查询界面【工作输入：运维任务、监管审计；工作输出：数据调用、审计检查】24业务数据归档与管理项目实施目标，日常工作规划（2 2） 补充工具：可靠抽取、安全删除、去重压缩、归档映射、加密防篡改等数据对象管理工具； 已有集成：数据漂白、非结构化数据迁移、数据库克隆、NBU等； 调用控制：周期性程序数据调用（提供API、数据等接口）、临时性任务调用（授权、漂白、水印、销毁等） 梳理存量业务归档数据，确认缺漏数据及补救方案，数据库正文导出及归档，介

25、质登记，数据查询等 在线控制：根据数据管理协议，执行线上数据的抽取、备份与清理，控制容量； 近线查询：将线上数据抽取到近线（中端存储、XIV、GPFS、大数据等）提供程序查询接口； 归档调阅：抽取数据正文，按业务场景重构、映射、归档（低端存储、SVC、GFS等），提供数据回灌、回复测试、调阅漂白等功能； 离线管理：按数据管理协议备份离线数据，并做介质保管登记，同时按对象登记，做离线数据线上备份控制（低端存储资源，去重、压缩处理）252627p 数据需求视图管理数据需求视图管理以监管、管会、审计、经营分析、风控等要求为基准，建立业务数据需求视图；p 老核心数据归档老核心数据归档按业务数据需求视图

26、要求，建立视图与老核心以及外围系统的数据映射字典，并抽取相关库表数据进行归档处理；p 新核心数据归档新核心数据归档：按业务数据需求视图要求，建立视图与新核心以及外围系统的数据映射字典，并抽取相关库表数据进行归档处理，形成日常业务数据的备份、归档、清理、调用、销毁操作技术流程；p 数据管理架构设计数据管理架构设计自上而下，建立业务需求视图管控、数据操作工具、归档介质容器三层数据管理架构体系，配置相关系统资源；新核心整体系统架构规划设计（数据迁移与管理维度）27新老核心切换，应用系统下线的主要工作相关签报（业务、技术）、监管审计材料报备等，还需关注第三方合作机构的协调；系统环境、业务数据、相关数据

27、（尤其是外部数据）的整体备份协议；新老系统交替后的业务场景映射变化，尤其是老系统的数据字典最终版本；老系统下线后资源回收计划，尤其是专用设备资源的回收等；28适应创新业务的数据管理要求：影像平台架构图EMCNASES 索引数据库*5标准影像应用*3非标准影像应用*2负载负载负载SSDNAS低速存储高速存储网络设备全流程和相关渠道其他外围系统生产区域生产区域DMZ 区域区域互联网三方上传平台*4负载互联网业务数据需要流经三方上传平台处理后可流转到后方影像平台数据流向标准和非标准处理灾备灾备GFS 存储平台非结构数据存储平台EMCNASSSDNAS低速存储高速存储网络设备GFS 存储平台非结构数据

28、存储平台存储间数据同步存储间数据同步负载标准影像应用*2非标准影像应用*2负载ES 索引数据库*4负载分布式数据库实时和半实时同步分布式数据库实时和半实时同步29三方数据（结构、非结构）的传输控制与归档管理DMZ 区域区域互联网三方上传平台*4负载互联网业务数据需要流经三方上传平台处理后可流转到后方影像平台数据流向标准和非标准处理生产环境影像UCP平台由于业务系统对第三方上传影像的需求日益增多，由于对外接入平台无法满足影像流的上传压力，并且大部分对外链接系统不具备过滤和控制以及安全方面的相关处理工作，所以计划在 DMZ 区域建立第三方上传平台来支撑业务流转。当前已知需求：话时贷、大数金融、车贷

29、、分期乐等等需求当前已知需求：话时贷、大数金融、车贷、分期乐等等需求后续传统的线下销售会逐步到线上销售，所以对外围系统业务依赖也后续传统的线下销售会逐步到线上销售，所以对外围系统业务依赖也就越多。就越多。30业务数据归档与管理实例：数据字典管理，与线上比对31数据管理的制度、细则、手册：监管、科技、运维32金融业务创新探讨：由成本变收益，提供数据管理服务33341、数据全过程规范管理2、数据安全管理任务3、原始交易现场恢复4、支持监管审计要求5、业务关系与数据分析6、平台化工具与集成工具管理 系统归档无NBU备份系统归档NBU备份备份调度集成(TSM/NBU/ETL脚本)核心网银生产系统非结构化数据归档管理仓库集市周边系统EDWDM管控规划应用方案数据规划数据映射系统归档工具安全删除去重压缩退役销毁监管规则防篡改非结构化管理ITIL集成监管审计环境备份恢复恢复/回灌调度/监控/预警平台应用查询/追溯数据协议映射管理数据定义变更管理系统备份指令业务数据归档与管理：协议、过程、任务、工具与数据全生命周期配套的存储架构规划与实施35