1、某银行数据仓库建设方案设计2013-6-2013-6-2525内容提要 建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计 建设背景 自2010年3月数据下载系统全国推广上线以来，全行各省（区、市）以数据下载系统为依托开展本省数据分析工作。2012年全国各省（区、市）数据分析团队应用数据下载系统中提供的数据共开展了466项主题分析，并完成大量日常数据提取和统计工作。在使用数据过程中，由于各源业务系统同一指标统计口径不一致，数据下载系统中各业务系统库表数量庞杂等问题，各省（区、市）数据分析人员在使用数据时，面临着数据提取来源不明确、统计方法不一致等问题。基于以
2、上问题，亟需建立一套统一的数据指标库提供给各省（区、市）数据分析团队使用。当前现状现有客管系统数据不能完全支持数据分析的需要：包括数据的历史时长不够、数据质量问题、数据缺失问题（基于风险、客户行为、财务管理等数据缺失比较严重）等没有统一的分析平台：各支持厂商和总行自主分析团队的分析环境比较零乱，没有统一的系统分析平台与环境，不能对开发效率、质量、流程等形成统一的管理不能有效的对分析需求、分析过程进行集中管控、分析结果展现等各期的专题分析成果没能发挥其持续业务效益，没有形成有效的知识库管理对各省分行数据分析团队支持效率和效果不够对分析结果的应用落地环节还不够顺畅，没有对包括营销系统、客户服务中心
3、、风险管控中心等形成闭环式应用没有一个统一的分析数据管控中心，数据安全存在一定风险内容提要 建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计 系统建设目标 构建面向全行的企业级数据仓库平台,统一完善各类经营发展指标的数据来源及统计口径 ，形成一套适用全行经营发展的指标体系，全面实现总行、各省分行数据分析团队在统一 平台上进行数据分析与挖掘服务 实现各种第三方分析工具的灵活接入与管控，给各业务部门提供自助取数与灵活查询 的功能 实现对分析全过程的管控，提高分析效率和质量 建立分析平台 Portal门户，实现对分析成果、分析流程、知识库的管理与应用 实现对分析
4、成果与灵活查询结果向各类业务应用的有效数据推送 系统建设目标 内容提要 建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计数据分析执行过程的工作支撑平台数据分析所需分析能力的提供平台数据分析生成成果的应用与管理平台实现包括灵活查询、专题分析、深度挖掘建模等多种分析模式的管控；提供各种第三方分析工具接入与支持数据分析所需业务数据的管理平台数据管理平台分析能力提供平台过程支撑平台成果应用平台数据管控平台数据分析平台定位数据分析平台将实现对分析相关的数据、能力、过程与成果进行一站式管理与支撑分析数据管理平台内涵分析数据管理平台内涵 提供分析数据数据分析平台要存储数
5、据分析所需的各类数据，并按照不同的分析要求为分析人员提供相关业务数据 减少重复处理数据分析平台须对多个分析主题均需要的通用性数据要求进行集中支撑与统一实现，避免分析人员进行重复性的数据处理 降低分析门槛在逻辑数据模型的基础上，通过按业务方向与分析领域的语义层建设，避免业务人员直接通过基础数据层进行数据分析，降低数据分析时的数据提取难度，提高数据使用率 保障数据安全数据分析平台在为不同业务部门与机构提供数据分析服务的同时，必须确保数据的安全，如隐私数据加密、数据权限管理等数据分析平台将提供强大的数据处理与分析能力分析能力提供平台内涵基础分析数据挖掘敏捷分析内涵要求实现技术支持不同用户同时访问分析
6、平台，并使用SQL脚本处理数据与灵活查询并发查询能力快速计算能力Ad-hoc 灵活查询Ad-hoc 灵活查询提供数据挖掘与建模的能力，帮助业务部门进行复杂的模型构建与分析内置或支持第三方主流的数据分析与挖掘软件TWM/R/SPSS/SAS.支持灵活快速的自定义分析，以实现对多样化分析主题与内容的支持基础数据完备引入外部数据分析角度灵活Data MartData LabOLAPData Lab 是一项敏捷分析技术，可以让用户导入外部数据，进行灵活的组合分析Data Lab与敏捷分析Enterprise Data WarehouseExternal DataData LabsRead only f
7、or Data Lab usersRead,writeSASdatacsvdataProductionMaster DataReference DataCUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDESCRIPTIONORDER ITEM SHIP
8、PEDQUANTITYSHIP DATETransaction DataData Lab 内涵Data Lab 价值为不同用户设定一定的Data Lab空间与计算能力支持不同类型与来源的外部数据导入，实现外部数据与分析平台数据的组合分析通过Data lab，可以极大的提升分析人员的自主性与灵活性，实现各省分行分析团队都能在同一平台上进行灵活分析应用数据分析平台将为数据分析的执行过程提供支撑，通过对数据分析的项目式管理支撑，可以提高工作效率，促进能力复用分析过程支撑平台内涵内涵功能要求对数据分析的需求进行管理，为需求提供方与支撑方提供需求的整理、评估等过程支持需求提出需求分析思路设计方案评审对数
9、据分析的执行过程进行监控，包括完成情况，人员投入、时间周期等各类中间过程与结果的保存、共享等对数据分析的产出物进行管理，包括分析报告、报告评审、营销应用方案以及反馈等内容数据分析报告成果评审反馈中间结果管理项目计划管理完成情况监控分析人员投入数据分析平台将实现对数据分析工作的成果进行管理分析成果管理平台内涵成果固化业务应用知识管理内涵表现形式将得到验证并需要重复进行的分析成果，以前端应用的形式固化在分析平台中前端可视化应用模型报表.将分析成果以各种方式在企业实际业务过程中进行应用，提高数据分析工作给企业带来的价值以数据接口形式将客户信息与营销建议推送至生产系统或营销系统中将挖掘出来的客户属性与
10、偏好进行管理与展示将数据分析中产生的知识与技能在企业内部进行广泛分享，提高知识的复用性知识获取知识编辑知识分享数据分析平台将实现对有价值的分析成果，以前端应用的形式固化下来分析成果固化固化范围固化方式按照不同的业务目的与应用场景，选择合适的固化方式与展现形式只有需重复进行，且经过验证过的有价值的分析成果，才需要进行IT固化常规的重复性的分析需求经过验证有业务价值的成果业务部门有强烈使用需求数据报表模型接口以数据属性的形式固化客户偏好与知识以分析报表的形式固化常用分析内容以挖掘模型的形式固化复杂分析并定期执行以数据接口的形式固化信息推送过程，或者通过第三方分析工具实现灵活查询分析数据分析成果在实
11、际业务应用中主要包括三种类型：即面向营销、面向客户服务、面向风险管控业务应用支持 营销信息推送关键信息提醒内涵表现形式将数据分析成果中的营销机会推送至生产一线系统或营销管理系统中，让一线执行营销活动与一线生产系统或营销管理系统的数据接口推送内容包括客户名单推荐产品管理建议营销方案将数据分析成果中的关键信息以邮件、短信等方式推送到企业关键人手中，提醒其制定决策，执行有针对性的管理策略在数据分析平台设定提醒规则，并通过短信或邮件方式进行提醒推送形式包括短信邮件在数据分析平台将建立一个获取、整合、分享相关知识的系统流程与环境，提升数据分析相关人员的分析能力知识管理 数据分析知识范围业务知识分析技能业
12、务应用成功案例对具体业务的背景知识与分析思路总结对数据的处理技能基础统计分析能力数据挖掘与建模能力分析成果的应用建立营销方案的设计经验营销效果评估结果案例库的建设相关文档的管理 知识管理功能要求具备各类数据分析知识的上传与保存功能，并建立配套机制对上传行为进行鼓励按照业务主题与知识类型对相关知识进行整合，建立目录管理建立数据分析分享论坛，鼓励数据分析人员之间的知识共享与传播知识获取知识整合知识分享内容提要 建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计 系统逻辑架构 功能框架 技术架构 数据架构数据架构-ODS ODS在业务系统和数据仓库之间形成一个隔离
13、层，转移一部分业务系统细节 查询的功能，完成数据仓库中不能完成的一些细粒度查询ODS源数据层数据内容和数据结构与源系统一致存储短期历史数据，支持历史数据查询支持增加数据和全量数据提供服务集中存储所有源系统数据，隔离对源系统依赖满足目标系统对高时效性和真实性的数据需求ODS标准化数据层数据结构与源系统一致对源系统数据进行统一的标准化处理，包括数据定义和统计口径的一致性，避免各应用数据加工结构不一致存储短期历史数据支持增量数据提供服务数据架构-数据仓库数据架构-数据仓库数据仓库基础层前端应用服务应尽量避免直接访问基础层数据保存时点全量和中长期历史数据数据具有全面性、整合性和高可用性 主要以现有客管
14、系统数据为基础，并按照NCR的FS-LDM模型进行数据整合数据仓库语义层 建立多层次的数据访问服务体系，以满足不同类型应用的需要。可分为中间层与应用 层，中间层包含预处理层、汇总层与指标层 汇总层一般实现各时间段或时间点各层级机构所辖范 围内的卡片、账户、客户、渠 道、产品、客户经理、凭证等各类汇总级别的整合 预处理层按账户、卡、合同等业务实体计算出月度、季度或年度的轻度汇总数据 指标层建立对账户、交易、资产余额等信息的多维分析数据集，从而建立 起能满 足全行业务发展、经营管理、战略决策、信息披露、外部监管与审计等各类行内外 需求的全行统一指标库,并且全行各类报表都应以本指标库为基础生成，以确
15、保报表 数据的唯一性、权威性，并保证不同报表之间勾稽关系的一致性。应用层针对不同业务领域或组织机构，建立逻辑或物理的数据集市，在保证数据安 全的同时，促进数据的使用 数据架构-数据集市 数据集市固定集市提供各类查询服务提供OLAP多维分析服务提供数据挖掘服务提供数据实验室服务提供各类报表查询服务动态集市报表集市动态集市数据架构-历史库按照不同的归档周期和频率等参数设置，将ODS和数据仓库中的数据自动、及时归档为在线历史数据按照在线历史数据的归档周期和频率等参数设置，自动、及时将部分在线历史数据归档到离线库，存储在低端存储设备上。并且在需要时可做数据恢复，将磁带库数据临时恢复为在线历史数据中进行
16、查询。在线历史库离线库数据分析平台访问结构基础基础整合数据整合数据数据库数据库语义层语义层指定数据集指定数据集数据集市数据集市指定指定数据集数据集定期报告定期报告BI 工具数据结构工具数据结构Ad Hoc视图视图/虚拟虚拟Cube指定数据集指定数据集分析报告分析报告Ad Hoc数据挖掘数据挖掘BI分析工具分析工具基础视图基础视图访问控制访问控制共享区共享区访问控制访问控制应用区应用区分析分析数据集数据集应用视图应用视图/Cube安全视图安全视图应用视图应用视图/Cube内容提要 建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计数据模型设计设计思路 以Ter
17、adata成熟模型产品NCR FS-LDM为蓝本，充分考虑到源业务系统各类 信息和资料的实际情况和当前现状，驱动模型客户化驱动模型客户化的主要因素 在模型中记录一些模型产品中不包含的信息，需要对原模型产品进行扩展 模型产品中的某些信息无法从源系统获取或对某些信息对本系统没有用处 某些业务规则与模型产品假设的规则可能存在差异客户化的主要工作内容 在模型产品的既有结构上新增实体和属性 删除模型的某些结构 对现有结构进行修改数据模型设计FS-LDM模型产品客户化的优点 FS-LDM模型总结了全球二百多家金融机构的实施经验，集成了国际商业银行科学的、先进的管理经验，可以帮助贵行加快与国际商业银行接轨
18、FS-LDM具有很大的可扩展性和灵活性 描述了各类业务以及这些业务之间的关系，通过定义实体、实体的属性以及实体之间 的关系来描述具体的银行业务逻辑 是满足第三范式（3NF）的数据模型 FS-LDM对数据仓库的物理模型（PDM）设计具有指导作用，起点高，可以最大程 度缩短开发周期、从而降低风险、节约投资客户化注意事项 考虑模型产品是否适合本系统 客户化的部分能否解决现有源业务系统的数据存放问题 客户化的部分要有预见性（如数据的扩展、历史的变更）必须保持客户化部分与模型产品原有设计规范、设计风格等的一致性逻辑视图(第三层)294多个逻辑视图多个逻辑视图细节(第三层)2117 实体实体8865 属性
19、属性主题区域(第一层)10 主题区域主题区域概念(第二层)50 多个实体多个实体单独分离的单独分离的ERwin文件文件FS-LDM的不同层级数据模型设计 数据模型设计 NCR金融业逻辑模型FS-LDM(第一层：主题区域)财务财务 资产资产当事人当事人区域区域地理区域，物理的或电子的地址个人或机构事件事件一种资金或非资金的活动，可能需要也可能不需要银行与客户的直接接触内部组织内部组织金融机构分支机构及业务单元协议协议客户和金融机构之间为某种产品或金融服务而设置的某种约定产品产品任何市场化的产品或服务，包括这些产品的条款或条件营销活动营销活动为了获取、挽留客户或提高用户的使用率而采取的战略、计划或
20、促销活动渠道渠道银行同客户交互或接触的各类渠道银行内部财务状况当事人拥有的资产 数据模型设计 NCR金融业逻辑模型FS-LDM(第二层，概念)数据模型设计 NCR金融业逻辑模型FS-LDM(第三层：细节，以当事人主题为例)数据模型设计 NCR金融业逻辑模型FS-LDM(第三层：细节，以内部机构主题为例)数据模型设计模型设计步骤物理模型设计逻辑模型设计构建概念模型系统需求分析项目前期准备数据模型设计模型设计步骤-项目前期准备 组建项目团队和人员分工 收集各方资料，制定资料收集模板，如源系统介绍模板、源系统数据字典模板 （至少包含系统数据结构）、源系统样本数据说明书模板、业务需求分析模板等 确定数
21、据源范围 确定数据模型设计工具和模型设计规范 项目组数据模型产品FS-LDM培训 调研各相关源系统（包括系统架构、设计思想、系统定位、主要业务功能 和业务流程、关键数据表以及表关系、与其它系统关系等）建立源系统问题跟踪机制数据模型设计模型设计步骤-系统需求分析 通过对IT应用规划的解读，同时结合数据分析平台的建设目标，确认数据模型设计重点 通过对源系统的概要调查进一步确认源系统范围 通过业务访谈等方式进行前端应用业务数据分析和功能分析，业务数据分析包括涉及的指 标、查询条件、分析维度、统计口径、计算公式、处理周期等；功能分析包括功 能模块的 目的和用途、主要业务流程调研、报表格式、展现格式等
22、整理源系统数据结构，归纳整理代码表，产生数据字典表 分析源系统样本数据的填写规则查询、验证业务规则及数据表关联、对数据质量进行检查 ，产生数据质量检查表 基于对源系统数据结构和样本数据的分析，对源系统的表进行取舍，产生数据表级分类表 基于对源系统数据结构和样本数据的分析，对筛选后的源系统表的字段进行进一步取舍，确定处理策略，产生数据字段级分类表 在系统需求调研的基础上进行系统数据满足度分析，根据数据满足度中的数据缺口，确认 或变更相应业务需求说明书的内容。在系统需求调研的基础上，确定加工规则，通过映射分析的方法，确定目标数据和源数据 的对应关系，判断数据对应用的支持程度：完全满足/部分满足/没
23、有数据，产生源-目标映 射文档数据模型设计模型设计步骤-构建概念模型 根据项目前期准备工作和系统需求分析成果，并根据数据模型产品FS-LDM建立 十大主题域，确定每个主题域中的关键实体表和对应子实体表 建立主题域之间的关联关系以及主题域内部关键实体间的关系 将数据表级分类表中各表划分归属主题 建立各个主题域的规范定义，包括标准定义、标准分类、业务规则 整合各源系统数据字典表，确定不同来源的代码是否一致，选定供参考的标准代码，如国家标准、行业标准、行内标准等，产生全行级统一数据字典表，并建立统一数据 字典表与各源系统数据字典表之间的映射关系 数据模型设计模型设计步骤-逻辑模型设计 以模型产品NC
24、R FS-LDM为蓝本进行客户化 采用建模工具进行模型设计，参考NCR FS-LDM各主题域第三层细节模型，根据数据表 级分类表、数据字段级分类表、数据字典表、数据质量检查表、源-目标映射文档、概念 模型，在NCR FS-LDM第三层细节模型的现有结构上新增、删除、修改实体和属性，并 进行定义和说明 建立各个实体间的关系，实体间的关系可以使用主外键进行表示，也可以使用关系实体 表示 对概念模型阶段建立的各个主题间的关系，可以参照业务需求进行相应的调整和细化 客户化模型验证，验证数据、业务规则、关系是否完整，客户化部分是否符合建模规范 (命名规范和设计规范)、与模型产品原有设计规范、设计风格是否保持一致数据模型设计模型设计步骤-物理模型设计 将逻辑数据模型（LDM）转化成可具体实施的物理数据模型（PDM）梳理各主题逻辑模型，对于部分无用的实体和属性，应当删除 根据数据处理需要，可适当增加部分字段 对部分大表应该分拆 确定各实体的物理实现方式（表/视图）产生物理模型、物理模型说明书、逻辑模型修改记录文档2019POWERPOINTSUCCESS2022-8-122019THANK YOUSUCCESS2022-8-12
