1、数据采集2基础数据平台数据查询统计分析KPI分析风险预警数据上报数据采集数据分析在线录入数据文件导入ETL文件加载外部系统的数据采集3银监会1104监管报表1104总体应用架构总体应用架构数据源数据源SDATA数据区数据模型与数据整合区CUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITE
2、M NUMBERQUANTITYDESCRIPTIONORDER ITEM SHIPPEDQUANTITYSHIP DATE指标数据区/应用模型区CUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDESCRIPTIONORDER ITEM SHIPPED
3、QUANTITYSHIP DATECUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDESCRIPTIONORDER ITEM SHIPPEDQUANTITYSHIP DATECUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUS
4、TOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDESCRIPTIONORDER ITEM SHIPPEDQUANTITYSHIP DATE核心核心总帐总帐个贷个贷信贷信贷贷计卡贷计卡 格式化文件格式化文件基础数据基础数据平台平台前端前端应用应用数据抽取、清洗、加载与转换（ECTL）银监会银监会接口数据模型区补录改写生成报送文件
5、XLS报表模板导入统一报表平台功能框架统一报表平台功能框架3.报表设置统一数据平台1.指标管理计算指标基础指标2.模板管理填报历史取数定义补录/汇总表内校验状态管理人行报表人行报表银监会银监会1104报表报表内部分析报表内部分析报表预警保存报表数据银监会报表模板清单列表人行报表模板其他报表模板权限管理汇总关系定义 校验公式定义 预警设置其他报表其他报表报表生成表间校验报表存档4.报表加工6.查询分析报表数据重用生成上报外管局外管局/财政部财政部报表报表1104应用功能框架应用功能框架1104角色功能设计角色功能设计1104业务操作流程业务操作流程数据采集方式数据采集方式-在线录入在线录入n数据
6、缺口数据缺口定义定义对目前无法从各源业务系统中获取的银监1104报表数据项，需要由用户进行手工补录处理。n补录缺口数据的补录缺口数据的方法方法按照缺口数据的业务归属，系统提供2种数据补录方式：总行用户手工补录缺口数据；分行用户手工补录缺口数据，上报总行汇总；n分行补录注意分行补录注意事项事项后台需要保留数据粒度至分行级；前端对各分行补录人员进行用户分组和权限控制；可以设定不同频度报表的分行补录上报日期范围，超过规定时间不允许上报；总行已上报报表的分行补录数据不允许修改；数据采集方式数据采集方式-格式化数据文件格式化数据文件导入导入n格式化数据文件导入针对每个分析主题，定义统一的数据填报文件模板
7、可采用导入格式化数据文件的方式加载到1104数据模型中，比较适合原来已有手工台帐或者原有数据已经保留在Excel中由1104项目组统一制定标准接口数据文件格式标准。支持的数据源文件格式：Excel数据采集方式数据采集方式-定期定期ETL抽取抽取n定义统一的数据接口数据文件n用户定期将数据文件通过ftp方式提交到文件服务器上n通过调度引擎，定期对提交的数据文件进行拷贝、读取、解析并存储到数据库中，完成数据增量加载过程n支持的数据源文件格式：CSV、txt等其他功能其他功能说明表间数据引用说明表间数据引用n表间数据引用说明：结合1104报表业务需求分析，27张报表之间存在表间数据平衡关系。并且，表
8、间数据平衡关系在业务上可以定义为“主从表”数据项的依赖关系。表间数据引用功能是为了简化用户手工调平表间数据。按照业务部门确认的规则，预先定义数据引用关系，由系统将自动完成数据引用操作。举例说明：G01附表1.各项贷款=G01_6.+G01_7.+G01_8.+G01_9.+G01_13.7+G01_13.8。假定以G01为主表，则可以将“G01附表1.各项贷款”定义为从G01表取数，即数据引用；n表间数据引用注意事项：需要业务部门预先定义表间数据依赖关系；用户需按照既定的业务流程处理各张报表；系统只能对“相等”的表间数据依赖进行数据引用处理，“和”关系无法自动进行数据引用；其他功能说明其他功能
9、说明数据舍位数据舍位n四舍五入要求：单位为万元的数据保留整数单位为百分比的数据保留两位小数，n舍位功能说明：系统自动进行四舍五入操作；系统保留舍位前、舍位后两套数据；其他功能说明其他功能说明数据平衡性检查数据平衡性检查n系统依据设定的报表表内（纵平、横平）、表间数据平衡关系进行检查，对不满足平衡关系的条目进行记录，并将检查日志结果反馈给用户；n只有通过表内、表间数据平衡检查的报表才能进行报表上报，以保证上报数据质量；n系统支持带四则运算的数据审核公式，如：表内平衡检查：G01表13.买入返售资产=13.1+13.2+13.3+13.4+13.5+13.6+13.7+13.8G22表3.流动性比
10、例=1.10流动性资产总和/2.8流动性负债总和100 G41资本充足率汇总表 4.6长期次级债务的可计算价值3.核心资本净额*50%表间平衡检查：G01附表1.各项贷款=G01_6.+G01_7.+G01_8.+G01_9.+G01_13.7+G01_13.8操作流程说明操作流程说明报表定制报表定制n报表定制的内容：报表定制的内容：导入Excel报表模板定制报表处理规则n定义报表取数规则n定义补定义补录内容和补录方式录内容和补录方式n表间数据引用规则n数据平衡性检查规则角色授权n报表定制功能说明：报表定制功能说明：由系统管理员用户在“报表管理”工具中完成；报表模板可以支持MS Excel中定
11、义公式、函数等功能并保留报表模板中定义的表头、附注、字体等格式信息；操作流程说明分行用户操作流程说明分行用户数据录入流程数据录入流程操作流程说明总行用户操作流程操作流程说明总行用户操作流程ETL接口数据区中间数据存储区上报数据存储区示例：定制示例：定制报表模板报表模板示例：示例：定制计算公式、校验公式定制计算公式、校验公式示例：报表展现示例：报表展现示例：明细数据录入示例：明细数据录入银行经营风险指标预警体系银行经营风险指标预警体系经营风险指标经营风险指标安全性指标安全性指标流动性指标流动性指标盈利性指标盈利性指标资资本本充充足足率率存存贷贷款款比比率率不不良良资资产产率率资资金金流流动动性性
12、本本息息回回收收率率资资本本利利润润率率风险阀值、风险权重风险阀值、风险权重风险告警风险告警风风险险资资产产总总量量不不良良贷贷款款率率核核心心利利润润率率经经营营成成本本核核算算流流动动资资产产结结构构流流动动负负债债结结构构23海航信息财务BI系统数据采集项目背景项目背景n海航集团现有的各财务系统职能相对独立(预算、核算等各系统都是独立的)，无法满足产业集团/集团的多级管控体系对财务报表要求 n各产业公司月度预算执行报表以及其他财务报表数据的收集、整理基本还是手工从相关财务系统导出基础数据并在 Excel表格上加工汇总的方式，耗费了各产业公司、集团计财部相关财务人员的大量精力，并且容易出错
13、 n财务数据由子公司、公司、集团，一级一级手工向上汇总，效率很低，一个环节出错导致后续环节需要重新调整，各级经营层领导不能及时看到相关经营数字，甚至影响到月度经营会议的及时召开 n当前的财务系统以及财务报表也无法灵活满足财务部门/经营层领导所需各类财务数字分析，无法灵活定义/实时察看各类关键财务指标24解决方案解决方案n建立数据仓库管理各类财务经营报表所需基础的财务和业务数据n使用BI工具结合二次开发支持多种基础数据收集支持多种基础数据收集，包括用户手工录入用户手工录入数据，上传预先编制好的上传预先编制好的Excel表格表格，集成财务系统自动定时抽取自动定时抽取基础财务数据，集成业务系统自动定
14、时抽取基础业务数据等 n使用BI工具自动汇总各级别的财务/业务数据，实时汇总/生成各类财务所需的报表 n使用BI工具及二次开发进行组织权限管理，使得各级负责人能够随时察看其负责业务线/部门/公司/集团的财务经营数据 n使用BI工具展示复杂的财务统计数据 n使用BI工具展示关键财务指标（仪表盘）n使用BI工具对财务数据进行不同层面的钻取分析（多维分析）25功能概况功能概况n满足单一产业公司财务要求的报表，同时也满足集团型企业财务报表。n集成NC财务核算系统，实现核算数据的自动采集。n支持Excel数据导入。n自动由下级部门向上级部门汇总数据。n实现集团统一上报格式报表，同时也实现各子公司、公司自
15、定义格式报表。n灵活的会计统计方式，实现NC系统会计科目一对一、多对一的口径，同时自主选择报表汇总级别 n在线报表数据编辑和导出nKPI图表展现26示例示例-建立与建立与NC系统的连接，自动采集核算数据系统的连接，自动采集核算数据27示例示例-Excel文件导入方式文件导入方式n支持Excel数据导入。（如：当月实际执行数，预算数）28示例示例-Excel文件导入方式文件导入方式n样例一：预算数Excel模板29示例示例-Excel文件导入方式文件导入方式n样例二：EXCEL导当月实际数模30示例示例-Excel文件导入后展现文件导入后展现n样例一：导入后的数据展现,自动汇总部门预算执行情况表
16、31示例示例-Excel文件导入后展现文件导入后展现n样例二：导入后的数据展现,上级部门预算执行情况表基础上的汇总32示例示例-生成集团统一上报格式报表生成集团统一上报格式报表33示例示例-在线录入在线录入n打开任意报表，双击需要修改的末级单元格34示例示例-在线录入在线录入n输入新的数据35示例示例-在线录入在线录入n点击报表上面的保存按钮，保存成功提示 n系统自动刷新当前页，数据修改成功36示例示例-KPI指标分析指标分析n收入分析：通过参数选择展现不同部门各个月份的毛利润数据37示例示例-KPI报表报表n用关键指标数据说话3839中粮集团经营分析平台项目40 中粮生化能源事业部（以下简称
17、事业部）是根据中粮集团“成为生物质能源的主要提供者、领导者，粮食生物化工的主要领导企业”的战略定位而相应设立的，是中粮集团核心业务单元之一,中国粮油(香港上市公司,代码HK0606)的重要组成部分之一。目前事业部下属及管理企业主要包括黑龙江、吉林、河北、天津、上海、安徽、广西等省份的九家工厂和一家集中销售公司，未来还将不断上线或并购若干新的项目。为了更好的利用信息化这个先进的手段，业务分析、统计、查询、报表、告警的需求迫切需要一种先进的数据仓库技术来整合事业部各个业务系统，例如财务系统、人力系统、生产系统、销售系统和报表系统等，通过抽取、转换、清洗、加载技术进行数据的梳理、口径的统一、编码的统
18、一、标准化的建立来建设数据中心，从而为数据应用如分析、统计、查询、报表、告警甚至今后的数据挖掘提供强大的科学、可靠、准确的数据支撑。项目背景项目背景总体总体应用架构应用架构ETL总体架构图总体架构图42ETL1ETL1FTP服务器FTP服务器临时存储区临时存储区ODSODSDWDWDMDMETL2ETL2ETL3ETL3ETL4ETL4ETL5ETL5多维分析模型数据源数据源EXCELNCU8其他临时存储层数据装载数据清洗数据转换数据合并ODS数据加载DWexcel文件文件传输采用两种数据采集方案采用两种数据采集方案43 对于每个分析主题所需数据，提供统一的数据接口。在各利润点系统部署程序，定
19、期调度把增量数据导成指定格式的文本文件，上传到系统服务器，然后加载到系统中。第一种方案：对于每个分析主题所需数据，制定统一的填报模板，由利润点定期上报，系统定期调度把所有涉及的表的增量数据加载到数据仓库中处理。第二种方案：两种方案的适用情况分析两种方案的适用情况分析44第一种方案在利润点的工作量少，主要的业务逻辑在数据仓库中处理；最终上传的数据文件比较多、而且数据量也大。第二种方案主要工作由利润点来做，最终上传的数据文件比较少、而且数据量也小，但是需要一定的人力来做。选择第一种方案需要利润点的IT建设满足采集条件，考虑到目前各利润点的IT基础薄弱，如果利润点人力资源满足，最好选择第二种方案。数据导出流程示例数据导出流程示例45
