1、Page 2议程综合金融平台总体架构综合金融平台演进路线综合金融平台建设运营附录：数据质量管理平台Page 3金融集团管理分析类应用建设现状基本分析l商城数据仓库商城数据仓库累积数据累积数据没有充分利用没有充分利用l缺乏面向整个金融集团的缺乏面向整个金融集团的统一、完整统一、完整的数据的数据视图；视图；l缺乏支撑金融集团日常业务运转的风缺乏支撑金融集团日常业务运转的风险评估体系险评估体系；l缺乏金融集团客户缺乏金融集团客户360360度视图，客户度视图，客户行为分析和预测无法实现；行为分析和预测无法实现；l缺乏缺乏面向金融业务运营面向金融业务运营管理的关键绩管理的关键绩效指标效指标体系；体系；
2、ll商城已建立面向整个零售业务的商城已建立面向整个零售业务的数据数据仓库，整合仓库，整合了前台业务了前台业务运营运营数据和后数据和后台管理数据，建立了面向零售的管理台管理数据，建立了面向零售的管理分析应用；分析应用；l金融集团已开展供应链金融、人人贷金融集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面理、风险评级和经营规模预测等方面，提出了大量分析预测需求；，提出了大量分析预测需求；ll数据平台整体架构；数据平台整体架构；l 数据平台各层建设的标准；数据平
3、台各层建设的标准；l 较成熟较成熟的的金融业金融业数据模型数据模型；l 数据质量治理；数据质量治理；l 元数据管理；元数据管理；l 数据标准建设数据标准建设l 数据整合；数据整合；l 数据应用建设；数据应用建设；l 数据平台的软硬数据平台的软硬环境环境lPage 4综合金融平台建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI 应用自定义报表工具行列的简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层关注集团主要经营指标业务人员使用BI应用实现业务协作和创新BI 分析工具供应链金融系统POP系统其他业务系统云数
4、据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况Page 5综合金融平台建设预期收益2.2.加强业务协作加强业务协作实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础3.3.促进业务创新促进业务创新金融集团业务人员可以
5、基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件4.4.提升建设效率提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.5.改善改善数据质量数据质量从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值1.1.实现
6、数据共享实现数据共享Page 6议程综合金融平台综述综合金融平台演进路线综合金融平台建设运营附录：数据质量管理平台HDFSOBSBatch（YARN）SparkHiveMapReduceTensorFlow/MXNet模型文件解析运行引擎YarnHDFSElkX86GPUCOTSGPU芯片ATLASFPGACPUHadoop Data Lake（数据第二数据平面）（数据第二数据平面）AI平台（训练平台（训练 +推理）推理）Docker Container算法仓库模型仓库HBaseLoaderStorm/FlinkMLstudio机器学习平台机器学习平台notebook特征工程模型训练Weave
7、图引擎图引擎知识管理图计算图存储金融行业AI解决方案总体架构语音API语音识别语音合成文本API情绪分析机器翻译文字摘要图像API人脸识别OCR识别图像识别行业使能行业使能服务服务API知识图谱API通用知识业务知识图展示Restful APIs业务业务场景场景智能客服智能投顾智慧预测营销智能风控、征信。单据识别OCR实时实时决策决策RTD规则模型事件接入流计算KV引擎生物识别业务系统核心信用卡零售对公客户接触渠道短信网银微信银行手机银行电话语音（IVR）移动互联呼叫中心排队机/叫号机贵宾厅门禁互联网一网通高柜/低柜ATM网点远程银行自助设备PAD银行掌上生活推送电邮自助终端VTMPOSDM（
8、RDB）ODS企业级数仓（第一数据平面）EDW(GP/TD/LibrA)WebServiceVMNAST保险大数据建设历程2013年2015年EDW大数据应用技术平台批处理平台FusionInsight HD基于专用设备，实现结构化数据离线、实时计算引入企业版Hadoop，开放技术与通用设备，构建企业内统一数据平台基于Hadoop，企业内统一的批处理平台，离线计算与分析能力2016年2017年数据集市人工智能AI机器学习ML基于GreenPlum，构建数据仓库，承担企业数据批量加工基于Oracle，建立财务、资产、审计、绩效、风险、ACRM等集市客户数据ATM基于Hadoop，提供目标客群确定
9、、目标客群提取功能数据平台类营销类反欺诈类产险/寿险IDS基于Oracle，对产险/寿险业务数据实现T+0实时供出引入MPP架构的分布式数据平台，开放技术与通用设备，实现结构化数据批量加工FusionInsight Weaver业务运营类引入企业版图分析引擎，开放技术与通用设备，构建企业内关系分析平台打假通(车险)基于Weaver，通过图计算和关系分析，发现理赔时的骗保案件LBS业务基于Hadoop，提供根据用户当前位置做产品精准推荐智能运维基于Hadoop，从业务系统收集日志，实时分析，发现异常情况，给出告警集团标签系统知客系统自动核保基于Hadoop海量数据处理和实时计算能力，实现与历史数
10、据关联检查功能人管预考核基于Hadoop，实现业务人员考核，包含实时推送预考核结果流平台基于Hadoop，企业内统一的流处理平台，数据实时计算新数据仓库基于Hadoop，集团内新数仓/集市平台，卸载GP的财务、审计应用基于Hadoop基于Hadoop工具软件车险理赔定损基于ML医疗单据识别基于AIPython/R数据架构研究：烟囱式数据应用数据架构研究：烟囱式数据应用-企业统一大数据平台企业统一大数据平台-深化大数据应用深化大数据应用-数据智能数据智能智能客服基于AI打假通业务场景业务场景：保险理赔案件中存在欺诈和骗保行为，需要通过技术手段快速和有效识别。当前使用手工查找复杂关联关系，耗时耗力
11、且易遗漏关键信息；当前只能对个案风险进行评估，串案和团伙不易被侦测。方案要点：通过图计算和关系算法分析，发现理赔案例中的骗保行为和案件：同地多案、同号多案、可疑时间、可疑三者、同车多案、复杂串联案件。核心技术：大数据、图分析引擎（Spark，GraphX，Miner(Weaver)）大数据方案：利用华为大数据技术+华为图分析引擎+可视化界面展示支持十亿结点千亿边。客户收益：1、打假业务人员人工表格方式-图形化展示，提升分析效率2、人工表格方式找案件关联，很难做多层扩展-案件自动关联，多层关联和扩展，找串案、窝案3、单人分析-对案件人工标注，多人协作打假根据输入数据，构建根据输入数据，构建多源异
12、构信息多源异构信息的复杂网络的复杂网络，打通数据边界，打通数据边界根据拓扑结构与信息传递过程根据拓扑结构与信息传递过程识识别异常模式别异常模式，判断欺诈案件、犯，判断欺诈案件、犯罪团伙罪团伙点击规则双引擎问答系统：自动化的检索系统&精准的知识图谱Spark人工坐席界面TopN答案标记数据处理过滤规则化搜索问题工单已有知识库新聊天记录知识库Lucene关键词匹配算法索引算法问题初筛相似模型排序算法 相似度排序排序融合引擎可执行引擎工单问题Tensorflow/Mxnet构建知识库离线排序算法排序模型SVMCNN知识图谱问答系统图数据库知识图谱工单已有知识库Spark数据处理知识表示标记问答检索系
13、统融合引擎基于图引擎构筑企业级知识应用数据接入知识获取知识表达知识计算知识应用交易数据用户数据商户数据社交数据网上银行数据FusionInsight HadoopFusionInsight Hadoop（HDFS/Hive/HDFS/Hive/HBaseHBase）FusionInsight MinerFusionInsight Miner知识建模知识建模（统计、分类/聚类、关联、关系抽取、图挖掘、打标签）SparkSpark读数据，并计算FusionInsight WeaverFusionInsight WeaverOWLOWL本体语言本体语言基于OWL表达的图数据导入搜索、路径、匹配、推理
14、（Plugable）入库（Plugable）分析计算接口层知识存储查询、遍历（Plugable）推荐营销问答123456在知识的获取过程中，可以利用华为的Miner进行建模，也支持其他建模工具，只需要知识的结果遵循OWL标准，即可按照标准格式入库到Weaver。基于图计算和知识图谱技术，构筑企业级相关关系网和知识库，在金融反欺诈、反洗钱、营销、智能客服等场景下，对业务变革影响越来越突出，甚至在IT运维管理方面也有不错的创新实践。风控实时风控需求与挑战EXAMPLE多业务、多维度、多业务、多维度、多渠道、事中风控多渠道、事中风控基于全量数据的毫秒级分析基于全量数据的毫秒级分析 3000TPS交易
15、，5000TPS行为，300+规则（每笔交易2K+IO操作）3030天时间窗口天时间窗口（单渠道XX亿级记录）100ms时延，挑战50ms，事中风控自主：自主：IT IT可自定义上线新渠道可自定义上线新渠道自定义新增渠道、新增维度自定义新增数据源（支持非结构化）业务管理开放API快速：业务10分钟上线新规则自定义/开发变量、规则、规则模型在线规则测试灰度发布/冠军挑战者模型全行统一的大风控平台全行统一的大风控平台 业务：变以账户为中心为人和风险为中心；经验、技术共享 运维：降低运维管理成本 技术需求：可水平扩展、多租户、多渠道业务连续性业务连续性 任何情况下数据不能丢，业务不中断 RPO=0,
16、RTO0，MTTR=25min风控方案总体架构l数量不断增长的电子银行欺诈已经成为全球增长最快的“产业”之一。电子银行欺诈不仅会造成用户直接的经济损失，也会动摇客户对银行的信心，影响银行的信誉。l现有系统的实时性不足，且无法支撑高并发的业务压力。客户挑战解决方案l华为FusionInsight Farmer RTD实时反欺诈平台提供了实时决策引擎，通过PL/SQL定制化反欺诈规则，支持多租户。lFarmer RTD是高效、可靠、易用的实时发欺诈框架，响应时延小于50ms、支持10000+TPS并发、满足1000+规则同时运行l关键组件：Farmer RTD客户价值l构建统一的实时反欺诈平台，同
17、时满足电子渠道（零售）、信用卡等多个维度的实时反欺诈业务。l已经上线400+反欺诈规则，高并发的情况下，规则总运行时间小于50ms，实现了用户完全无感知的实时反欺诈。实时反欺诈实施效果交易渠道手机银行网上银行电话银行ATM机实时反欺诈平台主机系统财务处理拦截登记卡片冻结Farmer RTDPage 15综合金融平台总体架构历史数据查询数据交换平台应用集市数据区商城零售供应链金融人人贷系统基金系统系统企业内外部半结构化、非结构化数据大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品 零售数据供应链
18、数据增值产品数据区主题数据区 用户访问层客户汇总账户汇总机构汇总 社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理外部用户贴源数据区内部管理分析内部用户历史归档数据区IT人员风险管理Page 16综合金融平台总体架构数据产生层l内部内部业务系统产生的结构化数据业务系统产生的结构化数据v商城日常零售业务商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售处理过程中产生的结构化数据，存储在关系型数据库
19、中，如：供应商信息、采购信息、商品信息、销售流水流水v金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、：客户信息、账户信息、金融产品金融产品信息、交易流水信息、交易流水l企业内部非结构化数据企业内部非结构化数据v日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评l企业外部企业外部数据数据v企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息
20、、地理位置等移动信息、微博等社交媒体信息企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息 源数据内容源数据内容l在本次项目实施中将采用以增量在本次项目实施中将采用以增量为主、全量为主、全量为辅结合的为辅结合的方式获取源数据方式获取源数据l商城和金融集团业务系统商城和金融集团业务系统的的数据数据v增量数据识别、获取由云数据推送平台负责，增量数据识别、获取由云数据推送平台负责，云数据推送云数据推送平台采用平台采用分析、对比源系统日志方式实现分析、对比源系统日志方式实现v对于无法通过上述方式获取增量的源系统数据对于无法通过上述方式获取增量的源
21、系统数据，则采用某一个时间范围内的全部数据作为增量，则采用某一个时间范围内的全部数据作为增量v初始初始数据加载均采用全量数据加载均采用全量模式模式源源数据增量数据增量Page 17综合金融平台总体架构数据交换层数据交换层设计目标数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转高速流转保证数据交换过程中不失真不失真保证数据交换过程中不丢失不丢失保证数据交换过程安全可靠安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件金融集团系统金融集团系统数据服务层外部外部大数大数据据商
22、城系统商城系统Hadoop元数据云数据推送平台云数据推送平台数据平台导入临时区数据平台导出临时区NAS 存储ETL程序区Page 18综合金融平台总体架构数据交换层NAS存储存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射Page 19综合金融平台总体架构数据交换层大数据交换组件l企业内部非结
23、构化企业内部非结构化、半结构化数据，、半结构化数据，如：音频、视频、如：音频、视频、邮件、邮件、OfficeOffice文档文档、抵押品扫描件等、抵押品扫描件等l企业外部非结构化企业外部非结构化、半结构化数据，、半结构化数据，如：微博、贴吧、如：微博、贴吧、论坛、用户点击流论坛、用户点击流、用户移动位置等、用户移动位置等l批量采集：大数据批量采集：大数据源以源以SFTPSFTP协议批量协议批量传输数据传输数据文件文件l在线在线访问：开发访问：开发JavaJava或或C C应用，调用应用，调用大据源大据源APIAPI，或以网，或以网络平台爬虫方式抓络平台爬虫方式抓取源系统取源系统非非结构化结构化
24、、半结构化数据、半结构化数据l组件以实时和批量组件以实时和批量两种模式实现下列两种模式实现下列功能：功能：v数据采集数据采集v数据传输到数据交数据传输到数据交换换平台平台（接口服务（接口服务器）器）NASNAS指定目录指定目录v存储存储数据到数据平数据到数据平台大数据区指定台大数据区指定HDFSHDFS目录目录l定时抽取用户访问定时抽取用户访问日志，日志，加载到数据加载到数据平台大数据区平台大数据区HDFSHDFS指定目录，指定目录，MRMR程序程序加工处理加工处理l开发网络爬虫程序开发网络爬虫程序，扫描用户微博，扫描用户微博，抓取用户微博内容抓取用户微博内容，社交圈信息，存，社交圈信息，存入
25、大数据区入大数据区处理处理对象对象实现技术实现技术实现功能实现功能应用场景应用场景Page 20综合金融平台总体架构数据交换层数据库数据交换组件l企业内部业务系统产企业内部业务系统产生的结构化数据，包生的结构化数据，包括两大来源：括两大来源：v商城零售业务数据，商城零售业务数据，数据存储在数据存储在OracleOracle、SQLServerSQLServer、MySQLMySQL和和MongoDBMongoDB四类数据库四类数据库v金融金融集团互联网金融集团互联网金融业务数据，数据存储业务数据，数据存储在在MySQLMySQL数据库数据库lPerlPerl程序程序v数据采集，数据采集，调用调
26、用PerlPerl文件模块相关函文件模块相关函数，轮询指定目录，数，轮询指定目录，获取数据文件获取数据文件v数据核查，数据核查，PerlPerl执行执行文件级数据质量检查文件级数据质量检查v数据加载，调用数据加载，调用Hive Hive LoadLoad数据命令，加载数据命令，加载到数据平台临时数据到数据平台临时数据区的区的Hive Hive TableTablel组件以实时和组件以实时和批量模批量模式式实现下列功能：实现下列功能：v数据采集，数据采集，轮询轮询NASNAS集集群指定群指定目录，获取数据目录，获取数据文件（文件（LZOLZO压缩压缩）v数据核查，对数据核查，对数据数据文件文件进
27、行质量校验进行质量校验v数据加载，加载数据到数据加载，加载数据到临时数据区临时数据区l云云数据推送平台连接数据推送平台连接供应供应链金融链金融系统数据系统数据库，分析库，分析供应链金融供应链金融MySQLMySQL数据库日志，识数据库日志，识别增量数据别增量数据，存储到，存储到金融平台金融平台NASNAS存储的指存储的指定目录，金融平台加定目录，金融平台加载数据文件到载数据文件到数据平数据平台临时区台临时区HiveHive表表处理处理对象对象实现技术实现技术实现功能实现功能应用场景应用场景Page 21综合金融平台总体架构数据交换层数据区数据交换组件l数据平台计算层各数据平台计算层各数据区数据
28、区v贴源数据贴源数据区区v主题数据区主题数据区v集市数据区集市数据区v沙盘数据区沙盘数据区v大数据区大数据区v归档数据区归档数据区lSqoopSqoop实现集市数据实现集市数据区与数据平台其他区与数据平台其他HadoopHadoop数据区的数数据区的数据交换据交换lHadoop Hadoop 命令、命令、HiveHive外部表、外部表、MRMR程序实程序实现数据平台现数据平台HadoopHadoop数据区间的数据交数据区间的数据交换换l组件组件以批量方式实以批量方式实现下列数据交换功现下列数据交换功能能：v贴源数据贴源数据区和区和主题数主题数据区到据区到集市数据区集市数据区v大大数据数据区区到
29、主题数据到主题数据区和集市区和集市数据数据区区v主题数据主题数据区、贴源数区、贴源数据区、集市数据区到据区、集市数据区到沙盘数据区沙盘数据区v各个数据各个数据区数据归档区数据归档l数据集市的数据按数据集市的数据按照据生命周期规划照据生命周期规划，统一将过期数据，统一将过期数据归档到历史数据归归档到历史数据归档区档区处理处理对象对象实现技术实现技术实现功能实现功能应用场景应用场景Page 22综合金融平台总体架构流程调度层批量处理流程l 批量数据处理由流程调度层部署的批量数据处理由流程调度层部署的自定义开发自定义开发WorkFlowWorkFlow组件调度运行组件调度运行l 整个流程整个流程主要
30、完成如下主要完成如下工作工作：1.1.获取业务获取业务系统系统结构化数据，存结构化数据，存入临时数据区入临时数据区2.2.获取获取企业企业内外部非内外部非结构化数据结构化数据，并进行结构化处理，存入主，并进行结构化处理，存入主题或集市数据区题或集市数据区3.3.按照贴源按照贴源数据模型整合数据模型整合数据（数据（标准化、数据更新标准化、数据更新/追加追加）4.4.按照按照主题数据模型主题数据模型整合整合数据并数据并生成汇总生成汇总5.5.数据加工计算后，结果交付到数据加工计算后，结果交付到数据集市，支持分析类应用数据集市，支持分析类应用Page 23综合金融平台总体架构流程调度层实时数据处理流
31、程l 实时数据处理强调的是实时或准实时获实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技取并处理数据，通常采取消息队列等技术构建术构建“数据流数据流”l 整个处理流程由流程调度层部署的自定整个处理流程由流程调度层部署的自定义开发义开发WorkFlowWorkFlow组件调度运行组件调度运行l 整个流程主要完成如下工作：整个流程主要完成如下工作：1.1.通过数据库数据交换组件获取增量通过数据库数据交换组件获取增量数据，加载到实时数据区数据，加载到实时数据区2.2.通过大数据交换组件获取非结构化通过大数据交换组件获取非结构化数据，并利用数据，并利用StormStorm处理数据，
32、加处理数据，加载到实时数据区载到实时数据区3.3.针对实时数据区数据执行标准化处针对实时数据区数据执行标准化处理和贴源整合理和贴源整合Page 24综合金融平台总体架构流程调度层归档数据处理流程l 数据归档的对象包括业务系统数据文件、贴源数数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集据区数据、主题数据区数据、大数据区数据和集市数据区数据市数据区数据l 数据按照生命周期规划存储到归档区数据按照生命周期规划存储到归档区HadoopHadoop集群集群，归档后原数据区删除此数据，归档后原数据区删除此数据l 整个处理流程由流程调度层部署的自定义开发整个处理流程由
33、流程调度层部署的自定义开发WorkFlowWorkFlow组件调度运行组件调度运行l 整个流程主要完成如下工作：整个流程主要完成如下工作：1.1.数据文件通过数据文件通过HDFSHDFS命令行命令行copyfromlocalcopyfromlocal进进行归档行归档2.2.贴源、主题和大数据区通过贴源、主题和大数据区通过HDFSHDFS命令行命令行distcpdistcp或自定义开发的或自定义开发的MRMR程序执行归档程序执行归档3.3.集市集市数据区通过数据区通过SqoopSqoop或数据库提供的或数据库提供的HadoopHadoop集成技术（如：外部表）执行归档集成技术（如：外部表）执行归
34、档Page 25综合金融平台总体架构数据存储层l业务系统前日增量数据业务系统前日增量数据l缓存数据，支持后续缓存数据，支持后续ELTELT数据处理数据处理数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求l贴贴源源数据模型数据模型l保存最近保存最近7 7天数据天数据l贴源数据区和主题数据区批量作业访问贴源数据区和主题数据区批量作业访问l无最终用户访问无最终用户访问lI/OI/O敏感，连续小批量的数据抽取和加载敏感，连续小批量的数据抽取和加载l少量量数据使用少量量数据使用HiveHive的的LoadLoad命令，大量数据使用命令，大量数据使用MRMR程序程序l与主题区与主题区/贴贴源源
35、区区/集市区构成一个集市区构成一个HadoopHadoop集群（集群（HiveHive）l无单点无单点故障，故障，7 72424小时小时+非工作日有限停机非工作日有限停机l主题数据区、集市数据区和沙盘演练数据区批量作业访问主题数据区、集市数据区和沙盘演练数据区批量作业访问l无最终用户访问无最终用户访问lI/OI/O敏感，日终批量敏感，日终批量ETLETLl以以ELTELT形式通过形式通过Hive SQLHive SQL执行执行l与主题区与主题区/贴源区贴源区/集市区构成一个集市区构成一个HadoopHadoop集群（集群（HiveHive）l无单点故障，无单点故障，7 72424小时小时+非工
36、作日有限停机非工作日有限停机l贴贴源源数据模型数据模型l不不保存历史保存历史l业务系统前日快照数据和一段时间的流水数据业务系统前日快照数据和一段时间的流水数据l数据标准化，为后续主题模型、集市和沙盘演练提供数据数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区Page 26综合金融平台总体架构数据存储层（续）l企业内外部非结构化、半结构化数据企业内外部非结构化、半结构化数据l采集并采集并存储数据存储数据，进行，进行结构化处理，最终得到结构化数据结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求l数据按照数据按照HDFSHDFS文件文件
37、存储存储l建议保留建议保留1 1年年l集市区集市区/沙盘区沙盘区/增值产品区增值产品区/主题主题区区/归档区批量作业访问归档区批量作业访问l少量高级业务人员进行大数据分析少量高级业务人员进行大数据分析lMapReduceMapReduce 分布式计算，半分布式计算，半/非结构化数据的结构化处理（非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）包括文本检索、语义分词、图像识别、音频识别等）l与主题区与主题区/贴源区构成一个贴源区构成一个HadoopHadoop集群（集群（HDFSHDFS）l无单点无单点故障，故障，7 72424小时小时+非工作日有限停机非工作日有限停机l
38、集市区集市区/沙盘区沙盘区/增值产品区增值产品区/主题主题区区/高时效区批量作业访问高时效区批量作业访问l业务人员执行历史数据查询业务人员执行历史数据查询lMapReduceMapReduce分布式计算，分布式计算，HDFSHDFS命令实现命令实现HadoopHadoop集群内归档，集群内归档，SqoopSqoop实现数据库归档，通过实现数据库归档，通过HiveHive提供历史查询提供历史查询l独立的独立的HadoopHadoop集群（集群（HDFS+HiveHDFS+Hive）l无单点无单点故障，故障，7 72424小时小时+非工作日有限停机非工作日有限停机l数据按照数据按照HDFSHDFS
39、文件文件存储存储l数据文件按照数据区划分目录，建议保留数据文件按照数据区划分目录，建议保留7 7年年l其他各数据区历史数据其他各数据区历史数据l按数据生命周期规划归档平台过期数据，支撑历史数据查询按数据生命周期规划归档平台过期数据，支撑历史数据查询大数据区历史归档数据区Page 27综合金融平台总体架构数据存储层（续）l业务业务系统历史明细系统历史明细数据数据l打破业务条线整合数据打破业务条线整合数据数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求l第三第三范式范式模型模型l保留长期历史，需要根据主题细化保留长期历史，需要根据主题细化l主题区主题区/集市集市区区/沙盘区沙盘区/增
40、值产品区增值产品区/归档归档区批量作业访问区批量作业访问l少量高级业务人员进行灵活查询、挖掘预测少量高级业务人员进行灵活查询、挖掘预测lI/OI/O敏感敏感，日日终终批量批量ETL ETL（合并、拉链、关联、汇总等等）（合并、拉链、关联、汇总等等）l以以ELTELT形式通过形式通过Hive SQLHive SQL执行，复杂处理使用执行，复杂处理使用MRMR定制定制UDFUDFl与大数据区与大数据区/贴贴源区构成源区构成一个一个HadoopHadoop集群集群（HiveHive）l无单点故障，无单点故障，7 72424小时小时+非工作日有限停机非工作日有限停机l集市区集市区/沙盘区沙盘区/增值产
41、品区增值产品区/归档区批量作业访问归档区批量作业访问l少量高级业务人员进行灵活查询、挖掘预测少量高级业务人员进行灵活查询、挖掘预测lI/OI/O敏感，日终批量敏感，日终批量ETL ETL（连接、聚合、（连接、聚合、汇总等等）汇总等等）l以以ELTELT形式通过形式通过Hive SQLHive SQL执行，复杂处理使用执行，复杂处理使用MRMR定制定制UDFUDFl与大数据区与大数据区/贴贴源区构成源区构成一个一个HadoopHadoop集群（集群（HiveHive）l无单点无单点故障故障，7 72424小时小时+非工作日有限停机非工作日有限停机l逆逆范式宽表范式宽表l依赖于集市数据需求依赖于集
42、市数据需求l对主题数据对主题数据预加工后的结果数据预加工后的结果数据l针对应用需求进行数据预连接、预汇总，为集市提供针对应用需求进行数据预连接、预汇总，为集市提供数据数据主题数据区明细主题数据区汇总Page 28综合金融平台总体架构数据存储层（续）l按沙盘演练需求，准备的明细或汇总业务数据按沙盘演练需求，准备的明细或汇总业务数据l为数据科学家的挖掘预测操作提供数据服务为数据科学家的挖掘预测操作提供数据服务数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求l模型模型依赖于沙盘演练依赖于沙盘演练需求需求l在整个沙盘演练周期内保留在整个沙盘演练周期内保留l集市区集市区/沙盘区沙盘区/归档
43、区批量作业访问归档区批量作业访问l少量高级业务人员进行灵活查询、挖掘预测少量高级业务人员进行灵活查询、挖掘预测lI/OI/O敏感，终批量敏感，终批量ETL ETL（合并、拉链、关联、汇总等等）（合并、拉链、关联、汇总等等）l以以ELTELT形式通过形式通过Hive SQLHive SQL执行，复杂处理使用执行，复杂处理使用MRMR定制定制UDFUDFl独立的独立的HadoopHadoop集群（集群（HDFSHDFS）l无单点无单点故障故障，7 72424小时小时+非工作日有限停机非工作日有限停机l沙盘区沙盘区/归档区批量作业访问归档区批量作业访问l决策人员、管理人员、业务人员访问决策人员、管理
44、人员、业务人员访问lI/OI/O敏感型，敏感型，BIBI工具提交的报表、查询、分析工具提交的报表、查询、分析SQLSQL命令和日终命令和日终批量批量ETLETL（汇总、聚集等操作，以（汇总、聚集等操作，以ELTELT形式通过形式通过SQLSQL执行）执行）l基于开放平台的基于开放平台的完全无共享完全无共享 MPP MPP 数据库数据库集群集群+内存数据库内存数据库l无单点无单点故障故障，7 72424小时小时+非工作日有限停机非工作日有限停机l维维度度数据模型数据模型l依赖业务需求依赖业务需求l面向企业内部管理分析类应用需求的汇总数据面向企业内部管理分析类应用需求的汇总数据l为客户、为客户、运
45、营等运营等管理管理分析主题和数据增值产品提供分析主题和数据增值产品提供数据服务数据服务沙盘演练数据区应用集市数据区Page 29综合金融平台总体架构数据存储层（续）l根据外部用户的数据使用需求数据平台加工计算的结果数根据外部用户的数据使用需求数据平台加工计算的结果数据据l为为部署在数据平台上的企业内外部增值产品提供数据支持部署在数据平台上的企业内外部增值产品提供数据支持数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求l应用模型，依赖于用户业务需求应用模型，依赖于用户业务需求l依赖于依赖于用户用户业务业务需求需求l企业外部人员，如：客户企业外部人员，如：客户l通过自己部署在通过自己
46、部署在PaasPaas平台上的应用访问平台上的应用访问lI/OI/O敏感型，敏感型，BIBI工具提交的报表、查询、分析工具提交的报表、查询、分析SQLSQL命令和日终命令和日终批量批量ETLETL（汇总、聚集等操作，以（汇总、聚集等操作，以ELTELT形式通过形式通过SQLSQL执行）执行）l独立的独立的PaasPaas平台，部署平台，部署HadoopHadoop集群集群l无单点无单点故障，故障，7 72424小时小时+非工作日有限停机非工作日有限停机l企业业务人员企业业务人员l高时效高时效、高、高并发、高可靠性的联机交易类查询并发、高可靠性的联机交易类查询lCPUCPU敏感，敏感，BIBI工
47、具或业务系统高并发、高时效查询，以及准工具或业务系统高并发、高时效查询，以及准实时连续实时连续ETLETL处理处理+SQL+SQL批量处理批量处理l独立的内存数据库集群独立的内存数据库集群l无无单点单点故障，故障，3653652424小时不停机小时不停机l贴源数据模型贴源数据模型l依赖用户业务依赖用户业务需求需求l面向应用的业务系统快照数据和一段时间的交易流水面向应用的业务系统快照数据和一段时间的交易流水l为实时获准实时分析应用提供数据服务为实时获准实时分析应用提供数据服务增值产品数据区实时数据区Page 30综合金融平台总体架构数据存储层数据流数数据集成层据集成层操作型聚合数据临时数据区实时
48、数据区实时数据区公共汇总数据主题明细数据结构化数据非结构化&半结构化数据沙盘演练数据区沙盘演练数据区实验室数据集市数据区集市数据区POP自营数据贴源数据区贴源数据区金融业务数据主题数据区主题数据区客户管理集市财务管理集市运营管理集市风险管理集市集市大物流系统数据供应链系统数据财务审计数据财务研发数据操作型明细据归档数据区归档数据区大数据区大数据区源系统数据文件贴源数据主题数据集市数据高时效数据大数据增值产品数据区增值产品数据区Page 31综合金融平台总体架构数据应用层l针对公检法查询需求、内外部审针对公检法查询需求、内外部审计需求和最终用户的历史交易查计需求和最终用户的历史交易查询需求，以贴
49、源存储的归档数据询需求，以贴源存储的归档数据为基础，实现的查询类应用为基础，实现的查询类应用l历史查询类应用通常使用历史查询类应用通常使用BI BI 工工具或自主开发实现具或自主开发实现l客户经理等最终业务人员针对当客户经理等最终业务人员针对当前业务的发生（如：用户交易、前业务的发生（如：用户交易、用户访问日志），进行用户访问日志），进行实时查询实时查询、分析的应用、分析的应用l管理分析类应用主要实现了集团管理分析类应用主要实现了集团客户管理、运营管理、财务管理客户管理、运营管理、财务管理、风险管理、监管信息披露五大、风险管理、监管信息披露五大分析体系功能分析体系功能l管理分析类应用通常采用套
50、装软管理分析类应用通常采用套装软件和件和BIBI工具（工具（MicroStrategyMicroStrategy等等）实现）实现l业务人员根据业务需求或自己对业务人员根据业务需求或自己对业务的理解，设计计算模型，准业务的理解，设计计算模型，准备各类明细或汇总数据，导入模备各类明细或汇总数据，导入模型运算，验证业务结果型运算，验证业务结果l沙盘演练类应用通常使用沙盘演练类应用通常使用R R语言语言在在HadoopHadoop分布式体系下实现分布式体系下实现l金融集团数据科学家根据自己对金融集团数据科学家根据自己对业务需求的理解或者对市场的判业务需求的理解或者对市场的判断，设计并运行模型，发掘数据
