1、金融大数据解决方案汇报 Content 1 大数据发展趋势 2 3 4 大数据平台关键技术 大数据平台行业实践 大数据平台案列详述 未来银行：客户更加移动化、个性化、社交化，实时化未来银行：客户更加移动化、个性化、社交化，实时化 随时随地获取服务 分析、创造数据 寻找有意义的体验 审视细节 固定时间地点获取服务 互动参与内容、产 品和体验的创建 新客户新客户 运营 客户 全渠道全渠道 传统客户传统客户 寻求更多资源 被动接受数据 信任市场信息 被动接受传播 关注场景关注场景 标准化和产业化提供服务 关注过程和步骤 被动接受信息且信息来源单一 通过客户经理联系客户 固定渠道单一交互 营销 客户
2、效率效率 个性化的个性化的 灵活服务灵活服务 传统银行传统银行 新银行新银行 服务 客户 第二数据平台成为驱动业务创新的新平台第二数据平台成为驱动业务创新的新平台 POS ATM 柜面 电话银行 网上银行 第一数据平面： 交易核心 单次、事务性 统一历史明细 实时营销 精准营销 在线征信 大数据业务：大数据业务： 实时在线性 业务持续性 跨多元数据 实时 第二数据平面： 大数据平台 并发、查询/分析 或有金融资产 金融脉络关系 互联网 批量 对大数据平台的要求：对大数据平台的要求： ?企业级质量标准：企业级质量标准：金融等保、可靠、 易用；支持现有系统的对接。 ?开放性：开放性：多分析引擎统一
3、管理，满 足多样化的数据分析场景 ?挖掘能力：挖掘能力：支持机器学习、深度学习等新 的数据挖掘能力，实现更精准的洞见 3 数据：存量数据：存量 . 增量增量 . 行内行内 . 行外行外 历史数据越来越多历史数据越来越多 数据分析数据分析 信用 业务系统业务系统 非结构化数据越来越多非结构化数据越来越多 帐户 社交 日志 影像 帐户 行外数据行外数据 明细 交易交易 行内数据行内数据 明细 社交、网购数据社交、网购数据 企业数据平面企业数据平面 “在大数据领域，不能充分形成大数据使用能力在大数据领域，不能充分形成大数据使用能力 的竞争者将被淘汰的竞争者将被淘汰” -McKinsey Global
4、 Institute 混合型数据平台混合型数据平台-体系架构体系架构 操作型 数据区 新核心系统 数据 交换区 集成型数据区 基础数据平台基础数据平台 大数据平台大数据平台 技 术 缓 冲 层 贴 源 模 型 层 基 础 模 型 层 共 性 加 工 层 分析型数据区 监管报送平台 传统平台传统平台 应 用 集 市 层 应用服务区 应用 服务器 W E 服 务 器 老核心系统 客户系统 外围系统 渠道系统 外部系统 数 据 采 集 和 交 换 平 台 数据标准 统一报表平台 管理会计系统 报表 工具 即席 查询 数据 挖掘 工具 历史 数据 访问 应用 流动风险系统 市场风险系统 数据挖掘平台
5、实时事件处理平台 历史数据区 国家审计平台 历史数据平台历史数据平台 元数据 数据质量 数据管控 ETL调度 数据交换 混合型数据平台混合型数据平台-数据区域数据区域 操作型数据区操作型数据区 对应系统对应系统：客户管理系统、各类产品系统、帐务处理系统、各类渠 道系统、管理流程系统。 功能定位功能定位：主要承担面向客户的交易、帐务处理，面向内部的流程、 事务管理等功能。 数据特征数据特征：存储业务处理和流程管理过程中产生的客户、协议、账 户、交易等原始数据，数据基本为当前状态，保存一定周期的交易 流水数据。 集成型数据区集成型数据区 对应系统对应系统：基础数据平台、大数据平台和实时事件处理平台
6、。 功能定位功能定位：实现全行关系型结构化数据、非结构化数据的处理，包 括离线分析和实时事件数据的集中管理和加工，为业务运营和决策 分析提供数据支持。 数据特征数据特征： 1.利用大数据技术，实现ODS、EDW、汇总层数据统计等一系列 的离线数据分析功能，而传统数据库则实现复杂的交于和事务处理 逻辑。 2.大数据平台同时可以实现非结构化数据的集中管理，结构化及非 结构化数据的初加工为主； 3.实时事件处理平台以实时事件数据的集中管理和加工为主。 分析型数据区分析型数据区 对应系统对应系统：统一报表平台、监管报送平台、管理会计、风险管理等 系统。 功能定位功能定位：主要获取数据集成平台提供的汇总
7、数据，按照应用主题 进行数据的高粒度汇总加工、图形化分析和展现。 数据特征数据特征：存储汇总、聚合类数据，主要以星型结构、宽表等形式 存储，存储周期较长。 历史数据区历史数据区 对应系统对应系统：主要是历史数据平台。 功能定位功能定位：根据数据生命周期管理，承担对操作型系统、分析型系统 的历史数据，以及数据集成平台部分历史数据的在线归档保存，为客 户交易明细历史查询、公检法查询等应用提供支持。 数据特征数据特征：状态类数据采用全表历叱拉链存储，交易类数据保留长期 历史。 数据处理技术分布式演进趋势：数据处理技术分布式演进趋势：Hadoop成为开放的事实标准成为开放的事实标准 SMP SMP+M
8、PP混合混合 MPP Hadoop 特点：单机、特点：单机、 Scale up ?性能存在瓶颈 ?扩展性差 特点：特点：Share Everything ?结构化、关系型 ?Flash Cache+分布式块存储+IB 特点：特点：Share Nothing ?结构化、关系型 ?通用的硬件 特点：特点：Share Nothing ?开放,、全球生态 ?结构化、半结构化、非结构化 ?高性能、实时 内存计算兴起，内存计算兴起，Hadoop生态系统持续壮大生态系统持续壮大 Hadoop生态系统持续扩大生态系统持续扩大 实时化：内存计算兴起实时化：内存计算兴起 Integration Batch Pro
9、cessing Interactive Analytics Search Machine Learning Sqoop 融入融入 Flume Pig Hive Complex Event Process 3rd Party or customized wordload Impala Solr MLLIB MapReduce YARN/Zookeeper HDFS Spark Storm ?AMPlab开发的Spark，提供迭代式内存计算模型，非 常适合用于数据挖掘算法的并行化 ?预计Spark将成为编写和分享数据挖掘算法的标准平HBase 台 ?Spark目前已经成为 Apache顶级项目 H
10、adoop Hadoop 2.0发布支持多种计算模型调度的Yarn，实现多种计算模型在同一个集群中并存，将帮助 Hadoop 进一步巩固大数据生态圈。HDFS和Yarn成为Hadoop核心平台性组建，不断吸收更多组建集成到 Hadoop。 混合负载的统一计算平台，满足数据多样化 Content 1 大数据发展趋势 大数据平台关键技术 大数据平台行业实践 大数据平台案列详述 2 3 4 大数据：提供大数据存储、处理、分析和服务平台大数据：提供大数据存储、处理、分析和服务平台 行业 应用 电信电信 银行银行 详单查询、经分分析、 精准营销 全生命周期分析、历史明细、 精准营销、在线征信与风控 等
11、政府政府 交通、公安 情报分析、人口管理 数据洞察/数据服务 特征/模型/挖掘/可视/服务 数据集成数据集成 平台平台 数据处理平台数据处理平台 海量数据存储，批处理，流处理、交互式分析 收集 清洗 转换 Manager 统一管理 大数据基础设施 分布式存储 通用X86服务器 大数据软件平台大数据软件平台FusionInsight 应用服务层 OpenAPI/SDK REST/SNMP/Syslog DataFarm Data Porter Information Miner Knowledge Farmer wisdom Manager 系统管理 元数据管理 Hadoop API Plugi
12、n API Hadoop HIVE/Impala/Elk M/R Spark Storm Solr Yarn/ Zookeeper HDFS/HBase MPP DB 安全管理 ? FusionInsight的Hadoop层提供大数据处理环境，基于社区开源软件增强基于社区开源软件增强，按照场景选择业界最佳实践 ? FusionInsight的DataFarm层提供支撑端到端数据洞察提供支撑端到端数据洞察，构建数据到信息到知识到智慧的数据供应链， 其中包括 相对独立的数据集成服务Porter、数据挖掘服务Miner和数据服务框架Farmer ? FusionInsight Manager是一个分
13、布式系统管理框架，管理员可以从单一接入点操控分布式集群管理员可以从单一接入点操控分布式集群，包括系统管理 （OM/NTP/灾备）、数据安全管理和数据治理 FusionInsight Porter：大数据全能搬运工：大数据全能搬运工 Porter RM DB FTP/SFTP/NFS SFTP Server Porte r 目标 系统 HDFS /Hive HBase FTP Server Hadoop ?HDFS ?HBase 数据 文件服文件服 务器务器 JDBC DB 数据 MR/spark/Hive 任务提交 Other Data Source RDMS Porter用来简化大数据的数据
14、集成 ?除了开源的Sqoop2支持的DB和HDFS外, porter还支持从SFTP, FTP和NAS进行数据导入和导出 ?除了Sqoop2支持的HDFS外, porter还支持数据注入到HBASE并提供功能丰富的rowkey生产机制 ?Sql请求和响应可以通过SFTP和FTP提交, 实现和现有系统的无缝集成 ?轻量汇总的Sql和结果可以通过 SFTP和FTP提交, 并且能够自动调度按天/按月调度。 FusionInsight Miner：基于分布式内存计算的数据分析平台：基于分布式内存计算的数据分析平台 典型数据分析流程 模模 型型 应应 用用 模 型 模模 型型 评评 估估 模 型 模模
15、型型 构构 建建 应应 用用 效效 果果 评评 估估 FusionInsight Miner 行业应用使能器（行业应用使能器（Enabler） 通用使能套件 金融行业模型 电信行业模型 （标签管理、推 使能套件 使能套件 荐引擎） 特特 征征 提提 取取 数数 据据 预预 处处 理理 模 型 评 估 好 应 用 效 果 好 数据探索数据探索 特征工程特征工程 建模分析建模分析 可视化可视化 数数 据据 理理 解解 并行化机器学习算法库并行化机器学习算法库(Mahout/MLlib/HiGraph) 业业 务务 理理 解解 数据处理平台数据处理平台 14000 Dimensions 结 束 开
16、始 2000 Conversion 1500 主要特点：主要特点： ?端到端分析平台：端到端分析平台：一站式平台支撑数据分析全流程 ?特征工程特征工程/社交化：社交化：特征复用；支持 1,000万维度 ?建模算法：建模算法：自研自研HiGraph 算法, 比MLlib快35倍 ?开放性：开放性：对Operator 的扩展性；与R无缝对接；与SAS、SPSS等对接； ?业务驱动：业务驱动： 基于业务问题驱动的闭环解决方案，比如推荐引擎使能套件 40 x 专家系统 学习系统 1000 500 0 Top1000 Top10000Top60000 FusionInsight Farmer：大数据应用
17、使能器：大数据应用使能器 大数据实时应用使能器，支撑企业快速开 发基于大数据平台的应用。 客户开发的应用 Farmer SDK REST MQ Register Access Load Balance & MQ REST:REQ/RESP BLU1 Farmer SDK 1、分布式大数据服务框架和标准服务（如推荐） ?二次开发SDK，透明化访问 Hadoop，聚焦业务逻辑 ?高可靠的分布式处理框架，去中心化的负载均衡能力，和服 BLU2 BLU3 Redis Manager 务实例的弹性伸缩能力 ?基于Activiti的服务编排 ?支持应用的灰度发布 Hadoop API ?隔离的轻量级应用容
18、器 Deploy on Container Deploy on Server or VM PaaS Hadoop 2、多协议接入和缓冲简化应用集成 ?高性能的多协议接入部件，通过ALB隐藏内部拓扑细节 ?高性能、高可靠消息队列部件 ?热点数据redis加速 为行业业务负载优化的统一大数据处理平台为行业业务负载优化的统一大数据处理平台 开源 轻度增强 开源 孵化特性 开源 深度增强 自研 IDE DSL Integration Batch Processing Hive Pig Interactive Query Elk Impala Search Machine Learning HiGrap
19、h Streaming Calculation Event Stream Process Online Query Loader Flume CTBase Spark Streaming Solr MLLIB CQL Phoenix 分布式计算框架 MapReduce/Tez YARN/Zookeeper Spark Storm 分布式存储 HDFS/HBase MPP DB 基础设施 Standard Server IMC Server Storage Server Network Pluggable Accelerator ? FusionInsight用100开源的核心支持混合负载，从批
20、量、交互查询、数据挖掘，到实时流和查询等各种场景 ?开放式存储格式（Rcfile/ORCfile/Parquet），以避免锁定私有文件格式 ?所有的组件都通过Manager提供的插件框架来按需安装 SQL能力支持（能力支持（SQL-on-Hadoop） 架架 构构 模模 型型 模式模式 定义定义 主要应用场景主要应用场景 产品产品 类 作业时间秒级左 MPP 架构 交互查询 右，并且返回结 果集很小，一般 在万条记录以内 作业时间超过分 钟级别，中间结 批处理 果或最终结果集 每一种SQL on Hadoop 产品都在尽量满足某一类应用的特征，典型需 比较大 类 求： MR 作业时间超过分 架
21、构 ?interactive query （ms3min） 钟级别，数据计 ?data analyst，reporting query （3min20min） 数据挖掘 算量比较大，内 ?data mining，modeling and large ETL （20 min hr day） 存消耗比较多的 场景 作业时间小于秒 在线查询 级 有查询要求的场景， 响应几乎是实时的 小数据的查询场景， 如报表展示、数据钻 取等 Phoenix(HBase), Elk、Impala、 MPPDB(OLAP) 对作业时间要求不敏 感场景，主要以后台 长时间作业为主，如 Hive、Spark 系统每天、每
22、周、每 SQL 月定时处理汇总的业 务 作业对内存和CPU要 求比较高的场景,如迭 代计算的场景，主要 Spark SQL 应用于数据挖掘、科 学计算等场景 基于应用场景选择最适合的流处理技术基于应用场景选择最适合的流处理技术 Batch Mini -Batch Streaming Kevent/s Storm Spark Streaming 1460 500 Spark-Streaming ?Storm 1 node，Mini-batch is set to 5s Spark Streaming：微批流式计算：微批流式计算 适用于在Spark集群上同时提供更低时延要求的微批流处理处理，如KP
23、I统计等 Storm：事件驱动模式的实时计算：事件驱动模式的实时计算 适用于更低时延要求（毫秒级），高并发的实时事件处理场景 可靠、安全、易用、高效可靠、安全、易用、高效 -所有业务和管理节点HA -跨数据中心容灾、备份 -第三方备份系统集成 -在线更换硬盘 -HBase容灾业界最早推出 -代码基线是Apache 开源 可靠 安全安全 -经过系统STRIDE 分析加固 -完善RBAC 和多租户体系 -与现存AAA系统标准协议对接 -全方位数据审计功能 -STRIDE+ 电信系统安全红线 -易安装，集成NTP等 -易运维，增加图形化运维 -易开发，标准接口+实用案例 -易定位，日志收集搜索 -H
24、Base 可视化建模 -平台核心代码性能优化 -高性能分析挖掘算法（ Miner） 易用 高效高效 -存储效能提升（ EC，ARM） -高性能网络优化（ RDMA） -新型存储优化（大型SSD） 高效高效-SparkSQL：平易近人，快速上手：平易近人，快速上手 ?SQL parserSQL parser ：实现插件式的：实现插件式的 SQL ParserSQL Parser ，基于插件接口实现，基于插件接口实现 SQL99SQL99语法解析。语法解析。 ?Logical PlanLogical Plan：新增：新增SQL99LogicalPlansSQL99LogicalPlans，支持，支
25、持SQL99SQL99逻辑计划。逻辑计划。 ?元数据管理：使用元数据管理：使用 Hive metastoreHive metastore 进行元数据管理，与社区演讲发现对齐。进行元数据管理，与社区演讲发现对齐。 ?性能提升：原则上重用社区的优化器，必要时增加性能提升：原则上重用社区的优化器，必要时增加SQL99OptimizerRulesSQL99OptimizerRules，新增，新增 and/orand/or 优化，优化，inner joininner join优化，优化，hive indexhive index 优化优化 ?应用场景 价值：SQL是一个常用的分析语言，客 户接受度较高，各
26、种业务场景对SQL诉 求也较明确。 语 法 增 强 H Q L ?解决方案 R el a t i o n E xe c u t o in O p e r a t o r s ?方案： S Q L Pa r se r U n re s o v le d Lo g i ca l Pa ln L og i c al Pa ln O p t mi z ie d L o g ic a l P a ln P h y sica l P a ln s 基于插件式方案构建基于Spark SQL 框架的差异化语法解析器和性能优 化器 Na t v ie R D D s S Q L S c h e m a Ca t
27、alog ?用户价值 ?实现标准SQL的TPC-DS用例99个全部通 过。满足客户常用的标准SQL诉求。 高效高效-Spark Carbon ：提升查询效率：提升查询效率 Spark OLAP Planner Spark Core Spark Core Spark Core 特点： ?分布式，多维索引，物化视图，分布式入库，Schema固定 存储： RDD Partition RDD Partition DataSource API Cube Engine RDD Partition ?CubeFile，一种按多维Key排序的文件格式 ?HDFS + Shortcut Cube Process
28、or Cube Processor Cube Processor 计算： ?基于Catalyst框架新增OLAP Planner，对Cube支持过滤下压、计 算下压等优化 ?Cube Processor: Cube数据读取，跳转，聚合计算 语言： ?使用SparkSQL DML ?DDL：新增CREATE CUBE, LOAD INTO CUBE Distributed Data Store (HDFS) Cube File Cube File Cube File Spark Application (Cube Load) Encoding Encoding Encoding 23 Elk:
29、交互式交互式SQL on Hadoop 全面超越Impala，大部份指标是impala两倍 BI PL/SQL jdbc/odbc/ Web SQL99 ETL Data Explorer HQL 700 600 SQL2003 500 400 Elk Sql Parser Sql Eexcute HDFS HBase Impala ELk Hive Metadata 300 200 100 0 1 2 3 4 5 6 7 8 9 10111213141516171819202122 Elk与Impala性能对比，TPC-H（单位：秒/查询N） ?采用通用的SQL标准接口，全面兼容传统的数据库
30、SQL和Hadoop的HQL ?全面支持传统应用的接口JDBC、ODBC，并提供丰富的扩展接口如PL/C， PL/Jaca，PL/Python ?交互式查询性能达到或超越Impala ?灵活的存储格式HDFS(ORC、Parquet)，HBase（KV） 测试环境: 4 节点: 2 *8 core CPUs, 96GB RAM, 6 7200rps SATA 盘, 10GE网卡, HDFS 3副本. 智慧智慧 HiGraph,高性能优质算法库高性能优质算法库 Mahout：基于MR Cloudera Hortonworks 的并行算法库 性能提升性能提升2-32-3倍倍 MLlib：基于Spa
31、rk的 并行算法库 HUAWEI HiGraph： 超过60种算法,半数由 研发及优化 HiGraph 线性加速线性加速 Huawei FusionInsight 优质算法优质算法 网络平面隔离网络平面隔离 集群业务平面 APP-Server APP-Server OMS-Server ?Hadoop是全分布式计算系统，要求业务节点之间全互 联。为应对由此带来的可靠性、安全性风险， FusionInsight支持将网络划分为三级：集群业务平面、 集群管理平面和集群外维护网络，彼此之间实施物理隔 离。 ?实施网络隔离，可以避免业务平面的高负载阻塞集群管 理通道，也可以阻止外部攻击者通过管理通道入
32、侵实际 业务数据。 网络类别网络类别 集群业务 平面 集群管理 平面 信任程度信任程度 高 中 低 说明说明 Hadoop集群核心部件，业务数据在其 中存储、流转。 仅具备集群管理功能，不接触实际的 业务数据。 仅能访问OMS Server提供的Web服务， 除 非 连 续 攻 破 OMS Server 和 APP Server，否则无法访问业务数据。 集群管理平面 WebUI-Client 集群外维护网络 集群外维 护网络 电信级可靠性电信级可靠性 业务可靠性：业务可靠性： 1 1 1 1 系统无单点：系统无单点： OMS，HDFS，HBASE，YARN， HIVE，OOZIE，HUE，ZO
33、OKEEPER， BOOKEEPER 采用主备，负荷分担方式实现服务无 单点故障 数据可靠性：数据可靠性： 1 3 2 1 1 3 管理节点管理节点 HAHA：OMS节点及所有业务组件中心管理 节点实现 HA 1 4 5 跨数据中心数据备份：跨数据中心数据备份：HBase集群通过 HLOG准 实时复制， HDFS/Hive 集群通过 BackupAdmin 异步复制实现跨数据中心灾备 硬盘热插拔硬盘热插拔: :支持在线集群硬盘更换不影响业务. OSOS层可靠性加固层可靠性加固: : RAID/OS 写缓存保护实现掉电 数据保护 RaidRaid 策略策略: : OS，OMS，NameNode，
34、ZK 及 HDFS数据节点采用不同硬盘分区及Raid策略，兼 顾性能情况下保证数据可靠性 第三方备份系统集成第三方备份系统集成: :数据可以灵活的备份在外部 系统如 NAS、磁带库，只是和NBU等备份软件集 成 2 4 3 6 6 5 7 8 6 7 8 数据备份与集群容灾数据备份与集群容灾 本地备份本地备份 支持库级别本地备份、批量导出 和数据恢复，支持全量、增量两 种模式。用于集群故障、人为误 操作导致的数据丢失 数据恢复 HBase 批量导出 Hadoop cluster 本地备份 RS HM HM RS HLog Sync HBase HM HM 异地灾备异地灾备 表级别集群在线备份，
35、用于在线业务故障灾备 LdapServer Authentication Data Sync LdapServer RS RS RS NAS RS RS HDFS HDFS 敏感数据加密存储敏感数据加密存储 Hive/HBase 敏感数据写 入 敏感数据 读取 非敏感数 据 Hive 加密/解密 HBase 非敏感 数据 HDFS *(&#$%!%$#$!(*&*5!$! %$!$!%#$%#!$#! ?技术特点 ?保密性高保密性高 ：采用业界流行的算法加密。除业务接口外，其他手段读取文件均为乱码（如通过shell、或HDFS接口查看）。 灵活灵活：加密算法插件化 ，支持 AES、SMS4 等
36、，允许用户自定义。非敏感数据可不加密，不影响性能（加密约有5%性能开销）。 业务透明业务透明 ：上层业务只需指定敏感数据（Hive表级/列、HBase表/列族/列级加密），加解密过程 业务完全不感知。 Content 1 大数据发展趋势 大数据平台关键技术 2 3 4 大数据平台行业实践 大数据平台案列详述 大数据应用场景大数据应用场景 业 务 价 值 营销支持营销支持 灵活深 专业化 入的客 的营销 户细分 与销售 整体解决 方案与个 性化服务 定制 安全可 靠的渠 道风险 控制 产品运营产品运营 风险集成的业 高效的运营效 务运营 率 风险管控风险管控 实时的风险决策 内部管理内部管理 优
37、化管理流程，提 升运作效率 降低管理成本 应 用 场 景 事事 件件 营营 销销 客客 户户 画画 像像 舆舆 情情 分分 析析 获获 客客 客客 户户 挽挽 留留 交交 叉叉 销销 售售 个个 性性 化化 理理 财财 小小 微微 贷贷 智智 能能 客客 服服 账账 务务 追追 溯溯 网网 站站 分分 析析 知知 识识 管管 理理 产产 品品 绩绩 效效 评评 价价 实实 时时 风风 控控 实实 时时 征征 信信 反反 欺欺 诈诈 客客 户户 风风 险险 报报 告告 运运 维维 日日 志志 分分 析析 信信 息息 安安 全全 分分 析析 员员 工工 挽挽 留留 客户标签客户标签 商机挖掘信息商
38、机挖掘信息 客户贡献度客户贡献度 产品运营产品运营KPI 黑名单黑名单 品牌美誉度品牌美誉度 知识图谱知识图谱 用户位置用户位置 第三方资信第三方资信 用户消费倾向用户消费倾向 数 据 对公客户细分对公客户细分 零售客户评分零售客户评分 客户风险测评客户风险测评 账户账户/流水流水/产品产品/组件日志组件日志 行内业务数据行内业务数据 运维日志运维日志/对内服务系统数据对内服务系统数据 行内非业务数据行内非业务数据 移动应用移动应用/微信微信/呼叫中心呼叫中心/微博微博 新型数据新型数据 互联网互联网/电信电信/医疗医疗/交通交通/咨询报告咨询报告 第三方数据第三方数据 大数据平台参考架构大数
39、据平台参考架构 商业智能（BI） 报表 多维分析引擎 数据可视 数据探察 数据多维展示 实时查询 数据服务 批量查询 分布式缓存 访问框架 平台管理 元数据管理 作业调度 数据安全管理 数据集市 交互式探索 应用计算 数据聚集 实时计算 多维关联 结构化数据挖掘 分类 预测 聚类 关联 半/非结构数据挖掘 文本分析 互联网分 析分词 搜索 语义 NLP 社交网络 推荐引擎 多媒体分 影像析分析 音频分析 视频分析 流式数据 处理 RTD ESP/CE P 流处理 数据 存储 应用数据区 公共访问区 基础数据区 实时查询区 数据 转换 数据 采集 结构化数据 客户数据 结构化转换 统计/关联 过
40、滤/匹配 非结构转换 XML/JSON 文本 多媒体转换 视频摘要 语音转文本 非结构数据 日志 呼叫中心语音 网站点击流 第三方数据 微信 微博 流式数据 刷卡事件 账务数据 大数据平台总体框架大数据平台总体框架-技术视角技术视角 商业智能（BI） 报表 多维分析引擎 Cognos 数据T探3.js a察bleau 数据多维展示 数据可D视数据服务 实时查询 平台管理 访问框架 元数据管理 批量查询 分布式缓存 数据集市 多维关联 交 S Q L互o式n 探索分布式 GP Hadoop I应M用DB计算 数据聚集 实时计算 结构化数据挖掘 分类SAS 聚类 预测 半/非结构数据挖掘 文本分析
41、 分词 互联网分 多媒体分 析Solr 搜索影像析分析 推荐引擎 流式数据 处理 RTD 作业调度 数据安全管理 Minerh o义ut/MLLib/HiGraph频）音分析 社交网络 关联 （Ma语 NLP HIVE/Impala M/R Yarn Spark 公共访问区 基础HDF数S据区 实时查询H区视频分析 CEP 数据 存储 应用数据区 Storm BASE 流处理 结构化转换 数据 HIVE/Impal联a 过滤/匹配 统计/关转换 非结构转换 多媒体转换 /SRXMML/J ON 文本 Spar语k音转文本 视频摘要流式数据 数据 采集 结构化数据 客数据 F户TP账务数据Sqo
42、 op 非结构数据 日志 F呼叫中心语音 lume网站FT点P击流 第三方数据 微信Crawler 微博 MQ刷卡事件 kafka Content 1 大数据发展趋势 大数据平台关键技术 大数据平台行业实践 大数据平台案列详述 2 3 4 Content 4 大数据平台案列详述 TDTD数仓卸载数仓卸载 HDSHDS 运维日志实时分析运维日志实时分析 影像存储影像存储 智能运维业务智能运维业务 现有数据仓库应用负载卸载现有数据仓库应用负载卸载-现状和挑战现状和挑战 下游应用下游应用 CRM 信用评级 绩效考核 精准营销 管理报表 现状现状 ?一般采用贴源层+基础层+应用层三层数据 数据仓库数据
43、仓库 应用层 一体机 基础层 贴源层 架构 ?数据贴源层存放贴源数据 ?数据贴源层数据除了用来加工为基础层数据 外，一般很少被下游应用直接用到，可视为冷数 据 ?数据贴源层占据EDW宝贵存储资源 ?贴源跑批占据大量EDW系统资源 挑战挑战 ETL平台平台 FTP 卸载加载 作业管理 数据转数 换据转换 ?伴随业务的增长，数据增长快，扩容压力大 ?通常采用国外厂商一体机，存储成本高，扩 数据源数据源 核心 信贷 中间业务 信用卡 网银 成本大 ?跑批占用数据仓库时间窗口越来越长，可使 用时间窗口越来越少，给数据仓库的使用带来巨 大压力 容现有数据仓库应用负载卸载现有数据仓库应用负载卸载联合创新方
44、案联合创新方案 卸载平台要求卸载平台要求 下游应用下游应用 CRM 信用评级 绩效考核 精准营销 管理报表 ?卸载平台能够满足一定的处理时间窗口要求 ?卸载平台具有较低的每 TB数据成本 ?卸载平台具备非常好的水平扩展能力 ?卸载平台支持通用X86服务器 ?卸载平台能够提供较好的企业级特性（可靠 性数据仓库数据仓库 应用层 基础层 贴源层 体 机 FTP 卸载平台卸载平台 基础层 、易管理性、易用性），满足一定的性能SLA X86 服务器 联合创新方案联合创新方案 ?与金融机构一起联合创新，将数据仓库系统 中 贴源层 ETL ETL 的贴源批处理过程迁移至基于通用X86服务器 的使用大数据技术
45、的 Hadoop或MPPDB 平台 注：方案过程见动画 客户价值客户价值 数据源数据源 核心 信贷 中间业务 信用卡 网银 ?开放，不被单一供应商锁定； 提高数仓体系拓展能力、降低拓展成本 降低数据存储成本 减少数仓跑批时间窗口，提高数仓使用效率 Content 4 大数据平台案列详述 TDTD数仓卸载数仓卸载 HDSHDS 运维日志实时分析运维日志实时分析 影像存储影像存储 智能运维业务智能运维业务 历史数据应用四种模式历史数据应用四种模式 应用模式应用模式 数据归档 用户群体用户群体 行内用户 应用场景应用场景 组件内生产数据清理后，在历史数据区进行归档保存 历史数据在线快速查询；查询条件
46、比较精确；响应时间比较 紧迫； 在线查询 在线同步（访问数据库） （响应时间：60（秒） 在线异步（访问文件） （响应时间：300 （秒） 访问频率：=50次/天） 行内用 户行外 用户 查询条件比较精确；响应时间不是非常紧迫；访问频率比较 高； 查询条件比较宽泛；响应时间不是非常紧迫；访问频率比较 低 月末/季末的银监会、 外管局、审计署的外部监管数据需求； 数据需求比较确定、供数操作频率比较固定、供数格式比较 固定 数据需求不确定、供数操作频率不固定、数据结果集不确定。 批量供数 零星供数 外部监管 （部分包 括行内用户） 行内用户 HDS区整体视图区整体视图 数据源 源数据区 主档全量
47、主档增量 明细增量 主档全量 HDS区归档集群 接入数据区 主档增量 明细增量 组合计算区 批量供应数据区 多表关联 Hbase装载 表截面文件 加工数据文件 归档数据区(Hive) x系统.x表归档数据 x系统.x表归档数据 应用加工计算区(Hive) HQL数据加工 MR数据加工 归档 数据源 源数据区 主档全量 主档增量 明细增量 主档全量 HDS区归档集群 接入数据区 主档增量 明细增量 应用计算区 批量供应数据区 表截面文件 加工数据文件 指标计算区 归档数据区(Hive) x系统.x表归档数据 x系统.x表归档数据 应用加工计算区(Hive) HQL数据加工 MR数据加工 批量供数
48、 数据源 源数据区 主档全量 主档增量 明细增量 主档全量 HDS区归档集群 接入数据区 主档增量 明细增量 HDS区查询集群 在线同步查询区 在线数据 (HBASE) 查询服务区 统一在线查询 在线同步查 询服务 在线异步查 询服务 组合计算区 多表关联 Hbase装载 归档数据区(Hive) 应用加工计算区(Hive) HQL数据加工 MR数据加工 在线查询 x系统.x表归档数据 x系统.x表归档数据 关键技术：关键技术：HBase二级索引二级索引+Phoenix+Spark UserTableUserTable ColumnFamily RowKey colA colB colC a00
49、001 * a00002 * a00003 * a00004 * a00005 * a00006 * 数 据 扫 描 区 域 特性描述 HBase二级索引特性支持在非 RowKey列上建立索引，大幅提高检索 速度。 使用Phoenix为HBase提供基础SQL能力，在使用 HBase高速查询能力 的同时，降低系统的学习使用成本。 构建统一的混合结构数据存储平台，通过Spark支持全量业务数据+ 外部数据的挖掘分析。 目 标 行 无索引：无索引： “Scan + Filter”，扫描大量数据，扫描大量数据 特性价值 高性能、高并发：HBase规模可达到数十亿行以及数百万列，同时 读、写访问可以达
50、到实时级别。 提供SQL支持：降低学习成本和系统改造成本。 UserTable_idxUserTable_idx RowKeyRowKey a00001coluA*a00001 a00001coluA*a00002 a00001coluA*a00003 a00001coluAxxxxxxxxxxa00004 a00001coluA*a00005 a00001coluA*a00006 CF UserTableUserTable ColumnFamily RowKey colA colB colC a00001 * a00002 * a00003 * a00004 * a00005 * 4 4 a
