1、Fintech数据开放平台架构技术创新 变革未来目录目录“接招接招”,Fintech带来的挑战带来的挑战“闭关闭关”,数据架构该如何应对,数据架构该如何应对“实践实践”,生产中解决实际问题,生产中解决实际问题“思考思考”,未来还需要做些什么,未来还需要做些什么12341.1 Fintech Bank(金融科技银行金融科技银行)什么是什么是“金融科技银行金融科技银行”?就是?就是“以以科技科技敏捷带动业敏捷带动业 务敏捷务敏捷”,一家金融科技银行要紧紧围绕客户需求,一家金融科技银行要紧紧围绕客户需求, 深度融合科技与业务,快速迭代、持续交付产品和服深度融合科技与业务,快速迭代、持续交付产品和服
2、务,创造最佳务,创造最佳客户体验客户体验,实现,实现效率效率、成本成本、风险风险的最的最佳平衡。佳平衡。-田惠宇(招商银行行长)1.2 Fintech挑战挑战1-业务连续性要求更高业务连续性要求更高服务时间:5*8SLA = 9999RTO = N分钟服务时间:7*24SLA = 99999RTO 01.3 Fintech挑战挑战2-处理速度更快处理速度更快全天交易额1682亿交易峰值32.5万笔/秒支付峰值25.6万笔/秒78.5%手机网民参与“秒杀”2017年除夕收发红包总量为142亿个收发峰值也已达到76万/秒1.4 Fintech挑战挑战3-更高的开发运维效率更高的开发运维效率项目成员
3、 20人, 3个月完成一个版 本需求阶段 4周概要设计阶段(架构) 1周详细设计阶段 + 实现编码阶段 +单元测试阶段 4周集成测试阶段 2周系统测试阶段 2周项目成员 10人, SprintBacklog的时间周期一般为2-4周1.5 Fintech挑战挑战4-运营成本显著下降运营成本显著下降集中化模式投资巨大扩展性差分布式架构X86和云计算为基础扩展性强目录目录“接招接招”,Fintech带来的挑战带来的挑战“闭关闭关”,数据架构该如何应对,数据架构该如何应对“实践实践”,生产中解决实际问题,生产中解决实际问题“思考思考”,未来还需要做些什么,未来还需要做些什么12342.1 数据开放平台
4、应对策略数据开放平台应对策略目标:贯彻好移动优先战目标:贯彻好移动优先战略略;持续提升运维保障水平;为业务快速创;持续提升运维保障水平;为业务快速创新提供低成本的金融高可用云服务新提供低成本的金融高可用云服务。通过运维标准化、流 程化、自动化,提供 云服务能力云服务能力加强DevOpsDevOps建设建设,完 善自动化发布通过应用读写分离、数 据多活等,构建金融高金融高 可用架构可用架构分布式计算分布式计算联合创新, 构筑弹性伸缩能力应对应对金融高可用架构2.2 开放基础架构接近主机的可用性开放基础架构接近主机的可用性采用Oracle Extended Rac架构,将两个RAC节点分别部署在同
5、一个站点的不同的隔离区,做到站点内基础设施无单点站点内基础设施无单点(网络、供电、存储、主机、防火等)。2.3 开放数据架构兼具可用性与扩展性开放数据架构兼具可用性与扩展性可用性可用性 扩展性扩展性数据库依赖数据库依赖读写分离分库分表数据双活无状态冗 余数据放通2.3 无状态冗余是指在应急的时候,通过无状态冗余是指在应急的时候,通过 预先创建数据库或表快速接管预先创建数据库或表快速接管“无状态无状态” ” 的应用的应用2.3 数据放通是指关键路径上有不强依赖数据放通是指关键路径上有不强依赖 数据库的备选路径数据库的备选路径DevOps建设2.4 投产发布流程纳管数据架构设计投产发布流程纳管数据
6、架构设计第一级准入条件第一级准入条件1.新产品(指申请新的系统编号的新开发系统,或者基于已有系统编号重 新开发的新系统)上线;2.大规模系统重构(如系统重新设计、重写和部署平台迁移)或系统核心 架构变化;3.新的开发框架投入使用;4.新增设备,且非原有应用程序扩容;5.由于新技术引入或新增功能模块造成调用关系变化或公共底层组件变化; 6.准入准入 判断判断非功能需 求确定非功能测 试代码检视代码检视部署前验 收部署部署后验部署后验 收收上线第二级准入条件第二级准入条件1.读写分离准入:读写比例估计会 超过4:12.分库分表3.数据双活4.无状态冗余5.数据放通*不满足上述准入需注明原因;2.5
7、 应用发布自动化平台让版本投产更敏应用发布自动化平台让版本投产更敏 捷捷云服务建设2.6 数据库部署自助化数据库部署自助化完成一套环境的架建从一到两周缩减至不到两个小时就能完成。2.7 统一运维服务化统一运维服务化数据库基础运维操作封装成原子化模块,通过流程编排可以快速提供完整和复杂的服务流程。分布式建设2.8 分布式技术联合创新地图分布式技术联合创新地图目录目录“接招接招”,Fintech带来的挑战带来的挑战“闭关闭关”,数据架构该如何应对,数据架构该如何应对“实践实践”,生产中解决实际问题,生产中解决实际问题“思考思考”,未来还需要做些什么,未来还需要做些什么12343.1 信用卡授权业务
8、历年双信用卡授权业务历年双11的业务压力的业务压力3.2 XXX代授权业务逻辑架构代授权业务逻辑架构3.3 XXX代授权业务,数据双活高可用设代授权业务,数据双活高可用设 计计系统采用O g g DownStream模式的考虑:日志在本地存两份(数据实例、O G G 实例),数据丢失更少;将数据库与O G G 隔离,最大程度的降低O G G 影响;O G G 的抽取和复制服务均加入到CRS集群 中,提供故障自动切换的 能力;抽取服务和复制服务主活在不同的节点,充分利用系统资源;日常运维服务不停机3.4 XXX代授权业务前置,无状态冗余高可用代授权业务前置,无状态冗余高可用 设计设计3.5 XX
9、通用户绑卡列表查询,读写分离高可通用户绑卡列表查询,读写分离高可 用设计用设计XX支付XX通XX通应用读队列Mains_tayCPayAgent写库写库写队列读库读库 1读库读库 2MainstayMainstay_QryMainstayQ_ ryMainstayLru最近更新查询队列返回队列cacheDRaaSDRaaS数据复制及比对数据复制及比对逻辑数据中心1逻辑数据中心2目录目录“接招接招”,Fintech带来的挑战带来的挑战“闭关闭关”,数据架构该如何应对,数据架构该如何应对“实践实践”,生产中解决实际问题,生产中解决实际问题“思考思考”,未来还需要做些什么,未来还需要做些什么12344.1 未来未来-分布式数据库联合创新分布式数据库联合创新4.2 未来未来-云计算服务持续集成云计算服务持续集成