1、2013年1月大纲1.支付系统处理情况2.支付系统总体架构3.高可用大容量系统架构4.业务连续性保障体系5.业务连续性保障案例1支付系统处理情况中国最多人选用的第三方网上支付平台与超过170个金融机构包括全国性银行、各大地区性银行合作支持使用支付宝交易服务的商家已经超过46万家，涵盖了网上零售、虚拟游戏、数码通讯、商业服务、机票、公用事业等行业截至2012年6月，支付宝注册账户数突破7亿在2012年11月11日，支付宝完成了1.058亿笔交易，创下了单日交易量的新高p2012年全年系统可用率99.992%p系统具备处理每天1.5亿+支付处理能力交易处理能力：1.5万/秒支付处理能力：8000/
2、秒(支付宝账户)、2400/秒(银行)p2013年计划建设3亿+支付处理能力p当天：核心数据库集群：完成41亿数据库事务，执行285亿次的SqL，生成15TB日志，访问1931亿次内存数据块应用系统集群：完成1000亿+服务调用，由600+个应用协同完成对比国际同行：p Paypal：2012年Q4处理6.91亿笔，日均750万笔左右(来源：Ebay财报)p Amazon：2012年高峰（11月26日），2650万商品/天(来源：Amazon官方数据)1.058亿19.5亿1280万191亿54亿3360万交易额（仅淘宝）交易笔数付款峰值笔数6.3万/分钟2万/分钟20.5万/分钟3833/秒
3、2支付系统总体架构 千万级-亿级-十亿级 同城-异地-全球 P级数据深度应用 99.99%以上 核心业务做到0停机维护 自动化运维与弹性处理 数据与应用级灾备 安全 开发更简单 质量更可控 持续交付 降低单笔处理成本 无厂商依赖海量稳定速度成本业务平台(SAAS)数据平台(DAAS)技术平台(PAAS)运维平台(IAAS)1.基础资源伸缩性2.组件扩展性3.系统平台稳定性1.可伸缩、高可用的分布式事务处理与服务计算能力2.弹性资源分配与访问管控1.海量数据处理与计算能力2.“适时”的数据处理与流转能力1.随时随地可用的支付服务2.安全、易用的开放支付应用开发平台网购航旅 水电煤还款充值加油理财
4、酒店送礼互联网移动互联网新型终端架构运营体系商户业务平台个人业务平台风险控制平台会员营销平台运营支撑平台商业智能平台终端云钱包核心应用支付清算平台客户平台金融网络平台数据平台应用中间件平台数据与通信平台前端技术平台基础设施平台安全技术平台技术平台网站平台运维管理平台监控分析平台研发交付平台开放平台终端平台统一支付处理支付工具处理账务处理统一支付平台统一支付服务门面事务处理统一会计核算内部支付工具外部资金渠道统一机构接入网关金融交换中心余额红包主账务对账中心内部账户中心会计中心清算中心收银台PC收银台无线收银台个性化收银台规则处理(支付路由/额度控制)支付业务/支付应用微账务积分金融机构服务抽象
5、支付业务服务抽象业务PC类业务无线业务非交易类业务风险盗用欺诈销赃盗卡钓鱼风险识别规则体系模型体系身份认证体系处罚案件核查安全决策统一决策合规央行规范安全等保PCIISO27001业务安全应用安全数据安全系统安全客户端安全安全服务中心认证中心决策中心风控中心身份认证能力 PKI OTP 应用攻防能力 验证码 人机识别 可信环境数据分析能力 规则 模型 数据运算开放安全服务OpenIDOpenAuth日志审计分析安全域划分链路冗余系统冗余数据冗余安全控件安全套件安全客户端无线客户端安全信息安全SDL信息安全服务信息隐藏接口安全内容管理统一加解密密钥管理加密解密卡信息加密数据分级通信加密安全攻防系
6、统攻防中心Web应用防火墙CC防御安全扫描安全运营数据库审计操作与运营安全数据传播控制权限管理操作审计接入安全总体安全策略安全组织安全机制青岛异地灾备机房联通火炬路机房同城灾备电信兴议机房l 杭州同城双机房（各100%能力），青岛备份及容灾机房l 机房要求l 四星级以上电信级机房l 双路供电，满负荷油机配置l N+1空调制冷保障IaaSPaaS弹性管理应用运行时交付管理zP a a S API网络负载均衡存储OS/虚拟机数据库IDC基础服务开发语言（Java）Framework（SOFA）运行环境支持（CE/Jboss）开发工具支持监控弹性调度资源操作适配层消息通知服务调度服务cron数据服务
7、协调服务环境交付配置及其构建应用发布应用元数据基础服务管理数据存储与引擎统一数据访问层数据路由数据源ORM/DAOoracle数据一致性数据抓取数据管控数据控制台分布事务mysql实时分析引擎KV引擎海量文件存储搜索引擎数据缓存(本地)数据流控数据转换数据分发数据加载跨机房应用通信App1App2App3消息中心软负载均衡WS高性能RPC httpApp1App2App2机房APub/sub一对多，可靠、异步、事务的通信。App1App2点对点通信消息队列支付平台统一网关消息队列业务系统请求支付 查询回执 高性能异步通讯，高效蓄洪机房B机房CApp1App2App3跨机房应用通信跨机房应用通信
8、4高可用大容量系统架构p 分布式、无单点服务器网络数据库机房p 松耦合自主运行的服务定义并管控的SLA最小化服务依赖p 弹性快速监控资源调度自动化p 快速恢复服务的自恢复能力变更控制与回滚开关与降级能力DB1主DB1备DB1主DB2主DBn主DB1备DB2备DBn备小机+高端SAN存储PC+本地存储+低端SAN日志存储failoverDB恢复能力：单库1 分钟，整机房DB 15分钟数据复制中心12n1核心交易数据(分表/分库/failover)主交易系统交易处理服务(写场景)交易记录查询系统用户交易记录查询服务(读场景1)12n2商户查询系统交易记录数据(分表并分库)商户查询与对账(读场景2)
9、12n3商户/平台商交易数据(分表并分库)分布数据访问层主备IDC1交易系统账户系统交易数据库账户数据库交易数据库服务注册中心集群交易应用集群支付应用集群IDC2交易系统账户系统交易数据库账户数据库交易数据库服务注册中心集群交易应用集群支付应用集群支付数据库支付数据库GSLB全局数据全局数据复制交易系统交易引擎流程引擎规则引擎资金处理产品账接入商户通知数据持久收费接入统一事件扩展支付工具业务核查收费系统商户通知消费记录沟通商户查询营销核心账务风险核查消息系统超时处理业务系统业务系统担保交易 即时到账交易 货到付款交易异步交易事件处理产品账扩展支付工具扩展支付工具可靠可靠可靠可靠可靠可靠可靠非可
10、靠非可靠强依赖弱依赖本地消息failover弱依赖开关SLA控制LogLogLogLogHDFSDataDataDataDataHBase/NoSQLMapReduceReal Time ComputeParserLayerParserLayerParserLayerParserLayerComputeLayerComputeLayerComputeLayerComputeLayerMile(NoSQL)zAgentzAgentzAgentzAgentp 支付宝监控系统能够在5-10秒内发现故障，并且做出监控报警p 监控的计算任务被动态的分配到各计算节点，可以快速做出响应p 可以通过统一的监控
11、模型，快速进行监控点配置 appmastersalversalver应用集群缓存/vip列表订阅关系中心SLA控制中心SLA控制数据中心服务注册SLA管控平台confregSLA控制中心SLA控制中心管控信息发布管控信息存储管控信息注册SLA管控组件appSLA管控组件管控信息管控信息服务注册29统一资源管理发布部署环境交付编译构建监控数据查询应用运行时数据源应用内部开关容器资源SLA流量管理服务组件操作消息调度缓存底层资源网络负载均衡虚拟机应用运行数据的收集监控系统的数据建模和计算弹性平台的分析产生控制命令指令执行银行渠道数据采银行渠道数据采集集银行渠道数据监银行渠道数据监控控分析发现某银行
12、分析发现某银行A A渠道异常渠道异常根据模型产生调根据模型产生调拨指令拨指令切换到某银行的切换到某银行的B B渠道渠道主业务服务从业务服务A从业务服务B数据库数据库数据库tryX1.tryX成功业务活动管理器活动日志启动业务活动登记业务操作提交/回滚业务活动confirmXcancelXtryYconfirmYcancelY2.tryY成功3.confirmX成功4.confirmY成功外部业务系统(商户等)内部业务系统(交易等)内部资金系统(支付处理平台)外部资金系统(银行)可靠业务通知服务对账数据查询服务实时逐笔检查中心分布事务控制中心可靠消息掉单查询与恢复批量业务核算中心资金核算中心会计
13、中心关系数据库ACID事务分布式锁支付业务处理系统业务核算体系技术支撑海量数据处理平台复杂事件处理平台5业务连续性保障体系p度量指标 运维不可用率时长（运维可用率）因故障引发10分钟及以上，创建or支付笔数与基线相比下跌超20%，则计入运维不可用时长。技术团队可控的 技术团队无法控制的 服务不可用时长=运维不可用+计划内停机维护+第三方原因不可用 关键数字：运维可用率 服务可用率（用户端感受）（运维不可用时长）（服务不可用时长）检验运维能力检验系统架构p 运维管理体系 变更管理、故障管理、预案机制、演练机制p 运维基础体系标准化运维配置标准化（网络、DB、应用，OS版本、参数标准化）操作规范化
14、运维工具体系（效率&质量）监控体系（系统、网络、DB、应用）管理体系（IAAS 平台）应急体系（预案、组织体系等）其他基础：如优化报警等p 运维意识：运维往前走，与架构、研发密切配合需求分析设计编码测试发布运行配置线上发布稳定性评审24*7监控系统日/周/月报性能测试多级发布稳定性测试自动化发布与验证应急值班制依赖测试兼容性测试发布测试分析设计评审生产变更变更评审Beta运行架构规范编码规范单元测试持续集成代码评审功能测试容量压测容量基线容量管理容量预测资源管理报表管理p应急组织24*7监控小组跨部门组织应急流程应急响应识别风险制定预案演练与记录总结与改进p 应急演练 风险识别+预案+演练 模
15、拟场景或真实场景 定期演练与改进（全年规划、季度计划、每月一次大型演练）6业务连续性保障案例monitor：(09:46:37):付款下跌了DBA：(09:47:06):PC00数据库故障，HBA卡硬件故障、现在已经推送failovermonitor：(09:48:07):9点44分下跌，46分恢复。DBA：(09:53:58):已经确认是一块HBA卡硬件损坏，现在暂时将该卡屏蔽，业务回推到主库，保障聚划算，下午将进行主备切换，应对明天的双12大促。NE：(17:49:40):ZUE机房至ABTN光缆有一路故障，目前ZUE至ABTN为单上联。已向运营商报障。请SA将公网流量全切到ZTG机房SA
16、：(17:53:42):ZUE机房已关闭tbapi流量，流量切至ZTG机房NE：(20:37:39):ZUE至ABTN故障的光纤已恢复，请SA安排流量回切。SA：(20:40:57):5%25%50%已切换完成p 时间：凌晨2点-6点p 主要内容：DB模拟宕机恢复 客户DB写库宕机主备切换，读库宕机模拟（会员注册、信息修改不能进行）-成功，单库切换10分钟内。读库宕机对业务基本无影响，连接有瞬时冲高。共享配置写库、单读库模拟宕机验证（预期：写库影响快捷卡通签约等，读库无业务影响）-单读库宕机基本无影响，写库切换10分钟内。无线业务库宕机vcs切换（无线不可用）-影响绝大部分无线交易，5分钟切换
17、完成，应用自恢复 应用部分 应用nas分卷只读验证-分批停除银行对账文件外的其他目录，业务基本无影响，批量卷只读开启和关闭的单一操作在2分钟内完成。收银台限流验证（浦发银行）-有效，快速操作 关闭收银台上风控、营销接口开关验证有效，快速操作 网络部分GSLB自动分组功能上线-5分钟生效网络冗余架构验证-链路故障0.4秒收敛，设备重启5秒收敛p 业务指标转变成系统容量梳理应用关键路径,找出最短的板把业务指标转换成对网络的压力和容量关注运营活动的变化，发现新增的未知地带 p准备8.3项目小组成立，容量目标确定，制定银行扩容计划9.30关键系统优化；单点、故障隐患点改造升级；完成资源评估10.12整
18、体应急预案汇总，约220条10.26完成资源扩容10.31预案演练完成，银行扩容完成充值活动、支付攻略、无线等活动开发上线11.1模拟单机房故障，快速切换演练11.5支付宝封网11.11大促当天应急响应11.12后续预案恢复、数据订正11.23技术复盘和后续改进双11业务连续性保障：准备p业务情况：0:01：支付宝成交19.2万笔，同时涌入1000万人0:10：支付宝成交2.5亿元0:37：支付宝成交10亿元1:10：支付宝成交20亿元2:19：支付宝成交33.7亿元13:38:支付宝成交100亿元全天支付宝成交200亿元+，1.058亿笔p技术保障预案执行主站执行96项次金融渠道执行287项次无线执行3项次技术团队值班参战人员：200+双11业务连续性保障：执行44写在最后写在最后成功的基础在于好的学习习惯成功的基础在于好的学习习惯The foundation of success lies in good habits 结束语当你尽了自己的最大努力时，失败也是伟大的，所以不要放弃，坚持就是正确的。When You Do Your Best,Failure Is Great,So DonT Give Up,Stick To The End演讲人：XXXXXX 时 间：XX年XX月XX日
