1、微众银行网络架构演进及运维实践GOP S 全 球 运 维 大 会 2019 上 海 站 杨俊杰网络运维室经理1目录目录银行网络运维的银行网络运维的日日常常1WeBank生产生产网网构构建建思路思路27*24银行银行服服务务下下的的网网络络运运维维3Netdevops的一的一些些思考思考4GOP S 全 球 运 维 大 会 2019 上 海 站 2银行网络运维的日银行网络运维的日常常机柜扩容机柜扩容IDC建设建设GOP S 全 球 运 维 大 会 2019 上 海 站 出品链路带宽扩容，运营商核查资源、新增合作伙伴专线接入业务需求，扩容服务器，配套扩容接入层，涉及连接关系梳理、实施方案，变更方案
2、，IP地 址分配，路由发布入网，监控系统录入，切换 演练。专线建设、带宽扩容专线建设、带宽扩容业务系统故障、网络设备故障、网络质量异常。出口容量监控、上联带宽容量监控，网络架构 整体容量扩容计划故障处理、容量管理故障处理、容量管理全网季度巡检、以天为单核心设备自动巡检配置基线、实施规范制定修订 网络设备OS生命周期管理网络设备巡检、制度规范修订、网络设备巡检、制度规范修订、OS管理管理NAT地址分配，合作方接入后专线冗余切换，接入个性化需求支持。合作方接入联调合作方接入联调网络架构调整的优化变更，主动发现网络架构隐患触发的架构变更网络架构优化变更网络架构优化变更基础网络建设基础网络建设日常运营
3、日常运营网络变更网络变更3银行网络运维的日银行网络运维的日常常银行标准网络架构与互联网OTT架构相比较，略有复杂，需要重点考虑安全隔离、监管要求安全隔离、监管要求，网络运营难度高，两 地三中心、多地多中心演进，网络架构复杂度上升灵活跨灵活跨DC 流量调度流量调度需要了解基础架构层面各个组件的高可靠实现，掌 握IDC相关的基本知识，可以更好帮助设计网络的 底层架构，了解上层组件需求，更好的适配业务系 统所需要的网络环境由原来的两地三中心，演变成多地多中心，DC的流量如何调度，是一个基本能力。流量的可视化，针对网络设备buffer、管道通信质量的细颗粒度监控，成为网络运营关注的重点GOP S 全
4、球 运 维 大 会 2019 上 海 站 4银行网络运维银行网络运维7*24应急响应应急响应UIOC重大故障现场抗压能力重大故障现场抗压能力快速决策升级汇报机制快速决策升级汇报机制应急预案快速执行应急预案快速执行ECC技术栈TCP/IP协议栈协议栈OSPFBGPSTPLACPMPLS VPN数据包分析能力数据包分析能力Liunx系统操作能力系统操作能力Pythonshell脚本语言编程能力脚本语言编程能力银行业务系统理解银行业务系统理解网络架构设计监管要求网络架构设计监管要求变更、故障处理规范要求变更、故障处理规范要求审计风险评估能力审计风险评估能力操作规范、管理规范。等操作规范、管理规范。等
5、合规制度GOP S 全 球 运 维 大 会 2019 上 海 站 5目录目录银行网络运维的银行网络运维的日日常常1WeBank生产生产网网构构建建思路思路27*24银行银行服服务务下下的的网网络络运运维维3Netdevops的一的一些些思考思考4GOP S 全 球 运 维 大 会 2019 上 海 站 6WeBank分布式架构分布式架构GOP S 全 球 运 维 大 会 2019 上 海 站 全分布式架构支持业务快速发展全分布式架构支持业务快速发展交易笔数峰值3.23.2亿亿/天天消息峰值2424万万/秒秒子系统10001000个个物理服务器80008000台台注：“交易”是指交易请求从进入银
6、行前置到处理完成并返回的整个过程，是对端到端的交易笔数统计。“消息”是指系统间调用的消息，是对系统间相互调用次数的统计。数据截至2018.127WeBank分布式架构分布式架构微众 架构互联网互联网传统金融传统金融海量用户海量用户海量交易海量交易海量数据海量数据安全安全稳定稳定影响可控影响可控高性能亿级客户量亿级日交易量高弹性容量扩展性性能扩展性低成本开源技术低端服务器资源高可用快速恢复高冗余低风险故障影响隔离影响范围小高标准自动化运维规模化管理安全可控的全分布式架安全可控的全分布式架构构GOP S 全 球 运 维 大 会 2019 上 海 站 87*24不停服不停服-网络服务能力挑网络服务能
7、力挑战战实时金融交易实时金融交易-网络稳网络稳定可定可靠靠连接合作伙伴连接合作伙伴 能力能力智慧运维智慧运维网络架构稳定，变更、故 障流量切换对业务无感知。连接金融机构、连接合作 伙伴，具备开放、便捷，灵活、安全的接入能力。海量用户服务能力，互联网接 入流量需要弹性灵活跨地域 BGP切换，避免运营商网络故 障对用户接入影响实时的网络监控告警、东西向 流flow采集分析、容量监控预 警，故障一键隔离自动化连接用户连接用户GOP S 全 球 运 维 大 会 2019 上 海 站 9WeBank生产网架构构建思生产网架构构建思路路可扩可扩 展性展性流量可流量可 调度调度可切可切 换换低延时低延时可视
8、可视 化化标准标准 化化GOP S 全 球 运 维 大 会 2019 上 海 站 网络转发必须是低时延 出口流量可跨DC间进行调度 DC间网络可平行扩展 架构设计必须标准化、模块化 管道流量可采集可回溯 Farbic节点故障可快速倒换10WeBank生产网架构构建思生产网架构构建思路路 DCN架构应该如何来搭建 BGP还是OSPF？容器的网络方案如何适配？承载Hadoop大数据业务能力 RDMA场景网络支撑能力 东西向Flow采集分析展示能力GOP S 全 球 运 维 大 会 2019 上 海 站 11WeBank生产网架构构建思生产网架构构建思路路CSWCSWCSWCSWAGGAGGAGGA
9、GGLCLCLCLCTORTORTORTORTORTORTORTORD隔隔C离离N带带外外 D管管联联 M 理理区区 Z区区BDBD城域内网城域内网WCWCLCLCSRVSRVTORTORLBLBFWFWWCWCWCWCLCLCLCLCLCLCSRVSRVSRVSRVSRVSRVTORTORTORTORTORTORLBLBLBLBLBLBFWFWFWFWFWFW城域外网城域外网DC隔隔离离N带带外外联联管管理理D M区区 Z区区数据中心网络架构数据中心网络架构GOP S 全 球 运 维 大 会 2019 上 海 站 12连接合作伙伴连接合作伙伴ARARARARARWeBank DCICPE上海
10、上海SDN-WAN运营商运营商公有云平台公有云平台SD-WAN公有云平台公有云平台SD-WAN运营商传输网运营商传输网公众互联网公众互联网EXPEXPLDLDLDARASLDARAS城市城市1EXPEXPLDLDLDARASLDARAS城市城市2CPE北京北京CPE成都成都运营商传输网运营商传输网IDC外联接入区外联接入区运营商传输网运营商传输网IDC外联接入区外联接入区FWFWFWARDCI专线与SD-WAN运营商对接用户可以通过三种方式灵活接入WeBank网络，VPN/运营商专线/SD-WAN链路复杂多样的接入场景：1、不同业务场景对网络质量要求不一样，高频或低频2、接入条件限制，如何快速
11、接入？3、实时性高、要求HAGOP S 全 球 运 维 大 会 2019 上 海 站 13数据 中心 DCI连接公众用户连接公众用户-互联网出口流量切互联网出口流量切换换多活系统的设计，需要考虑多个层次的组件实现负载分担与故障自愈，不仅仅是网络层，但网络是 实现多活的第一道入口网络接入层负载均衡防火墙APP服务器DB网络接入层负载均衡防火墙APP服务器DB使用使用DNS切切A记录，运营商缓存记录怎么办？记录，运营商缓存记录怎么办？负载均衡心跳同步如何解决，配置如何统一负载均衡心跳同步如何解决，配置如何统一?防火墙心跳同步是否需要跨机房，策略如同防火墙心跳同步是否需要跨机房，策略如同 步，防火墙
12、路由模式部署还是透明部署步，防火墙路由模式部署还是透明部署？GOP S 全 球 运 维 大 会 2019 上 海 站 14连接公众用户连接公众用户-互联网出口流量切互联网出口流量切换换EXPEXPEXPEXPEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCDC内网内网DC内网内网公众互联网公众互联网CRCRCRCRDC内网内网BDBDBDBDBDBD主路由 备路由主路由备路由 WeBank DCI网络网络AR异地异地DMZ接入接入专专区区关键点：关键点：GOP S 全 球 运
13、 维 大 会 2019 上 海 站 不依赖于DNS更改A记录等方式实现流量切换，7*24实时 金融业务要求入口流量快速切换，通过BGP路由优先级方 式实现导流，在秒级范围内完成切换防火墙切换时，需关闭TCP-syn包检查，仅做状态检测防 火墙，流量平稳后，恢复TCP-SYN检测，不做跨机房配 置同步，由运维平台自动化对比配置一致性检查LB发布VIP时，与交换机联动发布32位路由，打上 community属性，可按单条路由进行精细化调度。LB间 不做跨DC心跳同步，配置同步由自动化工具实现15架构设计最重要的是什么架构设计最重要的是什么?规划时需尽可能预想可能出现的运营风险 听取意见，多轮架构测
14、试，输出轮证数据 考虑建设后的可扩展伸缩性 依据业务需求来综合设计，一定要满足业务诉求 稳定与灵活上做好平衡，没有100%完美的设计符合业务需求，按业符合业务需求，按业务务需需求求适适配配架架构构，可可持持续续为为业业务务提提供供服服务务才才最最重重要要GOP S 全 球 运 维 大 会 2019 上 海 站 16关于关于SDN架构架构GOP S 全 球 运 维 大 会 2019 上 海 站 金融同业也在逐步设计云架构、行业云、公有云。归根结底还是业务需求驱动 生产上一定是最需要云化的场景，做SDN架构适配 混合云解决大部份弹性伸缩问题 大部份SDN架构考虑网络自动化运维，网络资源编排，资源调
15、度等问题 转发面是否需软化，需要结合网络规模与业务硬性需求看，具体问题具体分析17目录目录银行网络架构的银行网络架构的模模样样1WeBank生产生产网网构构建建思路思路27*24银行银行服服务务下下的的网网络络运运维维3Netdevops的一的一些些思考思考4GOP S 全 球 运 维 大 会 2019 上 海 站 18网络故障几个场网络故障几个场景景APP已经提示 网络出问题程序已经抛出异常，socket 超时，请网络同学排查一下应用耗时增加时与该曲线毛刺 时间点匹配网络有网络有 问题问题GOP S 全 球 运 维 大 会 2019 上 海 站 19网络故障几个场景网络故障几个场景-2设备类
16、告警GOP S 全 球 运 维 大 会 2019 上 海 站 A.协议DOWNB.防火墙HA切换C.端 UP/DOWND.VPN 隧道中断E.板卡异常F.主控异常G.电源、风险H.端口错包转发类、容量告警A.内外网质量异常B.数据包转发异常C.出口带宽告警20故障处理流程故障处理流程01，网络自身是网络自身是否否有有告告警警，转转发发层层面面是是否否现现异异常常，网网络络质质量量是是有有异常异常确认网络异常，确认网络异常，执执行行异异常常处处理理，无无效效，按按应应急急预预案案执执行行02 03 异常处置结束异常处置结束，总总结结异异常常原因原因网络平台异常网络平台异常?紧急故障情况下，应急预
17、案内容是否为最新紧急故障情况下，应急预案内容是否为最新 修订的，近期网络架构有调整，可否按此版修订的，近期网络架构有调整，可否按此版 本执行？本执行？原因无法明确时，有哪些数据可说明网络平原因无法明确时，有哪些数据可说明网络平 台目前的状态？台目前的状态？GOP S 全 球 运 维 大 会 2019 上 海 站 21网络平台应对故障的解决思网络平台应对故障的解决思路路可视化可视化：SNMP采集流量常态化保存，基于streaming telemetry采集INT数据，获取完整DC内东西Flow分析网络质量，基于GRPC 秒级获取核心设备buffer队列信息、丢包统计。针对不支持INT的交换芯片，
18、采用ERSPAN方式依据业务需求按需采集，实现自动化的丢包、异常突发流量检测分析。架构标准化架构标准化：IDC建设、网络扩容时，低阶设计交付物应系统化输出，如连接关系、IP分配、路由发布模板、安全基线配置运维智能化运维智能化：需要主动分析现网网络运营数据做好容量管理、故障预测。紧急故障，一定避免手工执行故障处理，应急预案落实到SOP自动化中，故障 场景预先配置好SOP执行脚本，系统自动下发架构标准化运维智 能化 网络数据可回溯 网络建设应标准化、模块化，避免 建设时留坑，防止后期运营风险 主动分析现网运营指标数据，预测 容量变化，实时巡检稳健的网络平台稳健的网络平台可视化GOP S 全 球 运
19、 维 大 会 2019 上 海 站 22网络运营平台的支网络运营平台的支撑撑由运营需求，驱动功能模块的开由运营需求，驱动功能模块的开发发GOP S 全 球 运 维 大 会 2019 上 海 站 网络基础数据一定是网络团队人员最清楚最熟悉，统网络基础数据一定是网络团队人员最清楚最熟悉，统 一收集数据存储供一收集数据存储供CMDB、运营工具、计费平台使、运营工具、计费平台使用用23SOP自动化思路自动化思路网络异常告警网络异常告警命中命中SOP场景场景SOP自动化触发自动化触发1.网络异常告警收敛至指定微信群关注，有 异常第一时间告警，告警信息附带对应 SOP编号2.SOP号对应相应处理置流程3.
20、执行SOP场景对应应急预案脚本，运维平 台生成执行事件单，审批后立即执行GOP S 全 球 运 维 大 会 2019 上 海 站 24目录目录银行网络运维的银行网络运维的日日常常1WeBank生产生产网网构构建建思路思路27*24银行银行服服务务下下的的网网络络运运维维3Netdevops的一的一些些思考思考4GOP S 全 球 运 维 大 会 2019 上 海 站 25NetDevops的一些思考的一些思考GOP S 全 球 运 维 大 会 2019 上 海 站 1、以稳定运营为目标、以稳定运营为目标两地三中心、单IDC机柜规模100，CLI依然可以解决一部份问题，网络运维者力不从心。需求真
21、的很常见：需求真的很常见：我需要优化防火墙架构，10万条策略，需要迁移至新建防火墙上.我需要实时了解数据中心内LLDP关系，绘制实时网络扑拓.我需要了解每台网络设备接口互联IP，我需要对1000台交换机执行ACL策略修改.专线流量有突发，上面有10个业务，哪个接口、哪台服务器流量突增了?26NetDevops的一些思考的一些思考扎实的数通理论知识，丰富的工程实践经 验、网络运营全生命周期流程管理熟悉Linux操作系统底层原理，常用文本处理命令，TCP/IP协 议深刻理解。熟悉pythongoshell语言，了 解jsonYAMLyanxml等数据结 构，结合日常自动化需求进行编 程。熟悉SDN
22、理念，了解云计算网络 底层转发实现，熟悉开源控制器 ODLONOS、自动化配置工具 ansibelchef。了解DB、缓存，容器、中间件等常用互联 网高可用设计方案NetDevops 工程师工程师NetDev ops扎实专业领域技能扎实专业领域技能+全面的软性技全面的软性技能能GOP S 全 球 运 维 大 会 2019 上 海 站 紧跟行业趋势，结合业务场景，提升新技术能力，Segment Routing、IPv6、Streaming Telemetry.27NetDevops的一些思考的一些思考python或go编程语言监控、运维发布管理流量可视化数据分析GOP S 全 球 运 维 大 会 2019 上 海 站 28
