1、0大型金融数据中心网络架构设计1金融数据中心网络架构设计2金融电子化起步1980-1990计算机替代手工操作引进小型机和微机承担后台和前台处理微机单兵作战联网通存通兑1990-2000全城联网电子票据交换通存通兑全国联网全行数据集中2000-2007数据大集中综合业务系统降低IT TCO强化风险控制以客户为中心IT架构治理2007 2015架构优化和安全风险关注服务与管理流程网上业务快速发展数据挖掘、风险管理 2016 互联网金融自主可控客户体验大数据分析产品及服务创新信息化金融我国金融业IT建设与发展回顾3中国银行业信息科技“十三五”发展规划监管指导意见（征求意见稿）稳步开展云计算应用，主动
2、实施架构转型探索构建私有云平台，采用成熟度高、开放性强的计算虚拟化、容器虚拟化、分布式存储、网络虚拟化 等技术，建立资源池，形成资源弹性供给、灵活调度和动态计量的私有云平台。60%75%快速研发，持续创新到“十三五”末期，面向互联网场景的重要信息系统全部迁移至云计算架构平台，其他系统迁移比例不低于60%提高基础资源和应用部署的自动化水平，实现快速交付、动态调整、弹性部署，降低人工操作风险，自动化部署比例不低于75%推进开发、测试、交付一体化建设，支撑产品迅速投放市场信息科技“十三五”发展规划监管指导意见（征求意见稿）4金融网络应用场景的划分数据中心应用服务域（核心业务、多媒体、呼叫中心、管理信
3、息系统、办公系统、运维系统等业务系统）应用服务层渠道接入层企业边界服务域（网银、网站、外联、邮件、办公系统、办公互联网等业务系统）用户层Intranet（分支机构、总行园区、数据中心园区）InternetExtranet分支机构用户ATM、VTM、POS、柜员终端 办公终端、业务中心终端等数据中心用户运维用户、办公终端、开发测试用户总行用户业务终端、办公终端、运维用户、开发测试用户互联网用户网银用户（公、私）小企业用户（银企、现金管理等）外联用户合作伙伴、境外机构、离行设备（4G/3G/2G/PSTN)5商业银行数据中心发展及未来的演进路线6第二十五条 银行业金融机构应加强网络安全管理。生产网
4、络与开发测试网络、业务网络与办公网络、内部网络与外部网络应实施隔离；加强无线网、互联网接入边界控制；使用内容过滤、身份认证、防火墙、病毒防范、入侵检测、漏洞扫描、数据加密等技术手段，有效降低外部攻击、信息泄漏等风险。第三十八条 银行业金融机构应建立独立的测试环境，以保证测试的完整性和准确性。测试至少应包括功能测试、安全性测试、压力测试、验收测试、适应性测试。测试不得直接使用生产数据。对网络功能分区、网络安全划分具有指引意义DC 1.0：银行业信息系统风险监管（1）7第二十四条 商业银行应根据信息安全级别，将网络划分为不同的逻辑安全域（以下简称为域）。应该对下列安全因素进行评估，并根据安全级别定
5、义和评估结果实施有效的安全控制，如对每个域和整个网络进行物理或逻辑分区、实现网络内容过滤、逻辑访问控制、传输加密、网络监控、记录活动日志等。第三十五条 商业银行应制定相关控制信息系统变更的制度和流程，确保系统的可靠性、完整性和可维护性，其中应包括以下要求：（一）生产系统与开发系统、测试系统有效隔离。（二）生产系统与开发系统、测试系统的管理职能相分离。（三）除得到管理层批准执行紧急修复任务外，禁止应用程序开发和维护人员进入生产系统，且所有的紧急修复活动都应立即进行记录和审核。（四）将完成开发和测试环境的程序或系统配置变更应用到生产系统时，应得到信息科技部门和业务部门的联合批准，并对变更进行及时记
6、录和定期复查。对网络功能分区、网络安全划分具有指引意义DC 1.0：银行业信息系统风险监管（2）8DC 1.0：网络功能分区的需求01应应用服用服务务域域满足数据中心内生产业务、经营管理类业务、办公业务等服务资源接入服务、安全服务、负载均衡服务04管理服管理服务务域域满足日常操作运维需要的运维人员接入，运维服务器接入，带外带内网络接入03存存储储服服务务域域满足新数据中心基于IP技术的NAS存储网络和备份网络02用用户户接入域接入域提供内部生产办公用户、外联单位用户、公众用户的接入服务及安全服务数据中心应满足应用服务域、用户接入域，存储服务域、管理服务域、多中心互联域等服务资源的构建，各功能组
7、件通过网络服务总线互联为一个统一的架构。9DC 1.0：应用服务分区的目标存储服务域应用服务域网络服务总线管理服务域用户接入服务外联接入业务互联网接入办公互联网接入内部用户接入带内管理服务带外管理数据中心互联广域网InternetInternet广域网园区网第三方机构存储服务域应用服务域网络服务总线管理服务域用户接入服务外联接入业务互联网接入办公互联网接入内部用户接入带内管理服务带外管理数据中心互联广域网InternetInternet广域网园区网分支机构异地灾备中心10DC 1.0：金融数据中心安全区的划分数据中心网络分区从总体上可分成不同安全级别的四个安全区：非安全区、半安全区、安全区、核
8、心安全区非安全区（对外连接）半安全区DMZ核心安全区安全区安全边界安全边界安全边界不受控制的区域，如对Internet公众用户、外联第三方单位等提供服务的资源区域，企业的安全政策和标准无法强制执行企业内部网到核心安全区、安全区的过渡区域，外部网络和企业内部网络之间的过渡区域，用于分割它们之间的直接联系，隐藏和保护内部资源提供企业内部重要程度一般的服务器和客户端的接入，安全级别较高 安全级别最高，包含了重要的应用服务器，提供关键的业务应用；包含企业网络管理、系统管理、安全管理、流程管理等管理功能相关的模块所集中的区域，具有很重要的意义，需要严格的安全策略；从外部网络到核心安全区域应通过半安全区进
9、行转发，必须经过严格的安全控制11DC 1.0：数据中心安全域划分互联网接入区公众用户VPN维护用户VPN办公用户合作伙伴外联网接入区合作伙伴外联DMZ专线VPN网关办公VPN网关维护网银、手机银行电商DMZ门户网站DMZ员工上网DMZ其他系统DMZ入侵防护防DDOS防病毒网关Internet园区网广域接入OA生产其他总部机构同城及异地中心分支机构运维管理服务区安全管理流程管理ECC堡垒机带外管理其他业务三区办公应用决策应用其他业务二区非核心系统业务一区核心业务应用服务器业务处理体系渠道体系非安全区半安全区安全区核心安全区12核心交换区内联区前置系统核心业务区核心业务系统密钥管理平台数据总线渠
10、道管理平台会计处理平台资金运营中间业务代理理财重要业务区决策支持系统风险分析系统管理网区视频监控视频会议系统运维区安全管理平台网管系统广域网接入区省际骨干接入互联网接入区外联区DMZ1DMZ2DMZ3DMZ1DMZ2办公管理区资产管理系统准生产区准生产系统测试区测试系统培训环境数据中心互联带外管理区金融网Internet第三方接入第三方接入测试网安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务互联网接入外联接入DC 1.0：XX银行数据中心网络架构非安全区半安全区安全区核心安全区13A08A08-18-18A A机房布局机房布局A08A08-10-10A
11、08A08-09-09A08A08-01-01A07A07-18-18A07A07-10-10A07A07-09-09A07A07-01-01A06A06-08-08A06A06-07-07A05A05-16-16A05A05-12-12A05A05-09-09A05A05-08-08A05A05-07-07A04A04-08-08A04A04-07-07A03A03-10-10A03A03-09-09A03A03-01-01A02A02-18-18A02A02-10-10A02A02-09-09A02A02-01-01A01A01-18-18A01A01-10-10A01A01-09-09A
12、01A01-01-01A06A06-06-06A06A06-05-05A05A05-06-06A05A05-05-05A06A06-04-04A06A06-03-03A05A05-04-04A05A05-03-03A06A06-02-02A06A06-01-01A05A05-02-02A05A05-01-01机机架架服服务务器器x5x5刀刀片片机机x3x3机机架架服服务务器器小小型型机机机机柜柜机机架架服服务务器器小小型型机机机机柜柜小小型型机机机机柜柜机机架架服服务务器器小小型型机机机机柜柜机机架架服服务务器器x5x5刀刀片片机机x3x3机机架架服服务务器器x5x5刀刀片片机机x3x3机机架
13、架服服务务器器x5x5刀刀片片机机x3x3机机架架服服务务器器x5x5刀刀片片机机x3x3机机架架服服务务器器x5x5刀刀片片机机x3x3机机架架服服务务器器x5x5刀刀片片机机x3x3A04A04-06-06A04A04-05-05A04A04-04-04A04A04-03-03A04A04-02-02A04A04-01-01A03A03-12-12A03A03-11-11A03A03-14-14A03A03-13-13A03A03-16-16A03A03-15-15A06A06-14-14A06A06-13-13A06A06-12-12A06A06-11-11A06A06-10-10A06
14、A06-09-09铜缆铜缆三三相相电电存存储储区区三三相相电电存存储储区区三三相相电电存存储储区区空调侧空调侧带带库库机机柜柜A04A04-13-13A04A04-15-15A04A04-14-14A04A04-12-12综合布综合布线线综合布综合布线线综合布综合布线线综合布综合布线线综合布综合布线线综合布综合布线线综合布综合布线线扩扩展展B B路路D DCCX XDCDCX X扩扩展展A A路路D DCCX XDCDCX X新新网网银银A AP PP P新新网网银银D DB B新新网网银银WWE EB B新新网网银银WWE EB B扩扩展展新新网网银银A AP PP P新新网网银银D DB
15、B新新网网银银A AP PP P扩扩展展新新网网银银扩扩展展走廊侧走廊侧统一统一考核考核VMAVMAX XDC 1.0：数据中心机房典型分配方式14DC 2.0：技术需求与规划要点01灵灵活性活性对网络的需求表现为松耦合的架构，极高的可靠性、灵活的容量和性能扩展能力03网络资网络资源池源池服务器虚拟化使计算资源可池化，为此网络需要实现支持各种虚拟化技术的应用场景；如：构建大规模的二层网络资源池、支持网络策略的跟随02高密接入高密接入大量应用系统向开放的X86服务器转型，网络架构具有大规模网络接入的能力15交换核心管理监控区ECC总控中心运维管理服务带外连接带外管理网管控中心外网Internet
16、园区网生产办公接入区生产业务后台区内联隔离区 互联后台区 办公后台区电话银行后台区互联隔离二区互联隔离一区InternetInternet外联单位外联单位外联隔离区企业边界广域内联接入区数据中心互联托管业务区NAS访问区DC 2.0：XX银行北京数据中心逻辑架构16计算资源内外联隔离资源池办公管理资源池互联业务资源池服务器机房模块服务器机房模块服务器机房模块互联后台区互联隔离一区互联隔离二区L3汇聚L3汇聚L3汇聚办公服务区管理服务区L3汇聚L3汇聚二层网络二层网络生产后台资源池生产后台区L3汇聚二层网络外联隔离区L3汇聚内联隔离区L3汇聚二层网络电话银行资源池电话银行区L3汇聚二层网络NAS
17、资源池NAS服务区L3汇聚二层网络DC 2.0：XX银行同城数据中心服务资源池17CORE互联业务服务群生产业务后台内联及外联服务群办公及管理服务群区域边界区域汇聚DC 2.0：互联业务服务群构建网络资源池网络资源池L2核心接入设备互联网隔离一区DMZ互联网隔离二区DMZ互联网后台区互联隔离一区网络边界互联隔离二区网络边界Internet 解决高密X86服务器部署的扩展能力需求，能过适应应用的大规模快速上线/调整。大量业务组件松耦合、可复用，资源化设计里面打破了传统竖井式的部署理念 以一个机房为单位进行“资源化”的设计，使逻辑结构与物理布局松耦合，机房布局标准化。资源化设计理念 Single
18、Fabric架构使各类服务获得无差别的网络性能（转发跳数、收敛比等），可实现统一扩展、统一升级。更容易适应未来大规模分布式计算、分布式存储的应用模型，具有极高的可扩展能力 物理架构上兼容未来Overlay、SDN技术，可平滑的进行过度。Single Fabric 架构18DC 2.0：“资源化”对应机房布局的改变19管理目标：以金融私有云数据中心概念为指引，进一步提升IT管理能力和管理水平n科学定位多数据中心运营能力，支持多中心的建设，提升业务的可用性n积极探索、科学分析、合理引入新技术来实现更灵活高效的资源管理n规范化、自动化的数据中心运维管理能力以提升IT的整体管理水平n全面完善的容灾体系
19、建设以支持业务连续n具有适应企业自身特色的、符合监管要求的科技风险管理总体战略对IT建设要求l目前金融企业大部分业务系统属于分散、独立的竖井式部署。分散、不易量化的IT资源使用方式带来了部分资源闲置、浪费。需要利用资源池的方式，使数据中心的资源利用率得到有效提高。提高资源利用率l目前对于新业务系统上线，大部分还处在手工安装部署方式，资源准备的时间较长。需要通过云计算的自动化部署特性，支撑业务的快速上线，及其它部门对资源的需求。快速部署交付l大量的人工操作依赖于运维人员的经验和技能，由于技能不足和人工差错导致的问题势难避免。通过云计算将分散在运维人员的经验、技能固化，并通过自动化的方式避免人工错
20、误造成的损失。提升自动化管理水平调研评估DC 3.0：构建金融私有云的管理目标20DC 3.0：构建金融私有云的运维目标全堆栈的自动化IT基础设施与物理资源的解耦以应用为中心的数字化运营21构建私有云架构验证中心云管理、SDN、服务链等IAAS架构验证和知识积累办公、基础服务、统一运维、互联网综合业务平台、内联及外联前置业务平台、经营管理等业务群简单IaaS私有云建设私有云服务交付自动化的业务编排（计算、网络、存储、安全）容量计划与管理与运营工具和运维流程的集成资源池构建验证测试云开放平台云全业务私有云DC 3.0：金融数据中心拥抱私有云的策略22DC 3.0：通过IaaS就绪网络构建资源池核
21、心核心汇聚汇聚服务服务接入 接入汇聚汇聚服务服务接入 接入汇聚汇聚服务服务接入 接入业务A WEB/AP/DB业务B WEB/AP/DB业务N WEB/AP/DB核心核心核心核心汇聚汇聚服务服务接入 接入汇聚汇聚服务服务接入 接入汇聚汇聚服务服务接入 接入资源池核心核心接入 接入资源池L2 CoreL2 Core核心核心汇聚汇聚服务服务接入 接入汇聚汇聚服务服务接入 接入汇聚汇聚服务服务接入 接入核心核心SpineSpineSpineSpine资源池传统数据中心网络架构资源池化的网络架构VCF ControllerOverlay FabricIaaS就绪的架构传统数据中心以高可用、高安全为最高
22、原则，水平分区、垂直分层；根据业务分类，尽可能的详细划分网络子分区，以确保安全访问控制策略的有效实施，提升安全防护的纵深；IT基础设施多层次异构，逻辑结构与物理结构1：1耦合；应用系统的SOA组件化呈现出大量可拼装的应用、复用和通用业务组件，系统边界模糊，带来安全架构的变化；基于开发平台、计算资源类型进行分区成为主流趋势；应用推动云管理平台的建设，要求计算、网络、存储、安全能够进行业务编排和自动化交付，大Fabric架构和Controller的应用成为全IT基础架构的云服务交付的关键支撑资源池化IaaS就绪计算资源向标准的开放平台转移，计算虚拟化技术的大量应用要求计算资源池灵活易扩展；网络资源
23、池架构将相同安全等级的计算资源网络接入拉通，同时继承了分区架构的资源组织模型和安全控制模型；23DC 3.0：对网络架构的需求23可视化、自定义洞察、可运维弹性、自动化安全基于图形界面实现IT基础架构的编排网络性能分析、路径可探测计算资源与网络拓扑、物理位置解耦灵活可定义的的云安全服务 提高虚拟计算的交付效率，减少频繁人工配置 提供无状态的网络策略部署，随需而动 提供安全资源池服务，按需部署 提供任意服务器，任意机架，支持任意应用的部署24DC 3.0：对网络架构的需求24可视化、自定义洞察、可运维弹性、自动化安全基于图形界面实现IT基础架构的编排网络性能分析、路径可探测计算资源与网络拓扑、物
24、理位置解耦灵活可定义的的云安全服务 提高虚拟计算的交付效率，减少频繁人工配置 提供无状态的网络策略部署，随需而动 提供安全资源池服务，按需部署 提供任意服务器，任意机架，支持任意应用的部署应用访问行为、网络性能分析拓扑、告警、日志可视化、场景化的编排一键部署虚拟安全服务NFV基于访问规则、与拓扑无关的安全自定义SDN ControllerOverlaySpineLeafServervSwitchVMVMVMServervSwitchVMVMVMOpenflow&Netconf“租户”隔离基于SDN的弹性架构云适配APIAPI25DC 3.0：面向私有云的金融数据中心架构核心交换机区域L3汇聚E
25、OR汇聚。TOR接入核心生产业务区。TOR接入服务器机房模块。服务器机房模块机房汇聚TOR接入机房汇聚。生产开放资源池办公公共资源池管理区ECC总控中心管控中心带外连接区管理服务区互联网区InternetInternet外联单位企业边界外联区园区网带外管理网DMZ一区DMZ二区DMZ外联单位测试区测试中心Internet摆渡连接开发测试运行测试外联单位核心承载连接广域/城域接入广域接入区VXLAN FabricVXLAN Fabric26工行DC3.0网络架构n架构：自动化运维管理平台：实现业务流程自动化管理；Openstack云平台：实现计算资源、存储资源、网络资源的自动化交付；计算虚拟化（
26、KVM、VMwera）：实现计算资源虚拟化；存储虚拟化：分布式存储；网络虚拟化：Fabric架构、VXLAN SDN、NFVn思路：目标：三个任意，任意服务器，任意基架，支持任意应用。态度：严谨的“准”生产环境验证，保障后续直接正式上线应用测试：确保可用性27IRF2IRF2SDN-125XSDN-SRVSDN-68-1H3C CLOUDVCFC(SDN控制器)用户PORTAL虚机资源池安全资源池Underlay网络(OSPF)ECMPECMP静态路由基础设施资源池管理服务器区招行传统网络SDN网络采用独立的物理设备部署，与传统网络通过静态路由实现互通，避免了新老网络的相互干扰IRF2招行科兴
27、园区SDN网络的物理拓扑28XXX清算中心私有云中心28n架构：采用基于openstack的商业云平台、基于KVM的计算虚拟化、基于ceph的分布式存储、基于Overlay的SDN网络SDN网络部署S9800、S6800-2C、VCFC SDN控制器n部署业务：共享门户类/共享网银业务、应用系统性能分析类业务、远程学习系统2006年5月29日，经中国人民银行批准，由全国30家省级农村信用联社、农商银行及深圳农村商业银行（以下统称农村合作金融机构）共同发起，农信银资金清算中心有限责任公司（简称农信银资金清算中心）在北京正式成立。主要经营范围：全国农信、农商清算业务农信共享灾备业务农信共享网银、共
28、享门户业务主要服务对象：全国农村信用社、农村信用联社、农村合作银行、农村商业银行及其他地方性金融机构。29金融行业案例30金融数据中心大型金融机构数据中心的规模实践关键系统核心伙伴的选择金融数据中心n建行南湖生产中心（全业务生产中心，近70%份额）n工商网银生产中心（国内最大网银交易系统，安全防护）n中行上海灾备中心（独立承建中行上海数据中心网络）n邮储银行生产中心（同城双中心和异地灾备，近80%份额）n民生银行生产中心（同城双活主节点，40%份额）n 中国人寿生产中心（保险行业最大数据中心，50%份额）n 太平洋保险生产中心（最大规模异构组网，50%份额）n 中国金融期货交易所（高频交易系统
29、深度应用，30%份额）n 中国银联数据中心（独立承建最大银行间卡业务数据中心）n 31大型金融数据中心高可用弹性自动化金融数据中心云计算在建行南湖数据中心获得深度应用H3C深度参与南湖数据中心咨询设计，数据中心产品大规模应用于建行南湖数据中心双活数据中心“互联网+”综合服务平台承载同城重要生产业务双活部署，构建电子银行、直销银行、电子商务等综合服务平台城商银行两地三中心100%承建天津银行两地三中心工程，是区域性城商银行业务连续性建设的典范面向自动化的数据中心通过Overlay+SDN Controller架构构建人保北方数据中心，建设面向自动化的DC新架构承载高频交易业务S12500数据中心
30、交换机和IPS服务于中金所，提供高效的网络平台和深度安全防护32面向私有云和SDN的新一代架构落地32面向应用的自动化DC 3.0！Overlay网络架构服务链面向应用的自动化网络池计算池存储池Controler交付APP终端APP大数据APP监控APP通过Overlay+SDN Controller架构构建人保北方数据中心，建设面向自动化的DC新架构构建私有云架构验证中心，实现资源整体调度和自动化交付的全面验证，华三通信VXLAN网络架构和NFV产品服务于招商银行新一代数据中心架构验证平台广东、苏州中行部署华三 SDN 网络架构，承载分行核心生产业务，是金融行业首个SDN 网络架构的落地实践
31、33IT管理系统的自主可控33全行范围的IT治理系统H3C通信承建了邮储银行生产数据中心、同城灾备中心、异地灾备中心、以及全国一级骨干网的四套IT管理平台，并承建了31省分行IT管理系统，实现了总行、分行两个管理平面的分级管理。H3C还承建了邮储银行全国网点安全生产监控网、开发中心、数据中心测试网等IT管理系统。关注运维流程体系和自动化金融IT运维流程系统长期被国外厂商占据，华三通信中标天津农商行运维流程和自动化平台的咨询和建设，结合ITIL标准进行流程构建，结合天津农商行的个性化需求，针对运维流程、CMDB、自动化管理提供产品解决方案和研发级战略开发合作。34为金融用户提供深度安全防护关注交
32、易安全的深度防护系统中国工商银行网上银行的业务量约占全年交易额的70%，对安全性和可靠性的要求为业界最高。H3C IPS 在工商银行网上银行系统承担着全国最大网银系统的安全防护重任，任何一笔交易的数据流都需要经过深度检测。国产化防火墙首选品牌H3C防火墙整体安全解决方案服务于中国农业银行，作为农业银行国产化防火墙两家入围厂商之一，防火墙产品规模部署于农行数据中心内及网银业务系统，全行防火墙产品累计销售数百台。下一代防火墙助力邮储银行数据中心H3C通信下一代防火墙规模部署邮储银行数据中心，用于数据中心内业务分区间安全防护，丰富的下一代防火墙特性用于网银业务的深度安全防护。35大数据网络架构服务于
33、大型银行35结构化非结构化ETLBIG DATATD两类主流大数据平台采用Spine-Leaf的组网模型商用平台：EMC Greenplum企业大数据商用版DB软件包开源平台：HaDoop平台软件适应大数据业务特点，流量模型主要以东西流量主全三层互联组网所有数据流只做三层ECMP hash策略结构相对简单，容易理解运维风险相对小、兼容性好36建设金融平台化核心广域骨干网36两地三中心核心承载网平台化虚拟化、层次化核心承载网网络架构大集中互联互通证联网:作为证券行业第一张全国骨干网，由证监会总体协调，九家行业核心单位（深圳证券交易所、上海期货交易所、大连商品交易所、郑州商品交易所、中国金融期货交易所、中国期货保证金监控中心公司、上海证券通信有限责任公司、深圳证券通信有限公司、中证信息技术服务有限责任公司）共同承建。整个网络有3个核心节点和6个骨干节点作为核心骨干网，将接入所有证券行业核心机构、券商、基金、期货公司，以及几十家大型银行。
