1、数据库云灾备 解决方案介绍 1 1 背景介绍 3 产品介绍 2 解决方案 4 案例介绍 2 容灾的定义?对于IT而言,容灾就是一个提供能防御各种灾难的计算机信息系统。当政府、企业、商家的核心IT系统在遭受如:火灾、水灾、地震、战争、人为破坏等不可抗拒的灾难和意外时,能够有效保护数据幵及时恢复生产系统的正常运行?容灾与备份?数据备份是数据容灾的基础?容灾在灾难发生时,全面、及时地恢复整个系统?容灾与容错?容错是为了防止网络内部的某些子系统出现故障?容灾是为了防止由亍自然灾害等导致的整个系统全部或大部分发生问题 3 容备等级简述 0级 1级 2级 3级 4级 5级 6级 无异地备份 异地备份,磁带
2、异地存储 建立异地热备系统,恢复时间几天 在线数据恢复 一天或数小时内恢复 定时数据备份 数小时应用切换 实时数据备份 容灾端实时可用 分钟级切换 零数据丢失 4 国际标准 SHARE 78?0级:无异地备份,仅简单的在本地进行磁带备份?1级:实现异地备份,将备份的磁带存储在异地?2级:热备份站点备份,建立异地数据热备系统,支持异地或本地数据恢复,时间可从几天到几个小时?3级:在线数据恢复,建立异地数据热备、设立异地应用系统,数据和应用可降低到一天或数小时内异地恢复?4级:定时数据备份,建立异地数据热备、设立异地应用系统,实现有目标的异地远程业务数小时应用切换?5级:实时数据备份,异地远程双活
3、中心,即容灾端实时可用、实现分钟级切换、数据一致可保证?6级:零数据丢失 5 容灾恢复能力的指标 6 灾难恢复能力和业务恢复能力 7 什么是云灾备?云灾备将灾备看作是一种服务,由客户付费使用灾备服务提供商提供灾备的服务模式?云灾备服务是采用当前最先进、安全、可靠的数据备份和数据复制技术,建设可管理、可运营的灾备服务,为企事业单位、政府部门提供不同等级的同城或异地灾备服务?目前云灾备服务主要有:数据级灾备和应用级灾备 8 云灾备解决的问题?数据库容灾备份的问题,利用云灾备平台可以解决?数据恢复问题:云灾备平台即随时可以满足用户将灾备库切换为生产库的要求,同时可以将灾备库的数据同步到生产库中实现数
4、据恢复?在线演练的问题:云灾备平台随时提供用户在线演练,用户可以每年多次进行在线演练,提高用户容灾容错应急处理能力?在线测试的问题,云灾备平台是一个双活的数据中心,灾备库随时可读可写,因此可以作为用户的一个测试数据库存在,满足用户在线测试的需求 9 云灾备的优势?充分利用云计算平台的资源?利用云平台资源可以调配、可以度量的优点动态调整灾备资源,做到资源的最优化使用?利用云平台可以任意时间、任意地点接入的优势,使得用户可以随时检查随时演示?利用云平台网络和存储优势,灾备数据量可以支持海量,灾备恢复时间可以控制在秒级?建设机制:可以从自主建设简化为向运营商采购?业务实现难易度:按需采购,即购即用,
5、系统可靠运行?可升级和可迁移性:按需调整,随时可以升级或迁移,随着企业的发展设备可以方便的降级重复利用,大大节约系统升级费?成本问题:购买即可使用,运行成本低,维护简单,而且有运营商和厂商的服务保障 10 需求分析?当前云计算环境的现状?资源齐备(包括网络资源、计算资源和存储资源)?SAAS应用不足?人气较差?当前灾备需求?数据灾备意识越来越强?对灾备系统要求越来越高?灾备不能影响业务系统正常运行?灾备恢复时间越短用户满意度越高?希望灾备系统可以随时检查、随时演示 11 1 背景介绍 3 产品介绍 2 解决方案 4 案例介绍 12 云灾备采用基于数据库复制技术?在主系统正常工作的同时将主系统产
6、生归档日志文件(Archived Log)不断的传送到后备数据库系统?并且利用这些日志文件在后备数据库系统上连续进行恢复操作,以保持后备系统与运行系统的一致?当主系统发生故障时,立即使用后备系统顶替主系统 13 云灾备采用基于数据库复制技术?优势:?完全通过数据库机制来实现,完全不依赖于其它软件和底层存储平台?主备系统的硬件可以完全不同?可以实现一对多的数据复制,提供多重保护?支持数据库异构?后备数据库可以在很短的时间内提升到生产状态(因为数据库已经在打开运行)?后备数据库也可以使用,可以用做查询、统计分析等用途?基于 IP 网络,没有距离限制 14 基于数据库复制的应用容灾技术原理 15 预
7、期指标?RPO:控制在秒级,一般在5秒内?RTO:控制在分钟级,一般在10分钟以内 16 拓扑图 17 基于RDB的数据库云灾备方案?分别在数据中心和云计算环境下虚拟机上各部RDB节点(根据实例数量),进行日志解析与数据装载,实现双向数据备份?示意图如下:(图为1对1方式,也可支持1对多、多对1部署方式)云计算环境云计算环境主数据中心主数据中心主数据库备份数据库(可分发)RDB节点(主数据库端)RDB节点(备份数据库端)Agent/SMB获取数据库日志日志解析数据装载支持双向同步数据装载Agent/SMB获取数据库日志日志解析OUTDATA文件OUTDATA文件网络传输18 基于RDB的数据库
8、云灾备方案?RDB工作流程 RDB系统基于数据库日志在线采集、分析,将生产数据库(主数据库)中的数据变化以事务为单位,及时同步到备份数据库中,实现对主数据库的数据备份 RDB支持历史数据同步,可先进行历史数据(存量数据)同步,然后自动切换增量数据同步;历史数据同步时用户业务不中断 源数据库源数据库目标数据库目标数据库日志传输日志解析数据传输数据装载数据库接口数据库日志数据库日志日志采集模块OUTDATA文件Agent/SMB/NFS19 基于RDB的数据库云灾备方案?正常情况下,业务系统连接主数据库进行操作,通过RDB将数据备份到备份数据库上,始终保持主、备数据库数据完全一致?在主数据库异常时
9、,进行故障转移,业务系统切换到备份数据库上进行操作,此时,由于备份数据库与主数据库数据完全一致,因此能够保证业务运行的连续性。?当主数据库恢复正常时,业务系统可再次从备份数据库切换到主数据库上。而备份数据库上产生的增量数据将通过RDB同步回主数据库,再次保持主、备数据库数据一致 20 基于RDB的数据库云灾备方案?容灾演练 按照信息系统灾难恢复规范的要求,需要定期执行容灾演练 容灾演练需要进行生产库到容灾库的切换及回切 RDB提供容灾演练切换功能,可在WEB管理界面上手动进行主、备数据库之间的切换操作 21 22 方案优势?成本低?存储空间成本低,利用现有云计算资源?网络费用成本低,云灾备采用
10、日志解析技术,实际带宽要求不高于2M?硬件购置成本低,利用现有资源,用户无需增加任何硬件设备?双活数据中心?双活数据中心可以随时切换,切换启动时间在秒一级?双活数据中心可以随时演练,提高用户应急反应能力?双活数据中心可以提供在线测试环境,用户可以将灾备库看做测试库、查询库使用?数据一致性高 23 1 背景介绍 3 产品介绍 2 解决方案 4 案例介绍 24 产品架构 WEB管理 RDB服务器 控制中心 进程管理 服务控制 状态监控 数据库信息采集 日志采集 日志解析 数据传输 数据装载 启动 停止 运行状态 异常 metadata RDB服务器 控制中心 进程管理 服务控制 状态监控 数据库信
11、息采集 日志采集 日志解析 数据传输 数据装载 启动 停止 运行状态 异常 metadata 发生灾难时只要有一个节点存活,就能管理控制业务 25 获取数据库日志无需打开数据库 不会变更数据库结构 不增加触发器时间戳 无干扰 26 数据同步以SCN号为准 以事务为单位进行同步 事务提交才同步,事务回滚不同步 数据完全一致 27 实时性 28 阵列图示 只要网络可达与距离远近无关 目标库打开,可用作其他目的 解析成SQL语句才同步 目标端可以是异构数据库 其他特点 29 支持同步对象 用户级备份?表、视图、索引、过程、函数、包、序列等对象备份 表级备份?表级同步分为单表备份和多表备份 库级备份?
12、一个实例多个用户下的所有对象全部备份 30 支持备份模式 1:1 1:N N:1 双向 31 支持RAC?RDB支持多实例ORACLE RAC集群 三实例 双实例 32?不仅支持数据备份,还同时支持数据结构备份?支持DDL语句备份,数据库结构发生变更后系统可以自动适应?可以自动保持源和目标数据库数据结构一致 支持数据结构备份 33?支持用户/角色/授权备份,保持源与目标用户权限一致 支持用户权限备份 用户 角色 授权 同步保持一致 34 支持异构数据转换 异构支持 源数据库与目标数据库字段类型、字段名、表名等异构转换 支持目标端数据库包括ORACLE/SQL SERVER、DB2、SYBASE
13、、MYSQL、POSTGRE 35?能够对RDB进行集中监控,可以将上百个点纳入监控范围?能够通过短信、电子邮件等方式告知监控结果 支持集中管控 监控平台 UMP 36 RDB的容灾方案-1:1?同一局域网,最小化数据丢失,秒一级RPO?快速接管,接近零的RTO?可灵活采购不同厂商软硬件,支持利旧?带宽要求最低?增强的高可用性、业务分流、查询、报表等附加价值 37 RDB的容灾方案:异地加同城?同城+异地两地三中心模式?灾备可靠性高?异地带宽要求最低?可灵活采购不同厂商软硬件,支持利旧?高投资回报率 38 RDB的容灾方案:N:1?异地集中灾备,共享备份中心基础设施,降低总投资?可扩展为N+1
14、,N+2等各种模式?各灾备库可实现逻辑集中(例如不同库放到不同schema下)?实现数据集中,可为数据仓库供给数据 39 产品优势-在面对灾难方面 灾难分类 磁盘镜像 卷复制 RDB 自然灾难 地震、海啸、台风等大范围灾难 (要求主备有一定距离)火灾、泥石流等小范围地理灾难 人为灾难 黑客入侵、误操作 病毒 设备故障 主机、盘阵等故障 操作系统、数据库等软件故障 坏数据块 40 产品优势-在恢复时间方面 恢复步骤 磁盘镜像 卷复制 RDB 文件系统的重装载 不需要 数据库的重装载 不需要 应用系统的启动 不需要 网络链路切换 总时间 长 长 接近零 41 产品优势-在投资方面 条目 磁盘镜像
15、卷复制 RDB 存储采购灵活性 有限选择 是 是 主机采购灵活性 否 否 是 设备利旧 否 有限选择 是 实现逻辑一备多 否 否 是 网络带宽需求 非常高 非常高 低 总投资估算 最高 高 低 42 产品优势-RDB的性能?产品的性能已经超过了Oracle自带的导入/导出工具(Imp/Exp),达到近30M/S的性能?基本字段可以达到几十万条/秒的入库速度?远远超过同类其他产品!43 产品优势-全面支持五大数据库 SYBASE 11/12/15 ORACLE 8/9/10/11 INFORMIX 8/9/10 SQL SERVER 2000/2003/2008 DB2 8.1/9.0/9.2/
16、9.7 XX数据备份容灾系统RDB 44 产品优势-支持很多较早期数据库 国内还大量存在很多较早期数据库 45 产品优势-中文界面,在线部署简单?中文B/S界面,操作简单 46 产品优势-支持历史数据备份 目标数据库源数据库历史数据备份历史数据备份 支持历史数据备份历史数据备份无需中断业务历史数据备份完成自动切换到增量数据备份47 支持无索引 支持中文表名 支持无主键 支持中文字段名 产品优势-支持国内很多特殊情况 48 支持数据备份 支持数据结构备份 支持用户权限备份 保证数据的一致性 产品优势-支持DML/DDL/DCL 49?RDB可以安装在云环境中?支持软件加密狗,增强软件保护及授权
17、产品优势-支持虚拟机,支持软件加密狗50 1 背景介绍 3 方案优势 2 产品介绍 4 案例介绍 51 电信云灾备?XX与主流运营商建立战略合作伙伴关系,在电信云平台上提供用户云容灾、云审计等安全解决方案。?将大型国有企业、政府部门、金融单位、医院的主要数据库在云平台上实现容灾备份,并提供在线演练和在线恢复服务。云项目中心生产数据库财务库/影像库mount在线/归档日志交换机交换机RDB节点Oracle 11g RACOracle 11g yingxiangmount在线/归档日志交换机交换机mount在线/归档日志Oracle 11g RACOracle 11g yingxiangmount
18、在线/归档日志灾备数据库财务库/影像库52 国家XX总局?用于两地三中心数据备份系统建设项目?同城备份基于光纤链路进行数据复制,RPO控制在秒级?异地备份基于IP链路进行数据复制,根据链路带宽和稳定性,RPO控制在分钟级?同城容灾采用110T磁盘阵列,异地备份系统同样采取基于数据库的容灾架构,数据存储容量设计为110T 53 国家XXX局?实现国家局互联网区、国家局专网区、上海局备份中心三区多数据库的数据灾备?基于应用层面的远程复制技术,实现应用级容灾?采用基于数据库复制技术,实现应用级容灾分钟切换,即分钟级RTO?数据回滚需要实现秒级,即秒级RPO 国家局专网区国家局互联网区上海局备份中心交换机合众实时数据备份系统交换机数据库服务器数据库服务器磁盘阵列交换机1、读取日志2、日志分析5、数据传输6、数据装载1、读取日志2、日志分析5、数据传输应用支撑库SAN交换机SAN交换机数据库服务器数据库服务器磁盘阵列SAN交换机SAN交换机合众实时数据备份系统合众实时数据备份系统互联网区应用支撑库互联网区信息资源库专网区应用支撑库专网区信息资源库流通监管数据库SAN交换机SAN交换机数据库服务器数据库服务器磁盘阵列信息资源库应用支撑库信息资源库流通监管数据库54