1、云存储云存储1560105 张德丰云存储存储方式存储技术存储可靠性技术之RAID存储可靠性技术之备份 快照技术云存储云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。存储包含两个方面的含义：数据临时或长期驻留的物理媒介。保证数据完整安全存放的方式或行为。存储技术网络存储设备根据存储技术的不同，主要分为三类：DAS（Direct Attached Storage）、NAS（Ne
2、twork Attached Storage）和SAN（Storage Area Network）。存储技术DAS 开放系统的直连式存储(Direct-Attached Storage，简称DAS)。这种存储方式与我们普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部份，DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等)，数据流需要回流主机再到服务器连接着的磁带机(库)，数据备份通常占用服务器主机资源20-3
3、0%，因此日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。存储技术NAS NAS（Network Attached Storage：网络附属存储）是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。按字面简单说就是连接在网络上,具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储
4、，而效率却远远高于后者。存储技术、SAN存储（光纤存储）SAN（Storage Area Network）是一个集中式管理的高速存储网络，由多供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。SAN的概念是允许存储设备和处理器（服务器）之间建立直接的高速网络连接，通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总线概念的一个扩展，它使用局域网（LAN）和广域网（WAN）中类似的单元，实现存储设备和服务器之间的互连。这些单元包括：路由器、集线器、交换机和网关。SAN可在服务器间共享，也可以为某一服务器所专有，既可以是本地的存储设备也可以扩展到地理区域上的其他地方
5、。SAN的接口可以是企业系统连接（ESCON）、小型计算机系统接口（SCSI）、串行存储结构（SSA）、高性能并行接口（HIPPI）、光纤通道（FC）或任何新的物理连接方法。存储方式存储方式：对象存储 块存储 文件存储存储方式 对象存储 对象存储OBS（Object Based Storage）是以对象（Object）为基本单元的 存储方式，如图下图所示。对象存储基于文件系统，通过文件系统来存储访问 数据。对象存储系统由以下几个部分组成：对象 每个对象都是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。对象维护自己的属性，简化了存储系统的管理任务，增加了
6、灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。存储方式基于对象的存储设备OSD 每个OSD（Object-based Storage Device）都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的对象，是对象存储系统的核心。OSD的主要功能为数据存储和安全访问。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。元数据服务器MDS MDS（Metadata Server）为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。同时为客户端提供高速缓冲存储器Cache一致性保证及客户端认证服
7、务。文件系统 文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。存储方式块存储 块存储是以块为基本单元的存储方式，如下图所示。块泛指底层磁盘上的扇区组合，某个文件可以对应一个或者多个这样的块。块设备需要记录每个存储数据块在设备上的位置，增加了存储系统的管理任务。块存储设备也称为裸设备，通过SCSI、SAS或FC SAN与服务器连接。服务器直接通过SCSI、SAS或FC SAN协议控制和访问数据。块传输方式不存在数据打包/解包的过程，可提供更高的传输性能。绝大多数数据库使用块存储设备，如FC磁盘存储系统。存储方式文件存储是以文件为基本单元的存储方式，如图所示。文
8、件存储设备通过以太网与服务器连接。服务器通过NFS、CIFS、HTTP、FTP等协议进行数据访问。数据通过以太网传输，数据有打包/解包的过程。文件存储设备以NAS为主，主要用于用户文件共享。文件存储主要应用于以下场景：针对虚拟服务器的存储 文件服务数据保护 归档和内容目录 高性能计算存储方式几种存储方式的比较及典型产品存储可靠性技术之RAID云计算项目交付时，不可避免的需要考虑存储磁盘采用何种RAID。例如：项目工程师可能会建议大家链接克隆虚拟机系统盘组RAID 10，完整复制虚拟机数据盘使用RAID5或者RAID6等。RAID概念 RAID是Redundant Array of Indepe
9、ndent Disk的缩写，独立磁盘冗余阵列。它是一种数据保护技术，它通过把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），提供比单个硬盘更高的存储性能和提供数据冗余。RAID的优点 提高传输速率RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量。在RAID中，可以让很多磁盘驱动器同时传输数据，而这些磁盘驱动器在逻辑上又是一个磁盘驱动器，所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。存储可靠性技术之RAID 提供容错功能普通磁盘驱动器无法提供容错功能，RAID可提供容错功能，RAID容错是建立在每个磁盘驱动器的硬件容错功能之上
10、的，所以它提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而明显提高了RAID系统的容错度，提高了系统的稳定冗余性。RAID分类 RAID0理论上讲，一个由N个磁盘组成的RAID0系统，它的读写性能将是单个磁盘读取性能的N倍，且磁盘空间的存储效率最大（100）。由于总线带宽等多种因素的影响，实际的提升速率会低于理论值。但是，大量数据并行传输与串行存储可靠性技术之RAID传输比较，性能必然大幅提高。RAID0有一个明显的缺点：不提供数据冗余保护，一旦数据损坏，将无法恢复。RAID0至少需要2块硬盘才能实现。RAID1 也称为镜像（Mirror
11、），它将数据完全一致的分别写到工作磁盘和镜像磁盘。RAID1系统的磁盘空间利用率为50，对数据写入时间会产生影响，但是读的时候没有任何影响。RAID1提供了非常好的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，不会影响用户工作。而且RAID1支持“热替换”，即不断电的情况下对故障磁盘进行更换，更换完毕只要从镜像盘上恢复数据即可。RAID1至少需要2块硬盘才能实现。存储可靠性技术之RAIDRAID5 采用分布式奇偶校验的独立磁盘结构。数据校验的信息被均匀的分散到阵列的各个磁盘上。阵列的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上。校验位即P位是通过同
12、一带区的数据做异或求得的。当一个数据盘损坏时，RAID5系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。RAID5至少需要3块硬盘才能实现。存储可靠性技术之RAIDRAID6 采用两种奇偶校验码的磁盘结构。RAID6在RAID5的基础上，进一步加强了数据保护，实际上是一种扩展RAID5等级。RAID6的数据冗余性能相当好。但是由于增加了一个校验，所以写入的效率较RAID5还差。而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。RAID6至少需要4块硬盘才能实现。存储可靠性技术之RAIDRAID10 是一个RAID0与RAID1的组合体。RAID10的结构非常简
13、单，首先创建2个独立的RAID1，然后将这两个独立的RAID1组成一个RAID0，当往这个逻辑RAID中写数据时，数据被有序的写入两个RAID1中。RAID10以RAID0为执行阵列，以RAID1为数据保护阵列。具有与RAID1一样的容错能力，用于容错处理的系统开销与单独的镜像操作基本一样，由于使用RAID0作为执行等级，因此具有较高的I/O宽带。RAID10至少需要4块硬盘才能实现。存储可靠性技术之RAID使用场景RAID0 使用场景RAID0不提供容错能力，但是它的读取性能很高。故RAID0应用于对读取性能要求较高但所存储的数据为非重要数据的场合。RAID1 使用场景RAID1提供了非常好
14、的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，且支持热替换，故RAID1应用于对数据保护极为重视的场合。RAID5及RAID6的使用场景RAID5是一种存储性能、数据安全和存储成本兼顾的存储解决方案。RAID 5可以为系统提供数据安全保障，但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。RAID6两个独立的奇偶系统使用不同的算法，数据的可靠性比RAID5高，即使两块磁盘同时失效也不会影响数据的使用。故对于数据的保存所需级别要求并不是不是很高的情况下我们只需要使用常规的RAID5即可。就现在而言，对于那些数据中心，信息中心等对数据安全级别要求比较高的企业，使用RAID
15、6保护数据还是有必要的。存储可靠性技术之RAIDRAID10使用场景RAID10适用于数据库存储服务器等需要高性能、高容错但对容量要求不大的场合。实际项目中，需要综合考虑客户对数据存储的安全要求，价格要求等各项因素选择合理的RAID形式。存储可靠性技术之备份 备份是指为防止系统出现操作失误或系统故障导致数据丢失，而将文件系统或数据库系统中的全部或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质，从而方便、及时地恢复系统的有效数据和正常运作！备份方式的分类 可以从不同的纬度，对备份进行划分：存储可靠性技术之备份 存储可靠性技术之备份 数据处理技术在实施备份的过程中，可以对数据进行各种处理，以
16、便改善备份速度，恢复速度，增加数据安全性，提升存储介质的利用率。常见的数据处理技术如下：数据压缩技术 数据重复删除技术（源端去重：在客户端计算待传输数据的指纹并通过与服务端进行指纹比对发现和消除重复内容；宿端去重：直接将客户端的数据传输到服务端,并在服务端内部检测和消除重复内容。两种部署方式都能够提高存储空间效率,其主要区别在于源端去重通过消耗客户端计算资源换取网络传输效率的提升。）数据复制技术 数据加密技术 数据缓冲技术存储可靠性技术之备份 FusionSphere虚拟机备份方案介绍FusionSphere解决方案使用华为HyperDP软件实现虚拟机备份与恢复。HyperDP通过与Fusio
17、nCompute配套使用，当虚拟机数据丢失或故障时，可通过备份的数据进行恢复。数据备份的目的端为本地虚拟磁盘或HyperDP外接的共享存储设备，支持对虚拟机进行完全备份、差异增量式备份和累积增量式备份。存储可靠性技术之备份 华为FusionSphere概述 FusionSphere是华为自主知识产权的云操作系统，集虚拟化平台和云管理特性于一身，让云计算平台建设和使用更加简捷，专门满足企业和运营商客户云计算的需求。华为云操作系统专门为云设计和优化，提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的API接口等，全面支撑传统和新型的企业服务，极大地提升IT资产价值和提高IT运营维
18、护效率，降低运维成本。FusionShpere包括FusionCompute虚拟化引擎和FusionManager云管理等组件，能够为客户大大提高IT基础设施的利用效率，提高运营维护效率，降低IT成本。存储可靠性技术之备份 FusionSphere用户数据备份方案介绍用户数据备份采用华为OceanStor HDP3500E G3（以下简称HDP3500E）存储设备作为网络备份NBU（NetBackup）服务器。NBU服务器通过备份软件对VM和物理服务器的文件或应用程序进行周期性备份。系统管理员可以在NBU服务器上设置备份对象和备份策略。NBU自动备份方案有两种：本地备份 实现原理如图所示。存储
19、可靠性技术之备份 在本地备份方案中，NBU服务器位于内网，并配置了固定的IP地址。VM中安装了NBU客户端代理软件。VM通过业务网络或者专门的容灾备份网络与NBU服务器通信，将数据备份到本地的NBU服务器上。VM的数据备份策略可以灵活设置。备份策略可以根据RPO（Recovery Point Objective）、备份数据的类型、数据的保留周期进行灵活调整。异地备份 实现原理如图所示。存储可靠性技术之备份异地备份方案是在本地备份方案的基础上，将本地NBU服务器上已备份的数据通过Diskstaging或Lifecycle方式，定期复制到异地NBU服务器上保存。本地的NBU服务器的备份原理与图1相
20、同。关于Diskstaging和Lifecycle方式的区别描述如下：Diskstaging方式 生产中心与备份中心必须属于同一备份域，备份集为非重删数据，磁盘模式为Basic Disk。主用备份集与备用备份集的保留周期必须保持一致。Lifecycle方式 生产中心与备份中心必须属于同一备份域，备份集为非重删数据，磁盘模式为Advanced Disk。系统管理员可以自定义备用备份集的保留周期，保留周期可以不一致。说明：主用备份集是指备份在生产中心（本地）的备份数据集合。备用备份集是指备份在备份中心（异地）的备份数据集合。快照技术存储网络行业协会（SNIA）对快照的定义是：对指定数据集合的一个完
21、全可用拷贝，该拷贝包含源数据在拷贝时间点的静态映像。快照可以是数据再现的一个副本或者复制。对于文件系统来说，文件系统快照是文件系统的一个即时拷贝，它包含了文件系统在快照生成时刻所有的信息，本身也是一个完整可用的副本。快照实现方式快照的一个特性是快，所以不能在获取的时候才进行文件复制备份，而采用了全拷贝快照和差分快照两种设计，其中差分快照又分为COW（写时复制快照）和ROW（写时重定向快照）两种。1、镜像分离快照（属于全拷贝快照）这种快照方式比较简单，先创建一个原始卷的镜像卷，每次写磁盘的时候，都会往原始卷和快照卷同时写入内容，当启动快照时，则镜像卷能快速脱离，生成一个快照卷。然后重新创建一个原
22、始卷的镜像卷，等待下次快照。可以看到这种方案最大的缺点是很费磁盘空间，每个快照都需要占用和原始卷同样的空间，而且写数据时同时写两份，对写入快照技术性能影响比较大。优点是快照生成和恢复都方便，而且数据隔离很好，不存在快照卷和原始卷的相互影响。快照技术2、COW（写时复制快照）写时复制快照使用预先分配的快照空间进行快照创建，在快照时间点之后，没有物理数据复制发生，仅仅复制了原始数据物理位置的元数据。因此，快照创建非常快，可以瞬间完成。然后，快照副本跟踪原始卷的数据变化（即原始卷写操作），一旦原始卷数据块发生首次更新，则先将原始卷数据块读出并写入快照卷，然后用新数据块覆盖原始卷。写时复制，因此而得名
23、。但是这种方式有一个很明显的缺点，就是会降低原始卷的写性能，因为每次写入，都需要先备份原始数据到快照区。快照技术快照技术快照后的写操作会进行重定向，所有的写IO都被重定向到新卷中。所有旧数据均保留在只读的源卷中。这样做的好处是每次生成的快照文件都是放在连续的存储区域，同时解决了COW写两次的性能问题。磁盘做多个快照后，会产生一个快照链，虚拟机卷始终挂载在快照链的最末端。例如果一共保存了10次快照，在快照恢复时，要恢复最新的备份点，则需要10个快照文件一起来恢复。可以看到ROW的主要缺点是没有一个完整的快照卷，如果快照层级越多，进行快照恢复时的系统开销会比较大。快照技术快照应用场景1、使用快照可
24、以在以下场景中迅速恢复数据：病毒感染。人为误操作。恶意篡改。系统宕机造成的数据损坏。应用程序BUG造成的数据损坏。存储系统BUG造成的数据损坏。快照技术下面以病毒感染为例介绍了利用快照进行数据备份及恢复的整个过程。发现病毒感染等问题以后，利用最新的快照对数据进行restore（回滚），大多数情况下，整个恢复过程可以在几秒内完成。快照技术2、利用快照可减少备份时对业务的响。到达备份时间点后，对应用数据创建本地快照，同时启动拷贝将快照拷贝至远端备份备份存储。拷贝过程中不需要停业务，应用服务器上的程序运行不受影响。拷贝完成后删除快照，释放快照占用的资源。源数据出现损坏后（包括物理介质损坏），可以通过
25、备份数据进行快速恢复。数据库镜像,数据库快照,备份：数据库镜像：最低要求：2005以上版本，必须sp1以上补丁 介绍：数据库镜像就和我们普通的系统ghost镜像类似，就是一个备份，只是不同是，这个镜像和数据库是实时同步的，可以看做每秒钟都在备份 优势：镜像服务器最大是优势就是备份，当你是服务器崩溃时，你可以立即启动镜像服务器，使其正常运行，这个就是镜像服务器最大的优势 劣势：既然要备份，那么性能消耗是肯定的，但是综合其他几种相比起来，这个消耗基本上是在可接受的范围之内的，而且个人感觉不好的地方之一就是镜像数据库无法访问的，需要将镜像数据库快照以后再进行访问数据库镜像,数据库快照,备份：数据库快照：介绍：数据库快照就想象成相机就可以了，就是将数据库拍下来，拍摄个一模一样的。做一次备份 优势：类似一个人成长，有很多张照片，例如你每年拍一张，那么以后查看起来是非常方便的。劣势：这个无法做到实时备份，只能是某一刻的一个备份，很多需求会不满足，而且如果数据量非常大，那么对性能也有一定的的消耗 数据库镜像,数据库快照,备份备份 END Q&A
