1、Inspur groupInspur group存储技术基础介绍浪潮信息技术推进部2目 录存储是什么？存储的基础知识存储设备的高级功能3存储是什么？把钱或物等积存起来。清会典事例户部库藏数据以某种格式记录在计算机内部或外部存储介质上。Baidu用于储存信息的设备。通常是将信息数字化后再以利用电、磁或光学等方式的媒体加以存放。Wikipedia4存储产品的发展史Tape1920sHDD1956DAS1970sFC SAN1980sNAS1993IPSAN2001数据脱离Server，存储单独发展数据的集中管理需求，SAN出现非结构化数据的增长需求，NetApp推出第一款NASIP技术的成熟，低成
2、本IPSAN出现存储产品的发展历程就是数据保存、应用发展的过程IBM推出第一款HDD5常见存储设备的分类按控制器数量分 按主机接口的类型分 u JBOD：AS300J、AS500J、FF4G16u 单控制器存储：AS500N2、AS500N6、AS510Nu 双控制器存储：AS500G、AS500H、AS510H、AS1100H、AS8000u iScsi：如AS500N2、AS510N、AS500N6u FC：AS500G、AS500H、AS510H、AS1100H6目 录存储是什么？存储的基础知识存储设备的高级功能7存储的架构分类uDAS ( Direct Attached Storage
3、)直接挂接存储uSAN ( Storage Area Network )存储区域网络（包括FC SAN、IP SAN）uNAS ( Network Attached Storage )网络挂接存储8DAS (Direct Attached Storage)存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据
4、流数据流数据流9SAN (Storage Area Network)高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ；文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流10NAS (Network Attached Storage)NAS本身装有独立的OS，通
5、过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。文件服务器应用服务器NAS存储设备LAN数据流数据流11存储网络的三种形态比较DASNASSAN传输类型SCSI、SAS、IP、FCIPIP、FC、Infiniband数据类型数据块文件数据块典型应用任何文件服务器数据库、虚拟化应用优点磁
6、盘与服务器分离，便于统一管理不占用应用服务器资源广泛支持操作系统扩展较容易即插即用，安装简单方便高扩展性高可用性数据集中，易管理缺点连接距离短扩展性受主机接口数量的限制不适合存储量大的块级应用数据备份及恢复占用网络带宽相比NAS成本较高安装和升级比NAS复杂12目前市场上存储设备的硬件组成Title控制器 硬盘 风扇 Cache 电源 BBU 13Page 13存储设备的控制器组成RAID控制器+磁盘通道+监控设备总线CPU Bus Master总线控制器控制器FLashMemoryRAID控制控制器器硬盘硬盘设备设备主机主机通道通道磁盘磁盘通道通道XOR14存储的双控制器主机HBA光纤信道连
7、到以太网两个独立的控制器，具有自动故障切换功能，可防止一个控制器或者一条光纤链路故障HBA光纤信道Controller1SCSIChipController2SCSIChip15存储缓存保护技术FC或IP(GE)缓存(Cache)CPUCPU后端总线磁盘FC或IP(GE)缓存(Cache)CPUCPU后端总线Cache电池FC或IP(GE)缓存(Cache)CPUCPU后端总线阵列内置UPS三种常见控制器Cache保护设计cache电池保护内置UPS保护外置UPS保护阵列外置UPS16RAIDRAID（Redundant Array of Independent Disks）：独立冗余磁盘组。
8、其基本思想就是把多个相对便宜的硬盘组合起来，成为一个硬盘阵列组，使性能达到甚至超过一个价格昂贵、容量巨大的硬盘。RAID提升磁盘I/O速率数据容错17RAID的数据组织方式D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3条带2(strip)条带1(strip)条带0(strip)磁盘上的数据分块磁盘上的数据分块磁盘上的数据分块分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。条带：同一磁盘阵列中的多个磁盘驱动器上的相同“位置”（或者说是相同编号）的分块。18RAID级别分类RAID0RAID1RAID3RAID5RAID6RAID1019RAID
9、 0的工作原理D4D2D0驱动器1D6D5D3D1驱动器2D0,D1,D2,D3,D4,D5条带2条带1条带0各磁盘上的数据块各磁盘上的数据块无差错控制的条带化阵列D2D1D0D5D4D3D0逻辑磁盘20优点极高的读写效率速度快，由于不存在校验，所以不占用CPU资源部署简单缺点无冗余，通常和其他RAID级别混合使用 不适合用于关键数据环境最小硬盘数2块（1块也可以）RAID 0小结21RAID 1的工作原理镜像结构的阵列D2D1D0D2逻辑磁盘D2D1D0驱动器1驱动器2D0,D1,D2经过镜像器D2D1D022优点提供了很高的数据安全性和可用性 100的数据冗余设计、使用简单不作校验计算，C
10、PU占用资源少缺点空间利用率只有50%相对于单个硬盘，无法提高写性能最小硬盘数2块硬盘RAID 1小结23RAID组合RAID 1+0D0D2D4D0D2D4D1D3D5D1D3D5磁盘镜像器磁盘镜像器D0,D1,D2,D3,D4,D5RAID 10是将镜像和条带进行组合的RAID级别，先进行RAID 1镜像然后再做RAID 0。RAID 10也是一种应用比较广泛的RAID级别。物理磁盘1物理磁盘2物理磁盘3物理磁盘4磁盘故障磁盘故障读取数据24优点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许N个硬盘同时损坏（2N个硬盘组成的RAID10数组）缺点只有1/2的硬盘利用率最小硬
11、盘数4块硬盘RAID 1+0小结25RAID 3的工作原理D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3D0,D1,D2,D3,D4,D5,D6,D7,D8P3P2P1校验驱动器校验码生成带奇偶校验码的并行阵列26优点数据分布式存储在连续的硬盘上，具有较高的读速率，适合大文件连续读操作的应用如果有一个硬盘损坏，数据的有效性没有影响缺点校验盘是整个硬盘数组系统的瓶颈 有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降最小硬盘数3块硬盘RAID 3小结27RAID 5的工作原理分布式奇偶校验码的独立磁盘结构D4P1D1驱动器2P2D2D0驱动器1D5D3P0驱动器3D0
12、,D1,D2,D3,D4,D528优点高读取速率，中等写速率提供一定程度的数据安全缺点RAID组里单块硬盘的故障，会导致其他硬盘读写性能大幅度下降 最小硬盘数3块硬盘RAID 5小结29Q5D9RAID 6的工作原理P1D3D6D12D10Q1P2D7D13D11D0Q2P3D14P4D1D4Q3P5Q4D2D5D8驱动器1驱动器2驱动器3驱动器4驱动器5条带0条带1条带2条带3条带4RAID6需要计算出两个校验数据P和Q，当有两个数据丢失时，根据P和Q恢复出丢失的数据。校验数据P和Q是由以下公式计算得来的： P=D0 D1 D2 Q=( D0)( D1)( D2)30优点可以同时允许两块硬盘
13、失效缺点磁盘利用率比RAID5更低校验计算复杂，对控制器性能消耗很大，增加系统负载出现硬盘失效时，RAID重建时对系统性能影响更大，并且重建时间长最小硬盘数4块硬盘RAID 6小结31RAID级别RAID 0RAID 1RAID 3RAID 5RAID 1+0别名条带镜像专用奇偶位条带分布奇偶位条带镜像数组条带容错性无有有有有冗余类型无复制同位同位复制热备盘选项无有有有有读性能高低高高一般随机写性能高低最低低一般连续写性能高低低低一般最小硬盘数2块2块3块3块4块可用容量N * 单块(N /2) * 单块硬盘容量(N -1) * 单块硬盘容量(N -1) * 单块硬盘容量(N /2) * 单块
14、硬盘容量常用RAID比较32HotSpare-热备盘所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。
15、33Raid阵列重构过程D5D3D1驱动器2D4D2D0校验驱动器D0,D1,D2,D3,D4,D5P3P2P1热备盘驱动器D0D2D4驱动器134RAID级别的选择性能可靠性成本RAID0RAID6RAID5（3）RAID10RAID1RAID级别应用场合RAID0视频生成与编辑、图像编辑RIAD1财务、金融系统RAID3视频监控等需要高吞吐量的场合RAID5OLTP、数据库系统RAID6对数据安全性要求很高的场合35目 录存储是什么？存储的基础知识存储设备的高级功能36存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识u 快照软件u 存储自动分层u 多路径冗余u 自动精简配置u 重
16、复数据删除u 备份的基本概念u 备份策略介绍u 备份类型介绍u 容灾的基本概念u 容灾的国家标准u 容灾的常用技术37快照与克隆Snapshot/Clone (http:/www.snia.org/dictionary)A fully usable copy of a defined collection of data that contains an image of the data as it appeared at the point in time at which the copy was initiated. A snapshot may be either a duplica
17、te or a replicate of the data it represents.快照/克隆是特定数据集的一个可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制。快照和克隆的区别:u 快照比较节省空间，但依赖源数据；快照预留空间通常只占源数据的20%左右u 克隆是源数据在某个时间点的一份完整拷贝，所需空间和源数据一样大小，克隆不依赖源数据38存储自动分层（Easy Tiering）第 1 层第 2 层第 3 层u20% 的数据占资料活动量的 80%u基于不断变化的需求自动移动和放置数据；u数据写入性能最高的第 1 层；u将活动频度较低的数据迁移到下面的分
18、层；u如果活动频度提高，再迁回到上面的分层；39多路径冗余I/Ou主机中能够将对存储设备的I/0请求定向到多条访问路径上的设施和机制。多路径I/O要求必须使用除总线地址之外的方法来唯一标识设备。u多路径访问技术主要用于访问链路故障切换和负载均衡。40自动精简配置用最低的成本存储最多的数据价值优势：允许用户创建灵活卷 ，以大于实际物理空间的容量，可在后期追加物理容量，使容量规划的效率更高不浪费空间，仅当写入数据才占用空间，降低存储系统的采购成本节省电能和机房空间，降低热量的排放，高效低碳用最低的成本存储最多的数据价值优势：允许用户创建灵活卷 ，以大于实际物理空间的容量，可在后期追加物理容量，使容
19、量规划的效率更高不浪费空间，仅当写入数据才占用空间，降低存储系统的采购成本节省电能和机房空间，降低热量的排放，高效低碳Physical Storage: 1TB TotalVolumes: 2TB1 TB300 GB50GB150GB100GB200 GB200 GB自动精简配置是一项新的容量分配的技术，不会一次性的划分过大的空间给某项应用，而是根据该项应用实际所需要的容量，多次的少量的分配给应用程序，当该项应用所产生的数据增长，分配的容量空间已不够的时候，系统会再次从后端存储池中补充分配一部分存储空间。41重复数据删除重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份系统，旨在减少存储系
20、统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块，重复的数据块用指示符取代。重复数据删除的优势：u 节约存储空间，降低成本u 降低网络负载，提高备份效率u 加快数据恢复，降低风险42存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识u 快照软件u 存储自动分层u 多路径冗余u 自动精简配置u 重复数据删除u 备份的基本概念u 备份策略介绍u 备份类型介绍u 容灾的基本概念u 容灾的国家标准u 容灾的常用技术43备份技术基础知识概念备份是指利用备份软件把数据从磁盘备份到磁带进行离线保存。 1. 备份方式支持每次针对增量数据进行保护、可以制定策略
21、自动完成，并且可以对正在使用的数据（如注册表）进行保护 2.备份数据是磁带格式，不能被应用系统直接访问3.备份过程中，应用系统的性能、带宽等都会受影响44备份窗口：Backup Window是一个时间概念，即一个工作周期内留给备份系统进行备份的时间长度。业务连续性要求越高，备份窗口就会越小备份窗口与RPO的关系业务连续性越高(比如7x24小时的应用)，备份窗口与业务连续性的矛盾就越突出备份技术基础知识备份窗口45备份技术基础知识备份策略全备份：是对数据的完全备份增量备份：是对上次全备份或者增量备份后被修改了的文件做备份u 优点是备份数据量小，需要的时间短u 缺点是恢复的时候需要多份备份数据，出
22、问题的风险较大 差量备份：是备份自上次全备份后被修改过的文件u 优点是恢复速度相对较快，因为只需要两份磁带最后一次完全备份和最后一次差量备份u 缺点是每次备份需要的时间较长 周一 周二 周三 周四 周五 周六星期天全备份星期天 周一 周二 周三 周四 周五 周六全备份46备份技术基础知识Lan备份LANLAN备份所需设备优势分析WinLin备份服务器存储客户端客户端主模块备份服务器存储客户端主模块服务器存储备份软件 备份用户通过通过LAN共享和备份服务器相连的备份设备对备份工作集中管理47备份技术基础知识 Lan-Free备份LANSANWinLin备份服务器存储带库LAN-Free备份优势分
23、析引入SAN，提高数据块的传输速率备份数据流和业务数据流的分离容易扩展备份容量48存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识u 快照软件u 存储自动分层u 多路径冗余u 自动精简配置u 重复数据删除u 备份的基本概念u 备份策略介绍u 备份类型介绍u 容灾的基本概念u 容灾的国家标准u 容灾的常用技术49数据中心正面临 自然灾害 : 火山地震 人为灾难 : 骇客攻击，病毒入侵 技术灾难 : 设备故障，电力故障本地数据灾难的主要原因：本地数据丢失的主要原因： 系统硬件故障 人为操作失误 网络内非法访问者的恶意破坏 51%的企业两年之后倒闭43%的企业无法营业50容灾基础知识概念容
24、灾（灾备）就是为了灾难恢复而对数据、数据处理系统、网络系统、基础设施、专业技术支持能力和运行管理能力进行备份的过程。数据灾备：建立一个异地的数据系统对本地系统关键应用数据进行复制。当出现灾难导致应用系统数据损坏时，能够通过异地保存的数据进行灾难恢复(Disaster Recovery）应用灾备：异地建立一套完整的、与本地数据系统相当的应用系统（可以同本地应用系统互为备份，也可与本地应用系统共同工作）。在灾难出现后，远程应用系统可承担本地应用系统的业务运行。应用容灾的基础是数据容灾，只有保持本地与异地数据的一致，才有可能进行应用容灾业务灾备：还包括非IT系统的办公地点、环境、电话等 灾备的级别5
25、1容灾基础知识RTO/RPORTO：（Recovery Time Object，恢复时间目标 ）是指信息系统从灾难状态恢复到可运行状态所需的时间，用来衡量容灾系统的业务恢复能力 RPO（Recovery Point Time，恢复点目标）是指业务系统所允许的在灾难过程中的最大数据丢失量 ，用来衡量容灾系统的数据冗余备份能力 52容灾基础知识容灾的等级53容灾基础知识容灾的等级54生产中心光纤直连灾备中心I/O 写入生产中心磁盘阵列I/O 写入灾备中心磁盘阵列返回接收确认信号返回IO成功信号给应用服务器容灾基础知识同步镜像建议距离：100KM55生产中心光纤直连灾备中心I/O 写入生产中心磁盘阵列返回IO成功信号给应用服务器I/O 写入灾备中心磁盘阵列返回接收确认信号容灾基础知识异步镜像建议距离：100KM562022-4-4Inspur group谢谢大家!
