1、储存储存(磁盘阵列柜磁盘阵列柜)基础知识培训基础知识培训 IBM公共技术支持中心IBM technical support center for public 2磁盘阵列柜概述磁盘阵列柜概述 磁盘阵列简称RAID(Redundant Arrays of Inexpensive Disks)，有“价格便宜且多余的磁盘阵列”之意。其原理是利用数组方式来作磁盘组，配合数据分散排列的设计，提升数据的安全性。磁盘阵列主要针对硬盘，在容量及速度上，无法跟上CPU及内存的发展，提出改善方法。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生的加成效果
2、来提升整个磁盘系统的效能。同时，在储存数据时，利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念，在数组中任一颗硬盘故障时，仍可读出数据，在数据重构时，将故障硬盘内的数据，经计算后重新置入新硬盘中。而磁盘阵列柜就是装配了众多而磁盘阵列柜就是装配了众多硬盘的外置的硬盘的外置的RAID。ServerHBARAID sub-systemFibre ChannelEthernet to ClientworkstationsDual Controller RAID with only one controllerin use(B not
3、used in this example).This RAID system has four SCSI buses with five drives on each bus.ControllerSCSIChipControllerSCSIChip基本配置基本配置ServerRAID sub-systemHBAFibre ChannelEthernet to ClientworkstationsDual independent controllers with automatic fail-over for continuous availability in case one control
4、ler or one fiber link fails.HBAFibre ChannelControllerSCSIChipControllerSCSIChipSample SCSI/SAS subsystem双控配置双控配置5存储的参数存储的参数 主机通道（主机接口）:几个?什么类型?SCSI接口接口、FC接口接口、iSCSI接口接口、SAS接口接口 磁盘通道（磁盘接口）:能接多少块硬盘?什么接口?SATA、SCSI、FC、SAS 存储连接设备:用于服务器与存储直接连接的设备。SCSI 卡卡、SAS卡卡、RAID卡卡、FC通道卡通道卡、以太网口以太网口、FC交换机交换机、以太网交换机以太网交
5、换机6磁盘阵列柜的应用磁盘阵列柜的应用 由于磁盘阵列柜具有数据存储速度快、存储容量大等优点，所以磁盘阵列柜通常比较适合在企业内部的中小型中央集群网存储区域进行海量数据存储。7存储网络的架构存储网络的架构 企业存储技术发展日新月异，早期大型服务器的DAS 技术（技术（Direct Attached Storage，直接附加存储，又称直连存储），直接附加存储，又称直连存储），后来为了提高存储空间的利用及管理安装上的效率，因而有了SAN（Storage Area Network，存储局域网络），存储局域网络）技术的诞生，SAN 可说是DAS 网络化发展趋势下的产物。早先的SAN 采用的是光纤通道（F
6、C，Fiber Channel）技术，所以在iSCSI出现以前，SAN 多半单指FC 而言。一直到iSCSI 问世，为了方便区别，业界才分别以FC-SAN和IP-SAN。NAS（Network Attached Storage：网络附：网络附属存储）属存储）是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。8DAS：直接附加存储：直接附加存储 的DAS(Driect Attached Storage直接附件存储）是指将存储设备通过SAS线缆或光纤通道直接连接到服务器上。9DAS：直接附加存储：直接附加存储 存储直接连接到一台服务器上存储直接连
7、接到一台服务器上 SCSI,SAS,iSCSI,FC 块级别 I/O 内部磁盘内部磁盘 具备/不具备RAID保护 外部磁盘外部磁盘 存储系统 基于控制器的RAID引擎内部内部 DASMotherboardMotherboard内部磁盘 无RAID ROC 内部磁盘 主板集成RAID (ROC)MotherboardHA 内部磁盘 RAID 主机卡MotherboardSW 内部磁盘 软件 RAIDApplication ServerApplication ServerApplication ServerApplication Server外部外部DASMotherboardHA 通过主机连接卡
8、连接的外部存储系统 基于控制器的 RAIDControllersApplicationServer外部外部DAS 优势优势 成本低 驱动器通常在服务器内部 使用迅速 具备一些数据保护内部内部DAS 优势优势比将数据存储在客户端更好增加的可靠性和性能 RAID保护增强的特性和功能性 可扩展性13SAN：存储区域网络：存储区域网络 SAN（Storage Aera Network）存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。(FC-SAN)(IP-SAN
9、)14SAN的误区的误区 SAN的发展历程较短，从90年代后期兴起，由于当时以太网的带宽有限，而FC协议在当时就可以支持1Gb的带宽，因此早期的SAN存储系统多数由FC存储设备构成，导致很多用户误以为SAN就是光纤通道设备，其实其实SAN代表的是一种代表的是一种专用于存储的网络架构，与协议和设备类型无关，随着千兆以太网的普及和万专用于存储的网络架构，与协议和设备类型无关，随着千兆以太网的普及和万兆以太网的实现，人们对于兆以太网的实现，人们对于SAN的理解将更为全面。的理解将更为全面。15SAN的组成的组成 SAN由服务器，后端存储系统，由服务器，后端存储系统，SAN连接设备组成；连接设备组成；
10、后端存储系统由SAN控制器和磁盘系统构成，控制器是后端存储系统的关键，它提供存储接入，数据操作及备份，数据共享、数据快照等数据安全管理，及系统管理等一系列功能。后端存储系统为SAN解决方案提供了存储空间。使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。连接设备包括交换机，HBA卡和各种介质的连接线。SAN的优点：的优点：设备整合，多台服务器可以通过存储网络同时访问后端存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；数据集中，不同应用和服务器的数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用
11、率；高扩展性，存储网络架构使得服务器可以方便的接入现有SAN环境，较好的适应应用变化的需求；总体拥有成本低，存储设备的整合和数据集中管理，大大降低了重复投资率和长期管理维护成本；16FC-SAN 早期的SAN采用的是光纤通道（FC，Fiber Channel）技术，所以，以前的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN分为FC-SAN和IP-SAN。17IP-SAN IP SAN的基本想法是通过高速以太网络连接服务器和后端存储系统。将SCSI指令和数据块经过高速以太网传输，继承以太网的优点，实现建立一个开放、高性能、高可靠性，高可扩展的存储资源平
12、台。将数据块和SCSI指令通过TCP/IP协议承载，通过千兆/万兆专用的以太网络连接应用服务器和存储设备，这样的解决方案称为IP SAN。18NAS（Network Attached Storage：网络附属存储）：网络附属存储）NAS（Network Attached Storage：网络附属存储）：网络附属存储）是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。按字面简单说就是连接在网络上,具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、
13、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。NAS（Network Attached Storage网络附加存储），是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。19NAS定义定义 NAS被定义为一种特殊的专用数据存储服务器，包括存储器件（例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质）和内嵌系统软件，可提供跨平台文件共享功能。NAS通常在一个LAN上占有自己的节点，无需应用服务器的干预，允许用户在网络上存取数据，在这种配置中，NAS集中管理和处理网络上的所有数据，将负载从应用或企业服务器上卸载下来
14、，有效降低总拥有成本，保护用户投资。NAS本身能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持各种操作系统。通过任何一台工作站，采用IE或Netscape浏览器就可以对NAS设备进行直观方便的管理。20SAN 和NAS的区别：SAN是一种网络，NAS产品是一个专有文件服务器或一个只能文件访问设备。SAN是在服务器和存储器之间用作I/O路径的专用网络。SAN包括面向块（SCIS）和面向文件（NAS）的存储产品。NAS产品能通过SAN连接到存储设备21NAS网关网关 NAS和SAN结合中出现了NAS网关这个部件。NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成
15、，可以看作是一个专门的文件管理器。NAS网关连接到后端上的SAN上，使的SAN的大容量存储空间可以为NAS所用。因此，NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容量。22NAS网关网关“NAS网关”方案主要是在NAS一端增加了可与SAN相连的“接口”，系统对外只有一个用户接口。NAS网关系统虽然在一定程度上解决了NAS与SAN系统的存储设备级的共享问题，但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。当一个文件系统负载很大时，NAS网关很可能成为系统的瓶颈23主要协议和相关技术主要协议和相关技术 SCSI SCSI是小型计算机系统接口（Small Comput
16、er System Interface）的简称，于1979首次提出，是为小型机研制的一种接口技术，现在已完全普及到了小型机，高低端服务器以及普通PC上。SCSI可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。1、SCSI-1：1979年提出，支持同步和异步SCSI外围设备；支持7台8位的外围设备，最大数据传输速度为5MB/s。2、SCSI-2：1992年提出，也称为Fast SCSI，数据传输率提高到20MB/s。3、SCSI-3：1995年提出，Ultra SCSI（Fast-20）。Ultra 2 SCSI（Fast-40）出现于
17、1997年，最高传输速率可达80MB/s。1998年9月，Ultra 3 SCSI（Utra 160 SCSI）正式发布，最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。SCSI是什么是什么?微型计算机系统接口(SCSI)Pronounced“skuzzy”SAS 是什么?串联 SCSISCSI接口接口.started it all!工业标准 I/O 总线 Standard connectors are the same on each device All devices share a common bus8-bit data bus1
18、6-bit data busWhat is SAS?串联 SCSI(SAS)是并口SCSI的终结者 新的工业标准 提供了非凡的性能提升 3-Gbps SAS x4“宽”端口提供累计高达12-Gbps的带宽 主机连接以及扩展理解理解SAS“宽宽”端口端口 每SAS 线缆是3-Gbps 到驱动器是独立线缆“x4 宽”在一个接口中包括4根线缆 2,3,4 线缆仅在当前 I/Os 超出1号线缆通道性能情况下使用44123132理解理解SAS“宽宽”端口端口44123132 每SAS 线缆是3-Gbps 到驱动器是独立线缆“x4 宽”在一个接口中包括4根线缆 2,3,4 线缆仅在当前 I/Os 超出1号
19、线缆通道性能情况下使用ServerSAS HBA or SCSI adapterRAID sub-systemSCSI or SASEthernet to ClientworkstationsDual Controller RAID with only one controllerin use(B not used in this example).This RAID system has four SCSI buses with five drives on each bus.ControllerSCSI/SAS ChipControllerSCSI/SAS ChipSCSI 与与SAS 适
20、用于哪里适用于哪里?30RAID技术技术 RAID概述概述 RAID为廉价磁盘冗余阵列（Redundant Array of Inexpensive Disks），RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘，从而提高了磁盘读取的性能和数据的安全性。不同的组合方式用RAID级别来标识。RAID技术是由美国加州大学伯克利分校D.A.Patterson教授在1988年提出的，作为高性能、高可靠的存储技术，在今天已经得到了广泛的应用。31RAID级别级别 RAID技术经过不断的发展，现在已拥有了从 RAID 0 到 5等6种明确标准级别的RAID 级别。另外，其他还有6、7、10（
21、RAID 1与RAID 0的组合）、01（RAID 0与RAID 1的组合）、30（RAID 3与RAID 0的组合）、50（RAID 0与RAID 5的组合）等。不同RAID 级别代表着不同的存储性能、数据安全性和存储成本，下面将介绍如下RAID级别：0、1、2、3、4、5、6、01、10。32RAID-0 RAID0也称为条带化（stripe），将数据分成一定的大小顺序的写道阵列的磁盘里，RAID0可以并行的执行读写操作，可以充分利用总线的带宽，理论上讲，一个由N个磁盘组成的RAID0系统，它的读写性能将是单个磁盘读取性能的N倍。且磁盘空间的存储效率最大（100）RAID0有一个明显的缺点
22、：不提供数据冗余保护，一旦数据损坏，将无法恢复。33RAID-034 如图所示：系统向RAID0系统（2个磁盘组成）发出的I/O数据请求被转化为2项操作，其中的每一项操作都对应于一块物理硬盘。通过建立RAID 0，原先顺序的数据请求被分散到2块硬盘中同时执行。从理论上讲，2块硬盘的并行操作使同一时间内磁盘读写速度提升了2倍。但由于总线带宽等多种因素的影响，实际的提升速率会低于理论值，但是，大量数据并行传输与串行传输比较，性能必然大幅提高。RAID0应用于对读取性能要求较高但所存储的数据为非重要数据应用于对读取性能要求较高但所存储的数据为非重要数据的情况下。的情况下。35RAID-1 RAID1
23、成为镜像（mirror），它将数据完全一致的分别写到工作磁盘和镜像磁盘，因此它的磁盘空间利用率为50，在数据写入时时间会有影响，但是读的时候没有任何影响，RAID0提供了最佳的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，不会影响用户工作。RAID1应用于对数据保护极为重视的应用36RAID-2 RAID2称为纠错海明码磁盘阵列，阵列中序号为2N的磁盘（第1、2、4、6）作为校验盘，其余的磁盘用于存放数据，磁盘数目越多，校验盘所占比率越少。RAID2在大数据存储额情况下性能很高，RAID2的实际应用很少。37RAID-3 RAID3采用一个硬盘作为校验盘，其余磁盘作为数据盘，数据
24、按位或字节的方式交叉的存取到各个数据盘中。不同磁盘上同一带区的数据做异或校验，并把校验值写入到校验盘中。RAID3系统在完整的情况下读取时没有任何性能上的影响，读性能与RAID0一致，却提供了数据容错能力，但是，在写时性能大为下降，因为每一次写操作，即使是改动某个数据盘上的一个数据块，也必须根据所有同一带区的数据来重新计算校验值写入到校验盘中，一个写操作包含了写入数据块，读取同一带区的数据块，计算校验值，写入校验值等操作，系统开销大为增加。当RAID3中有数据盘出现损坏，不会影响用户读取数据，如果读取的数据块正好在损坏的磁盘上，则系统需要读取所有同一带区的数据块，然后根据校验值重新构建数据，系
25、统性能受到影响。38RAID-3 RAID3的校验盘在系统接受大量的写操作时容易形成性能瓶颈，因而适用于有大量读操作如的校验盘在系统接受大量的写操作时容易形成性能瓶颈，因而适用于有大量读操作如web系统以及信息查询等应用或持续大块数据流（例如非线性编辑）的应用系统以及信息查询等应用或持续大块数据流（例如非线性编辑）的应用39RAID-4 RAID4与RAID3基本一致，区别在于条带化的方式不一样，RAID4按照块的方式存放数据，所以在写操作时只涉及两块磁盘，数据盘和校验盘，提高了系统的IO性能。但面对随机的分散的写操作，单一的校验盘往往成为性能瓶颈40RAID-5 RAID5与RAID3的机制
26、相似，但是数据校验的信息被均匀的分散到的阵列的各个磁盘上，这样就不存在并发写操作时的校验盘性能瓶颈。阵列的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上，当一个数据盘损坏时，系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。41 RAID 5可以理解为是RAID 0和RAID 1的折衷方案。RAID 5可以为系统提供数据安全保障，但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。RAID 5具有和RAID 0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，R
27、AID 5的磁盘空间利用率要比RAID 1高，存储成本相对较低。42RAID-6 RAID 6提供两级冗余，即阵列中的两个驱动器失败时，阵列仍然能够继续工作43 一般而言，RAID 6的实现代价最高，因为RAID 6不仅要支持数据的恢复，又要支持校验的恢复，这使RAID 6控制器比其他级R A I D更复杂和更昂贵。1.RAID 6的校验数据 当对每个数据块执行写操作时，RAID 6做两个独立的校验计算，因此，它能够支持两个磁盘的失败。为了实现这个思想，目前基本上有两个已经接受的方法：使用多种算法，如X O R和某种其他的函数。在不同的数据分条或者磁盘上，使用排列的数据。2.RAID 6的一维
28、冗余 RAID 6的第一种方法是用两种不同的方法计算校验数据。实现这个思想最容易的方法之一是用两个校验磁盘支持数据磁盘，第一个校验磁盘支持一种校验算法，而第二个磁盘支持另一种校验算法，使用两种算法称为P+Q校验。一维冗余是指使用另一个校验磁盘，但所包含的分块数据是相同的。例如，P校验值可能由X O R函数产生，这样，Q校验函数需要是其他的某种操作，一个很有力的侯选者是Reed Solomon误差修正编码的变体，这个误差修正编码一般用于磁盘和磁带驱动器。假如两个磁盘失败，那么，通过求解带有两个变量的方程，可以恢复两个磁盘上的数据，这是一个代数方法，可以由硬件辅助处理器加速求解。44RAID-10
29、 RAID10是RAID1和RAID0的结合，也称为RAID（0+1），先做镜像然后做条带化，既提高了系统的读写性能，有提供了数据冗余保护，RAID10的磁盘空间利用率和RAID1是一样的，为50。RAID10适用于既有大量的数据需要存储，有对数据安全性有严格要求的领域，比如金融，证券等。45JBOD JBOD(Just Bundle Of Disks)译成中文可以是简单磁盘捆绑，通常又称为Span。JBOD 不是标准的RAID级别，它只是在近几年才被一些厂家提出，并被广泛采用。Span是在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。Span上的数据简单的从第一个磁盘开始存储，当第一个磁盘的存储空间用完后，再依次从后面的磁盘开始存储数据。Span存取性能完全等同于对单一磁盘的存取操作。Span也不提供数据安全保障。它只是简单的提供一种利用磁盘空间的方法，Span的存储容量等于组成Span的所有磁盘的容量的总和。46
