1、磁盘阵列技术介绍磁盘阵列技术介绍Disk Array Basic Conception内 容 提 要I.磁盘阵列介绍II.RAID技术III.SCSI/SAS/SATA技术IV.光纤技术V.iSCSI技术VI.存储技术与架构I.磁盘阵列介绍磁盘阵列磁盘阵列Disk Array。即将多块物理硬盘通过特定的方法组合成即将多块物理硬盘通过特定的方法组合成为为 容量巨大的逻辑硬盘。容量巨大的逻辑硬盘。萌生磁盘阵列的最初想法：如何通过小容量硬盘而获得大容量的硬盘。目前磁盘阵列技术的发展方向：随着技术的发展和应用的复杂，对容量的追求不再是唯一的目标；稳定性、安全性、高效性和扩展性成为磁盘阵列的重要综合指标
2、。要更大容量要更大容量 TB级（级（1TB=1024GB）要更高效率要更高效率 可达几十万可达几十万IOPS要更高可靠要更高可靠 可做到全部部件冗余可做到全部部件冗余,硬盘损坏也硬盘损坏也不丢失数据不丢失数据要更好扩展要更好扩展 从几百从几百GB到几十到几十TB任意扩充任意扩充 容量大：容量大：可将多至几百块硬盘串在一起使用，容量可达十几甚至上百可将多至几百块硬盘串在一起使用，容量可达十几甚至上百TB。高效率：高效率：因多个硬盘同时运转，所以速度较单块硬盘快很多。因多个硬盘同时运转，所以速度较单块硬盘快很多。并且有更好的并发读写效能。并且有更好的并发读写效能。高可靠：高可靠：利用利用RAID技
3、术，使结构有容错功能，做到硬盘损坏时不影响使用技术，使结构有容错功能，做到硬盘损坏时不影响使用并可做到不断电维护，最大限度避免了因硬盘损坏引起的数据丢失和任务中并可做到不断电维护，最大限度避免了因硬盘损坏引起的数据丢失和任务中断。断。易扩展：易扩展：从几块硬盘扩展到几十、上百块硬盘可以做到不断电扩展。从几块硬盘扩展到几十、上百块硬盘可以做到不断电扩展。RAID技术技术：Redundant Arrays of Inexpensive Disks廉价磁盘冗余阵列技术，是磁盘阵列所使用的主要技术。可将硬盘根据可靠性和性能要求的不同分成若干级别。Data Striping技术技术：数据条带化技术。是R
4、AID技术的基本概念。Redundant技术技术：冗余容错技术。在盘阵中可做到冗余的有：电源、风扇、控制器、内存等都利用冗余技术，大大增加了部件可靠性。Hot Swap技术技术：热插拔技术。由于盘阵要求连续工作不停顿，所以热插拔技术的应用避免了因维护造成的停机，大大提高了产品的可靠性。Data Strip技术Data Striping即数据条带化即数据条带化，是将一个完整的数据文件分成若干块依次写入不同的硬盘，即增加了可靠性又充分利用了各个硬盘的读写能力将速度发挥到最大。这是磁盘阵列RAID结构的基本设计思想。RAID技术从某种角度来说，可以理解为Data Striping的高级应用。RAID
5、增加了Parity DiskParity Disk（奇偶校验盘）。该盘存有数据的校验记录，用于恢复数据。根据RAID LevelRAID Level（RAID级别）的不同又有几种运用方式:RAID 0RAID 0RAID 0+1RAID 0+1RAID 1RAID 1RAID 3RAID 3RAID 5RAID 5RAID 6RAID 6RAID 10RAID 10RAID 30RAID 30RAID 50RAID 50RAID 60RAID 60RAID LevelRAID 0技术技术：RAID-0RAID-0只用到只用到Data StripingData Striping，就是把数据分散成
6、以 sector为单位写入磁盘內。优点优点：由于阵列中的硬盘在同一时间共同分担每笔数据的写入及读取操作，所以RAID-0RAID-0执执行行效率效率远超过远超过一个硬盘一个硬盘或其它或其它RAIDRAID形式形式。缺缺点点：RAID-0RAID-0沒有容沒有容错错功能功能(Fault-Tolerance)(Fault-Tolerance)，也就是说当阵列中的任一个硬盘故障，整个阵列也因数据的不完整而造成资料损毀。应应用用：以 RAID-0 的执行效率來看较适用于顺序且大数据量的连续存储环境，但由于缺乏容错能力，所以在市场上较少为人所应用。RAID-0 磁盘阵列有效之数据容量为 N x N x
7、单块硬盘单块硬盘容量容量(N：硬盘数)RAID 1技术技术：就是大家熟悉的“Disk Mirroring”，使用两块相同容量的硬盘，系统一次写入2份相同的数据到这两个硬盘內，而系统可使用的只是一个硬盘的容量(RAID 1(RAID 1 基本上並沒有基本上並沒有用到用到“Data Striping”Data Striping”的技的技术术)。优点优点：RAID 1 提供了相当好的效率，因为 mirrored 的两个硬盘数据皆相同，系统可以有效率的选择从哪一个硬盘来读取数据会比较快，另一方面，容錯(Fault-Tolerance)功能也是相当重要的原因，由于两个硬盘数据相同，故当其中一个硬盘损毀，
8、另一个可以继续接著工作。缺缺点点：需要比需求容量多一倍的硬盘，费用较高。RAID1 磁盘阵列有效的数据容量为(N/2)x 单块单块硬盘硬盘容量容量(N：硬盘数)RAID 3技术技术：RAID-3 运用了与RAID-0相同的技术，最大的差別是它多了一多了一块块硬盘来储硬盘来储存存ParityParity的资的资料料，目地是为了系统的容错功能(Fault-Tolerance)。何谓何谓 ParityParity?：当数据分散成以Sector为单位并写入磁盘阵列中，RAID-3会把这些片段数据以 XORXOR 的逻辑运算方式计算出一个值-Parity Data，然后再將此Parity值储存到专属的P
9、arity硬盘內，其最主要的作用就在于当磁盘阵列中的某一个硬盘出了问题，系统仍可依照Parity的计算模式继续工作。等待硬盘修复后(或更换一个新硬盘)，此时便可依照 Parity 硬盘中的 XOR 数据与阵列中其它硬盘內的数据，重建出这个原本出问题的硬盘数据，这就是系统容错能力。优点优点：适用在顺序且大数据量的连续存储，以及Single-User的环境上，如 CAD/CAM系统，Image Processing，Audio/Video Data.等，通过“Data Striping”，在转速相同的硬盘阵列中可以达到相当好的效率。缺点缺点：因为每次的 I/O 读取动作都必须由每一个硬盘在同一时间
10、來处理，所以以效率來看並不适用于 Multi-I/O，Multi-Users的环境中。RAID 3 磁盘阵列有效的数据容量为(N-1)x 单块硬盘的单块硬盘的容量容量(N：硬盘数)RAID 5技术技术：与RAID-3相同，只是将Parity分散于所有RAID结构的硬盘中，不需要专门的 Parity硬盘，每个硬盘都记录着其它阵列中硬盘的 Parity数据，若当阵列中某一个硬盘损坏时，便很容易地可由其它硬盘來修复重建数据以达到系统容错能力。可在同一时间內执行多个 I/O 动作，提高了整体 Read/Write 的效率，也正好符合Multi-I/O，Multi-User 的环境。优点优点：RAID-
11、5的技术可以说是综合了以上所有不同RAID技术的优点。是在磁盘阵列技术上相当具有潜力的架构，越來越多的使用者将他们的网络主机或数据库系统架构在 RAID-5 的基础上，因为它将是储存技术的主流。RAID 5 磁盘阵列有效的数据容量为(N-1)x 单块硬盘容量单块硬盘容量(N：硬盘数)RAID 6A RAID 6 array is essentially an extension of a RAID 5 array with a second independent distributed parity scheme.Data and parity are striped on a block
12、level across multiple array members,just like in RAID 5,and a second set of parity is calculated and written across all the drives.As larger disk arrays are considered,it is desirable to use stronger codes that can tolerate multiple disk failureRAID 6Minimum Disks Required4CapacityN-2RedundancyYesWi
13、thstands two drive failures,or one disk failure and bad blocks on another driveRAID 10/30技术技术：RAID 10、30技术相当于RAID 1或3加RAID 0组合而成，数据写入前先做RAID 1或RAID 3，再藉由“Data Striping”技术，通过RAID 0将逻辑磁盘組合成一个大容量之逻辑磁盘，达到更高数据容错保护机制，即为RAID 10或RAID 30。.Physical DrivesPhysical DrivesPhysical DrivesRAID 10RAID 1RAID 1RAID 1
14、Logical DrivesLogical DrivesLogical Drives.Physical DrivesPhysical DrivesPhysical DrivesRAID 30RAID 3RAID 3RAID 3Logical DrivesLogical DrivesLogical DrivesRAID 50技术技术：RAID 50就是以RAID 0技术将两个(含)以上相同容量之RAID 5逻辑磁盘組合成另一个大容量之逻辑磁盘，当数据要写入時，会先將数据做RAID 0“Data Striping”分散在各个RAID 5逻辑磁盘，再由各个RAID 5逻辑磁盘依其技术特性写入实体硬盘
15、內。优点：优点：此种技术可以整合多个逻辑磁盘获得更大容量的磁盘空间，亦可得到更高的数据安全机制。缺点：缺点：必须花費较高的成本(每一个RAID 5逻辑磁盘所能使用的磁盘空间为 N 1)。.Physical DrivesPhysical DrivesPhysical DrivesRAID 50RAID 5RAID 5RAID 5Logical DrivesLogical DrivesLogical Drives技术技术：Just a Bunch Of Disks即是將每一个硬盘视为一个独立的逻辑磁盘，与主机之间的数据传输需通过磁盘阵列控制器运算处理，缺点是无法提供数据容錯功能。在磁盘阵列中，在磁
16、盘阵列中，JBOD指没有控制器的裸机箱。指没有控制器的裸机箱。=2 GB Hard Drive 3 GB Hard Drive 1 GB Hard Drive 2 GB Hard Drive 2 GB Logi cal Dri ve=3 GB 1 GB 2 GB Logi cal Dri ve Logi cal Dri ve Logi cal Dri ve JBODNRAID技术技术：NRAID即Non-RAID。此技术只是將所有硬盘虚拟成一个大容量逻辑磁盘机(容量等于所有硬盘空间总和)，且不具备RAID或“Data Striping”特性，因此也无法达到容錯及提高效率等功能。+=2 G B
17、H a r d D r i v e 3 G B H a r d D r i v e 1 G B H a r d D r i v e 2 G B H a r d D r i v e L o g i c a l D r i v e 2 +3 +1 +2 =8 G B L o g i c a l D r i v e RAID Level 总结总结RIAD 0Data StripingRAID 1Disk MirroringRAID(0+1)Data Striping&MirroringRAID 3Data Striping&Parity(Additional Drive Dedicated)RAID
18、 5Striping&Rotating Parity(Dispersing)RAID 6RAID 10A pair of RAID 1&Data StripingRAID 30A pair of RAID 3&Data Striping RAID 50A pair of RAID 5&Data Striping-Higher CostRAID 60NRAIDNon-RAID-One Logical DriveJBODJust a Bunch of Disks-Several Logical DrivesIII.SCSI/SAS/SATA 技术技术SCSISCSIS Small mall C C
19、omputer omputer S Systems ystems I Interfacenterface是一种连结主机和外围设备的接口。是一种连结主机和外围设备的接口。SCSISCSI为为并行传输总线结构并行传输总线结构。SCSISCSI总线通过总线通过控制器控制器联系诸如硬盘之类的设备通讯。联系诸如硬盘之类的设备通讯。目前一个独立的目前一个独立的SCSISCSI总线具有总线具有1616个个IDID，通过，通过IDID来区分外部来区分外部设备，最多支持设备，最多支持1515台设备，并通过台设备，并通过SCSI IDSCSI ID控制。控制。SCSISCSI控制器有自己的控制器有自己的命令集命令
20、集和和缓存缓存。SCSI 简介简介SCSI总线结构总线结构SCSISCSI总线通过总线通过IDID对设备进行管理，每个对设备进行管理，每个IDID对应一个设备，设备请求由对应一个设备，设备请求由SCSISCSI处处理器来响应。理器来响应。SCSISCSI总线有单独的运算单元和总线有单独的运算单元和CPUCPU，因此无需占用系统总线和更多的系统资源。，因此无需占用系统总线和更多的系统资源。SCSI控制器控制器SCSI Channel 012345678910 11 12 13 14150SCSI Channel 112345678910 11 12 13 14150SCSI Channel 21
21、2345678910 11 12 13 14150SCSI Channel 312345678910 11 12 13 14150SAS介绍介绍SASSerial Attached SCSI。是服务器连接内部或外部存储设备的点到点连接技术。uSAS将被用在运行关键任务应用的服务器中，将作为一项替代光纤通道存储区域网(SAN)的技术。u并行SCSI最大运行速度为320Mbps，并且只能以半双工方式运行。SAS磁盘阵列带宽可达1200MB，可以以全双工方式运行。uSAS使用与SATA相同风格的连接器和同样的信令与编解码技术。它支持并行SCSI的所有特性，并具有更好的性能和可靠性，同时保持与SATA
22、磁盘的向后兼容性。u它还可扩展到设备之外连接128台设备，大大超过并行SCSI所支持的16台设备。SATASerial Advanced Technology Attachment。将应用在重视成本的入门级到中档产品中SATA介绍介绍ATA技术是在80年代推出的，它目前是PC和服务器的标准存储接口。它是一种比较简单的接口，运行速度最快为66Mbps。并行ATA已经达到了它的功能极限：l信号质量l散热lATA数据可靠性限制SATA目前已推出：SATA-I和SATA-IISATA-I通过支持热插拔磁盘并提供更长的线缆、更好的可靠性和更高的性能，改进了SATA设备在服务器和存储环境中的使用。SATA
23、不仅对数据进行校验，对于本身指令和传输也进行校验。SATA-II添加了额外的功能并将性能从150Mbps增加到300Mbps。支持NCQ功能，提高数据传输速率。最大数据传输速率今后将增加到600Mbps的SATA还向后与并行ATA设备兼容。可与SAS接口相兼容。SATA优点优点PATA Parallel ATASATASerial ATASCSIParallel SCSISASSerial Attached SCSIFCFibre ChannelTopology地址地址111612816Million传输距离传输距离11121010KMDual PortNoNoNoYesYes连接方式连接方式
24、BusPt.To Pt.BusPt.to Pt.Loop,FabricPerformance传输速度传输速度 MB/s661001331503001603203006002004001000工作方式工作方式半双工半双工半双工半双工半双工半双工全双工全双工全双工全双工传输协议传输协议ATAATASCSISCSISCSIInterface&FeatureTechnology TrendIVFibre Channel光纤通道技术光纤通道技术现有的网络技术状况当信息转换成关键数据时，网络必须进一步扩展来满足这一新的需要:爆炸性的数据增长动态高速的数据迁移安全的数据存放和读取基于TCP/IP技术的网络能
25、实现这一切，然而:数据迁移只能以异步方式进行必须消耗大量的主机 CPU 资源导致应用软件信息传输的中断和阻塞数据传输网络技术优点劣势连接能力，超强路由连接能力，超强路由低速及高负载低速及高负载管理能力管理能力强烈的软件需求强烈的软件需求远距离远距离错误检测能力错误检测能力期待更好的网络解决方法期待更好的网络解决方法l良好的扩展性:最多可支持达1600万个地址，理论上最多可以在一个存储区域网里将239个光纤通道交换机连接在一起，提供了良好的扩展能力。l可靠性：使用光纤通道交换机建立存储网络，可以通过增加冗余链路的方法来达到增加可靠性的目的。更吸引用户的是，现在可以在不影响系统应用的情况下，对系统
26、进行在线扩展。l传输距离更远：使用单模光纤传输距离为10公里，使用特殊的增强光波可以将光纤通道的传输距离延长到80公里，这使得在不同区域之间建立大规模集群系统、容灾系统或数据备份系统成为可能。l传输速度更快：今天光纤通道交换机的传输速度达到了4Gb/s，比传统的2Gb/s传输的速度更快。而且数据传输的效率极高，又非常节约CPU资源。光纤技术特点光纤通道的拓扑结构光纤通道的拓扑结构Fibre Channel有三种拓扑结构有三种拓扑结构:点对点点对点(Point-to-Point)两个设备之间互连 仲裁环仲裁环(Arbitrated Loop)最多支持128个节点，形成一个仲裁环 交换式交换式Fa
27、bric(Switch Fabric)最多1千6百万个设备互连点对点对点点交换式交换式 FabricArbitrated Loop(仲裁环仲裁环)光纤规格光纤规格光纤SFP 短波光SFP(MMF)最大300米 长波激光SFP(SMF)最大10公里 增强长波激光SFP-最大80公里短波SFP IBM,Finisar,Agilent,E2O长波SFP:Finisar,IBM增强长波SFP:FinisarLC光纤 短波SFP(780 nm-850 nm波长)多模,50/125 m,500MHz*Km BW多模,62.5/125 m,200MHz*Km BW 长波SFP(1310 nm波长)单模,9/
28、125 m 增强长波SFP(1550 nm)单模,9/125 mLCSCV.iSCSI 技术技术iSCSI，即 ip+SCSI，是一种协议标准，将SCSI数据块封装在TCP/IP中并在IP网络中传输。从根本上说，iSCSI协议是一种跨过IP网络来传输SCSI数据块的方法。iSCSI简介简介iSCSI工作流程iSCSI SAN的优势高可用性高可用性在服务器和存储资源之间建立起多条通道，即使一条线路断开仍能保持系统连接可扩展性可扩展性SAN采用交换机式的结构，IT管理人员不必中止应用即可完成存储容量的扩充最大程度地保护存储资源投入最大程度地保护存储资源投入SAN能够跨平台共享硬盘和磁带设备采用我们
29、熟悉的以太网技术采用我们熟悉的以太网技术iSCSI 解决的四个共性问题对现有存储的低利用对现有存储的低利用研究表明，部署DAS应用所能达到的平均存储利用率只有50%。SAN的存储利用率可达到85%。SAN实现高存储利用率的原因来自于存储整合，为所有应用创建一个共享的存储资源。越来越少的备份时间越来越少的备份时间在每天24小时的大部分时间里都需要存储完成实时交易。受限的存储发展空间受限的存储发展空间随时随地增加存储容量的灵活性使IT经理们不必靠臆测预估存储需求，能够最大程度地利用采购的存储资源。距离限制距离限制大多数存储协议限制了存储设备和应用系统之间的物理距离。iSCSI SAN使用现有以太网
30、基础设施，消除了从应用系统到存储设备之间的距离障碍。iSCSI访问方式NASFC SANiSCSI链接 iSCSI SAN和FC SANiSCSI市场日渐成熟 SATA技术使存储产品降低了成本 能在LAN Switches上建设SAN对潜在客户是很有吸引力的 网络设备的制造商对iSCSI技术也很感兴趣 支持iSCSI的厂商：IBM、EMC、McDATA、HDS、ADIC、Spectra Logic、NetApp、Intel和MicrosoftVI.存储技术与架构存储技术与架构DAS-Direct Attachment Storage直接连接存储SAN-Storage Area Network存
31、储区域网络NAS-Network Attachment Storage网络附加存储存储架构存储架构DAS将存储设备通过将存储设备通过SCSI或光纤线缆与主机直接相连接的使用方式。或光纤线缆与主机直接相连接的使用方式。优点：优点：当存储设备比较分散，且不需要互相连接当存储设备比较分散，且不需要互相连接 安装简单安装简单缺点：缺点：存储空间利用率低：存储空间利用率低：管理费用高：管理费用高：管理复杂：管理复杂：存储空间扩容困难：存储空间扩容困难：系统可用性低：系统可用性低：数据恢复慢：数据恢复慢：NAS将存储设备通过局域网共享使其他网络主机使用的连接方式。将存储设备通过局域网共享使其他网络主机使用
32、的连接方式。优点：优点：uNAS是一种特殊的网络文件是一种特殊的网络文件存储及文件备份设备存储及文件备份设备;u可提供跨平台文件共享功能，可提供跨平台文件共享功能，如文件服务器如文件服务器;u适用于以文件共享方式运行适用于以文件共享方式运行的应用，如远程文件备份的应用，如远程文件备份.缺点：缺点：无法运行本地硬盘的应用程序无法运行本地硬盘的应用程序NAS GatewayFile ModeSANSAN是独立于服务器网络系统之外的高速存储网络是独立于服务器网络系统之外的高速存储网络客户机LAN(局域网局域网)广域网广域网存储区域网存储区域网（第二网）Fabric=第二网第二网“Fabric”是一个
33、由智能光纤通道交换机构成并具有良好系统设计的高智能网络,这一数据网络可以提供企业级的性能,扩展能力,可管理能力,可靠性和可用能力服务器存储网络子系统存储网络子系统（第一网）（第一网）服务器网络子系统服务器网络子系统优点：数据存储的集中管理，降低投资费用和管理成本 高速度、高性能和高可用性 极高的扩展性 LAN-free备份 多机集群系统的要求缺点：价格相对稍高 安装有一定难度SAN存储区域网络存储区域网络DAS/NAS/SAN应用趋势应用趋势Virtualization Tape LibraryVTLVirtual Tape Library，虚拟磁带库。是指对主机/网络端和磁带备份管理软件体现
34、为机械磁带库，但使用磁盘阵列作为存储介质的备份设备。简单地说，虚拟磁带库就是电子化的机械磁带库。VTL的出现及兴起，是为了解决传统机械磁带库长期以来困扰用户的若干结构性难题，其中最为突出的是：机械磁带库设备安全性差和恢复能力欠佳。相对于机械磁带，虚拟磁带库使用了兼容磁带备份管理软件，以及传统备份流程，这使得设备的可用性及备份的可靠性都得到了大幅提升：设备可用性提升：虚拟磁带库用电子化的“机械手”和“磁带驱动器”，代替了机械磁带库中裸露、易损的系列机械装置，基于使用RAID保护的磁盘阵列具备自动报警和在线热恢复能力。用户可自行更换磁盘，无维修周期之虞。备份可靠性提升：虚拟磁带库采用基于RAID保
35、护的磁盘阵列，代替无容错能力的磁带作为备份存储介质，从而将备份的可靠性较常规磁带备份提高了若干量级。封闭式结构的磁盘介质本身的MTBF（平均无故障间隔）一般为开放式结构的磁带介质的5倍以上，加上进一步的RAID保护，备份可靠性不再是隐患。VTL 较传统较传统TL的改进的改进第一代第一代VTL：机械磁带库的缓存附件：机械磁带库的缓存附件 几乎在机械磁带库发明的同时，VTL概念就已经出现并得到应用，但是受限于技术局限，长期以来VTL只是作为机械磁带库的缓存，应用也因此而局限于封闭主机系统等高端用户群，市场认知度很低。进入21世纪，随着磁盘价格的大幅降低，作为缓存的VTL逐渐走入普通用户，专业备份软
36、件厂家如Veritas、Legato、CA、BakBone等均开始提供“备份到磁盘”的软件模块。第二代第二代VTL：磁盘库管理服务器：磁盘库管理服务器 为了提高VTL备份的应用安全性，部分供应商开始将各色软件VTL模块装入专用服务器（一般称为“磁盘库管理服务器”），或将操作系统和软件VTL模块“固化”在“磁盘库控制器”内，构成第二代VTL。总结起来，第二代VTL具备“准硬件”包装，但备份磁盘的应用仍受限于文件系统，在本质上依然是软件虚拟带库。VTL 发展历程发展历程存储趋势存储趋势磁盘阵列存储磁盘阵列存储光盘存储光盘存储磁带存储磁带存储磁带存储磁带存储光盘存储光盘存储磁盘阵列存储磁盘阵列存储BeforeNow&FutureOn-Line StorageNear-Line StorageOff-Line Storage更大容量更大容量更高效率更高效率更高可靠更高可靠更易扩展更易扩展唯有磁盘阵列！唯有磁盘阵列！Q&A
