1、网络存储技术概述网络存储技术概述网络存储概述IP SAN存储技术基础IP SAN基本组网介绍重要厂商产品介绍主要内容主要内容 引言网络存储行业应用存储体系架构网络存储技术趋势网络存储概述网络存储概述引言引言 “以计算为中心以计算为中心”向向“以数据为中心以数据为中心”发生转变发生转变 数据存储、管理方式从以服务器为中心向以网络数据存储、管理方式从以服务器为中心向以网络为中心发生转变,为中心发生转变,“数据持续时间增加数据持续时间增加” 积累的数据越来越多,呈现积累的数据越来越多,呈现“爆炸性的增长爆炸性的增长 ” 多样化、孤立、分散、难以管理的海量数据是多样化、孤立、分散、难以管理的海量数据是
2、 “应用的巨大障碍应用的巨大障碍” 关键业务的数据丢失对企业带来关键业务的数据丢失对企业带来“毁灭性打击毁灭性打击” 业务连续性、数据共享、数据备份恢复、信息生业务连续性、数据共享、数据备份恢复、信息生命周期管理等需求推动存储技术巨大发展命周期管理等需求推动存储技术巨大发展网络存储行业应用网络存储行业应用l 对数据安全性安全性要求很高的企业 典型行业: 电信、金融和证券 典型业务: 计费l 对数据存储性能存储性能要求高的企业 典型行业: 电视台、交通部门和测绘部门 典型业务: 音频/视频、石油测绘和地理信息系统等 l 在系统级方面具有很强的容量容量(动态动态)可扩展性和灵活性可扩展性和灵活性的
3、企业 典型行业: 各中大型企业 典型业务: ERP系统、CRM系统和决策支持系统l 具有超大型海量存储海量存储特性的企业 典型行业: 图书馆、博物馆、税务和石油 典型业务: 资料中心和历史资料库 DAS : Direct Attached Storage,直接连接存储直接连接存储(以服务器为中心)NAS : Network Attached Storage,网络附加存储网络附加存储(以数据为中心)SAN : Storage Area Network,存储区域网络存储区域网络(以网络为中心)存储体系架构存储体系架构存储体系架构存储体系架构-DAS概念:概念:通过IDE、SCSI以及光纤(FC)接
4、口或线缆与服务器直接相连,以服务器为中心。优点:优点:磁盘与服务器分离,便于统一管理缺点:缺点:1.每个服务器都需要独立的存储设备2.连接距离短,连接数量有限3.数据分散,共享、管理困难4.存储资源利用率低,单位成本高5.扩展性差 ,新增服务器需单独配置存储设备Direct Attached Storage(DAS)(以服务器为中心)存储体系架构存储体系架构-NASNetwork Attached Storage(NAS)概念:概念:使用一个专用存储服务器与网络直接相连,通过NFS或CIFS对外提供文件级访问服务。优点:优点:1.基于NFS、CIFS文件级共享存取,支持HTTP和FTP2.存储
5、设备功能上独立于网络中的主服务器,不占用服务器资源3.扩展较容易,广泛支持操作系统及应用,安装简单方便4.即插即用 缺点:缺点:1.相比SAN架构,存取速度慢2.访问需要经过文件系统格式转换,不适合Block级应用3.数据备份及恢复占用网络带宽(以数据为中心)存储体系架构存储体系架构-SANStorage Area Network (SAN)(以网络为中心)概念:概念:将存储系统、服务器和客户端都通过网络相互连接的架构。优点:优点:1.设备整合,多台服务器可以通过存储网络同时访问后端存储系统2.数据集中,易管理 3.高扩展性,存储硬件功能的发挥不受LAN的影响 4.高可用性,复制、备份、恢复数
6、据和安全的管理,容错能力强5.适用于存储量大的Block级应用缺点:缺点:1.系统的安装和升级方面效率不高2.相比NAS成本较高存储体系架构存储体系架构-SANFC SANIP SANFC SAN 兼容性差兼容性差 成本高昂成本高昂 扩展能力差扩展能力差 异构化严重异构化严重 光纤网络和光纤协议光纤网络和光纤协议IP SAN 以太网和以太网和iscsi协议协议FC StorageIP StorageFC SwitchLAN Switch SAN-提高企业信息的可用性提高企业信息的可用性存储区域网络存储区域网络(SAN)NTNTUNIX80%直接连接存储直接连接存储(DAS)50%50%50%N
7、TUNIXNTNTUNIXNT“让我们的存储设备发挥更大作用让我们的存储设备发挥更大作用”需超过需超过50%的备用空间的备用空间存储容量不易扩展存储容量不易扩展管理成本管理成本5至至6倍于购买成本倍于购买成本仅需仅需20%的备用空间,有效减少备的备用空间,有效减少备用空间用空间可立即按需提供存储容量可立即按需提供存储容量整和整和UNIX与与NT存储增长需求存储增长需求SAN-提高企业信息的可用性提高企业信息的可用性存储区域网络存储区域网络(SAN) 直接连接存储直接连接存储 (DAS) 信息的可用能力保障业务的正常运行信息的可用能力保障业务的正常运行NTUNIXLANLANNTUNIX备份服务
8、器备份服务器备份服务器备份服务器备份传输堵塞企业局域网备份传输堵塞企业局域网备份备份/恢复时间冗长恢复时间冗长在备份在备份/恢复期间,服务需要中断恢复期间,服务需要中断与基于网络或直接连接式的备份,与基于网络或直接连接式的备份,SAN可令备份操作更快完成可令备份操作更快完成企业应用程序可更快速恢复服务企业应用程序可更快速恢复服务缩短意外服务中断时间,尽快恢缩短意外服务中断时间,尽快恢复遗失或损坏的数据复遗失或损坏的数据提高企业生产力提高企业生产力SAN-提高对应用系统的保护提高对应用系统的保护存储区域网络存储区域网络 (SAN) 直接连接存储直接连接存储 (DAS) 降低高可用关键业务应用的构
9、建成本降低高可用关键业务应用的构建成本PSPSPSPPPS三台重要应用软件服务器需要三台三台重要应用软件服务器需要三台备用服务器备用服务器1:1故障切换,成本高昂故障切换,成本高昂基于基于SAN群集提供高可用解决方群集提供高可用解决方案,明显降低成本案,明显降低成本一台备用服务器可支持多台工作一台备用服务器可支持多台工作服务器服务器N:1切换切换减少维护开支减少维护开支存储体系架构的融合存储体系架构的融合Data Center1 Gbps EthernetIP Connectivity1/2 Gbps FCUltra 320 SCSIIP SANIP SAN 和和 FC SAN 融合解决方案融
10、合解决方案FC SANIP SANExtension 网络存储技术趋势网络存储技术趋势第一代 DAS连接方式:服务器直连第二代 FC SAN连接方式:FC网络第三代 IP SAN连接方式:IP网络经历经历FC的痛苦,业界再次选择了的痛苦,业界再次选择了IP!1986SCSI协议协议1997FC协议协议2003iSCSI协议协议标准化是存储发展的方向!标准化是存储发展的方向!网络存储技术趋势网络存储技术趋势SAN和和NAS的比较的比较体系架构发展主线:体系架构发展主线:DASDAS-SAN(SAN(各厂家兼容性差)-OpenSAN()-OpenSAN(各厂家互为兼容)-)-SoIP(iSCSI/
11、FCIP/IFCP/IP/Ethernet)SoIP(iSCSI/FCIP/IFCP/IP/Ethernet)我司目前专攻我司目前专攻IP SAN IP SAN 解决方案解决方案 RAID技术SCSI技术iSCSI技术IP SAN存储技术及协议标准RAID级别级别RAID技术经过不断的发展,现在已拥有了从技术经过不断的发展,现在已拥有了从 RAID 0 到到 5等等6种明确标准级别的种明确标准级别的RAID 级别。级别。另外,其他还有另外,其他还有6、7、10(RAID 1与与RAID 0的的组合)、组合)、01(RAID 0与与RAID 1的组合)、的组合)、30(RAID 与与RAID 0
12、的组合)、的组合)、50(RAID 0与与RAID 5的组合)等的组合)等。RAID0称为条带(称为条带(stripe),将数据分成一定的大小顺序的写道阵列),将数据分成一定的大小顺序的写道阵列的磁盘里,的磁盘里,RAID0可以并行的执行读写操作,可以充分利用总线的带可以并行的执行读写操作,可以充分利用总线的带宽,理论上讲,一个由宽,理论上讲,一个由N个磁盘组成的个磁盘组成的RAID0系统,它的读写性能将系统,它的读写性能将是单个磁盘读取性能的是单个磁盘读取性能的N倍。倍。 RAID1称为镜像(称为镜像(mirror),它将数据完全一致的分别写到工作),它将数据完全一致的分别写到工作磁盘和镜像
13、磁盘,因此它的磁盘空间利用率为磁盘和镜像磁盘,因此它的磁盘空间利用率为50,在数据写入时时,在数据写入时时间会有影响,但是读的时候没有任何影响,间会有影响,但是读的时候没有任何影响,RAID1提供了最佳的数据提供了最佳的数据保护,一旦工作磁盘发生故障,系统自动从镜像磁盘读取数据,不会保护,一旦工作磁盘发生故障,系统自动从镜像磁盘读取数据,不会影响用户工作。影响用户工作。 RAID2称为纠错海明码磁盘阵列,阵列中序号为称为纠错海明码磁盘阵列,阵列中序号为2N的磁盘的磁盘(第(第1、2、4、6)作为校验盘,其余的磁盘用于存放数据,磁盘)作为校验盘,其余的磁盘用于存放数据,磁盘数目越多,校验盘所占比
14、率越少。数目越多,校验盘所占比率越少。RAID2在大数据存储额情况下性能在大数据存储额情况下性能很高,很高,RAID2的实际应用很少。的实际应用很少。 RAID3 采用一个硬盘作为校验盘,其余磁盘作为数据盘,数据采用一个硬盘作为校验盘,其余磁盘作为数据盘,数据按位或字节的方式交叉的存取到各个数据盘中。不同磁盘上同一带按位或字节的方式交叉的存取到各个数据盘中。不同磁盘上同一带区的数据做异或校验,并把校验值写入到校验盘中。区的数据做异或校验,并把校验值写入到校验盘中。RAID3系统在系统在完整的情况下读取时没有任何性能上的影响,读性能与完整的情况下读取时没有任何性能上的影响,读性能与RAID0一致
15、,一致,却提供了数据容错能力。却提供了数据容错能力。 RAID4与与RAID3基本一致基本一致,RAID4按照块的方式存放数据,所按照块的方式存放数据,所以在写操作时只涉及两块磁盘,数据盘和校验盘,提高了系统的以在写操作时只涉及两块磁盘,数据盘和校验盘,提高了系统的IO性性能。但面对随机的分散的写操作,单一的校验盘往往成为性能瓶颈。能。但面对随机的分散的写操作,单一的校验盘往往成为性能瓶颈。 RAID5与与RAID3的机制相似,但是数据校验的信息被均匀的分散的机制相似,但是数据校验的信息被均匀的分散到的阵列的各个磁盘上,这样就不存在并发写操作时的校验盘性能瓶到的阵列的各个磁盘上,这样就不存在并
16、发写操作时的校验盘性能瓶颈。阵列的磁盘上既有数据,也有数据校验信息,数据块和对应的校颈。阵列的磁盘上既有数据,也有数据校验信息,数据块和对应的校验信息会存储于不同的磁盘上,当一个数据盘损坏时,系统可以根据验信息会存储于不同的磁盘上,当一个数据盘损坏时,系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。同一带区的其他数据块和对应的校验信息来重构损坏的数据。 24SCSI概述概述lSCSI:Small Computer System Interface 小型计算机系统接口小型计算机系统接口lSCSI是客户端是客户端-服务器架构服务器架构在SCSI术语里,客户端叫initiator,
17、服务器叫targetInitiator通过SCSI通道通道向target发送请求,target通过SCSI通道向initiator发送响应SCSI通道连接的是SCSI Port,SCSI initiator port和SCSI target portInitiator至少必须包括一个SCSI Port,和一个能发起请求的客户端Target也需要包括一个SCSI Port ,以及任务分发器和逻辑单元,targetinitiator客户端SCSIportSCSI通道SCSIport任务分发器逻辑单元任务管理器服务器iSCSI概述概述l由由IBM,CISIO,HP发起;发起;2000-2为为IETF
18、草案,草案,2004-4作为正式的作为正式的IETF标准标准现在的iSCSI协议对应SAM2,而最新的SAM是SAM4,SAM5l用用TCP/IP作为作为SAN的基础设施的基础设施iSCSI构建在TCP之上,不是IP;是面向连接的,不是无连接的。(一个iSCSI命令可能分在几个IP报文中)liSCSI的主要功能是在的主要功能是在TCP/IP上封装,并可靠的传输上封装,并可靠的传输SCSI命令及数据命令及数据IP SAN典型组网图典型组网图 27IP SAN典型组网图典型组网图SnapShot AgentLANIP SAN交换机交换机QPM磁带库磁带库IV5100ORACLET3T2T1PQMI
19、X1000TimeMark远程复制远程复制持续数据保护持续数据保护T-3T-2T-1PQ备用服务器备用服务器IX1000备份存储系统备份存储系统主流主流iSCSI产品定位产品定位高端高端iSCSI产品(企业级)产品(企业级)u大型组织一级应用u价格昂贵u高可靠性u高可用性u高性能u大容量EMC NS700GEMC NS704GEMC NS700EMC CNSEMC SymmetrixNetApp FAS940NetApp FAS940cNetApp FAS960NetApp FAS960cNetApp FAS980NetApp FAS980cIntransa IP7000Intransa IP
20、3000Intransa IP5000NetApp FAS270cNetApp FAS920NetApp FAS920cEqualLogic PS100EEMC NS500EMC NS500GEMC CX300iEMC CX500iu大型组织二级应用u中型组织主要业务u高可靠性u良好的性能u大容量中端中端iSCSI产品产品低端低端iSCSI产品(产品(SMB)u中小企业应用系统u较低的价格 u跨地区分布u有限的技术维护能力u良好的可靠性u较低的性能要求EMC CLARiiON AX100iEMC NS500SHP NAS500sHP NAS1200sHP NAS1500sHP NAS2000s
21、IBM DS300S / DS300Left Hand NSM 150Left Hand NSM 200NetApp FAS250NetApp FAS270Adaptec Snap 4200Adaptec Snap 4500Adaptec iSA1500Adaptec Snap 15000Adaptec Snap 18000Adaptec Snap 14000存储软件存储软件l 备份恢复:备份恢复:EMC: Legato NetWorker ; CA :BrightStor Enterprise Backup(BEB) ; Veritas: NetBackup l 高可用性、远程复制:高可用性
22、、远程复制:EMC:RepliStor、Powerpath ;Veritas:Cluster Server、CommandCentral Availability、Global Cluster Manager、Storage Foundation for Oracle RAC、Volume Replicator;CA:High Availability ;飞康:IPStor l 资源管理:资源管理:Veritas:CommandCentral Storage、Storage Foundation;CA:Storage Resource Manager、CA-Vantage Storage Resource Manager、CA-AMocate DASD Space and Placement、CA-PDSMAN PDS Library Management、CA-ASTEX Performance;EMC:ControlCenter、VisualSRM、VisualSAN ;飞康:IPStorl 应用迁移类(数据保护类应用迁移类(数据保护类 ):):飞康:IPStor ;Veritas:Enterprise Vault ;EMC:DiskXtender 2000、DatabaseXtender ;l 虚拟化类虚拟化类 :与资源管理类基本类似;飞康:IPStor