1、1存储基础知识培训存储基础知识培训2u磁盘指标、类型和接口uRAID技术详解uLUN和逻辑卷u磁盘阵列u光纤通道(FC)u多路径u存储虚拟化uDAS、NAS、SAN培训章节培训章节3存储的定义存储的定义 存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问,总的来讲可以包含两个方面的含义:一方面它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整安全存放的方式或行为。 磁带 软盘 硬盘 光盘 Flash芯片和卡式存储 磁盘阵列4磁盘的主要指标磁盘的主要指标u 容量:容量:指硬盘能存储的数据量大小,以字节为基本单位u 转速:转速:指硬盘主轴马达
2、的转动速度,单位为RPM(Round per Minute),即每分钟盘片转动次数u 缓存:缓存:是硬盘控制器上的一块内存芯片,具有极快的存取速度,它是硬盘内部盘片和外部接口之间的缓冲器,大小有有8MB 16MB 32MB 64MBu IOPSIOPS:磁盘的IOPS,也就是每秒能进行多少次IO5硬盘类型及接口SASSASSATASATAFCFCSCSISCSIATA/IDEATA/IDELCLCSCSC硬盘类型接口视图6SATA接口硬盘介绍u SATA:Serial ATA (Serial AdvancedTechnologyAttachment )串行ATAuSATA采用串行方式进行数据传
3、输,接口速率比IDE接口高,最低为150MBps,并且第二代(SATA )300MBps接口硬盘已经形成商用,规划内的SATA III 最高速率可达600MBpsuSATA硬盘采用点对点连接方式,支持热插拔,即插即用7SAS接口硬盘介绍uSAS(Serial Attached SCSI) u串行连接SCSI uSAS是一种点对点、全双工、双端口的接口uSAS专为满足高性能企业需求而设计,实现与SATA的互操作,为企业用户带来前所未有的灵活性和低成本uSAS才刚起步速度就达到300MB/s,现在达到600MB/s,SAS被期望最终能够达到1200MB/S8NL-SAS介绍uNL-SAS是采用了S
4、AS的磁盘接口和SATA的盘体的综合体。9SSD硬盘介绍FSSDSSD(Solid State DiskSolid State Disk)硬盘)硬盘F一般指使用Flash存储介质的固态硬盘,特别之处在于没有机械结构,利用传统的闪存特性,以区块擦除和写入的方式实现写功能 F优点优点F与目前的传统硬盘相较,具有读性能高、低耗电、耐震、稳定性高、耐低温等优点 F缺点缺点F现阶段最大的问题是成本,同容量配置下SSD价格是传统硬盘的10-20倍左右F目前SSD硬盘供应商多数是初创公司,主流硬盘生产厂商还未加入10RAID是什么?RAID 即独立磁盘冗余阵列,RAID技术将多个单独的物理硬盘以不同的方式组
5、合成一个逻辑硬盘,从而提高了硬盘的读写性能和数据安全性,根据不同的组合方式可以分为不同的RAID级别 计算机发展初期,大容量硬盘价格非常高,而需要存储的数据量越来越大容量容量性能性能 CPU运算速度飞速提高,数据读写速度不应该成为计算机系统处理的瓶颈 信息时代,数据对企业和个人的重要性越来越大,数据存储安全更需要保障RAID可靠性可靠性11RAID Level 0: 带区集yMyFileliFMe12RAID 1: 镜像MyFileyyeeMMFFiill13RAID 5:带分布校验位的带区集yMyFileliFMe14RAID Level 10 :Striping of Mirrored A
6、rraysRAID-0RAID-1RAID-1MMyyFFiilleeMyFile15RAID技术总结通常依照阵列的结构形式分成RAID0,RAID1,RAID5, RAID0+1等类型。常见的有以下几种类型:1RAID0数据分别存储在阵列中的各个驱动器上,并行传送。这种结构容量利用率最好,达到100%。但没有校验,可靠性最差。2RAID1数据以完全相同的形式同时存储在2台硬盘驱动器上,数据传输率和单台情况下相近。容量利用率只有50%,但冗余量大,可靠性高。这种结构通常称为镜象磁盘。3RAID5阵列采取奇偶校验,但没有专用的驱动器,而是将校验位按要求写到阵列中的某一台驱动器上。采取并行传送。这
7、种结构适合每次存取数据量小的情况,例如事务处理。4RAID0+1(也称RAID10)阵列中一半的驱动器采取RAID0的结构,可以并行传送来提高数据传输率。另一半则是前面提到的镜象磁盘,即是RAID1。这样可以有很高的可靠性。16LUN(Logical Unit Number) LUN是对存储设备而言的 选择存储设备上的多个硬盘形成一个RAID组,再在RAID组的基础上创建一个或多个LUN(逻辑单元) 当网络中的主机连接到存储设备时,就可以识别到存储设备上逻辑设备LUN,此时LUN相对于主机来讲就是一个“物理硬盘”17RAIDRAID、LUNLUN的的形成过程形成过程物理磁盘物理磁盘物理卷物理卷
8、(RAID)18RAIDRAID、LUNLUN的的形成过程形成过程物理磁盘物理磁盘LUNLUN物理卷物理卷(RAID)LUN1LUN1LUN2LUN2LUN3LUN3分割分割19卷(Volume) 在LUN映射给主机的“物理硬盘”,对于主机系统来说就是一个“卷”,没有格式化的卷我们称为裸设备(裸卷),卷上创建一个或多个分区(如C盘,D盘等等),通过格式化以后创建文件系统(FAT32、NTFS、ext2/3/4等) VOLUME相对于主机是一个逻辑设备。20本地、全局 Hot Spare盘全局热备全局热备磁盘1磁盘2磁盘3热备盘热备盘磁盘4磁盘5磁盘6RAID 5RAID 5磁盘阵列专用热备专用
9、热备磁盘1磁盘2磁盘3磁盘4磁盘5磁盘6RAID 5RAID 5磁盘阵列热备盘热备盘热备盘热备盘21磁盘阵列 磁盘阵列包括三大主要部件:控制器、磁盘柜、磁盘 控制器是磁盘阵列的“大脑”,主要部件为处理器和缓存,最先主要实现简单IO操作、RAID管理功能,随着技术发展,能够提供各种各样的数据管理功能,如快照、镜像、复制等 磁盘柜包含了多块的磁盘,本身既没有处理器,也没有缓存,RAID及数据管理功能通过控制器实现控制器磁盘柜磁盘电缆22磁盘阵列是把多个磁盘组成阵列(Array) ,以单一磁盘使用。磁盘阵列所利用的不同的技术,称为RAID level,不同的level 针对不同的系统及应用,以解决数
10、据存储的安全、性能和容量的问题。阵列控制器是介于主机和磁盘之间的控制单元,配置有专门为I/O进行过优化的处理器以及一定数量的缓存(cache)。控制器上的CPU和cache共同实现对来自主机系统I/O请求的操作和对磁盘阵列的RAID管理。阵列上的cache则作为I/O缓冲池,大大提高磁盘阵列的读写响应速度,显著改善磁盘阵列的性能。传统磁盘阵列大多采用双控制器设计,从而充分体现了磁盘阵列的高可用特性。双控制器可配置成active-active或active-standby的工作模式,并且支持热插拔功能,能够实现简单的无单点故障,为用户提供的7*24不间断业务。 在配置了CPU和cache的磁盘阵
11、列中,部分高端产品还可以运行基于磁盘阵列的存储软件,提供比较全面的基于磁盘阵列的解决方案。 23常见磁盘阵列常见磁盘阵列控制器模块+ +磁盘柜控制器和磁盘柜一体控制器和磁盘柜一体磁盘阵列= =控制器磁盘扩展柜磁盘阵列= =+ +控制器和磁盘柜分离控制器和磁盘柜分离24光纤通道(光纤通道(FCFC)25HBAHBA卡卡26WWNWWN(World Wide NameWorld Wide Name)27SANSAN交换设备交换设备交换机交换机FC交换机,内部为Fabric拓扑,每端口独占带宽,理论上可以连接1600万个设备28多路径多路径交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2
12、 2HBA01HBA02主机主机ALUN 0LUN 1LUN0LUN0LUN1LUN1路径路径1 1:HBA01HBA01 控制器控制器1 1路径路径2 2:HBA01HBA01 控制器控制器2 2路径路径3 3:HBA02HBA02 控制器控制器1 1路径路径4 4:HBA02HBA02 控制器控制器2 2主机主机BLUN1LUN0LUN1LUN029多路径管理软件硬件硬件 (HBAs)(HBAs) 磁盘驱动磁盘驱动 文件系统文件系统 应用应用 LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1? ? ? ? 多路径软件多路径软件 硬件硬件 (HBAs)(HBAs) 磁盘驱动磁
13、盘驱动 文件系统文件系统 应用应用 LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1? ? ? ?主机无法读写主机正常读写虚拟设备虚拟设备30www.XXX.com31HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN1LUN1HBA2HBA2多路径故障切换HBA故障路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1HBA2HBA2HBA故障故障HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN
14、1LUN1www.XXX.com32HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN1LUN1HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN1LUN1HBA2HBA2多路径故障切换HBA故障路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1网卡网卡2 2HBA故障故障www.XXX.com33HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN
15、0LUN1LUN1HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN1LUN1多路径故障切换交换机故障路径切换交换机交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1交换机故障www.XXX.com34HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN1LUN1HBA1HBA1LUN0LUN0LUN1LUN1 多路径软件多路径软件 HBA2HBA2服务器I/OLUN0LUN0LUN1LUN1多路径故障切换交换机路径切换交换机
16、交换机磁盘阵列磁盘阵列控制器控制器1 1控制器控制器2 2LUN 0LUN 1交换机故障www.XXX.com35存储虚拟化定义:存储虚拟化是为了便于应用和服务进行数据管理而采取的针对应用、服务器以及一般网络资源进行的存储子系统或存储服务的内部功能抽象、隐藏和隔离的行为;存储虚拟化是针对存储设备或存储服务进行的虚拟化手段,以便对底层存储资源实施存储会聚、隐藏复杂性以及添加新功能等。 存储虚拟化的核心工作是实现物理存储设备到单一逻辑资源池的映射。通过虚拟化技术,为用户和应用程序提供了虚拟磁盘或虚拟卷,并且可以根据用户需求对它进行任意分割、合并、重新组合等操作,并分配给特定的主机或应用程序,为用户
17、隐藏或屏蔽了具体的物理设备的各种物理特性。www.XXX.com36存储虚拟化的原动力存储虚拟化的原动力www.XXX.com37存储虚拟化的目的存储虚拟化的目的www.XXX.com38DAS、NAS、SAN剖析 主机主机DASFC SAN应用应用文件文件/ /操作系统操作系统I/O I/O 重定向器重定向器TCP/IP TCP/IP 协议栈协议栈NFS/CIFSNFS/CIFS网络接口卡网络接口卡 主机主机文件处理文件处理 I/ONAS IP Network网络接口卡网络接口卡TCP/IP TCP/IP 协议栈协议栈NFS/CIFS文件系统文件系统+ + 逻辑卷管理器逻辑卷管理器数据管理系
18、统数据管理系统RAIDRAID块处理块处理 I/OI/O设备驱动设备驱动应用应用逻辑卷管理器逻辑卷管理器 裸卷裸卷SCSI SCSI 设备驱动设备驱动块处理块处理 I/OIP SAN应用应用逻辑卷管理器逻辑卷管理器 裸卷裸卷iSCSI LayeriSCSI LayerTCP/IP StackTCP/IP Stack网络接口卡网络接口卡 主机主机块处理块处理 I/O块处理块处理 I/O IP Network FC Network网络接口卡网络接口卡TCP/IPTCP/IP协议栈协议栈数据管理系统数据管理系统RAIDRAID块处理块处理 I/OI/OFCFC总线卡总线卡FCFC协议栈协议栈数据管理
19、系统数据管理系统RAIDRAID块处理块处理 I/OI/O应用应用逻辑卷管理器逻辑卷管理器 裸卷裸卷SCSI SCSI 设备驱动设备驱动FCFC协议栈协议栈FCFC总线卡总线卡设备驱动设备驱动设备驱动设备驱动SCSI SCSI 设备驱动设备驱动 主机主机文件文件/ /操作系统操作系统数据库数据库文件文件/ /操作系统操作系统数据库数据库文件文件/ /操作系统操作系统数据库数据库RAIDRAIDSCSI/FC SCSI/FC 总线卡总线卡www.XXX.com39DAS典型结构图典型结构图www.XXX.com40NAS典型结构图典型结构图www.XXX.com41SAN典型结构图典型结构图光纤存储光纤存储设备设备BWindows 服务器Unix 服务器Linux 服务器LANSAN光纤交换机光纤交换机光纤存储光纤存储设备设备A