1、第五章第五章 网络存储网络存储SAN存储区域网iSCSINAS SCSI允许连接设备数量较少允许连接设备数量较少 SCSI连接设备距离非常有限连接设备距离非常有限基于网络的基于网络的SCSIFC SANIP SANFCPiSCSI如何解决如何解决基于网络的基于网络的SCSIWhat is a SAN?Storage DevicesBlock AggregationFile/Record SubsystemDevice InterconnectStorage InterconnectDiskArrayVirtualArrayTapeDisk ArrayTapeLibrarySANHP/UXLin
2、uxAIX/MontereyWindowsNT/2000SolarisSAN ServicesSource:SNIA 基于FC-SAN 的网络存储块存储应用程序使用专用的光纤通道网络更高的性能专用带宽较高的总体成本 基于iSCSI的网络存储适中的性能连接成本低现有的 IP 网络和技能共享带宽 基于用 NAS的网络存储基于文件的共享应用程序使用共享 IP 网络适中的性能共享带宽较低的总体成本网络存储类型网络存储类型iSCSI(IP)服务器和应用程序服务器和应用程序分层存储分层存储SAN（光纤通道）（光纤通道）NAS(IP)DAS的局限的局限 存储需要网络化存储需要网络化LAN直接附加内置存储磁带
3、库JBODJBODSCSIFCSCSIFCRAIDRAID DAS的缺点：每台服务器都有其自己的存储部件($)管理困难，降低了生产效率 备份很昂贵 浪费的存储空间 难于共享数据SAN存储区域网存储区域网 计算（主机）、传输（交换机）、存储（RAID/Tape）分离 主机可以访问任何存储设备，存储设备之间可以互访 主机、存储设备可以独立扩展SAN磁带库存储阵列存储阵列LANNAS基于文件的网络存储基于文件的网络存储 提供网络文件共享功能 支持的协议包括 CIFS，NFS 异构平台文件数据的共享 安装和使用较简单LAN网络服务网络服务(TCP/IP)卷管理卷管理文件系统文件系统CIFS/NFSRA
4、ID控制器控制器disks管理NASServerInitiator HBAFC SwitchTarget DevicesTargetHBAServerInitiator HBATarget DevicesTargetHBAGig SwitchiSCSIFiber ChannelFibre ChannelEthernet什么是什么是IP SAN？IP SAN是采用iSCSI协议构建的SAN存储区域网：优点：低成本iSCSI协议本身没有距离限制灵活的拓扑结构易于使用和扩展10Gb时代很快到来（iSCSI通道速率将超过FC）NAS SAN iSCSI SAN偏指计算平台和存储平台间采用数据块进行传递
5、的网络模型，而NAS狭义地定义计算平台和存储平台间采用文件的方式进行数据传递的网络模型。iSCSI的诞生更加说明了网络模型的实现究竟使用光通道协议还是以太网协议是相对次要的环节。这只是承载数据块的工具而已。因此，SAN和NAS的区别在于传递的内容是数据块还是文件，更根本上来说是文件系统所处的位置。DAS、NAS、SAN剖析剖析 主机DASFC SAN应用文件/操作系统I/O 重定向器TCP/IP 协议栈NFS/CIFS网络接口卡 主机文件处理 I/ONAS IP Network网络接口卡TCP/IP 协议栈NFS/CIFS文件系统+逻辑卷管理器数据管理系统RAID块处理 I/O设备驱动应用逻辑
6、卷管理器 裸卷SCSI 设备驱动块处理 I/OIP SAN应用逻辑卷管理器 裸卷iSCSI LayerTCP/IP Stack网络接口卡 主机块处理 I/O块处理 I/O IP Network FC Network网络接口卡TCP/IP协议栈数据管理系统RAID块处理 I/OFC总线卡FC协议栈数据管理系统RAID块处理 I/O应用逻辑卷管理器 裸卷SCSI 设备驱动FC协议栈FC总线卡设备驱动设备驱动SCSI 设备驱动 主机文件/操作系统数据库文件/操作系统数据库文件/操作系统数据库RAIDSCSI/FC 总线卡光通道数据块存储区域网光通道数据块存储区域网SAN（FC SAN）FC SAN（
7、Fibre Channel Storage Are Network）光纤存储局域网络是允许存储设备和服务器之间建立直接的FC光纤连接，通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总线概念和DAS（Direct Attached Storage）直连存储的一个扩展，通过FC光纤通道，前端的服务器象使用本地硬盘一样使用后端的存储。FC-SAN的存储设备使用连接主机的文件系统，传输协议是FCP(Fibre Channel Protocol)，交换机是Fibre Channel Switch，数据存取的协议是SCSI。公共服务公共服务传输协议（编传输协议（编/解码）解码）信
8、号协议和连接服务信号协议和连接服务介质和接口介质和接口FC-1FC-1代码层代码层FC-0FC-0物理层物理层FC-2FC-2协议层协议层FC-3FC-3服务层服务层FC-4FC-4映射层映射层IPI3IPI3SCSISCSIHIPPIHIPPIIPIPSBCCSBCCS S802.802.2 2ATMATM通道通道网络网络 光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。FC（光纤通道）（光纤通道）光纤通道协议映射光纤通道协议映射ATMFC -ATMIPFC链路封装FC-LESCSI-3SCSI 3命令集映
9、射 IPI-3 命令集映射(IPI-3 STD)FC-4FC-AL-2FC-3通用服务FC-0FC-1FC-2光纤物理与信号接口(FC-PH，FC-PH2，FC-PH3)物理变换编码/解码结构协议FC-AL8b/10b 编码铜，光连接并行与串行接口之间的比较并行与串行接口之间的比较 光纤通道基于核心SCSI协议设计，光纤通道通过将并行接口转换为串行接口极大的提高了SCSI的性能Data 1Control 1Data 2Control 2Data 3Control 3SCSI的并行接口多条连接线光纤通道的串行接口Data 3Control 3Data 2Control 2Data 1Contro
10、l 1单连接线并行总线难以保证在远距离上数据的传输顺序(电磁干扰电磁干扰)光纤通道的优点光纤通道的优点 为上层协议(SCSI，IP等)提供一个通用硬件传输平台。高速:现在可以提供4Gbit(400MB)/秒的数据传输速率，全双工专有连接，未来可升级至10Gbit/秒 无阻塞数据传输 最大10公里连接距离(通过扩展器可连接上千公里，非常适于灾难恢复应用)先进的流控制系统保证数据按顺序传输.不存在无线电信号散射(RFI)，从而消除了电磁信号 串行数据传输，每传输一位需要0.94纳秒(极小的时间延迟)使用8b/10b编码方式将8位转换为10b格式进行串行传输(内置时钟信号)最多可以连接1千6百万个节
11、点(交换Fabric模式)强大的错误更正能力(位错误率=1x10-12)，比原有铜连接网络强大1000倍光纤通道网络光纤通道网络 SAN魔术般的扩展能力魔术般的扩展能力SAN及数据管理及数据管理SAN应用应用SAN网络级联网络级联SAN信息基础结构信息基础结构WAN配置灵活的拓扑结构配置灵活的拓扑结构点对点点对点只能连接只能连接 2个设备个设备(直接连接直接连接)交换式交换式 Fabric最多支持最多支持1千千6百万个设备百万个设备(光纤通道交换机光纤通道交换机)Arbitrated Loop(仲裁环仲裁环)最多支持最多支持126个设备个设备(光纤集线器光纤集线器)光纤通道主机接口卡光纤通道主
12、机接口卡(HBA)为服务器或客户机内部总线(PCI和SBUS等)提供与光纤通道网络的接口 HBA软件驱动为操作系统提供所须存储信息对I/O进行操作I/O同时对正常请求进行控制铜/光介质支持(可能是双接口卡)光纤通道交换机光纤通道交换机 连接多个端口(8，16，32，64，128 口)支持交换Fabric和传统loop设备 2Gbit/秒和4Gbit/秒传输速率(自适应)全双工性能，使用cut-through路由算法 交换机间提供8Gbit/秒逻辑干线合并 拓扑结构自动协调，自动配置(自恢复)端到端性能监控光纤网络通道端口类型光纤网络通道端口类型Fabric节点 N_PortF_PortF_Po
13、rtE_PortE_PortFL_Port节点N_Port交换机交换机 2交换机交换机 1节点NL_Port节点NL_PortU_Port 设备(节点)端口N_Port=Fabric直接连接设备NL_Port =Loop连接设备 交换机端口E_Port=扩展端口(交换机到交换机)F_Port=Fabric端口FL_Port=Fabric Loop端口G_Port=普通(Generic)端口 可以转化为E或F”U_Port=通用(Universal)端口(用于描述自动端口检测的术语)光纤通道的帧格式光纤通道的帧格式帧SOF4数据载荷数据载荷最大 2112EOF4CRC4帧头帧头242148 字节
14、 一个帧是在光纤通道连接中数据包的最小单位(上层协议不可见).FibreChannelFrame SCSI Request IPRequest光纤通道地址光纤通道地址OSI模型模型应用层应用层表示层表示层会话层会话层传输层传输层网络层网络层数据链路层数据链路层物理层物理层以太网和以太网和TCP/IP应用层(i.e.POP3，SMTP，DNS，DHCP，FTP，WWW 协议)TCP/UDP动态动态 IP 地址10.77.77.77固定固定 MAC 地址x00-00-0E-21-17-6B物理接口光纤通道光纤通道高层协议(ULP)FC-4:ULP MappingFC-3:通用服务动态动态 Nati
15、ve 地址(8/24-bits)固定固定 World-Wide Name(64-bits)FC-1:8b/10b 编码FC-0:物理接口光纤通道可以在没有任何高层协议支持的条件下生成所有网络地址(固定与动态)智能!固定与动态地址格式固定与动态地址格式 固定地址(64-位)WWN(类似于出生证明编号)每个fabric设备(HBA，交换机，存储)都拥有一个(或多个)WWN地址 使用IEEE分配的地址格式 动态地址(8/24-位)本地生成(类似于家庭住址)注册到光纤通道网络时动态获得FC-AL=8-位(例如xE0)=126 AL_PA地址FC-SW=24-位=16，000，000 Fabric地址D
16、omainID8 BitsAreaID8 BitsPort ID8 Bits24位地址空间位地址空间 10:00:00:60:69:00:60:02 N_Port/F_Port可用范围:x01 0000到xEF EFFFIEEE 格式节点 WWN:1=b0001 000 000 000端口 WWN:2=b0010 000 000 000厂商定义先进的先进的Fabric流控制流控制 为何要流控制?确保没有端口会因为接收了超过其极限的数据而导致崩溃.光纤通道中，我们先行检查!(在TCP/IP中，包在发送时并不考虑接收方是否已经准备就绪)节点 N_PortF_Port交换机交换机基于缓冲到缓冲基于缓
17、冲到缓冲信用的流控制信用的流控制可用传输_端口缓冲缓冲缓冲bufferbufferbuffer智能 ASIC缓冲每端口信用数量 动态缓冲池 完整和微型缓冲当一个帧到达接收端口后，端口会首先将其储存在共享动态缓冲池之中!FC SANFC SAN孤岛如何连接，孤岛如何连接，并跨越并跨越WANWAN通过通过IP IP 网络网络 隧道方案隧道方案 FCP FCP 路由方案路由方案FCIPFCIPiFCPiFCPFC SAN的远程扩展的远程扩展 应用场合两个FC SAN孤岛通过IP连接成一个大的FC SAN 特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输
18、中只有FCIP网关需要知道FCIP的封装FCIP报文报文IP头TCP头TCP数据FCSSOF FC帧头SCSI数据CRCEOFFCIP头封装FCIP（FC over IP）应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上 特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCP报文报文IP头TCP头FCSSOF FC帧头SCSI数据CRCEOFiFCP头映射FC地址映射到地址映射到IP地址地址iFCP(Internet FC)SCSI应用（文件系统、数据库）应用（文件系统、数据库
19、）SCSI块指令块指令SCSI流指令流指令其他其他SCSI指令指令SCSISCSI指令、数据和状态指令、数据和状态iSCSI TCPIP以太网等以太网等iSCSIiSCSI协议栈协议栈 iSCSI（Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输 iSCSI 作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSIiSCSI Initiator&TargetUser layerKernel layeriSCSI TargetiSCSI InitiatorFile SystemSCSI DriveriSCSI Initiator
20、DriverDiskTransport NetworkNetwork StackNetwork StackSCSI DriveriSCSITarget DriverSCSI HBA Driver/RAID ControllerUser Application 发起端InitiatorSCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给target 目标器TargetiSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSI优点优点高可靠高可靠高扩展高扩展良好
21、的标准化良好的标准化易管理，易管理，IPIP技术成熟，具备技术成熟，具备IPIP知识的专业技术人员多知识的专业技术人员多很低的安装成本和维护费用：建立在很低的安装成本和维护费用：建立在TCP/IPTCP/IP上上减少了异构网络和电缆：不需要特殊的减少了异构网络和电缆：不需要特殊的FCFC交换机交换机无距离限制，远程存储：异地数据交换、备份及容灾无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和灵活的安全性和QoSQoS保证保证EthernetEthernet头头IPIP头头 TCPTCPFCIPFCIP头头S SOOF FFCFC帧头帧头Payload:SCSI Command in
22、 IUPayload:SCSI Command in IUCCR RCCE EOOF FF FCCS SFCIPFCIPS SOOF FFCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUCCR RCCE EOOF FSCSI-FCPSCSI-FCPEthernetEthernet头头IPIP头头 TCPTCPiFCPiFCP头头S SOOF FFCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUCCR RCCE EOOF FF FCCS SiFCPiFCPE
23、thernetEthernet头头IPIP头头 TCPTCPiSCSIiSCSI头头FCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUF FCCS SiSCSIiSCSI几种块存储协议报文结构比较几种块存储协议报文结构比较以太网文件系统存储区域网以太网文件系统存储区域网NAS NAS（Network Attached Storage）网络存储，简单的说，NAS是通过TCP/IP以太网络连接的存储设备。NAS存储设备通过标准的网络拓扑结构（Ethernet）连接到一群计算机或者服务器上，而不象FC SAN那样需要昂贵复杂的光纤
24、交换机，NAS使用普通的以太网络交换机，即插即用。NAS所使用的是存储设备自己的文件系统，数据传输协议是TCP/IP over GbE，交换机是Ethernet Switch，资料存取的协议则有NFS、CIFS、HTTP、DAFS。NAS构造第一是接口部分，包括网络接口(GbE-Fiber/Copper，TCP/IP Offload Engine)和光纤接口(2Gb-Fibre Channel)。第二是通讯协议部分，包括File Protocol(NFS，CIFS，HTTP，DAFS)和Block Protocol(FCP，iSCSI)。第三是文件系统和整合式RAID磁盘阵列系统 NAS产品主
25、要用两种网络协议NFS和CIFS，NFS是由Sun公司开发的，用于在UNIX系统之间通过网络共享文件。CIFS是由微软开发的，用于在Windows工作站之间共享文件。NFS与CIFS之间存在着一些主要的差异，特别是锁定机制方面，两者之间的一些基本差异：1）系统登录的安全机制在系统登录时，NFS是在客户端验证用户，而CIFS是创建能被授权用户访问的共享，CIFS的安全性要高于NFS的安全性。2）有状态连接与无状态连接NFS是一种无状态的协议，这意味着NFS不记录和保存客户和服务器之间的历史关系。与NFS不同的是，CIFS是一种面向会话的有状态的协议。3）目录和文件的安全UNIX文件级安全机制定义
26、了3个级别的ID：用户、组和其他。CIFS安全机制采用访问控制表（ACL），ACL的内容涉及到共享、目录、文件等。4）锁定机制包括DOS在内的PC操作系统，已经建立了相当健壮的锁定体制，PC应用可以通过系统界面打开一个文件，并可指定对该文件进行的I/O操作。不仅如此，在这些文件打开请求内部，还可以包含另一种用于决定是否允许别的应用打开同一个文件的请求。NAS产品所用的网络协议产品所用的网络协议DAFS DAFS的基本原理，就是通过缩短服务器读写文件时的数据路径，来减少和重新分配CPU的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的 CPU，而是在
27、两个物理设备的预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填满各种各样的系统缓冲区和网络接受器。这样一来，文件的I/O操作加快了，而存储网络的流量反而降低了。同时，由于操作系统对文件操作的介入更少了，节省下来的处理能力就被释放出来，用于其它方面的任务。不出意外的话，很快基于DAFS的新型NAS，就可以在性能上挑战SAN.事实上，由传统SAN所支持的块级存储方式，其主要优势就依赖于光纤通道技术的高性能。而传统NAS虽然在性能方面不及SAN，但是基于文件级的共享，使其争取到了一部分特定用户。如果有一天，用户可以在文件级共享数据，同时可以拥有块级存
28、储的性能，那么光纤通道SAN的应用范围势必会被压缩甚至取代。DAFSLocal FSFileSystemSCSIDriverFS SwitchNFSTCP/IPFS SwitchNFSBuffersDAFSDAPLApplicationBuffersApplicationBuffersApplicationBufferCacheHCANICHBABufferCachePacketBuffersNIC DriverHBA DriverHCA DriverFile Access Methods-DAFSUserKernelH/W节点N_PortSAN网络的逻辑管理单元网络的逻辑管理单元ZoneFabric节点 N_PortF_PortF_PortE_PortE_PortU_Port节点N_Port交换机交换机 2交换机交换机 1F_PortZone 1Zone 2 分区 单独的逻辑管理单元 可以使用WWN和端口作为成员 可以跨多个域/区/端口 可以包含Fabric内任意数量的交换机 支持相互交叉 与E_Port无关Zone的好处的好处NTSolaris DisksHP-UXNTDisksHP-UXDisksSolaris分区 满足SAN Fabric任意连接的要求 真正支持异构平台的SAN
