1、湖北文理学院湖北文理学院 数学与计算机科学学院数学与计算机科学学院06 IP存储网络和存储网络和InfiniBand网络网络湖北文理学院湖北文理学院 数学与计算机科学学院数学与计算机科学学院课程目的：课程目的：2341因特网因特网SCSITCP/IP上的光纤通道上的光纤通道IP存储网络及配置示例存储网络及配置示例InfiniBand网络网络IP存储网络和存储网络和InfiniBand网络网络 因特网因特网SCSI 在在TCP/IP上的光纤通道上的光纤通道 因特网光纤通道协议因特网光纤通道协议 多协议环境和相关的解决方案多协议环境和相关的解决方案 IP存储网络配置示例存储网络配置示例 Infin
2、iBand网络网络基于基于TCP/IP的存储协议的存储协议p 基于基于TCP/IP的存储协议有三种的存储协议有三种因特网SCSI（iSCSI）把SCSI菊花链映射到TCP/IPTCP/IP上的光纤通道（FCIP，Fiber Channel over TCP/IP）在二个隔开的光纤通道网络之间，通过TCP/IP隧道，传输光纤通道交通因特网光纤通道协议（iFCP，internet FCP）是一个网关到网关的协议，为光纤通道终端设备提供通过IP网络访问光纤通道交换网的途径，并被用来从已有的光纤通道SAN向全部采用TCP/IP技术的SAN过渡的一种机制p IP存储存储把利用上面这种基于TCP/IP的存
3、储协议，组建的存储系统，称为IP存储IP存储的共同点 在TCP/IP上传输SCSI1 因特网因特网SCSI（iSCSI）p 因特网因特网SCSI（iSCSI）internet SCSIp 为什么需要为什么需要iSCSI?解决了SCSI协议在设备数目（最多16个设备）和连接距离（最长25米）上的限制；为SAN提供了一种高性价比的传输协议；和各种存储管理结合起来，可以提供灵活的备份、镜像、灾难恢复以及次级存储解决方案；p 因特网因特网SCSI的基本思想的基本思想在TCP/IP是上传输SCSI分组p 因特网因特网SCSI的实现方式的实现方式作为一个设备驱动程序安装在操作系统中，iSCSI驱动程序实现
4、SCSI协议，并把SCSI菊花链映射到TCP/IP网络。iSCSI是用TCP/IP连接代替了SCSI电缆p 因特网因特网SCSI数据封装：在标准的TCP/IP网络上传输请求和应答，SCSI命令、响应和数据都被封装在TCP/IP分组中传输。会话连接：iSCSI发起方和iSCSI目标方在通信之前，需要在它们之间建立会话，一个会话可以使用一条TCP连接，也可以使用多条TCP连接。通信方向：iSCSI传送方向是相对于发起方定义的，输出传输指的是发起方到目标方，输入传输指的是从目标方到发起方。p iSCSI网络接口设备网络接口设备标准的以太网卡 使用以太网卡时，需要将SCSI命令和数据封装到SCSI请求
5、分组中，把SCSI响应和数据封装到应答分组中，然后再把形成的iSCSI协议数据单元交给TCP/IP传输。专用的iSCSI适配器 iSCSI适配器结合了iSCSI驱动程序和NIC的功能，因此更像是一个HBA，而不是一个标准的NIC HBA卡是专门用来在主机和存储设备之间传送块状数据的，数据蓼被整个地送入HBA卡，由HBA中的专用芯片实现iSCS协议，完成iSCSI PDU的封装和解封工作，从而解除CPU的相关负担。p IP存储的优点存储的优点使用用户可以把同样的网络技术既用于数据网络，也用于存储网络。用户可以充分利用已有的IP管理和设施。由于采用了TCP/IP，iSCSI几乎可以运行在任何物理网
6、络之上，并且没有距离上的限制。通过对只用于存储的第二种网络技术的依赖，iSCSI可以降低网络存储物成本，并增加潜在的市场。p IP存储的不足存储的不足较大的时延：由于把存储和其他的网络交通放到了同一条路径上，iSCSI也带来了较大的时延；安全性：是被普遍关注的一个问题因特网因特网SCSIp 因特网因特网SCSIiSCSI体系结构目标方发现iSCSI会话iSCSI会话协议数据单元1.1 iSCSI体系结构体系结构p iSCSIIETF提出的基于IP协议的技术标准不包含任何FC的内容SCSI 命令和数据帧封装成IP分组传输工作于SCSI和TCP/IP之间TCP头头IP头头iSCSI报头报头iSCS
7、I命令命令iSCSI帧封装帧封装SCSI应用（文件系统、数据库）应用（文件系统、数据库）SCSI块指令块指令SCSI流指令流指令其他其他SCSI指令指令SCSISCSI指令、数据和状态指令、数据和状态iSCSI TCPIP以太网等以太网等iSCSIiSCSI协议栈协议栈liSCSI（Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输liSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSIiSCSITargetInitiatoriSCSI协议栈协议栈SCSITCPiSCSIIPlinkSCSITCPiSCSIIPlink
8、PhysicalPhysicalIP网络网络p iSCSI会话会话发起方和目标方之间的一次iSCSI会话，可能会创建一个或多个TCP连接，。多个TCP连接使得会话可以并行地执行更多的事务，这样就能优化对协议的处理和对链路的利用。iSCSI的命名和编址的命名和编址p IP地址地址每个iSCSI设备有一个唯一的IP地址。p iSCSI的结点名的结点名iSCSI使用类似URL的iSCSI名字来唯一鉴别启动设备和目标设备。地址会随着启动设备和目标设备的移动而改变，但名字始终是不变的 iSCSI 结点名唯一确定了与网络相连的iSCSI设备，可以使用最多长达255个字节的标识符来命令iSCSI设备。iSC
9、SI 结点名不跟一个物理端口或硬件适配器捆绑在一起。当使用多个网络接口卡时，对于目标方而言，它们都具有一个发起方名字，因为它们只是到达同一个SCSI层的多个通路。p 一个一个iSCSI名字由三部分组成：名字由三部分组成：类型定义符、名字认证机类型定义符、名字认证机构、由该认证机构分配的名字构、由该认证机构分配的名字 .acme.sn.8675309 p iSCSI地址格式地址格式:/p iSCSI 设备登录设备登录iSCSI登录是一个iSCSI设备向另一个iSCSI设备的登录。iSCSI登录用于发起方和目标方之间，协商在会话过程中可能要使用的任何可变的参数，并且可能调用一个安全例程来认证和确认
10、连接的许可。如果登录成功，目标方会返回一个接受报文给发起方；否则，拒绝登录并且断开连接。登录成功后，iSCSI双方就可以进入信息交互过程。TCP/IP网络上，iSCSI协议的目标方的默认端口号为32601.2 目标方发现目标方发现p 启动设备可以通过下列方法发现目标设备启动设备可以通过下列方法发现目标设备在启动设备上设置目标设备设置目标设备的地址在启动设备上设置默认目标设备地址设置默认目标设备地址，启动设备可通过“SendTargets”命令从默认目标设备上获取iSCSI名字列表发出服务定位协议（服务定位协议（SLP）广播请求，等待目标设备回应查询因特网存储名字服务器（因特网存储名字服务器（i
11、SNS）获取可访问的目标设备列表服务定位协议（服务定位协议（SLP）p 服务定位协议（服务定位协议（SLP：Server Location Protocol）定义如何把查询指定到一个服务器上的IP协议，这个服务器提供设备的IP地址和名字。SLP是一个面向分组的协议，大多数分组使用UDP，对于较长的分组也可以使用TCP传送。默认端口427SLP使用客户/服务器模型，由三部分组成：用户代理UA：寻找服务的实体 服务代理SA：通告服务的实体 目录代理DA：缓存服务信息的实体，定时广播信息p 服务定位协议工作机制服务定位协议工作机制客户加入网络时，会在网络上多播（或广播）对DA的查询；DA会在网络上定
12、期多播（或广播）表明其存在的心跳报文；当SA发现一个DA时，它必须在该DA上登记其所有可提供的共享的服务；p SLP 基本代理和进程基本代理和进程p 用用 DA 实现的实现的 SLP 体系结构代理和进程体系结构代理和进程p 服务定位协议（服务定位协议（SLP：Server Location Protocol）为局域网中的应用提供动态配置机制，主要用作在企业网络上实现服务共享的一种机制适合于比较小的范围的iSCSI目标方发现，难以扩展到大的企业级存储网络。缺少异步通知、分区能力和安全特性。因特网存储名字服务（因特网存储名字服务（iSNS）p 因特网存储名字服务协议因特网存储名字服务协议iSNS提
13、供智能的存储发现和管理服务。它被用于在 TCP/IP 网络上，对iSCSI 和光纤通道设备（使用 FCP 网关）进行自动发现、管理和配置。使用iSNS时，每台存储设备都将它的发现和管理责任交给 iSNS 服务器，iSNS 服务器被认为是统一配置点，通过该点管理工作站能够配置和管理整个存储网络，包括 iSCSI 和光纤信道设备。iSNS支持 iSCSI、iFCP 协议；对于 iSCSI 来说，iSNS 是可选择的；对于 iFCP 来说，iSNS 是必需的。iSNS，即Internet存储名称服务，将光纤通道的即插即用功能引入到IP存储网络中，可以容易地在TCP/IP网络上实现iSCSI和光纤通道
14、设备的自动发现、管理和配置。存储资源发现存储资源发现发现域和登录控制服务发现域和登录控制服务状态变化通知服务状态变化通知服务光纤通道和光纤通道和 iSCSI iSCSI 设备开放映射设备开放映射iSNSiSNS主要功能主要功能iSNS协议协议iSNSiSNS客户机客户机iSNSiSNS服务器服务器iSNSiSNS数据库数据库iSNSiSNS组成结构组成结构iSNSp iSNS 主要体系结构组成主要体系结构组成 iSNS 协议（iSNSP）iSNSP 是一种灵活的轻量级协议，规定 iSNS 客户机和服务器间的通信方式。适合多种平台，包括交换机、目标机以及服务器主机（server host）。iS
15、NS 客户机 iSNS 客户机通过 iSNSP 与 iSNS 服务器启动事务。iSNS 客户机存储设备中的进程，用于注册设备属性信息，下载公共发现域（DD）中其它注册客户机上的信息并接收发现域中事件异步通知。管理站（Management station）是一种特殊类型的 iSNS 客户机，它能访问 iSNS 中的所有 DD。iSNS 服务器 iSNS 服务器响应 iSNS 协议查询和请求并启动 iSNS 协议状态变化的通知。适当情形下，将注册请求提交的认证信息存储于 iSNS 数据库中。iSNS 数据库 iSNS 数据库是为 iSNS 服务器提供的信息库，维护 iSNS 客户机属性信息。iSN
16、S 目录实现了将客户机属性信息存储在 LDAP 目录结构中。p iSNS 主要包含以下四个功能：主要包含以下四个功能：名称服务发现域（DD：Discovery Domain）和登录控制服务 状态变化通知服务 光纤通道和 iSCSI 设备之间的开放映射p 名称注册服务名称注册服务iSNS 提供了一个注册功能，允许存储网络中的所有实体注册并查询 iSNS 数据库。目标和发起程序都可以在 iSNS 数据库中注册，并能查询有关其他发起程序和目标的信息。例如，客户端发起程序可以从 iSNS 服务器获得有关目标设备的信息。该服务效仿 Internet 工程任务组(IETF)征求意见文档(RFC)中描述的光
17、纤通道通用服务名称服务器，但它进行了扩展，可以在 IP 网络上下文中操作。p 发现域和登录控制服务发现域和登录控制服务 发现域发现域(DD)服务服务 发现域服务出于管理和注册的目的把存储节点进行分区，将其分为可管理的组，以方便管理和登录控制。它使管理员能够将每个主机的登录过程限制到更恰当的目标子集（这些目标已在 iSNS 中注册）。这对于减少不必要的 iSCSI 登录次数，以及在存储网络规模增大时限制主机花在初始化登录关系上的时间很重要。存储节点必须位于至少一个启用的公共 DD 中才能获得其他存储节点的信息。设备可以是多个 DD 的成员。登录控制登录控制 登录控制允许目标方将其访问控制或授权策
18、略委派给 iSNS 服务器。这有助于集中管理使用 iSNS 服务器的那些存储设备。目标节点或设备从 iSNS 下载授权的发起程序列表。每个节点或设备都使用 iSCSI 名称（也称为 iqn）进行唯一标识。会话建立期间，只有匹配所需的 iSNS 提供的标识和授权的发起程序才能访问该目标节点。p 状态更改通知服务状态更改通知服务状态更改通知(SCN)服务使 iSNS 服务器能够发出影响存储节点操作状态的网络事件通知。iSNS 客户端可以代表其存储节点注册通知，以获得 iSNS 服务器检测到的事件通知。状态变化通告把对iSNS数据库显式或隐式的改变通知iSNS 客户。有两种类型的 SCN 注册：常规
19、注册：常规注册得到常规 SCN 管理注册：管理注册得到管理 SCN。只有控制节点才能进行管理注册。注册和 SCN 消息的类型在 SCN 回复数据包（通常是一个位图）中指定。p 光纤通道和光纤通道和 iSCSI 设备之间的开放映射设备之间的开放映射映射方式 光纤通道设备-IP网络中代理iSCSI 设备“映像”iSCSI 设备-光纤通道代理WWN映射的作用 支持通过使用iSCSI-FC网关，支持光纤通道的管理站与iSNS服务器交互，检索关于光纤通道设备的信息，并且使用这个信息，管理光纤通道和iSCSI设备，从而允许诸如发现域和状态改变通告这样的功能无缝地应用到iSCSI和光纤通道二类设备中，有助于
20、有助于IP网络和光纤通道设备及交换网的集成网络和光纤通道设备及交换网的集成 p iSNS的工作机制的工作机制当iSCSI目标方启动时，向iSNS服务器注册并登记自已的信息，如名字、地址和端口号等；当iSCSI发起方向iSNS服务器查询时，iSNS服务器即向其通报iSCSI目标方列表；iSCSI发起方也可以向iSNS服务器请求状态改变通知，以便得到对于在网络上出现的新的目标方的通知。iSCSI目标方也可以注册状态改变通告，以便能发现增加或撤离的发起方。p iSNS服务器的服务器的光纤通道设备光纤通道设备名字服务名字服务iSCSI-光纤通道网关 是在光纤通道网络中的设备到达iSCSI/IP网络的桥
21、梁。通过此网关，可以使用iSNS服务器存储在光纤通道名字服务器发现的光纤通道设备属性，以及光纤通道设备标识符到iSCSI设备标识符的映射。iFCP网关 iSNS为在iFCP的网关区域内的光纤通道设备，仿真光纤通道名字服务器提供的服务。iSNS提供由iFCP网关实施的基本的发现和分区配置信息。当被查询时，iSNS返回用以在由iFCP网关支持的光纤通道设备之间建立iFCP会话的N端口网络地址。p 用于多协议用于多协议IP存储网络的存储网络的iSNS服务器服务器iSNS服务器服务器管理工作站管理工作站iSCSI服务器服务器iSCSI存储设备存储设备iFCP网关网关iFCP网关网关光纤通道交换机光纤通
22、道交换机光纤通道结点光纤通道结点光纤通道结点光纤通道结点光纤通道结点光纤通道结点光纤通道结点光纤通道结点IP网络网络p iSNS的特点的特点相对复杂，功能更强大；iSNS通过一组类似于光纤通道上的服务，改善了iSCSI SAN中存储设备的配置与管理；比SLP更适合具有很大可扩展性的企业级存储网络是用于包含光纤通道和iSCSI组件的SAN发现机制的首选1.3 iSCSI会话会话p Discovery 会话会话用于发现Target，支持三种iSCSI报文 LOGIN REQ/RSP TEXT REQ/RSP LOGOUT REQ/RSPp Normal 会话会话登录阶段工作阶段注销阶段p TCP建
23、立流程：三次握手建立流程：三次握手 Initiator Target SYN SYN/ACK ACKp Discovery会话建立流程：会话建立流程：Initiator TargetLOGIN REQ LOGIN RSPLOGIN REQ LOGIN RSPTEXT REQ TEXT RSPDiscovery SessioniSCSI会话建立流程会话建立流程Parameter NegotiateSend Targetp iSCSI Normal 会话：登录阶段会话：登录阶段 用来在发起方和目标方之间相互认证，并协调会话参数。如果iSCSI登录阶段成功完成，目标方就确认了发起方的登录，否则，会话
24、被拒绝，同时TCP连接中断。p iSCSI Normal 会话：工作阶段会话：工作阶段 iSCSI发起方在会话上向iSCSI目标方发送命令和数据；一个会话可以建立多个TCP连接。但每个命令及其响应必须在同一个TCP连接上传输。不同的命令和数据传输可以使用不同的TCP连接，即使它们属于同一个任务。p iSCSI Normal 会话：注销阶段会话：注销阶段 用来关闭一个TCP连接或结束会话。iSCSI发起方可以通过Logout请求从一个会话中删除一个TCP连接，也可以关闭整个会话。iSCSI Normal会话会话p Normal会话建立流程：会话建立流程：Initiator TargetLOGIN
25、 REQ LOGIN RSPLOGIN REQ LOGIN RSPSCSI COMMAND DATA-INFINAL DATA-OUT SCSI RSPNormal SessionParameter NegotiateReport LUNsiSCSI会话的拆除会话的拆除p 会话拆除流程：会话拆除流程：Initiator TargetLOGOUT REQ LOGOUT RSP p TCP拆除流程：四次握手拆除流程：四次握手 Initiator Target FIN ACK FIN ACK命令编号命令编号p 从启动设备到目标设备从启动设备到目标设备SCSI层的命令层的命令由由iSCSI编号，该号编
26、号，该号码由码由iSCSI协议数据单元中的命令序列号（协议数据单元中的命令序列号（CmdSN）携携带带 p 目标设备的目标设备的iSCSI层必须按命令序列号的顺序把命令传递层必须按命令序列号的顺序把命令传递给给SCSI层层 p 目标设备的目标设备的SCSI层接收到命令后该命令序列号即失效。层接收到命令后该命令序列号即失效。命令序列号也能被用来进行命令的流量控制命令序列号也能被用来进行命令的流量控制 1.4 iSCSI会话协议数据单元会话协议数据单元p iSCSI会话协议数据单元会话协议数据单元iSCSI会话协议数据单元是被封装到TCP/IP包中传输的；一个iSCSI PDU由一个到多个iSCS
27、I头（一个基本头和可能有的附加头）和最多一个数据段组成。头部之后有一个可选的头部摘要，数据段之后有一个可选的数据段摘要。iSCSIiSCSI的报文格式的报文格式以太网头(14)IP头(20)TCP头(20)iSCSI（TCP数据）FCS源端口目的端口序列号确认号首部长度保留A P R SF窗口大小校验和紧急指针基本报头段(BHS，48字节)附加报头段（可选）头部校验（可选）数据段（可选）数据校验（可选）Up iSCSI会话协议数据单元会话协议数据单元iSCSI会话协议数据单元是被封装到TCP/IP包中传输的；一个iSCSI PDU由一个到多个iSCSI头（一个基本头和可能有的附加头）和最多一个
28、数据段组成。基本头是每一个基本头是每一个iSCSI PDU不可缺少的组成部分。不可缺少的组成部分。p iSCSI PDU基本头的格式基本头的格式p iSCSI会话协议数据单元会话协议数据单元iSCSI会话协议数据单元是被封装到TCP/IP包中传输的；一个iSCSI PDU由一个到多个iSCSI头（一个基本头和可能有的附加头）和最多一个数据段组成。基本头是每一个iSCSI PDU不可缺少的组成部分。iSCSI PDU有多种不同的类型，对应不同的有多种不同的类型，对应不同的SCSI命令：命令：iSCSI命令请求与应答命令请求与应答 文本信息请求与应答文本信息请求与应答 登录请求与应答登录请求与应答
29、p iSCSI的命令的命令PDU的格式的格式2 在在TCP/IP上的光纤通道上的光纤通道p 光纤通道的距离限制问题光纤通道的距离限制问题光纤通道通信距离一般不超过100-200km，不适合长距离通信。p TCP/IP上的光纤通道（上的光纤通道（Fibre Channel over TCP/IP）基于TCP/IP协议的隧道协议，通过TCP/IP网络，提供分布式FC-SAN间的链接。FCIP也被称为光纤通道隧道光纤通道隧道，或存储隧道存储隧道。FCIP的应用场合的应用场合FCIP:通过可跨越城域范围或广域网范围的业通过可跨越城域范围或广域网范围的业务连续保障务连续保障Fibre Channel S
30、AN Network7200RouterFibre ChannelSANDisaster Recovery SiteStorageOptical MANFibre Channel SANTapeLibraryiSCSI-enabled ServersiSCSI:通过通过IP网络的低成本连接增加存储的网络的低成本连接增加存储的使用范围及简化管理的复杂度来降低使用范围及简化管理的复杂度来降低存储网络的总体拥有成本存储网络的总体拥有成本(TCO)FC Storage Pool7200Routerp FCIP的数据封装及数据传输的数据封装及数据传输FCIP将整个光纤通道的数据帧封装在一个TCP报文中。
31、该报文在网络层被加上IP头，形成IP分组，通过网络传输到接收端。接收端解封出光纤通道数据帧，交给光纤通道去处理。l应用场合应用场合两个FC SAN孤岛通过IP连接成一个大的FC SANl特点特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装FCIPFCIP报文报文IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRC EOFFCIP头封装FCIP FCIP（FC over IPFC over IP）FC实体实体FCIP实体实体FC实体实体FCIP实体实体光纤通道光纤通道交换网交换网光纤通道光纤通道交换
32、网交换网IP网络网络FC头头SCSI数据数据SOFCRC EOFFC头头SCSI数据数据SOFCRC EOFFC头头SCSI数据数据SOFCRC EOFIP头头TCP头头FCIP链接链接IP分组分组光纤通道帧光纤通道帧光纤通道帧光纤通道帧p FCIP使用使用TCP/IP隧道链接远程光纤交换机隧道链接远程光纤交换机隧道隧道FCIP设备设备FCIP设备设备E端口端口E端口端口E端口端口E端口端口FC交换机交换机FC交换机交换机IP网络网络p FCIP的优点的优点克服了光纤通道的距离限制。使用已存在的IP基础设施把地理上分散的光纤通道SAN设备连接在一起，保持光纤通道交换网服务的完整性p FCIP的
33、连接的连接FCIP设备通常使用E端口连接到源光纤通道交换机上；FCIP是一个点到点的广域链接。FCIP并不使用TCP/IP来代替光纤通道，它只是使用TCP/IP隧道实现的光纤通道交换机之间的链接。3 因特网光纤通道协议因特网光纤通道协议p 因特网光纤通道协议（因特网光纤通道协议（iFCP）一种网关到网关的协议，为一种网关到网关的协议，为 TCP/IP 网络上的光纤设备网络上的光纤设备提供光纤信道通信服务。提供光纤信道通信服务。iFCP使得在使得在IP网络上实现光纤通道交换网的功能；网络上实现光纤通道交换网的功能；iFCP使用使用IP组件和技术来代替光纤通道的交换和路由组件和技术来代替光纤通道的
34、交换和路由设施。设施。p iFCP 的工作原理是：的工作原理是：将 Fibre Channel 数据以 IP 包形式封装，并将 IP 地址映射到分离 Fibre Channel 设备。由于在 IP 网中每类 Fibre Channel 设备都有其独特标识，因而能够与位于 IP 网其它节点的设备单独进行存储数据收发。Fibre Channel 信号在iFCP网关处终止，信号转换后存储通信在IP网中进行，这样iFCP就打破了传统Fibre Channel网的距离（约为10公里）限制。p 光纤通道网络光纤通道网络FC设备设备N端口端口FC设备设备N端口端口F端口端口F端口端口FC通道和交换网服务通道
35、和交换网服务光纤通道流量光纤通道流量FC通道通道设备域设备域FC通道通道网络域网络域p iFCP交换网交换网FC设备设备N端口端口FC设备设备N端口端口FC设备设备N端口端口FC设备设备N端口端口F端口端口F端口端口F端口端口F端口端口iFCP层层iFCP层层iFCP关口关口iFCP关口关口IP网络网络FC设设备地址备地址IP地址地址FC通道通道设备域设备域IP网络网络光纤通道流量光纤通道流量iFCP帧帧控制数据控制数据p iFCP交换网交换网在交换网端口内部，网关呈现为一个光纤通道交换机成分。在这个接口处，远程N端口被看成是交换网附接的设备。在IP网络，网关把每个在本地连接的N端口呈现为一个
36、逻辑光纤设备。网关区域网关区域是远程附接的N端口通过一个iFCP网关可以访问的那部分iFCP交换网。在一个网关区域的光纤通道设备光纤通道设备指的是本地连接到该网关的那些光纤通道设备。每个网关区域就像是一个自治系统，它的配置对IP网络和其他网关区域不可见。p 网关的协调作用网关的协调作用跨越TCP/IP网络的N端口到N端口的通信需要网关内iFCP层的协调。协调工作主要有：执行帧的编址的映射功能 封装与解封：封装光纤通道帧从而注入TCP/IP网络以及解封装从TCP/IP网络接收到的光纤通道帧 响应指向远程设备的PLOGI（端口登录）建立iFCP会话p iFCP交换网交换网支持2类和3类光纤通道服务
37、，不支持1类、4类、6类服务在交换网登录期间，N端口负责发现交换网所支持的传输服务类别iFCP的实现需要通过iSNS执行设备发现和iFCP交换网管理。iSNS服务器在iFCP网络中提供光纤通道的名字服务。p iFCP协议层的作用协议层的作用在本地和远程附接的N端口之间传输光纤通道帧映像。当向远程N端口传输帧时，iFCP协议封装并路由光纤通道帧，该帧包含每个光纤通道信息单元，在IP网络上通过事先确定的TCP连接传输。当从IP网络接收光纤通道帧映像时，iFCP层解封装每个帧，并将其投递给适当的N端口。p iFCP会话会话由一对N端口构成，该端口对包含由单个TCP/IP连接所接合的会话端点。在一个给
38、定的N端口对之间只能最多有一个iFCP会话。N端口的网络地址标识，包括 由N端口本地附接的网关赋给的N端口ID 由IP地址和TCP端口号构成的iFCP关口地址。IANA为iFCP协议分配的TCP端口号为3420l应用场合应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上l特点特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCPiFCP报文报文IP头TCP头FCSSOFFC帧头SCSI数据CRC EOFiFCP头FCFC地址映射到地址映射到IPIP地址地址iFCPiFCP(Int
39、ernet FC)(Internet FC)p iFCP的封装的封装p FCIP（Fibre Channel over IP，基于，基于 IP 的光纤信道协的光纤信道协议）议）描述了一种机制，能够通过 IP 网络将各个孤立的光纤信道存储区域网络连接起来，从而形成一个统一的存储区域网络。FCIP 为一类简单的隧道协议，它能将两个 Fibre Channel 网连接起来，形成更大的光纤交换网。FCIP 类似于用于扩展第 2 层网络的桥接解决方案，它本身不具备 iFCP 特有的故障隔离功能。p iFCP与与FCIP FCIP只是提供一个隧道功能，把二个分离的光纤通道网络用TCP/IP网络连接起来。i
40、FCP不是简单地封装光纤通道块数据，它把光纤通道头映射成IP头和TCP会话。iFCP用TCP/IP和千兆以太网代替低层光纤通道传输。在FCIP隧道中，IP地址是分配给网关的，而在各个光纤通道区域网络内部的存储设备没有对应的IP地址。iFCP和iSCSI都是为网络存储的每个参与方分配单独的IP地址。这就允许企业网络上可以访问TCP/IP网络的工作站都可以访问网络存储设备，也允许把来自任何设备的流量都置于IP路由控制和TCP会话控制之下，并且可以使用传统的IP网络管理工具来监控发起方和目标方之间的通信。4 多协议环境和相关的解决方案多协议环境和相关的解决方案p 多协议环境和相关的解决方案多协议环境
41、和相关的解决方案主要术语的精确含义需要特别考虑的事项多协议解决方案4.1 主要术语的精确含义主要术语的精确含义p 光纤通道交换机光纤通道交换机在同一个交换网上的光纤通道连接之间过滤和转发分组，但它不能够在交换网之间传送分组。p 路由器路由器在二个多个光纤通道交换网之间转发数据分组。路由器使用分组头和转发表确定转发分组的最佳路通路。p FC-NAT由于不同的光纤通道交换网可以使用不同的寻址机制，FC-NAT用来在二个交换网之间进行地址转换。p 隧道隧道一个允许一个网络把它的数据通过另一个网络传输的技术。隧道操作把一个网络协议封装在由第二个网络运载的分组中。4.2 需要特别考虑的事项需要特别考虑的
42、事项p 分组大小分组大小 光纤通道分组的最大长度2148字节，以太网帧的数据部分最长为1500字节，也就是说，TCP的数据字段最长可达1460字节p TCP拥塞控制拥塞控制 TCP的快重传快恢复的拥塞控制机制，可能并不适合对延迟敏感的存储应用。p 往返延迟往返延迟 光纤通道线缆的延迟大约5um/km，IP网络的往返延迟通常是在若干毫秒，Internet一般都有数百毫秒的往返延迟。p 写加速写加速 用来减少长距离网络的大时延问题。其思想是在接收到就绪信号之前就发送数据。p 磁带加速磁带加速 通过传输就绪和写应答进一步地执行写加速4.3 多协议解决方案多协议解决方案p 多协议解决方案多协议解决方案
43、把一个交换网划分成多个子交换网通过IP连接到一个远程场点使用iSCSI连接主机5 IP存储网络配置示例存储网络配置示例p IP存储网络配置示例存储网络配置示例混合使用异构的光纤通道和基于iSCSI的SAN。iFCP网关网关iFCP网关网关iFCP网关网关光纤通道光纤通道SAN光纤通道光纤通道SAN光纤通道光纤通道SANiSCSI SAN产品中心产品中心开发中心开发中心管理中心管理中心数据中心数据中心6 InfiniBand网络网络p InfiniBand是一串行网络技术，它继承了目前多数开放系统服务器使用的PCI总线。作为一种低成本的系统及组件设计技术，InfiniBand串行总线/网络被认为
44、是增长最快的网络技术之一，它的应用潜力远远超过当今所知的系统总线。InfiniBandInfiniBand诞生背景诞生背景传统的集群系统以计算节点为核心，性能差，结构复杂，扩展能力差需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构InfiniBand InfiniBand 应运而生应运而生磁带库磁带库FC FC 磁盘阵列磁盘阵列以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群InfiniBandInfiniBand交换机交换机光纤通道交换机光纤通道交换机磁带库磁带库以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群FC FC 磁
45、盘阵列磁盘阵列p 计算机的整体性能取决于三个子系统的相互关系：计算机的整体性能取决于三个子系统的相互关系：处理器、存储和I/O 要使整个系统的性能得到发挥，必须协调好三者之间的平衡关系。I/O发展速度相对较慢 Moore定律准确地预测半导体每18个月性能加倍，并在处理器和存储方面得到了很好的验证。然而，I/O互连受到机械和电器方面地限制，使其性能提高远低于半导体的发展，因而限制了系统性能。p PCI 当前被普遍采用的I/O技术主要是PCI。p InfiniBand 用于替代PCI作为下一代server互连标准，InfiniBand受到所有主要OEM server开发商的支持。这是第一种具有工业
46、标准的高性能I/O互连，它扩展了传统内部总线的角色，引入了底板解决方案，并允许互连走出机箱，这种互连方式以前是网络互连所特有的。InfiniBand的最终目标是取代现在各种不同的网络存储、通信和I/O。PCI技术规格简介技术规格简介 p PCI技术规格技术规格从从1992年创立规范到如今，年创立规范到如今，PCI总线已成为了计算总线已成为了计算机的一种标准总线机的一种标准总线。PCIPCI总线取代了早先的总线取代了早先的ISAISA总线。总线。当然与在当然与在PCIPCI总线后面出现专门用于显卡的总线后面出现专门用于显卡的AGPAGP总线，总线，与现在与现在PCI ExpressPCI Exp
47、ress总线，但是总线，但是PCIPCI能从能从19921992用到现用到现在，在，PCIPCI的优点：即插即用、中断共享等。的优点：即插即用、中断共享等。数据宽度：数据宽度：PCIPCI总线有总线有32bit32bit、64bit64bit之分；之分；总线速度：有总线速度：有33MHz33MHz、66MHz66MHz两种。两种。64bit64bit系统正在普系统正在普及中。及中。改良的改良的PCIPCI系统系统-PCI-X-PCI-X：最高可以达到：最高可以达到64bit 64bit 133MHz133MHz，这样就可以得到超过，这样就可以得到超过1GB/s1GB/s的数据传输速率。的数据传
48、输速率。替代PCI的InfiniBandp InfiniBand是一新的网络技术。它集成了系统功能，使它可以替代PCI系统总线的功能。作为总线替代品，它的一些主要特征如下：infiniBand基于全双工，交换串行传输；单项传输速率可达2.5GB/s；系统通过外部系统扩展，而不是系统“卡槽”；随着内部扩展需求的消失，系统缩减；支持热切换，与PCI不同；为每一个扩展外设提供独立电源（与通过系统相反）；主机I/O控制功能成为网桥功能。InfiniBandInfiniBand发展历程：两次浪潮发展历程：两次浪潮19991999首次提出首次提出20042004年调整定位年调整定位l得到主流服务器生产链上
49、厂商的一致追捧，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资l调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到欢迎InfiniBandInfiniBand体系架构体系架构lInfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器l信道适配器用于同其它设备的连接，包括主机信道适配器（HCA）和目标信道适配器（TCA）l交换机是 InfiniBand结构中的基本组件l点到点的交换结构：解决了共享总线、容错性和可扩
50、展性问题l具有物理层低功耗特点和箱外带宽连接能力CPUCPU链路链路网络网络链路链路链路链路链路链路链路链路目标目标TCATCA交换机交换机内存内存控制器控制器系统系统内存内存主机内部互联主机内部互联CPUCPUTCATCA目标目标HCAHCAxCAxCA路由器路由器xCAxCA路由器路由器CPUCPUxCA=HCA xCA=HCA 或或TCATCAInfiniBandInfiniBand协议分层结构协议分层结构l物理层：定义了三种速率的连接，分别为1X、4X和12X，其信号单倍传输速率分别为2.5、10和30Gb/sl链路层：链路层与传输层处在 IBA的核心位置。提供了局部子系统中的信息包设
