1、第七章 云存储 郝卫东内容n7.1 概述n7.2存储结构n7.3存储设备n7.4存储接口n7.5 NoSQL数据库n7.6 五大云存储服务器的综合比较n7.7云存储上传和下载文件的设计和实现n7.8存储虚拟化 7.1 概述n7.1.1 云存储概念n7.1.2云存储的结构模型n7.1.3 云存储国内外发展现状7.1.1 云存储概念 n云存储在云计算(cloud computing)概念上延伸和发展出来的一个新的概念。n云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一
2、个系统 云存储示意图 云存储n云存储是近几年新发展的在线存储服务，它以互联网为基础。n用户依靠网络可以从云存储服务提供商获得企业级的服务和接近无穷的存储空间。n用户不需要考虑数据的存储位置、数据的可靠性、存储容量、数据的可用性、存储设备类型、安全性等相关的底层细节技术，只需要按照服务提供商的收费标准向提供商付费即可 7.1.2云存储的结构模型1）存储层n存储层是云存储最基础的部分。n存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。n云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者 FC光纤
3、通道网络连接在一起。n存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。2）基础管理层n基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。n基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。nCDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。3）应用接口层n应用接口层是云存
4、储最灵活多变的部分。n不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。n比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘应用平台，远程数据备份应用平台等。4）访问层n任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。n云存储运营单位不同，云存储提供的访问类型和访问手段也不同。7.1.3 云存储国内外发展现状n1）国内发展状况n2)国外发展状况 中国云存储市场规模状况分析 中国国内云存储主要服务产品功能参数对比产品发布时间免费容量扩充容量方式上传文件大小限制跨平台/设备酷盘2011.035G可以通过参加活动来扩容，免费不
5、限支持电脑网页和客户端；支持iphone、android、symbian手机客户端下载115网盘2009.0515G等级越高免费容量越大，免费小于1G 支持电脑网页和客户端；支持iphone、ipad客户端下载；支持android、windows phone手机客户端下载金山T盘2011.0120G获取任务奖励；成为付费用户小于2G 支持电脑网页和客户端；支持iphone、ipad客户端下载；支持android手机客户端下载产品发布时间免费容量扩充容量方式上传文件大小限制跨平台/设备金山快盘2011.055G通过一些简单任务等方式获得额外奖励空间，免费小于300M支持电脑网页和客户端；支持ip
6、hone、ipad客户端下载；支持android手机客户端下载QQ网盘2011.092GQQ会员等级越高容量越大，付费不限支持电脑客户端；支持android、iphone手机客户端下载华为网盘20095G等级不同容量不同，付费标准用户200M；高级小于400M；VIP无限制支持电脑客户端；支持android、iphone手机客户端下载迅雷网盘2011.105G付费扩容网页版小于100M支持电脑客户端；支持android、iphone手机客户端下载Google亚马逊Cloud DriveApple iCloudDropboxSkyDrive选择建议存储空间16TB5GB至1TB5GB100GB2
7、5GBGoogle文件支持类型任何任何任何任何100MB以下均可支持设备所有支持Flash的设备PC、Mac、IOS设备所有PC，Mac，Windows Phone 7GoogleDropbox音乐服务只有音乐库，无音乐商店1500万首歌曲可选1800万首歌曲可选不支持不支持Apple iCloud易用性累赘并且缓慢速度慢但勉强接受轻而易举天才速度慢但精致好用Apple iCloud、Dropbox离线支持有时支持不支持支持支持不支持Apple iCloud、Dropbox成本费用暂时免费，超出部分每年每GB$0.255GB以下免费，超出部分每年每GB$1除了iTunes Match每年$25
8、，其他免费2GB以下免费，超出 部分每GB$225GB以下免费，无法扩容Google可用性任何国家(除了Music Beta)任何国家(除了Cloud Player播放器)任何国家(除了iTunes Match)任何国家任何国家Dropbox、SkyDrive国外云存储主要服务产品发展历程 云存储的服务内容n（1）数据分发与共享：网络用户对于信息的需求已经不仅仅局限于被动地获取信息，对主动提供信息的需求越来越大，数据的分发与共享已经成为不可缺少的一部分。n（2）大规模数据处理：Google的Gdoc、Gmail、搜索服务等互联网在线应用要求TB级的海量数据在极短的规定时间内完成，卫星地图数据、
9、WEB Indexing、日志处理与分析产生的PB量级的数据也需要在规定的时间内处理完 n（3）数据备份与归档：云存储能够提供具有高性能、高可用性和高可靠性的在线存储服务，适合面向公司和个人的数据备份与归档。用户使用云存储，不仅缩短了投入的使用周期，还节省了前期的设备投入。7.2存储结构n7.2.1 DAS（直接连接存储）n7.2.2 NAS（网络附加存储）n7.2.3 SAN（存储区域网络）存储结构（1）n根据用户的不同需要，目前能提供多种可选的数据存储解决方案，其中包括：n存储区域网络(SAN):针对那些要求优化交易处理性能的业务和技术应用；n网络附加存储(NAS):针对专用文件共享和协作
10、n直接连接存储DAS:最简单也是最早发展起来的存储方式存储结构（2）nDAS（Direct Attached Storage直接连接存储）nDAS是指将存储设备通过SCSI（小型计算机系统接口）等接口直接连接到计算机上 nDAS是连接大容量存储设备到服务器和LAN的最常用的方法。在该连接方式中，一组磁盘直接附加到服务器 存储结构（3）nDAS（Direct Attached Storage直接连接存储）n优点：实现简单，低成本，实时性强。n缺点：不易扩充。n适用范围：n中小型企业或分支机构的存储系统。n对大型企业所需的大量数据存储需求而言，其优点将完全丧失，带来总体拥有成本（TCO）高，管理复
11、杂，不便扩展等问题 存储结构（4）nDAS（Direct Attached Storage直接连接存储）n典型部署方式如下图 存储结构（5）nNAS（Network Attached Storage网络连接存储）nNAS即将存储设备通过标准的网络拓扑结构(例如以太网)，连接到一群计算机上。n在NAS方式下，存储设备直接连接到LAN，存储数据流在LAN上流动，它使用成熟的TCP/IP技术，可以实现几百公里甚至更高的远距离的数据存储。n对NAS的投资仅限于一台NAS设备。NAS设备本质上是经过优化设计的专用文件服务器 存储结构（6）nNAS（Network Attached Storage网络连接
12、存储）n优点：n部署非常简单，低成本，与TCP/IP网络集成n可实现不同操作系统的文件级共享。n缺点：n备份过程中的带宽消耗大n难以在应用层上进行扩展n安全性较差。n适用范围：nNAS是部门级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。存储结构（7）nNAS（Network Attached Storage网络连接存储）nNAS的部署非常简单，只须与传统的IP交换机连接即可。NAS设备的物理位置可以放置在LAN中的任何地方。存储结构（8）nSAN(Storage Area Network-存储区域网络)nSAN是连接发起者（initiators，如主机设备、服务器
13、等）到目的地（target，如各种存储设备）的专用网络，并在不加重企业LAN的负担的情况下传输存储数据流 nSAN一般通过光纤通道而不是通过标准的TCP/IP网络拓扑连接到一群计算机上。nSAN的结构提供了多主机连接，因此允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务器都可直接存取所需的数据。nSAN可以实现几百公里甚至更高的远距离的数据存储 存储结构（9）nSAN(Storage Area Network-存储区域网络)n优点：实时性强，高可靠性，高可用性和高可扩展性，可以通过划分分区（LUN）实现多操作系统数据共享。n缺点：实现较复杂，高成本，不能实现不同操作系统的文件级共
14、享。n适用范围：企业级的存储系统。对大型企业和数据中心所需的大量数据存储需求而言，其优点将充分展示，性能价格比也将提高 存储结构（10）nSAN(Storage Area Network-存储区域网络)n高性能的光纤通道交换机（FC Switch）和光纤通道网络协议是SAN的关键。存储结构（11）nSAN(Storage Area Network-存储区域网络)n通常，一个SAN系统主要由以下几部分组成nFC卡（又称主机总线适配器，即Host Bus Adapter）n光纤通道交换机（FC Switch，也可能是光纤通道集线器）n存储系统（如磁盘阵列系统和磁带库系统）n存储管理软件存储结构（1
15、2）nSAN(Storage Area Network-存储区域网络)n与NAS不同的是，在SAN中，发起者和目的地之间有专用的数据链路，而不是与传统数据流共享网络带宽，这提高了用户访问存储数据及相关业务的效率。nSAN解决方案是从基本的网络功能中剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影响 存储结构（13）nNAS区别于SAN的显著特点n即NAS设备支持多计算机平台下的“文件级共享”。n不同操作系统下的用户可以通过统一的网络支持协议（如网络文件系统NFS和CIFS）进入相同的文档，这避免了同样内容的用户文档需要存储成不同的文件格式以便供不同的操作系统访问的问题，以沟通W
16、INDOWS 和UNIX等不同的操作系统。nNAS的这一特点是目前存储区域网SAN尚不具备的功能。nSAN只能支持不同操作系统的用户访问同一磁盘阵列中的不同数据分区，而不能实现多操作系统对同一文件的读写 存储结构（14）n从性能上看，由于存储数据流与应用数据流使用同一IP网络，NAS会增加网络拥塞，反过来，NAS性能也严重受制于网络传输数据能力。n比如，NAS进行备份过程中有带宽消耗问题。n与将备份数据流从LAN中转移出去的存储区域网（SAN）不同，NAS仍使用网络进行备份和恢复。nNAS相当于将备份事务由并行SCSI连接转移到了网络上。n对NAS而言，LAN除了必须处理正常的最终用户的业务传
17、输流外，还必须处理包括备份操作的存储磁盘请求。集群存储的含义及优点n集群存储是指：由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。n集群存储是有别于传统的SAN和NAS的一种新的存储架构。传统的SAN与NAS分别提供的是数据块与文件两个不同级别的存储架构，而集群存储是主要面向文件级别的存储集群系统。因此，也常常被称为集群NAS。优点n集群存储的主要优点是易于扩容，并且随着存储系统的扩容，性能也随之提升。n集群存储扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储
18、，当有需求的时候，随时添加，而不会影响现有存储的使用。集群存储的实现n集群存储方案一：带InfiniBand网络n集群存储方案二：带元数据服务器集群存储方案一：带InfiniBand网络n这是一种基于存储服务器的解决方案。n所谓存储服务器，可以把它视为一种配有多硬盘的服务器。一台多用途的服务器通常拥有五块以下的内部磁盘，但一台存储服务器至少会拥有6块内部磁盘，大多时候会达到12块到24块内部磁盘。n基于存储服务器的解决方案的优点是可以充分利用服务器的本地存储，而无需购买外在的存储设备如磁盘阵列等。n该方案中包括两个集群:应用服务器集群和存储服务器集群。n应用服务器集群承担计算任务，完成用户的具
19、体应用。n存储服务器集群承担存储任务，完成用户数据的存放、管理工作。n存储服务器集群通过以太网交换机与承担应用与计算任务的应用服务器集群相互连接。n为了保持存储服务器所存储的数据的同步，在方案中，存储服务器需要通过InfiniBand网络相互连接。由于采用了InfiniBand网络，其方案的造价偏高。集群存储方案二：带元数据服务器n该方案没有InfiniBand网络这一层。它通过类似HDFS的分布式文件系统协议技术，配合通用的工业标准服务器，构建了集群存储的解决方案。n该方案之所以不需要额外的InfiniBand网络解决数据同步的问题，是在于它采用了独特的方案设计。n它通过元数据服务器（Met
20、adata Server，MDS）集群来管理文件目录树组织、属性维护、文件操作日志记录、授权访问等文件系统的元数据，并通过两个元数据服务器消除了元数据服务器可能存在的瓶颈。方案组成n该方案分为三个集群，分别是：n计算节点集群、n元数据服务器集群n和智能存储服务器集群。计算节点集群n计算节点集群系统是一个由大量计算节点组成、运行数据处理软件的计算集群。n它类似HDFS系统中的文件访问客户端（Client），用于发起文件访问的请求。元数据服务器集群n元数据服务器集群由多个服务器并行管理文件系统的元数据，管理整个存储系统的命名空间，对外提供单一的文件系统映像。n它类似HDFS系统中的名字节点（Nam
21、eNode），用于提供整个文件系统的命名空间，接收文件访问的请求，并把请求转发给后台的智能存储服务器集群。智能存储服务器集群n智能存储服务器集群由I/O服务器和SAS磁盘阵列柜构成，提供相应的存储资源，提供并发的数据访问。n它也可以由一组存储服务器实现，而无需单独的磁盘阵列。n它类似HDFS系统中的数据节点（DataNode），用于存储实际的数据，并具体处理文件访问的读写请求。7.3存储设备n7.3.1 存储设备概述n7.3.2 磁盘阵列（RAID）存储设备（1）n在网络系统存储备份设备中，应用最广泛的存储设备是：n磁盘阵列n磁带库n光盘塔或光盘库 存储设备（2）n磁带库是网络存储备份设备的元
22、老。n磁带库因磁带可以不断更换，存储备份容量仅取决于所换磁带的多少，这就是说磁带库的存储容量是无限的。n另外，磁带还可以作为一种半永久可更换的存储备份介质，在异地存储中可以选择更加安全可靠的保存环境。因而在大中型数据库系统中应用十分广泛。n总之，磁带库是一种安全、可靠、易用和成本低廉的网络存储备份设备 存储设备（3）n磁盘阵列的最大特点是数据存取速度特别快n其主要功能是可提高网络数据的可用性及存储容量，并可将数据有选择性地分布在多个磁盘上，从而达到提高系统的数据吞吐率。n另外，磁盘阵列还能够免除单块硬盘故障所带来的灾难后果n通过把多个较小容量的硬盘连在智能控制器上，可增加存储容量。n显然，磁盘
23、阵列是一种高效、快速、易用的网络存储备份设备 存储设备（4）n光盘塔和光盘库不仅容量大、速度高、价格低，而且信息容量可以随着承载信息的光盘数量的增加而增加。n由于光盘基本上是只读媒介，一方面它是一种永久信息备份载体，另一方面它又限制了用户对光盘塔和光盘库中过时信息数据的修改与补充。存储设备（5）n应用环境 n磁带库更多的是用于网络系统中的海量数据的定期备份n磁盘阵列则主要用于网络系统中的海量数据的即时存取n光盘塔或光盘库主要用于网络系统中的海量数据的访问 存储设备（6）n磁盘阵列n是指将多个类型、容量、接口，甚至品牌一致的专用硬磁盘或普通硬磁盘连成一个阵列，使其能以某种快速、准确和安全的方式来
24、读写磁盘数据，从而达到提高数据读取速度和安全性的一种手段。n磁盘阵列读写方式的基本要求是:n在尽可能提高磁盘数据读写速度的前提下，必须确保在一张或多张磁盘失效时，阵列能够有效地防止数据丢失。存储设备（7）n磁盘阵列硬件组成n由多个硬磁盘组成的磁盘组n存储控制器n存储控制器的作用完全可以使得整个磁盘组就象一片磁碟那样成为读写速度快、存储容量大、性能稳定可靠的虚拟磁盘。n目前存储控制器的发展趋势是提供智能存储功能和大容量缓冲区（Cache），并在存储控制器中运行磁盘镜像软件、磁盘快照软件、磁盘通道管理软件等。n接口控制器n在主机和磁盘组之间提供的接口控制器可为主机提供无缝透明的磁盘操作功能 存储设
25、备（8）n从实现方法而言，磁盘阵列是通过RAID技术实现的。nRAID（Redundant Array of Inexpensive Disks，廉价磁盘冗余阵列）是通过多个磁盘与数据条带化方法相结合,以提高数据可用率的一种结构。nRAID的基本思想是将多只小的、廉价的驱动器进行有机的组合，使其性能提高，存储容量增加。n另外，对计算机而言，该磁盘阵列等效为一只逻辑存储器或驱动器。n基本的磁盘阵列可分为RAID级别0到RAID级别6,通常称为:RAID 0,RAID 1,RAID 2,RAID 3,RAID 4,RAID 5,RAID6.每一个RAID级别都有自己的优点和缺点。存储设备（9）nR
26、AID0、RAID1和RAID5是常用到的，现给出它们的工作示意图。n图中“磁盘阵列控制器”和“DISK16”之间的“箭头”可以理解为硬盘接口，常见的有“IDE,SCSI或FC”接口；n“数据”和“磁盘阵列控制器”之间的“箭头”可以理解为磁盘阵列柜的接口，一般为“SCSI或FC”接口。存储设备（10）nRAID 0:又称数据条带化。RAID 0 并不是真正的RAID结构,没有数据冗余。nRAID 0 采用条带化技术使多个磁盘形成一个大容量的逻辑盘，连续地分布数据到多个磁盘上，这样，磁盘阵列控制器不象以前那样一次只读写一个硬盘，而可以同时并行地读/写多个磁盘.因此具有很高的数据传输率。n但RAI
27、D 0在提高性能的同时,并没有提供数据可靠性,如果一个磁盘失效,将影响整个数据.nRAID 0 适用于需要高性能的应用，而不适用于需要数据高可用性的关键应用。存储设备（11）nRAID 1:又称数据镜像。RAID 1实现数据的完全冗余,在一对分离的磁盘上产生互为备份的数据。n形成RAID 1至少需要2块硬盘。图中DISK 2-6中存储的内容与DISK1的完全一样；可以看作DISK1的备份。实际应用中DISK3-6不是必须的。nRAID 1可以提高读的性能,当原始数据繁忙时,可直接从镜像拷贝中读取数据.nRAID 1是磁盘阵列中费用最高的,但提供了最高的数据可用性.当一个磁盘失效,系统可以自动地
28、交换到镜像磁盘上,而不需要重组失效的数据。存储设备（12）nRAID 3:nRAID 3使用单块磁盘存放奇偶校验信息，称为奇偶盘。n如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据.n如果奇偶盘失效,则不影响数据使用.nRAID 3对于大量的连续数据可提供很好的传输率,但对于随机数据,奇偶盘会成为写操作的瓶颈。存储设备（13）nRAID 5:nRAID 5没有单独指定的奇偶盘,而是交叉地存取数据及奇偶校验信息于所有磁盘上.n在RAID5 上,读/写指针可同时对阵列设备进行操作,提供了更高的数据流量.nRAID 5更适合于小数据块,随机读写的数据.n在RAID 5中有“写损失”,即每一次写操
29、作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。n形成RAID 5至少需要3块硬盘。存储设备（14）存储设备（15）n总的来说，RAID有如下的特点：n1、功耗小，传输速率高。在RAID中，可以让很多磁盘驱动器同时传输数据，而这些磁盘驱动器在逻辑上又是一个磁盘驱动器，所以使用RAID可以达到单个的磁盘驱动器若干倍的速率。n2、可以提供容错功能，提高了可靠度，当然这是以冗余为代价的。这是RAID获得广泛应用的重要原因之一。n3、RAID是获得大容量存储器的价廉物美、简单易行的好方法。这是RAID获得广泛应用的又一重要原因。n4、通常RAID由硬盘阵列柜实现
30、，其价格往往是较贵的。常见的几种RAID 级别的比较RAIDRAID级别级别RAID 0RAID 0RAID 1RAID 1RAID 3RAID 3RAID 5RAID 5名称名称条带镜像专用校验条带分散校验条带允许故障允许故障否是是是冗余类型冗余类型无副本校验校验热备用操作热备用操作不可可以可以可以硬盘数量硬盘数量一个以上两个三个以上三个以上可用容量可用容量最大最小中间中间减少容量减少容量无50%一个磁盘一个磁盘读性能读性能高（盘的数量决定）中间高高随机写性能随机写性能最高中间最低低连续写性能连续写性能最高中间低最低典型应用典型应用无故障的迅速读写允许故障的小文件、随机数据写入允许故障的大文
31、件、连续数据传输允许故障的小文件、随机数据传输存储设备（17）n主要有三个因素将影响您对RAID级别的选择：可用性（数据冗余），性能和成本。n如果不需要可用性，那么RAID-0将带来最佳性能。n如果可用性和性能很重要而价格并不重要，那么选择RAID-1。n如果价格、可用性和性能同样重要，那么选择RAID-3，RAID-5（视数据传输类型和磁盘驱动器数目）7.4存储接口n7.4.1 SCSI接口n7.4.2 FC接口n7.4.3 iSCSI接口n7.4.4 InfiniBand接口n7.4.5 Myrinet接口存储接口（1）n数据存储的I/O接口主要有如下类型：nSCSI接口控制器niSCSI
32、接口控制器nFC接口控制器nInfiniBand接口控制器nMyrinet接口控制器n磁盘阵列在相关接口控制器的操作下，主机对磁盘阵列操作的重要特点是设备无关性，即通过相关接口控制器后，主机可以兼容于不同的磁盘阵列 存储接口（2）nSCSI接口 nSCSI（Small Computer System Interface）即小型计算机系统接口，它是由美国国家标准协会所制订的用来连接周边装置的接口，在工作站、服务器上常用作硬盘及其它存储装置的接口。nSCSI是一种连接主机和外围设备的接口，支持包括磁盘驱动器、磁带机、光驱、扫描仪在内的多种设备。n它由SCSI控制器进行数据操作，SCSI控制器相当于
33、一块小型CPU，有自己的命令集和缓存。n在SCSI总线中，SCSI控制器也算一个设备，即实际最大可连接设备数目=理论最大支持设备数目-1 存储接口（3）nSCSI设备的电气接口规范有三种：nSE（Single Ended，单端）：许多旧式SCSI设备都是单端设备，它们限制SCSI总线为6米长度。注意：此距离包括设备内部电缆的距离。nLVD（Low Voltage Differential，低压差分）：SCSI总线和设备可借助它来延长传输的距离，在12米以内都能保持正常传输率。与SE兼容，如果在LVD总线内有一个设备设置成单端，整个总线也会切换成单端。nHVD（High Voltage Diff
34、erential，高压差分）：在LVD没有出现之前，也称为差分（Differential）。传输线缆的最大长度为25米。缺点是与单端设备不兼容 存储接口（4）n1SCSI-1：n最大传输速率为5MB/s n通常是扫描仪在用的n2Fast SCSI（快SCSI）：又称Fast Narrow SCSI（窄快SCSI）n使用双倍的频率n最大传输速率为10MB/s n目前有CD-R、CD-ROM在使用。存储接口（5）n3Fast Wide SCSI（宽快SCSI）：n16位的通道宽度，传输速率为20MB/s。n最大设备支持数为16个n在磁带驱动器等设备上使用。n有时，把Fast SCSI和Fast W
35、ide SCSI也称为SCSI-2。n所谓Wide SCSI是指依靠第二条数据电缆或68针数据线来增加总线的性能，数据位宽为16 bits，与Narrow SCSI（8位数据宽度）相比，性能提升至2倍。存储接口（6）nUltra SCSI（超SCSI）：又称Ultra Narrow SCSI（窄超SCSI）n8位的通道宽度，传输速率为20MB/s n最大设备支持数为8个，在磁带驱动器等设备上使用 nUltra Wide SCSI（宽超SCSI）：n16位的通道宽度，传输速率为40MB/s nUltra 2 SCSI：又称Narrow Ultra 2 SCSI，n8位的通道宽度，传输速率为40M
36、B/s，最大设备支持数为8个nWide Ultra 2 SCSI：n16位的通道宽度，传输速率为 80MB/sn最大设备支持数为16个 存储接口（7）nUltra3 SCSI：又称Ultra 160 SCSI。n16位的通道宽度，支持最高数据传输率为160MB/s，最大设备支持数为16个 n从Ultra3 SCSI开始SE、HVD接口都不再被支持，只支持LVD接口；n而且从Ultra3 SCSI开始，只支持宽接口通道，不支持8位的窄接口通道 nUltra 320 SCSI：n16位的通道宽度，支持最高数据传输率为320MB/s nUltra 640，支持最高数据传输率为640MB/s STA
37、术语最大总线速度（MBytes/秒）总线宽度（位）最大总线长度（米）最大可连接设备数目SELVDHVDSCSI-1586-258Fast SCSI 1083-258Fast Wide SCSI20163-2516Ultra SCSI 2081.5-2582083-4Wide Ultra SCSI 4016-251640161.5-840163-4Ultra2 SCSI 408-12258Wide Ultra2 SCSI 8016-122516Ultra3 SCSI 或 Ultra160 SCSI 16016-12-16Ultra320 SCSI 32016-12-16Ultra64064016
38、-12-16FC接口(1)n实现SAN的数据传输协议主要有两种。n较早的有FC（Fiber Channel，光纤通道）协议n较新的有iSCSI（Internet SCSI）协议、InfiniBand协议、Myrinet协议。FC接口(2)n光纤通道FC是高性能的连接标准n用于服务器、海量存储子网络、外设间n它通过光纤集线器、光纤交换机和点对点连接进行双向、串行数据通讯。n对于需要有效地在服务器和存储介质之间传输大量资料而言，光纤通道提供远程连接和高速带宽。n它是适于存储区域网、集群计算机和其它数据密集计算设施的理想技术 FC接口(3)nFC协议分层结构 nFC是一种分层结构，每个层次定义为一个
39、功能级，但是所分的层不能直接映射到OSI模型的层上。nFC的层次化功能集包括FC-0到FC-4共5层结构nFC通道的五层定义为：物理层、传输协议、网络层（帧协议）、公共服务以及上层协议（ULP,Up Layer Protocol）接口 FC接口(4)nFC协议分层结构 FC接口(5)nFC-0是物理层标准。nFC-0层定义了连接的物理端口特性，包括介质和连接器（驱动器、接收机、发送机等）的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。n跟其名字所暗示的不同，其物理介质并不只有光纤，还有双绞线和同轴电缆 FC接口(6)nFC-1是传输协议标准。nFC-1根据ANSI X3 T1
40、1标准，规定了8B/10B的编码方式和传输协议，包括串行编码、解码规则、特殊字符和错误控制。n传输编码必须是直流平衡以满足接收单元的电气要求。n8B/10B码在现实中的应用是稳定和简单的 FC接口(7)nFC-2层定义了帧协议，包括帧定位、帧头内容、使用规则以及流量控制等。n光纤通道数据帧长度可变，可扩展地址。用于传输数据的光纤通道数据帧长度最多达到2K字节，因此非常适合于大容量数据的传输。n帧头内容包括控制信息、源地址、目的地址、传输序列标识和交换设备等。FC接口(8)nFC-3提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：n条带化（Striping）n条带化的目的
41、是为了利用多个端口在多个连接上并行传输，这样I/O传输带宽能扩展到相应的倍数，实现负载均衡。n搜索组（HuntGroup）n搜索组用于多个端口去响应一个相同名字地址的情况，它通过降低到达占线的端口的概率来提高效率。n组播（Multicast）。n多播用于将一个信息传递到多个目的地址。FC接口(9)nFC-4（ULP映射）n它是光纤通道标准中定义的最高等级，固定了光纤通道的底层跟高层协议（ULP）之间的映射关系以及与现行标准的应用接口，n这里的现行标准包括现有的所有通道标准和网络协议，如SCSI接口和IP、ATM（异步传输模式）等 FC接口(10)n在FC协议的基础上传输SCSI数据流实现远程存
42、储业务是SAN结构的重要实现方式之一。n在速度的扩展性方面，FC提供了多种选择，从25MB/s,50 MB/s,100 MB/s到200MB/s（其名义比特速度是2.125Gbps,超过千兆以太网的速度）。n另外，1200MB/s的FC物理层传输标准也已经制定，其名义比特速度是10.519Gbps，又称10G FC 16G FC协议FC名称名称吞 吐 量吞 吐 量(MB/s)线速线速(Gbps)编码编码1GFC1001.06258b/10b2GFC2002.2158b/10b4GFC4004.258b/10b8GFC8008.58b/10b10GFC120010.5364b/66b16GFC1
43、60014.02564b/66b光纤通道支持的速率和编码n8b/10b编码的开销约为20%，而64b/66b编码的开销约为3%n以前产品的速度设计均使用8b/10b编码机制，这意味着每10个通过传输电缆的位，只有8个位是数据，而另外2个位则用来确保数据的正确性，所以只有80%的位是有效数据。n对于16GFC,设计者们将编码机制更改为一种更有效的64b/66b机制，这意味着每66个通过传输电缆的位，有64个位是数据，而另外2个位则用来确保数据的正确性，所以有97%的位是有效数据。n这样就大大降低了位的浪费，并保证了连贯性。FC接口(11)n在地理距离的扩展性方面，不同的介质，如双绞线或光纤，提供
44、的扩展性不同。n比如，在光纤通道物理层中定义的200MB/s速率的物理层接口的操作距离从数米到10公里不等。n根据美国夏威夷大学实验室的测试，在适当加以控制的条件下，光纤通道在单模光纤上通信的距离是大约40公里。n虽然10G FC在速率的扩展性方面提高很多，但是其在单模光纤上的最大地理扩展性仍规定为10公里。FC接口(12)n光纤通道支持多种拓扑结构，主要有 n点对点（Links）方式：典型应用是一台主机与一台磁盘阵列透过光纤通道连接，实际上属于DAS互联方式。n光纤通道仲裁环(FC-AL,Fiber Channel Arbitrated Loop)：在FC-AL中的装置可为主机或存储设备。n
45、光纤网络：采用光纤通道交换式结构（FC-SW，Fiber Channel SWitch fabric）实现，在主机和存储装置之间透过智能型的光纤通道交换机连接，使用交换式结构需使用存储网络的管理软件 FC接口(13)n光纤通道支持的拓扑结构拓扑拓扑说明说明优点优点/缺点缺点点对点两个设备直接相连成本低，性能较高 有限拓扑（仅允许有两台设备）光纤通道仲裁环(FC_AL)通过一个或多个光纤通道网络集线器可以连接多达 127 个设备。环路可以是专用的或公用的。专用环路不与光纤网络相连。公用环路与光纤网络相连。比点对点协议支持更多设备。限制了组合数据的传输速率,不考虑10GFC时最高只能达到 100
46、MB/s 光纤网络(FC-SW)与以太网类似，通过一系列光纤通道交换机最多可支持 1,600 万台设备的互连。支持多个设备，且不会降低性能 每端口成本较高 FC接口(14)n光纤通道交换机根据端口密度与适用范围基本上可以分为两大类：nFabric Switchn主要指8口和16口的光纤通道交换机，适合于中小规模的存储区域网建设，具有价格较低、使用简单的特点。n主要的竞争厂商有Brocade、Vixel、Gadzoox和Qlogic。nDirectorn通常是指不少于64个端口的光纤通道交换机，适合于建设大规模的存储区域网，通常都应用于极为关键的领域。Director具有更高的可靠性，通常是全冗
47、余的结构，且可以在线进行软件升级。nMcData、Brocade和Inrange等公司是Director领域的有力竞争者。FC接口(15)nFC技术具有以下优越性：n（1）既具有单通道的特点，又具有网络的特点，它是把设备连接到网络结构上的一种高速通道。而这种网络结构描述了连接两套设备的单条电缆以及连接许多设备的交换机产生网状结构。n（2）光纤通道的优点是速度快，它可以给计算机设备提供接近于设备处理速度的吞吐量。n（3）协议无关性，它有很好的通用性，是一种通用传输机制。适用范围广，可提供多性价比的系统，从小系统到超大型系统，支持存在的多种指令集，如IP、SCSI等。FC接口(16)n采用FC组建
48、SAN的缺点是n不同厂商的设备的互操作性很难解决，n而且在进行超过10公里的远距离扩展方面尚不成熟，n实现成本也相对高 iSCSI接口(1)niSCSI使用标准以太网交换机和路由器从服务器迁移数据到存储设备。niSCSI使用IP和以太网结构来扩展对SAN存储的访问，并把SAN连接扩展到任何距离。n该技术的基础是用于传输存储流的SCSI命令和用户网络的TCP/IP协议。iSCSI接口(2)niSCSI协议在TCP/IP模型中的位置,本质上是一种应用层协议 应用层传输层网络层接口层HTTPSMTPFTPiSCSITCPUDPIP 以太网和iSCSI HBA卡iSCSI接口(3)n使用iSCSI协议
49、进行通信时，有效载荷数据被相应的iSCSI协议头部所封装。n接着，封装好的数据依次被添上TCP头部、IP头部和以太网头部，最后交付给以太网的物理层链路进行传输 iSCSI接口(4)niSCSI建筑在存储和网络世界中两个最广泛使用的协议基础上。n在存储方面，iSCSI使用SCSI命令集合，在整个存储配置中使用核心存储命令。n在网络方面，iSCSI使用IP和以太网，后者是绝大部分企业网络（局域网）的基础设施，而且在城域网和广域网领域也正迅猛增长 iSCSI接口(5)niSCSI设备的不同之处在于它们通过iSCSI HBA（主机总线适配器）被访问。n该HBA卡的行为是SCSI HBA卡和网卡的结合。
50、n当服务器需要把数据存入存储设备时，服务器转发数据到iSCSI HBA卡，在此它变成标准的SCSI数据。该数据接着被封装到IP包并通过以太网发送出去。一旦它到达该iSCSI存储设备，IP包信息被剥离，数据被迁移到该存储设备的内部SCSI控制器，后者接着把它转发给磁盘niSCSI的一个优势是它完全透明。服务器软件只把它看做SCSI控制器，而网络只把它看作IP数据流 iSCSI接口(6)n借助万兆以太网实现iSCSI niSCSI主要定位于千兆和万兆以太网连接，并通过路由器或发展中的以太网MAN（城域网）连接到因特网 n网络应用需要吉比特(Gigabit)级别的吞吐量而存储应用需要太比特（Tera
