1、IBM Systems and Technology GroupIBM Confidential 2007 IBM CorporationIBM System StorageN系列产品培训教程第一章SAN和NAS介绍2NAS和SAN的定义3什么是SAN？SAN(Storage Area Network)是区域存储网什么是NAS？NAS（Network Attached Storage）网络附加存储。SAN和NAS有什么区别呢？SAN和NAS的区别4SAN和NAS协议支持FC SANIP SAN（ISCSI）CIFS(WINDOWS常用)NFS(UNIX和LINUX常用)5ISCSI介绍ISCS
2、I技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输，如下图：6第二章IBM N系列硬件介绍7N系列硬件产品8主存储主存储存储虚拟化存储虚拟化高端网格存储高端网格存储远程远程/小型办公室小型办公室Data ONTAP 操作系统操作系统 SAN,NAS,iSCSI4 一个架构一个架构4 一个应用界面一个应用界面N5000/N7000统一的企业级存储DataONTAP GX高性能运算，全局命名空间N3000系列系列远程和小型办公室存储4 一个管理界面一个管理界面4 完全整合完全整合Gatew
3、ay支持异构存储N系列存储产品分类A10单控、A20双控直接带扩展柜EXN1000/SATA EXN4000/FC支持磁盘类型：SAS(3000系列支持最大450GB)SATA（最大1T）FC（最大450GB）操作系统：DATAONTAPG10单控、G20双控挂载IBM/日立等第三方存储，作为存储网关使用。支持磁盘类型：由第三方存储决定 操作系统：DATAONTAP9统一的网络存储单一架构、多种连接、灵活使用、投资保护10NAS(文件文件)部门级部门级iSCSI企业级企业级SAN(数据块数据块)Fibre Channel光通道网络光通道网络企业级企业级千兆以太私网千兆以太私网SAN/iSCSI
4、NAS部门级部门级N系列系列 统一存储统一存储以太以太公网公网11168TB 16TB84TBN3700N5500N5200N5200GatewayN5500Gateway504TB420TBN7800N7600N7600GatewayN7800GatewayValue Proposition252TB N5600N series Hardware PortfolioMidrange appliances&gatewaysEntry Level applianceEnterprise appliances&gatewaysN5600Gateway126TBN5300N5300Gateway R
5、educe the cost and complexity of managing enterprise storage Common OS,advanced software features,and system/storage management tools on every system Each system supports the same network protocols:NAS,iSCSI,FC SAN.simultaneously Production and archive data can reside on a single system intermix FC
6、and SATA drives Non-erasable,Non-rewritable data protection integrated for archival Competitive offerings require 2 or more systems to satisfy the same business objectives.N3600N330024TB69TBIBM Systems and Technology GroupIBM Confidential 2007 IBM CorporationN3000Hardware OverviewN3700硬件结构图13Console
7、 port2XGbE Cu NICSFC(Fib)FC(Cu)Head 1Head 2前视图前视图后视图后视图扩展磁盘柜(EXP4000/1000)14N3300/3600技术规格15N3300N3600High Performance SAS infrastructureSingle Controller or Dual Controller(for HA)Unified Storage:iSCSI,NAS,Fibre Channel SAN,Fibre Channel TapeEach Controller:Dual GigE Ports and Dual 4Gb Fibre Channe
8、l PortsOnboard Remote Platform Management2U High,12 Internal Drive BaysNo PCIe SlotsUp to Two External Shelves24.6TB(with SATA Drives)12.0TB(with Fibre Channel)4U high,20 Internal Drive Bays1x PCIe Slot per ControllerUp to Six External Shelves69TB(with SATA Drives)31.2TB(with Fibre Channel)N3700/330
9、0/3600 比较16N3700N3300N3600N5200Max Storage Capacity16TB24TB69TB84TBMax Disk Drives5640104168SAS Drive SupportNoYesYesNoDual Controller SupportYesYesYesYesMemory2GB2GB4GB4GBMax FC/GigE Ports4/44/48/88/8I/O Expansion Slots-2 x PCIe6 x PCI-XOnboard Remote LAN ManagementNoYesYesOptionalNotes:(1)Except f
10、or FAS250,specifications are for HA configurations;(2)max ports combines integrated ports with I/O cards;(3)maximum FAS3020 Fibre Channel ports requires 4-port 4Gb FC adapter card;(4)Pricing based on single-controller with 1.75TB SATA storage.IBM Systems and Technology GroupIBM Confidential 2007 IBM
11、 CorporationN5000Hardware OverviewN5000 平台参数184 x Dual-core4 x Single-core4 x Single-core2 x Single-core处理器处理器24326 x PCI-X8GB32-bit168TB336N550032326 x PCIe16GB64-bit252TB504N56003224最大以太网口数最大以太网口数3232最大光纤通道数最大光纤通道数64-bit32-bit架构架构126TB84TB最大存储容量最大存储容量6 x PCIe8GB252N53004GB内存内存6 x PCI-X扩展槽扩展槽168最大磁
12、盘数最大磁盘数N5200Notes:(1)All specifications are for an active-active,dual-controller configuration;(2)maximum ports combines integrated ports with I/O cards;(3)maximum FC ports requires 4-port FC adapter cardsN5000 后视图19控制口GbE Cu NICS2*FC(Fib)2*FC(Fib)RLM电源SCSI(LVD)2XGbE Cu NICSIBM Systems and Technolog
13、y GroupIBM Confidential 2007 IBM CorporationN7000Hardware Overview同级中最大容量模块化配置21N7600N7800处理器处理器48NVRAMNV6(1GB)NV6(4GB)内存内存32 GB64 GBPCI-X/e 插槽插槽1616主板上主板上 I/O12 GbE16 FC12 GbE16 FC最大磁盘数最大磁盘数8401008最大存储容量最大存储容量420 TB504 TB*Active/Active pair configurationIBM Systems and Technology GroupIBM Confident
14、ial 2007 IBM CorporationN系列RAID技术介绍N系列RAID技术RAID0RAID4+RAID-DP注意：N系列存储不支持RAID523RAID0N系列存储支持RAID0，RAID0通常运用于G型号，因为G型号的存储是作为存储网关使用，应用的意义在于做协议转换，而底层的RAID5、RAID10已经由IBM/日立等第三方存储实现，G型号的存储只需要提供高性能的访问即可。24RAID4+RAID4+是NETAPP公司在RAID4技术的基础上进行改进诞生的，主要是加入了WAFL（Write Anywhere File Layout）文件系统的特性，并优化了文件系统与RAID机
15、制，配合NETAPP的snapshot技术可以实现快速的数据备份与恢复。25RAID4+数据分布方式26D表示数据P表示奇偶校验的结果P的结果是通过异或运算得出的，如果某个D损坏后可以通过异或运算进行恢复。3+1+2+3=9RAID-DPNETAPP独有的双校验盘RAID技术，DP即Double Parity，在一个RAID中设置两个校验盘。RAID4是采用水平行奇偶校验，RAID-DP是在RAID4的基础上增加了对角线奇偶校验。27RAID-DP数据分布方式28D为数据块P为奇偶校验块DP为双奇偶校验块（通过对角线校验得出）RAID-DP恢复实例29一个完整的RAID-DP意外原因损坏了两块
16、磁盘RAID-DP恢复1RAID-DP恢复2RAID-DP恢复实例30RAID-DP恢复3RAID-DP恢复6RAID-DP恢复5RAID-DP恢复4IBM Systems and Technology GroupIBM Confidential 2007 IBM CorporationN系列软件产品N series Software Features32Data ONTAPiSCSIiSCSI Host Attach Kit for AIX,Windows&LinuxFTPSnapshotSnapMover(co-req MultiStore)SyncMirrorFilerViewFlexV
17、olFlexShareSecureAdminAutoSupportDisk SanitizationRAID-DP*RAID-4*CIFS ProtocolNFS ProtocolHTTP ProtocolFCP ProtocolCluster FailoverFlexCloneMultiStoreSnapMirrorSnapRestoreSnapVaultOpen Systems SnapVaultSnapLock EnterpriseLockVault EnterpriseSnapLock Compliance*LockVault Compliance*SnapDrive for Wind
18、ows,Unix&LinuxNearStore featureMetroCluster*Single Mailbox Recovery for Exchange41 Advanced Software FeaturesSnapManager for SQLSnapManager for Exchange SnapManager for OracleSnapValidatorOperations Manager CoreOperations Manager SRMOperations Manager BCDATA ONTAP介绍DATA ONTAP通过多任务实时微内核和专利的WAFL文件系统的设
19、计，对网络数据访问提供优化的存储服务，具有高稳定性，高效率，多重通讯协议的特性。N系列存储无论高中低端都使用DATA ONTAP操作系统，在安装、配置、管理上会有极大的便利。（不同型号的存储会略有差异，在下载升级包的时候要注意）33同一架构，平滑升级34 无缝扩展无缝扩展 无需数据移植无需数据移植 投资保护投资保护4 一个架构一个架构4 一个管理界面一个管理界面4 完全兼容完全兼容4 举一反三举一反三N3000N7600N7800N5200N5600N5500DATA ONTAP架构35WAFL文件系统NetApp的文件系统名为WAFL，是专为Filer系统而设计的。WAFL是”Write A
20、nywhere File Layout”，即”任意位置写入文件布局”的缩写。WAFL文件系统和Filer的整合式RAID管理采用一体化设计，以避免大多数带有RAID管理机制的文件系统所固有的性能问题。WAFL的主要特点及其所带来的优势包括：1、永远一致性的文件系统 2、具电池保护的NVRAM日志 3、内建智能型最佳化的RAID磁盘阵列管理系统 4、能增长的文件系统 5、硬盘区块验证系统 Block-level Checksum 6、瞬间快照备份(Snapshot)7、WAFL将固定消耗10%的硬盘空间，这是无法释放的36IBM Systems and Technology GroupIBM C
21、onfidential 2007 IBM CorporationSnapShot和SnapRestoreSnapshot技术原理SnapShot是WAFL文件系统“任意位置写入”功能带来的一项突出优势。一份SnapShot是文件系统的在线只读拷贝。创建文件系统的一份SnapShot仅仅需要几秒种的时间，并且除非原始文件被删除或者更改，数据快照并不占用额外的磁盘空间。这种只有当数据块发生改动时才进行数据块复制的技术被称作“copy-on-write”，只有修改活动文件系统中的数据块并写入磁盘中新的位置时，SnapShot才会占用额外的磁盘空间。38Snapshot创建及恢复原理39 Filer可
22、以对一个卷组创建最多255个SnapShot快照。SnapShot快照可以通过手动或者人为预先定制策略的方式来自动创建。每一个SnapShot快照可以保存的时间取决于文件系统变动的频度。SnapRestoreNetApp 的 Snapshot 技术只存储各个连续快照之间的块级更改，从而高效地利用了存储空间。由于 Snapshot 过程是自动的，而且几乎在瞬间完成，因此大大提高了备份速度，简化了备份过程。SSnapRestore 软件通过 Snapshot 技术实现即时数据恢复。相对而言，其他存储解决方案复制所有数据，因此其备份和恢复操作所需要的时间和磁盘存储空间要多得多。40IBM Syste
23、ms and Technology GroupIBM Confidential 2007 IBM CorporationN系列存储安装过程N系列存储硬件安装N系列存储硬件安装可以参考随机发放的安装手册，安装过程比较简单，这里不再详细说明。42N系列存储规划安装N系列存储规划非常重要，好的规划可以最大化利用磁盘空间。N系列存储的操作系统DATAONTAP是建立在磁盘上的，初始化过程中会需要占用部分磁盘空间。对于A型号，DATAONTAP会默认选择3块磁盘做系统盘创建root volume，3块磁盘构成RAID-DP。对于G型号DATAONTAP默认会选择一块磁盘创建root volume。43N
24、系列存储规划N3000系列规划建议系统默认会创建一个RAID-DP的root volume，将剩余的磁盘都加入到这个root volume中，不保留HOT SPARE盘以获得更多的磁盘空间。N5000 A型号系统默认会创建一个RAID-DP的root volume，剩余磁盘不要加入到这个root volume中，单独创建aggr。根据磁盘的数量选择性保留HOT SPARE盘（推荐操作）N5000G型号划分2个100G的LUN给一个机头用于安装DATA ONTAP，一块为数据盘，一块为HOT SPARE盘，如果是两个机头则划分4个100G的，每个机头两个。剩余按976G进行LUN的划分，或者将剩
25、余的空间平均分，但是要小于976G。因为N5200G型号采用的是1000进制，1G=1000M,而我们平常的计算方式为1G=1024M，因此我们只能按1000/1024*1000=976的大小划分LUN。44N系列存储初始化安装硬件安装完成后进行设备加电，我们首先需要对存储继续初始化安装。目前最常见的为N3600A10/A20和N5200A20/G20，初始化安装的过程大致相同，DATAONTAP系统是建立在存储的磁盘上，这部分会消耗一定的空间，这里以N3600初始化安装为例。45N3600初始化安装N系列存储随机会配置一个RJ45转RS232的接头和一根RS232串口线，我们需要将串口线和笔
26、记本相连，串口配置为默认即可。46串口连接参数N3600初始化安装启动N3600，系统初始化安装开始，一下是详细的安装过程：.WARNING:The battery voltage is too low to hold data for 3 days during a power-out condition.The charger is now turned on.When the voltage is ok the boot process will complete and services will be engaged.To override this delay,press CTRL
27、-C.CAUTION:Using this appliance without NVRAM battery backup coupled with a power failure condition CAN CAUSE DATA LOSS.Are you sure you want to continue(y or n)?y此处为一个电池告警，提示电池电压低，因为是新系统，电池刚开始充电因此会有此提示，输入Y继续。47N3600初始化安装Tue Dec 9 01:47:02 GMT nvram.bat.error:CRITICAL:The NVRAM battery in the chassi
28、s is*not safe to boot.Delay for charging canceled by user.Charger is ON*Tue Dec 9 01:47:05 GMT raid.assim.tree.noRootVol:error:No usable root volume found!A disk reservation was detected on disk 0c.10.4 Ordinarily,this will only occur if the partner node has taken over allcluster resources.This node
29、 will be shutdown.HALT:cluster partner has taken over(disk reservations)AMI BIOS8 Modular BIOSCopyright(C)1985-2019,American Megatrends,Inc.All Rights Reserved Portions Copyright(C)2019 Network Appliance,Inc.All Rights Reserved BIOS Version 3.0+Boot Loader version 1.3 Copyright(C)2000,2019,2019,2019
30、 Broadcom Corporation.Portions Copyright(C)2019-2019 Network Appliance Inc.2048MB RAM installed -内存信息CPU Type:Mobile Intel(R)Celeron(R)CPU 2.20GHz -CPU信息48N3600初始化安装Starting AUTOBOOT press Ctrl-C to abort.Loading:.0 x200000/33725308 0 x2229b7c/31422180 0 x4021260/2557760 Autoboot of PRIMARY image ab
31、orted by user.开始自动启动，按Ctrl+C中止因为我们是第一次安装，因此按Ctrl-C中止自动启动，中止后，系统会进入LOADER菜单，LOADER菜单中可以使用的命令如下：version,update_flash,netboot,boot_diags,boot_backup,boot_primary,boot_ontap,update_bmc,bmc,flash,bye,autoboot,go,boot,load,set,ping,arp,ifconfig,show,unsetenv,set-defaults,setenv,printenv,help这里我们直接输入boot_o
32、ntap，系统会从存储自带的CF卡中读取数据，并开始安装系统。N5200系列在这里的提示为：Starting AUTOBOOT press any key to abort.按任意键中止启动，与N3600有所不同，并且中止后会进入CFE菜单，而不是LOADER菜单，LOADER和CFE菜单没有本质区别。后继安装过程与N3600一致。49N3600初始化安装LOADER boot_ontapLoading:.0 x200000/33725308 0 x2229b7c/31422180 0 x4021260/2557760 Entry at 0 x00200000Starting program
33、at 0 x00200000cpuid 0 x80000000:0 x80000004 0 x0 0 x0 0 x0Press CTRL-C for special boot menuSpecial boot options menu will be available.按提示CTRL-C进入特别启动菜单，第一次安装需要进入特别启动菜单进行磁盘分配操作！后继也可以通过特别启动菜单进行一些存储的维护工作Tue Dec 9 01:48:15 GMT cf.nm.nicTransitionUp:info:Interconnect link 0 is UPTue Dec 9 01:48:23 GMT
34、fci.initialization.failed:error:Initialization failed on Fibre Channel adapter 0a.Tue Dec 9 01:48:23 GMT fci.initialization.failed:error:Initialization failed on Fibre Channel adapter 0b.50N3600初始化安装Data ONTAP Release 7.2.5.1:Wed Jun 25 11:01:02 PDT 2019(IBM)-内置系统版本为7.2.5.1Copyright(c)1992-2019 Netw
35、ork Appliance,Inc.Starting boot on Tue Dec 9 01:48:08 GMT 2019Tue Dec 9 01:48:24 GMT nvram.battery.turned.on:info:The NVRAM battery is turned ON.It is turned OFF during system shutdown.Tue Dec 9 01:48:30 GMT diskown.isEnabled:info:software ownership has been enabled for this system进入特别启动菜单(1)Normal
36、boot.-正常启动(2)Boot without/etc/rc.-启动的时候不读取/etc/rc.文件(3)Change password.-修改密码(4)Assign ownership and initialize disks for root volume.-磁盘分配及初始化root volume(4a)Same as option 4,but create a flexible root volume.-同选项4，但是创建一个灵活root volume(5)Maintenance mode boot.-进入维护模式这里我们需要选择5进入维护模式进行磁盘的分配操作。Selection(
37、1-5)?551N3600初始化安装 You have selected the maintenance boot option:the system has booted in maintenance mode allowing the following operations to be performed:?fcadmin fcstat sasadmin sasstat halt help raid_config storage sesdiag version vol aggr environment led_on led_off sata scsi disk disk_list fcd
38、iag fctest disktest diskcopy xortest outb disk_mung Type help for more details.列出在维护模式下可以使用的命令，输入help 命令名称可以获得更多关于此命令的细节52N3600初始化安装 In a cluster,you MUST ensure that the partner is(and remains)down,or that takeover is manually disabled on the partner node,because clustering software is not started
39、or fully enabled in Maintenance mode.提示如果在cluster模式下，partner必需为down的状态 FAILURE TO DO SO CAN RESULT IN YOUR FILESYSTEMS BEING DESTROYEDContinue with boot?-是否继续启动，输入yesyesTue Dec 9 01:48:41 GMT mgr.boot.reason_ok:notice:System rebooted.Tue Dec 9 01:48:42 GMT console_login_mgr:info:root logged in from
40、console53N3600初始化安装在维护模式中输入?可以查看当前可以使用的命令*?environment led_off scsi aggr fcadmin led_on sesdiag disk fcdiag outb storage disk_list fcstat raid_config version disk_mung fctest sasadmin vol diskcopy halt sasstat xortest disktest help sata 54N3600初始化安装*disk_list列出系统中所有的磁盘 DISK CHAN VENDOR PRODUCT ID RE
41、V SERIAL#HW(BLOCKS BPS)DQ-0c.10.1 SA:1 NETAPP X287_HVIPB288A15 NA01 JHW4DZAC ff 562884302 520 N0c.10.2 SA:1 NETAPP X287_HVIPB288A15 NA01 JHW4VZRC ff 562884302 520 N0c.10.3 SA:1 NETAPP X287_HVIPB288A15 NA01 JHWDYGRC ff 562884302 520 N0c.10.4 SA:1 NETAPP X287_HVIPB288A15 NA01 JHVJR7VC ff 562884302 520
42、 N0c.10.5 SA:1 NETAPP X287_HVIPB288A15 NA01 JHVDTUGC ff 562884302 520 N0c.10.6 SA:1 NETAPP X287_HVIPB288A15 NA01 JHWDZ19C ff 562884302 520 N0c.10.7 SA:1 NETAPP X287_HVIPB288A15 NA01 JHWB1DMC ff 562884302 520 N0c.10.8 SA:1 NETAPP X287_HVIPB288A15 NA01 JHVJWHEC ff 562884302 520 N0c.10.9 SA:1 NETAPP X2
43、87_HVIPB288A15 NA01 JHWDNX6C ff 562884302 520 N0c.10.10 SA:1 NETAPP X287_HVIPB288A15 NA01 JHWDZM8C ff 562884302 520 N0c.10.11 SA:1 NETAPP X287_HVIPB288A15 NA01 JHW4E72C ff 562884302 520 N0c.10.12 SA:1 NETAPP X287_HVIPB288A15 NA01 JHVHY5RC ff 562884302 520 N0c.10.13 SA:1 NETAPP X287_HVIPB288A15 NA01
44、JHWED6NC ff 562884302 520 N0c.10.14 SA:1 NETAPP X287_HVIPB288A15 NA01 JHW4U9UC ff 562884302 520 N0c.10.15 SA:1 NETAPP X287_HVIPB288A15 NA01 JHW4VU5C ff 562884302 520 N0c.10.0 SA:1 NETAPP X287_HVIPB288A15 NA01 JHVJZH7C ff 562884302 520 N55N3600初始化安装*disk show-vLocal System ID:135042771 DISK OWNER POO
45、L SERIAL NUMBER -0c.10.5 (135042771)Pool0 JHVDTUGC 0c.10.6 (135043089)Pool0 JHWDZ19C 0c.10.3 (135042771)Pool0 JHWDYGRC 0c.10.11 Not Owned NONE JHW4E72C 0c.10.13 Not Owned NONE JHWED6NC 0c.10.2 (135043089)Pool0 JHW4VZRC 0c.10.1 (135042771)Pool0 JHW4DZAC 0c.10.15 Not Owned NONE JHW4VU5C 0c.10.9 Not Ow
46、ned NONE JHWDNX6C 0c.10.7 (135042771)Pool0 JHWB1DMC 0c.10.10 Not Owned NONE JHWDZM8C 0c.10.4 (135043089)Pool0 JHVJR7VC 0c.10.12 Not Owned NONE JHVHY5RC 0c.10.14 Not Owned NONE JHW4U9UC 0c.10.8 Not Owned NONE JHVJWHEC 0c.10.0 (135043089)Pool0 JHVJZH7C磁盘状态为Not Owned说明此磁盘还未进行分配，OWNER选项下有(135042771)数字ID
47、的为磁盘已经分配。N系列存储会在启动的时候自动进行部分磁盘的分配，有时候系统自动分配的方案并不符合我们的规划，我们需要解除这种分配关系，重新对磁盘进行分配56N3600初始化安装*disk remove_ownership all解除磁盘的分配关系All disks will have their ownership information removed.Do you wish to continue?yes57N3600初始化安装*disk show-vLocal System ID:135042771 DISK OWNER POOL SERIAL NUMBER -0c.10.7 Not
48、Owned NONE JHWB1DMC 0c.10.14 Not Owned NONE JHW4U9UC 0c.10.15 Not Owned NONE JHW4VU5C 0c.10.0 Not Owned NONE JHVJZH7C 0c.10.8 Not Owned NONE JHVJWHEC 0c.10.1 Not Owned NONE JHW4DZAC 0c.10.5 Not Owned NONE JHVDTUGC 0c.10.2 Not Owned NONE JHW4VZRC 0c.10.3 Not Owned NONE JHWDYGRC 0c.10.13 Not Owned NON
49、E JHWED6NC 0c.10.4 Not Owned NONE JHVJR7VC 0c.10.12 Not Owned NONE JHVHY5RC 0c.10.9 Not Owned NONE JHWDNX6C 0c.10.11 Not Owned NONE JHW4E72C 0c.10.6 Not Owned NONE JHWDZ19C 0c.10.10 Not Owned NONE JHWDZM8C 解除后所有的磁盘都为未分配状态。58N3600初始化安装*disk assign 0c.10.1 0c.10.2 0c.10.3 0c.10.4 0c.10.5 0c.10.6 0c.10
50、.7disk assign:DisTue Dec 9 01:41:42 GMT diskown.changingOwner:info:changing ownership for disk 0c.10.0(S/N JHVJZH7C)from unowned(ID-1)to (ID 135042771)k assigned but unable to obtain owner name.Re-run disk assign with-o option to specify name.disk assign:DisTue Dec 9 01:42:00 GMT diskown.changingOwn
