1、NetAPP 培训讲议GTI预 览第一章产品概述及硬件结构第二章存储系统及存储网络第三章存储系统管理基础第四章磁盘与卷管理第五章网络管理第六章NFS管理第七章CIFS管理第八章多协议访问第九章SnapShots技术讲解第十章SAN管理与ACTIVE/ACTIVE模式第十一章Quotas第十三章系统状态检查第一节SnapShots第二节SnapRestort第十二章备份与恢复技术第十四章性能管理第一章产品概述及硬件结构统一的存储系统 硬件基本架构ConsoleSystem MemoryCPUWrite bufferNVRAMexpansionexpansionNICfanfanpspsRead
2、CacheWAFLBoot DeviceStorageRAID groupOnboard NIC管理系统系统运算的核心存储当前运行数据提供网络接口保存数据组件初始化并启动系统第二章 存储网系统及网络l Data Ontapl WAFLl RAIDl NVRAM1.Data OntapDate Ontap是NETAPP在其产品上面运行的唯一的操作系统，由它来负责数据存储在存储系统上的哪个位置，DATE ONTAP是快速的，高效的操作系统。Date OntapDataStorageNVRAM2.WAFL and NVRAM Write Anywhere File Layout,随机写文件系统，是n
3、etapp专门开发的专有的文件系统。NVRAM，非易性存储，是NETAPP存储系统重要的组成部分,其它提供了数据的快速存储。普通的文件系统WAFL使用NVRMA提高的效率与磁盘保护WAFLStorage3.RAIDRAID(Redundant Array of Independent Disk),独立磁盘冗余阵列，来提供高效的数据写入也读取，对数据提供保护。NETAPP的FAS系统存储使用RAID4和RAID_DP技术。WAFLRAIDStorageParityNetapp存储的三种形式1.DAS，直接与主机相连2.NAS，Network Attache Storage3.SAN,Storag
4、e Attache networkStorageServerStorageLANServerStorageFile SystemFile SystemServerNet第三章存储系统管理基础加电次序 Disk shelf先加电先加电 等Disk shelf 加电稳定后，对机头加电加电稳定后，对机头加电电次序(闭两个机头闭两个机头)在两个机头上分别执行在两个机头上分别执行“halt f”闭两个机头电源 闭所有Disk Shelf电源电源电次序(闭一个机头闭一个机头)如果不希望如果不希望cluster发生接管，执行发生接管，执行“halt f”,否则执行否则执行“halt”闭机头的电源第一节 设备
5、加电顺序与闭顺序第二节 设备的管理方法1.Consle2.Telnet3.SSH4.RSH5.FilterView(WEB)6.RLM1.Console管理方法将Console线接入FAS storage控制器上的Console口，设置超级终端如下：波特率：9600数据位：8奇偶校位：none停位：1控：none后后回车入CLI命令模式命令模式.Telnet管理方法在Client端下输入telnet 在filter端打开与闭telnet方式 options telnet.access host=|all*/telnet访问限制；options telnet.enable on*/打开telne
6、t服务.SSH管理方法使用ssh client端车行访问ssh1 或者 ssh2在filter上面控制ssh:options ssh.access*|host /控制访问；options ssh.enable on|off /启用与闭ssh服务；options ssh1.enable on|off /启用与闭ssh1 options ssh2.enable on|off /启用与闭ssh2配置SSH步骤：1.执行secureadmin setup ssh;2.按提示输入相信息。4.RSH管理方法RSH客户端输入rsh -l ;在filter上面配置rsh服务：options rsh.acces
7、s*|hosts /控制RSH访问；options rsh.enable on|off /启用与闭RSH服务*注 同时只可有一个session登录到command line模式*注 所有options选项都存在/etc/registry里面,不要试图去读取下面文件。*注 使用options trusted.host来编辑受信任主机。练 习第四章磁盘与卷管理Disk，最基本的存储单元。RAID，一组磁盘的集合Plex，多个RAID Group的集合Aggregate，多个Plex的集合Volume，位于Aggrage下面的一个目录，是一组逻 辑的组合，可以对外提供服务。Qtree，位于Volum
8、e下面的目录，是更小的存储单元，可以提供配额管理。DiskRAIDDiskRAIDPlexDiskRAIDDiskRAIDPlexAggrageAggregateqtreeqtreeqtreeRaid groupRaid groupRaid groupRaid groupRAID GroupDate Ontap 收集多块的原始磁盘为一个组，这个组称之为RAID GROUP。一个RAID GROUP是由data disk和parity disk提供磁盘的数据保护。尽管现在有多个不同的RAID类型，Date ONTAP只支持两种RAID类型：RAID4 RAID_DPRAID4 技术RAID4 技
9、术允许一块盘损块的情况下不丢失数据。每个RAID4组包含：一个parity disk(一般是整个RAID组里容量最大的那块盘）一个或多个data disk 一个RAID4组最少两块磁盘Parity diskData DiskRAID GroupRAID_DP 技术RAID_DP 技术允许两块盘损块的情况下不丢失数据。每个RAID_DP组包含：两块parity disk(一般是整个RAID组里容量最大的那块盘），一块 Parity disk和一块double-parity(DP)disk 一个或多个data disk 一个RAID_DP组最少三块磁盘Parity diskData DiskRAI
10、D_DP GroupDouble-parityRAID Group SizeRAID_DPNetAppPlatformMinimunGroup SizeMaximumGroup SizeDefaultGropu SizeR20031614R15031612R10031212All other platforms32816RAID 4NetAppPlatformMinimunGroup SizeMaximumGroup SizeDefaultGropu SizeR200277R150266R100288FAS2502147All other platforms2148Disk FailuresH
11、ot Spares(热备盘）：是存储里面，RAID组以外的盘被定义为Spare盘，热备盘，如果一块磁盘损坏，将由spare盘补上，并重建数据。使用以下命令来确认磁盘是否损坏：sysconfig r vol status r aggr status-rParity diskData DiskRAID GroupSpare DisksDegraded Mode(降级模式）当一个RAID4组里有一块硬盘失效或一个RAID_DP组里有两块硬盘损坏并且在没有hot spare盘的情况下，系统就会时入此模式。在此模式下并不会有数据的丢失，系统定义车入降级模式的时间间隔为24小时。可以使用options r
12、aid.timeout这个属性来车行更改。Mixing and Matching Disks 在Date ONTAP里可以使用不同空间大小的磁盘 spare盘的空间必须大于被替换的磁盘空间大小 在建立RAID Group时，Date ONTAP会将磁盘空间最大的那块盘定义为parity盘*注 Netapp建立在一个volume里最好作用相同空间大小的磁盘设置RAID组选项Options raid.timeout hours车入降级模式的时间间隔。Options raid.reconstruct.perf_impact value在系统重建数据时所占用的系统资源，值分别为low,medium(d
13、efault),highOptions raid.scrub.enable在每周周日的零晨一点执行disk scrubOptions raid.scrub.perf_impact value执行disk scrub时所占用的系统资源，low,medium(default),highVol options volume_name raidtype value更改RAID类型raid4 or raid_dpAggr options aggr_name raidtype valueDisk scrub扫描与修复磁盘的错误与坏道默认情况下自动扫描是被打开的，可以使用raid.scrub.enable来
14、打开手动执行使用disk scrub start来执行Error MessageCauseInconsistent parity on volume volume_name,Raid group n,stripe#n.Rewriting bad parity block on volume volume_name,RAID group n.不一致的较校块Rewriting bad parity block on volume volume_name,RAID group n,stripe#n介质错误在parity disk 或者data diskMultipe bad blocks found
15、 on volume volume_name,Raid group n,stripe#n一个或多个损坏的数据块Scrub found n parity inconsistencies.Scrub found n media errors.Disk scrubbing finished.Disk scrubbing complete磁盘操作命令CommandMeaingDisk fail disk_name使一块磁盘失效Disk remove disk_name移除一块spare diskDisk replace start disk_name spare_disk_name使用spare di
16、sk 替换一块磁盘Disk replace stop disk_name停替换磁盘Disk scrub start开始scrub磁盘Disk scrub stop停scrub磁盘Disk sanitize start disk_name将磁盘上面所有数据移除Disk sanitize abort disk_name停Disk zero spares初始化所有spare diskDisk.auto.assign自动分配磁盘Disk_fw_update disk_list手动更新硬盘的fireware定义磁盘Disk ID的查看由sysconfig r,vol status r,aggr stat
17、us r查看，DISK ID是由pathing id和device_id来组成。Path_id:与self相连的适配器的编号Disk_id:self上面定义的硬盘编号例：4a.1629282726252423222120191817164532Aggregate的管理是由多个硬盘组成，里面包含一个或者两个plex,只有在做了snapmirror的时候会有两个plex,plex1和plex0。在date 里没有对raid与plex的操作，只有对aggr的操作增加aggregate空间的方法：向现有的raid组里添加硬盘 向现有的aggregate里添加raid组AggregateRaid gro
18、upRaid groupRaid groupRaid groupPlexVolumes管理Volume是一组逻辑的实体，用来组织数据。Volume是可以被多用户使用多种协议车行访问的。在Date Ontap下面有两种volume Tradititons volume Flexible volumeAggregateRaid groupRaid groupRaid groupRaid groupFlexible Volumes一个flexvol是包含于aggregate里面，可以很方便灵活的管理。一个flexvol最小20MB可以很方便的更改空间大小（最小为4K）可以很快速的复制数据（使用fle
19、xClone技术）每个存储系统大约可以容纳500个flexvolumeROOT Volume每个系统都会有一个root volume,这个volume具有root属性，含有/etc目录，是存放配置文件的地方。Aggregate and volume name必须以字母和下划线开始只能包含字母、数字和下划线不能大于255个字符建立和管理aggregate命令格式：aggr command argumentAggr create aggrname options /建立aggrageAggr add aggrname options disklist /添加磁盘Aggr status aggrna
20、me /查看状态Aggr rename aggname newname /重命名Aggr options aggrname optname optval /设置选项Aggr offline aggrname /将一个aggr下线Aggr online aggrname /将一个aggr可以Aggr destroy aggrname /删除一个AGGR建立和管理volume命令Vol create volname flexvolumename aggrname sizeVol size flexvolname+|-size注：每个flexvol最大16T练习第五章网络管理主机名解析主机名解析的三
21、种方法 /etc/hosts NIS DNS解析顺序由/etc/nsswitch.conf来定义DNS的设定：options dns.domainname campus2 /设置DNS域名字 options dns.enable on/打开DNS dns infoRouting使用netstat r查看路由Route-fn add|delete host|net destnation gateway metricRoute sRoute statusNetwork type and interface names10/100 base TGigabit ethernet10G ethernet
22、(7.2 or later)FDDIATM配置网络Ifconfig aIfconfig v Vif create Vlan create g on 第六章NFS管理NFS Overview NFS(Networking File System)是由SUN开发的，一个分布式的文件系统，他在健在式的环境下提供文件的共享，没有地理的限制。Netapp支持此V2，V3和V4的协议版本 标准的UNIX系统可以使用mount来加载磁盘 更改/etc/fstab文件来保持mount。Version 2Version 3 Version 4Base on RFC1094Base on RFC1813Base
23、on RFC3530Support 32-bit file size.4GBSupport 32 to 64 bit file sizeSupport 32 to 64 bit sizestatelessstatlessStateful,on dependency on nfs v2 and v3Exported 资源所有的volumes 和 目录可以被export如何从客户端访问资源：1.必须在存储系统上export 2.在你的客户机上面mount资源两种方式export资源:/etc/exports exportfs commandThe/etc/exports file通过/etc/ex
24、ports文件导出资源,使用客户端可访问/etc/exports文件下包含被export资源的列表当你建立,重命名和删除volume的时候Date Ontap 自动:更新/etc/exports文件 export这些volumesExports文件的格式:resource export 选项/vol/exp1 -sec=sys,rw=client1Resource:被导出资源的全路径Export选项:被导出资源的属性 -root=list /具有root权限的主机 -rw=list /哪些主机可读写 -ro=list /哪些主机只读 -sec:/校证方式 -anon:/UID设置 Export
25、文件规则:可以export任何volume 存储系统必须可以解析主机名可以对导出的子目录与父目录使用不同的选项最长彼配例:/vol/vol1/pubs /所有主机可以读写此目录/vol/vol1/shares ro /所有主机对此目录为只读/vol/vol1/pubs rw=host1:host2:-host3 /host1和host2可以读写,host3与其它主机不可以/vol/vol1/home rw=host1:host2,ro /host1和host2可以读写,其它为只读Exporting to subnets and netgroupsFormat to export to subn
26、ets:-rw/ro/root=subnet_address/netmaskFormate to export to netgroups:-rw/ro/root=mynetgroup /编辑/etc/netgroup文件来定义netgroupExportfs command使用exportfs 命令来管理export资源；使用exportfs命令export的资源只保存在内存里，并没有被更新到/etc/exports文件里。Fromat:exportfs aiuv-o options pathnameExportfs /显示当前被export的资源Exportfs a /export/etc/
27、exports文件里所有的资源Exportfs i o /export一个实体Exportfs u pathname /unexports 一个资源Exportfs ua /unexports所有资源Exportfs av /打印详细信息Exportfs p /输入同时写到/etc/exports文件里Exportfs z /unexport所有资源，并注释Exortfs r /清空当前的exports,并重新加载练习：在netapp上面export文件，在主机端mount第七章CIFS管理CIFS 定义Common Internet File System(CIFS),是由Microsoft
28、开发的文件共享协议。CIFS工作的三种环境：windows group windows domain windows NT domain windows 2000 or later Non-windows unix clear text password workgroup /etc/passwd-style workgroupWindows Workgroup是一组逻辑的组校证在本机每个想访问些服务器资源时在此服务器上面必须有此用户的信息Windows Domain是网络上面的计算机逻辑的组，校证信息集中在一台计算机上面。每个域：有唯一的名字 集中校证用户信息设置CIFS的步骤：1.安装ci
29、fs license license add 2.设置cifs环境 cifs setup 3.管理cifs cifs shares cifs shares add cifs shares-delete cifs access cifs sessions cifs domainfo cifs terminate cifs restart 当cifs setup执行后，默认共享c$,etc$,HOMECifs 设置Options cifs.enable_share_browsing(on|off)练习第八章多协议访问使用/etc/usermap.cfg文件来实现利用nfs来访问cifs或者使用ci
30、fs 来访问nfs 文件系统。在一个环境里只有少量的UNIX或者一个环境里只有少量的Windows主机练习第九章SnapShots技术讲解Snapshot:是在一个时间点文件的一个快照，是指针的一个复制，这个快照的拷贝是只读的。Snapshot的特性：只读 不影响空间 是volume或者aggregate一个时间点的快照ABCDActive FileSnapShotABCDActive FileSnapShotCSnapShot优势:1.快速备份与恢复文件2.在线备分3.自动或手动备份4.快速建立5.节省空间SnapShot在volume与Aggregate下面:Volume:SnapShot
31、在一个专门的目录下面;用户可以自己恢复文件;最大255个snapshot copy.Aggregates 用户不能够通过客户端访问,只能通过snap命令访问 Snap 命令 Snap A /aggregate Snap V /volume Snap /如果没有指明,默认为volume snap create-A|-v volume_name snapshot name snap list-A|-V volume_name snap seched volume_name snap delete snap autodelete vol_name on|off|show|reset|help sna
32、p delta-A|-V vol_name snap snap snap reclaimable vol_name snap第十章SAN管理与ACTIVE/ACTIVE模式数据输入输出方式:File I/O Block I/OFile I/O 是依靠操作系统来提供文件的寻址，访问的是一个实体文件。好处是，可以为一个应用程序里提供不同类型文件的操作，例：Lotus Notes PowerPoint world/excelBlock I/O 在操作系统下面显示的是一个磁盘，是更底层的操作，操作更快，可以一次性取更多的数据。例：DB2/Informix/oracle/video Streaming
33、Storage Area Network(SAN)SAN：在存储上提供块访问的网络。SAN transfers data two ways:Bettween computer system and storage elements Among storage elementsNetapp支持两种不同的协议：Fibre channel protocol(FCP)internet small computer system interface(iSCSI)protocol两种协议封闭SCSI命令车行数据的传输FCP 与 iSCSI WAFL ArchitectureBlock ServiceSAN
34、NetworkFCPLANFCP连接方式：直连方式 SAN网络，单路径方式 SAN网络，多路径方式ISCSI连接方式：与网络方式有LUN定义：LUN（Logical Unit Number):存储上物理单元一个逻辑的表示 LUN收集多个磁盘为虚拟成一个磁盘 DATE ONTAP 管理LUN在BLOCK 级，不能够为filesystem提供服务 可以创建LUN用以提供主机的访问How to vies LUNs:主机上看LUN为一个磁盘，可以去格式化并管理它 在NETAPP SAN环境下：HOST 是initiators,存储系统定义为targetFile and DirectoriesQtree
35、File and DirectoriesLUNFile and DirectoriesQtreeLUNFile and DirectoriesLUNFile and Directories建立LUN：LUN setup Lun create Lun show访问LUN：Windows使用Windows Disk访问 Solaris host：sunlun command练习：iscsi多路径与ACTIVE/ACTIVE模式：演示第十一章QuotasQuotas 限制磁盘空间的使用CIFS 管理员必须创建/etc/passwd和/etc/group文件使用/etc/quotas文件来定义quota演示SnapRestore从一个Snapshot恢复一个文件.snap restore t vol path_and_volnameSnap restore t file path_and_file_name演示第三节SnapMirrorSnapMirror将一个卷或者一个qtree复制到另一个卷或者qtree 使用/etc/snapmirror.conf来定义第十三章系统状态检查系统性能监控 sysstat nfsstat cifsstat netstat,ifstat nfs_hist nfs-top stats statit netdiag wafl_susp pktt
