1、1 1 1 1 1132目录目录4DS8000 硬件图示硬件图示DS8000 组件组件FramesFramesDS8000 体系架构体系架构将物理磁盘组成逻辑卷，提供给服务器使用，使得这些逻辑卷看起来像是物理磁盘一样DS8000 逻辑配置磁盘虚拟化逻辑配置磁盘虚拟化DS8000 逻辑配置层次逻辑配置层次One array site used to construct one RAID Array(8 DDMs)RAID 5,10,61 Array per Rank Rank can be CKD or FB1-N ranks in Extent PoolAssociated with Serv
2、er0 or Server1 Divided into ExtentsVolumes are made in Extent PoolDS8000 逻辑配置层次（续）逻辑配置层次（续）Volumes or LUNsMade up of extents from one extent poolMin size 0.1 GB or 1 cylinderMax size 2 TB(FB)56 GB(CKD)Associated with LSS during configurationVolume GroupContains LUNsand host attachments-FB LUN maskin
3、gOne host attachment(one port or port group)can be member of only one volume groupOne volume can be member of multiple volume groupsMultiple hosts(even different open systems server types)can be member of the same volume groupHostMultiple server ports can be specified(in one or more groups)in one ho
4、st definitionDS8000 逻辑配置逻辑配置ArrayAn array is created from one array site.Forming an array means defining it for a specific RAID typeRAID 5,10,6In the DS8000 current implementation,one array is defined using one array siteAccording to the DS8000 sparing algorithm,from zero to two spares may be taken
5、from the array siteAn array is formed using one array site and while the array could be accessed by each adapter of the device adapter pair,it is managed by one device adapterWhich adapter and which server manages this array are defined later in the configuration pathD1,D2,D3,and so on,stand for the
6、 set of data contained on one disk within a stripe on the arrayIf,for example 1 GB of data is written,it is distributed across all the disks of the arrayArray Site,Array 配置示例配置示例DS8000 逻辑配置逻辑配置RankWhen a new rank is defined,its name is chosen by the DS Storage ManagerFor example:R1,R2,or R3,and so o
7、nYou have to add an array to a rankProcess of forming a rank:The array is formatted for either FB(open systems)or CKD(zSeries)data.This determines the size of the set of data contained on one disk within a stripe on the array.The capacity of the array is subdivided into equal sized partitions,called
8、 extents.The extent size depends on the extent type,FB or CKDOne extent is the minimum physical allocation unit when a LUN or CKD volume is createdDS8000 逻辑配置逻辑配置Extent PoollAn extent pool is a logical construct to aggregate the extents from a set of ranks to form a domain for extent allocation to a
9、 logical volumelSame RAID type and the same disk RPM characteristicslSo that the extents in the extent pool have homogeneous characteristicslNo predefined affinity of ranks or arrays to a storage serverlThe affinity of the rank(and its associated array)to a given server is determined at the point it
10、 is assigned to an extent poollWhen assigned to extent pools ranks are organized in two rank groups:lRank group 0 is controlled by server 0lRank group 1 is controlled by server 1lOne or more ranks with the same extent type can be assigned to an extent poollOne rank can be assigned to only one extent
11、 pool.lThere can be as many extent pools as there are ranks.lAt least two extent pools(one per server to balance the activity)of each typelCKD or FBlAdditional extent pools may be used to segregate ranks with different DDM typesDS8000 逻辑配置逻辑卷逻辑配置逻辑卷lA logical volume is composed of a set of extents f
12、rom one extent pool.lOn a DS8000,up to 65280 volumes can be createdDS8000 逻辑配置逻辑配置LSSlA logical subsystem(LSS)is another logical construct.It groups logical volumes,LUNs,in groups of up to 256 logical volumes.lLSSs also have an affinity to the servers.lAll even-numbered LSSs(X00,X02,X04,up to XFE)be
13、long to server 0lAll odd-numbered LSSs(X01,X03,X05,up to XFD)belong to server 1.DS8000 逻辑配置逻辑配置LSS 示例示例DS8000 逻辑配置逻辑配置Host AttachmentlMultiple server ports can be specified(in one or more groups)in one host definitionlEach host attachment can be associated with a volume group to define which LUNstha
14、t HBA is allowed to access.Multiple host attachments can share the same volume group.DS8000 逻辑配置逻辑配置Volume GrouplMaps LUNsto server ports or port groupslFB LUN maskinglLUN masking at VG level,not LUN levellSpecific host attachment can be in only one volume grouplOptions for shared accesslPlace hosts
15、 in separate volume groups and shared volumes in multiple volume groupslPlace shared volumes and multiple hosts in single volume grouplOne Host port/port group can be member of one volume grouplOne Volume can be member of more than one volume grouplMore than one host(even different open systems serv
16、er types)can be member of one volume groupDS8000 逻辑配置总结逻辑配置总结18181818182目录目录1919191919建立存储容灾重要性建立存储容灾重要性无法预知的 IT 硬件设备的损坏、断电、火灾、自然灾害、恐怖袭击等，造成数据丢失或业务的突然中断；系统人员误操作造成意外宕机或关键数据丢失，无法避免；手段频多的黑客攻击、病毒入侵、垃圾邮件、网络与系统的漏洞，造成网络瘫痪、系统崩溃。l一旦发生灾难(洪水、地震、火灾等)，或者人为灾难(用户失误、磁盘失效等)导致数据丢失或者业务中断时，能够快速、及时地恢复数据，保证业务的连续运行。l提高系统可
17、用性，增加业务的可持续性，减少关键业务应用程序受故障影响l在灾难和不可预知事件发生后，最快恢复关键业务数据，保障业务运营持续性DS8000 容灾技术介绍容灾技术介绍 IBM 企业级存储容灾解决方案通过IBM System Storage DS8000 企业级高端磁盘存储系统，结合IBM 特有的数据复制技术Metro Mirror(同步的数据复制)和 Global Mirror(异步的数据复制)，在两套或多套DS8000 磁盘存储设备间建立数据复制关系从而实现高可用性，在数据存储方面提高IT 基础架构的整体可用性。方案配合Power 服务器AIX 操作系统的特色软件PowerHA/XD 及IBM
18、 全面的业务连续性计划配套服务，建立完善的灾难备份中心，从而保证关键数据的可恢复性与业务应用的可持续性远程数据同步复制技术-Metro MirrorPPRC 的同步实现机制1）在生产系统中的应用程序将数据写到生产系统的磁盘。2）生产系统中心的磁盘数据传输到备份中心的磁盘3）当生产数据都写入备份中心存储设备后，备份磁盘将写完操作信息返给生产磁盘4）生产系统收到灾备系统传回的已写信息之后，生产机的磁盘系统通知主机该写操作已完毕。#现在同步复制技术 PPRC 已经正式改名为Metro Mirror同步数据复制零数据丢失支持最远303公里数据写入后备存储返回写操作完成信息返回数据写入成功信息数据写入存
19、储远程数据异步复制技术（保证一致性）-Global MirrorPPRC-XD 的异步机制1)在生产系统中的应用程序将数据写到生产系统的磁盘。2)当数据完全写入生产中心存储设备后，I/O完成的信息会返给生产主机，当生产系统收到磁盘系统传回的已写信息之后，生产系统应用继续执行，即可以进行下一步操作。3)备份机磁盘数据复制，备份磁盘复制生产系统数据。生产磁盘会定期把已经改变了的数据传输到备份中心的磁盘。4)当数据已经写入备份中心存储设备后，写完操作信息会返回给生产磁盘，生产中心的磁盘系统认为此次操作完成异地 RPO 最短 3-5 秒，无距离限制，保证数据一致性。数据写入存储返回数据写入成功信息本地
20、数据复制技术本地数据复制技术 FlashCopy FlashCopy 提供一个“时间点”的拷贝服务功能，从源卷到目标卷快速地复制数据。逻辑拷贝通常可以在数秒时间内完成，然后就释放源卷，进行正常工作。而物理拷贝操作在后台进行当物理拷贝进行过程中，拷贝和被拷贝数据都能被使用PPRC、flashcopy技术的结合技术的结合A-B做PPRC,B是不能被服务器访问的，为充分利用灾备中心的设备，DS8000 FlashCopy 功能可以对B进行一份或多分快照，用于系统查询、批处理、测试。DS8000 容灾解决方案介绍容灾解决方案介绍-两地三中心方案两地三中心方案DS8000 容灾解决方案介绍容灾解决方案介
21、绍 -存储存储HA+异地灾备异地灾备(HA+GM)27272727273目录目录东四现有存储东四现有存储序号序号型号型号序列号序列号IP地址地址物理位置物理位置1DS8100IBM.2107-75APML110.12.30.119东四6层机房2DS8300IBM.2107-75BYYC110.12.30.120东四6层机房3DS8100IBM.2107-750019110.12.30.84东四6层机房4DS6800IBM.1750-6806062132.77.121.179东四6层机房5DS8300TIBM.2107-75DMLN110.12.70.130金盏4层机房东四容灾系统东四容灾系统序
22、号系统生产端存储容灾端存储容灾类型1IBS帐务系统DS6_DS8100JZ_DS8300T应用级2IBS收费系统DS6_DS8100JZ_DS8300T应用级3IBS统计库系统DS6_DS8100JZ_DS8300T数据级4综合结算系统DS6_DS8100JZ_DS8300T数据级5ERP系统DS6_DS8100JZ_DS8300T数据级6IBS综合接口机系统DS6_DS8100JZ_DS8300T数据级7IBSOD系统DS6_DS8300JZ_DS8300T应用级8IBS汇集系统DS6_DS8300JZ_DS8300T应用级9IBS计费系统DS6_DS8300JZ_DS8300T应用级10一
23、卡充数据库系统DS6_DS8300JZ_DS8300T数据级11一卡充物理节点系统DS6_DS8300JZ_DS8300T数据级12税控系统DS6_DS8300JZ_DS8300T数据级13综合积分系统DS6_DS8300JZ_DS8300T数据级14IOM系统DS8_DS6800JZ_DS8300T应用级15CSMDS8_SUN9990JZ_SUN9990T应用级北京联通容灾拓扑图北京联通容灾拓扑图3131313131目录目录4DS8000逻辑配置步骤1.安装激活许可2.配置IO卡，定义IO的类型.3.创建arrays.配置arrays的raid类型（raid5.raid10,radi6)4
24、.创建 ranks.5.创建 extent pools.配置extent pool 的server(Server 0 or Server 1)，并指定rank到extent pool.6.创建LUN,定义lun类型(FB,CDK)7.创建volgrp8.创建主机连接关系安装许可1.通过DSCLI下的lskey命令，查看许可证状态2.通过applykey命令，安装许可证3.通过lskey验证配置I/O端口1.通过lsioport命令，检查端口的状态2.通过setioport命令，设置端口状态 dscli setioporttopology scsi-fcpI0000创建Array1.通过lsar
25、raysite命令检查DS8000上安装的Arraysite2.通过mkarray命令创建Array创建Array3.通过lsarray命令验证创建的Array创建Rank1.在创建Array的基础上，通过mkrank命令创建Rank2.通过lsrank命令验证已创建的Rank创建ExtpoolExtpool，并指定，RankRank到Extpool1.通过mkextpool命令验证创建的Extpool2.通过lsexptool命令查看Extpool，确认其ID创建ExtpoolExtpool，并指定，RankRank到Extpool3.通过chrank命令，将Rank指定到Extpool4.
26、通过lsexptool命令查看Extpool，可以看到Extpool的容量创建标准的FB卷1.适用于单个Rank的Extpool情况2.通过mkfbvol命令，创建FB卷3.通过lsfbvol命令，检查创建好的卷创建在存储池中条带化的FB卷1.适用于多个Rank的Extpool情况2.通过mkfbvol命令，创建FB卷，注意eamrotateexts参数3.通过lsfbvol命令，检查创建好的卷创建 Volume Group1.确定需要连接的主机类型scsimap256 或是scsimask创建 Volume Group2.通过mkvolgrp命令，创建VG3.通过showvolgrp命令，查
27、看VG中的卷创建 Volume Group4.通过chvolgrp命令，修改VG中的卷创建主机连接，并指定VG到相应的主机连接1.通过mkhostconnect命令，创建主机连接 建立hostconnect连接时，选择存储Ioport时尽量选择不同IO卡的口，防止IO卡故障造成连接不可用。mkhotconnect-wwnameC9846593-profile IBM pSeries-AIX-volgrp V9-ioport I0202 p570_ZHJFDB1_FCS1mkhotconnect-wwnameC9846593-profile IBM pSeries-AIX-volgrp V9-i
28、oport I0203 p570_ZHJFDB1_FCS1mkhotconnect-wwnameC984507D-profile IBM pSeries-AIX-volgrp V9-ioport I0332 p570_ZHJFDB1_FCS2mkhotconnect-wwnameC984507D-profile IBM pSeries-AIX-volgrp V9-ioport I0333 p570_ZHJFDB1_FCS2mkhotconnect-wwnameC984659E-profile IBM pSeries-AIX-volgrp V9-ioport I0202 p570_ZHJFDB2
29、_FCS1mkhotconnect-wwnameC984659E-profile IBM pSeries-AIX-volgrp V9-ioport I0203 p570_ZHJFDB2_FCS1mkhotconnect-wwnameC984644D-profile IBM pSeries-AIX-volgrp V9-ioport I0332 p570_ZHJFDB2_FCS2mkhotconnect-wwnameC984644D-profile IBM pSeries-AIX-volgrp V9-ioport I0333 p570_ZHJFDB2_FCS22.通过lshostconnect命令
30、，Name ID WWPN HostType Profile portgrp volgrpID ESSIOport=p570_ZHJFDB1_FCS1 C9846593-IBM pSeries-AIX 0 V9 I0202p570_ZHJFDB1_FCS1 C9846593-IBM pSeries-AIX 0 V9 I0203p570_ZHJFDB1_FCS2 C984507D-IBM pSeries-AIX 0 V9 I0332p570_ZHJFDB1_FCS2 C984507D-IBM pSeries-AIX 0 V9 I0333p570_ZHJFDB2_FCS1 C984659E-IBM
31、 pSeries-AIX 0 V9 I0202p570_ZHJFDB2_FCS1 C984659E-IBM pSeries-AIX 0 V9 I0203p570_ZHJFDB2_FCS2 C984644D-IBM pSeries-AIX 0 V9 I0332p570_ZHJFDB2_FCS2 C984644D-IBM pSeries-AIX 0 V9 I03333.通过chhostconnect命令，可以修改指定的VG多路径管理软件多路径管理软件 Subsystem Device Driver(SDD)SUN StorEdgeTraffic Manager for SUN Solaris.HP
32、 PVLinksfor HP-UX.IBM AIX native multipathingI/O support(MPIO).IBM i5/OS V5R3 multipathsupport.In addition,there are third-party multipathingsolutions,such as VeritasDMP,which is part of VeritasVolume Manager建立PPRC步骤1、确定生产端、容灾端lun已建立 lun对应关系原则，两端lun的大小、id最好一样。lss分配原则，按系统分类，给每个系统分配特定的LSS，根据存储整体规划2、确定
33、生产端与容灾端的物理链路存在3、建立PPRCpath,并修改lss属性。pprcpath是建立在物理链路的基础上的逻辑链路。每条物理链路最多能建256条逻辑链路。pprcpath的通信是基于LSS每个LSS最多对应4个LSS东四lss属性timeout 为30秒4、建立pprc关系确定容灾LUN对应关系以综合结算系统为例生产端存储：东四数据保护DS8100 容灾端存储：金盏DS8300T生产端LUN:7800-7805,7810-7815,7820-7826,7830-7832,7900-790,7910-7915,7920-7926,7930-793容灾端LUN:7800-7805,7810
34、-7815,7820-7826,7830-7832,7900-790,7910-7915,7920-7926,7930-793确定可用的物理链路可以通过 lsavailpprcport 命令查询1、首先要先查询到两端的设备id 和设备的 wwwn号，可以用 lssi命令查询到/*PPRC from shujubaohu_DS8100 to DR_DS8300T*/+shujubaohu:DS8100:IBM.2107-75APML104FFC044+DR_DS8300T:DS8300:IBM.2107-75DMLN105FFC243+2.输入lsavailpprcport 命令lsavailp
35、prcport-dev IBM.2107-75APML1-remotedev IBM.2107-75DMLN1-remotewwnn05FFC243-fullid 78:783、输出结果Local Port Attached Port Type=IBM.2107-75APML1/I0033 IBM.2107-75DMLN1/I0030 FCPIBM.2107-75APML1/I0233 IBM.2107-75DMLN1/I0130 FCP建立pprcpath1、用mkpprcpath命令建立pprcpathmkpprcpath-dev IBM.2107-75APML1-remotedev IB
36、M.2107-75DMLN1-remotewwnn05FFC243-srclss 78-tgtlss 78 I0033:I0030 I0233:I0130mkpprcpath-dev IBM.2107-75APML1-remotedev IBM.2107-75DMLN1-remotewwnn05FFC243-srclss 79-tgtlss 79 I0033:I0030 I0233:I0130pprcpath方向是单向的，如果要建立反向的pprcpathf需要在对端存储上建立pprcpath.2、用lspprcpath命令查询 修改LSS属性1、用chlss命令修改chlss-dev IBM.
37、2107-75APML1-pprcconsistgrp enable-extlongbusy 30 78chlss-dev IBM.2107-75APML1-pprcconsistgrp enable-extlongbusy 30 792、用showlss 命令查看建立PPRC关系1、用mkpprc命令建立pprc关系mkpprc-dev IBM.2107-75APML1-remotedev IBM.2107-75DMLN1-type mmir 7800-7805:7800-7805 7810-7815:7810-7815 7820-7826:7820-7826 7830-7832:7830-
38、7832 7900-7905:7900-7905 7910-7915:7910-7915 7920-7926:7920-7926 7930-7932:7930-7932-type 参数是控制pprc的类型，mmir为同步，gcp为异步。-dev 参数为生产端设备id-remotedev 参数为容灾端设备id2、通过lspprc命令可以查看PPRC的状态lspprc-dev IBM.2107-75APML1-remotedev IBM.2107-75DMLN1-l 7800-7805:7800-7805 7810-7815:7810-7815 7820-7826:7820-7826 7830-7
39、832:7830-7832 7900-7905:7900-7905 7910-7915:7910-7915 7920-7926:7920-7926 7930-7932:7930-7932刚执行完命令时，pprcr的状态为 copy-pending,在后台进行同步，当所有数据同步完成后的状态为 full-duplex。建立PPRC关系生产端向容灾端存储切换步骤 -数据级容灾1、停止生产端应用2、停止生产端主机环境3、failoverpprc，从生产端切到容灾端（在容灾端操作）4、建立容灾端到生产端pprcpath（在容灾端操作）5、failbackpprc，从容灾端同到生产端（在容灾端操作）6、
40、容灾端存储对生产端主机授权7、启动生产端主机环境8、启动生产端应用注:第4、5步为在生产端存可用的情况，如果生产端存储不可用,此步骤不执行。#以上步骤为在zone通道已打通的情况failoverpprcfailoverpprc在灾备端转换备份卷为主卷建立反向的Metro Mirror关系，此时LUN的对应关系为Suspended状态，数据并未反向同步。1、前提条件,生产端已跟容灾端建立PPRC关系2、-dev参数为容灾端的设备ID，-remotedev参数为生产端设备ID3、LUN对应关系为 容灾端LUN对应生产端LUNfailoverpprc生产端LUN关系容灾端LUN关系failoverp
41、prc在灾备端执行Failoverfailbackpprc在灾备端执行Failbackfailbackpprc将数据拷贝回原有的生产卷1、先决条件是在容灾端执行failoverpprc命令2、已建立容灾端到生产端pprcpath通道3、在容灾端执行failbackpprc命令4、-dev 参数为容灾端设备ID,-remotedev 为生产端设备ID5、LUN对应关系为容灾端对应生产端LUN容灾端到生产端存储回切步骤 -数据级容灾1、停止生产端应用2、停止生产端主机环境3、failoverpprc 从容灾端回切到生产端（在生产端操作）4、建立生产端到容灾端pprcpath（在生产端操作）5、fa
42、ilbackpprc 从生产端数据同步至容灾端（在生产端操作）6、生产端存对生产端主机授权7、启动生产端主机环境8、启动生产端应用注:此时生产端存储为可用，pprc的方向为：容灾端-生产端。#以上步骤为在zone通道已打通的情况生产端向容灾端存储切换步骤 -应用级容灾1、停止生产端应用2、停止生产端主机环境3、failoverpprc，生产端切换到容灾端（在容灾端操作）4、建立容灾端到生产端pprcpath（在容灾端操作）5、failbackpprc 从容灾端同步到生产端（在容灾端操作）6、容灾端存储对容灾端主机授权7、生产端网络切换到容灾端8、启动容灾端主机环境9、启动容灾端应用注:第4、5
43、步为在生产端存可用的情况，如果生产端存储不可用,此步骤不执行。#以上步骤为在zone通道已打通的情况容灾端向生产端存储回切步骤 -应用级容灾1、停止容灾端应用2、停止容灾端主机环境3、failoverpprc 从容灾端切换到生产端（在生产端操作）4、建立生产端到容灾端pprcpath（在生产端操作）5、failbackpprc 从容灾端同步到生产端（在生产端操作）6、生产端存储对生产端主机授权7、网络从容灾端回切到生产端8、启动生产端主机环境9、启动生产端应用注:此时生产端存储为可用，pprc的方向为：容灾端-生产端。#以上步骤为在zone通道已打通的情况练习练习-建立数据级容灾脚本建立数据级
44、容灾脚本主机主机/存存储储位置位置HBAWwwnSAN交换机交换机IOZonelsanTEST1东四6层fcs0aaaaaaaaaaaaaa01DS6-M48-1-zone1zone5东四6层fcs1aaaaaaaaaaaaaa02DS6-M48-2-zone2zone6TEST2东四6层fcs0aaaaaaaaaaaaaa03DS6-M48-1-zone3zone7东四6层fcs1aaaaaaaaaaaaaa04DS6-M48-2-zone4zone8DS8100东四6层-DS6-M48-1IO0001zone1、zone3-东四6层-DS6-M48-1IO0201zone1、zone3-东
45、四6层-DS6-M48-2IO0101zone2、zone4-东四6层-DS6-M48-2IO0301zone2、zone4-DS8300T金盏-JZ-M48-1IO0002-Zone5、zone7金盏-JZ-M48-1IO0202-zone5、zone7金盏-JZ-M48-2IO0102-Zone6、zone8金盏-JZ-M48-2IO0302-Zone6、zone8练习练习-建立数据级容灾脚本建立数据级容灾脚本#所有zone通道都已打通练习练习-建立数据级容灾脚本建立数据级容灾脚本生产端生产端容灾端容灾端设备IOIO设备DS6_DS8100I0033I0030JZ_DS8300TDS6_D
46、S8100I0233I0130JZ_DS8300Tpprc通道1、分别在东四、金盏建立两个128G，FB类型的LUN:8000,8001。假定东四extend pool p0，金盏extend pool p18有足够的空间2、分别在东四、金盏建立volume group，并将这两个加入volgrp3、东四存储给东四主机授权4、建立东四到金盏pprc5、存储从东四切换到金盏6、金盏存储给东四主机授权7、存储从金盏回切到金盏练习练习-建立数据级容灾脚本建立数据级容灾脚本1、分别在东四、金盏建立两个128G，FB类型的LUN:8000,8001。假定东四extend pool p0，金盏extend pool p18有足够的空间2、分别在东四、金盏建立volume group3、东四存储给东四主机授权4、建立东四到金盏pprc5、存储从东四切换到金盏6、金盏存储给东四主机授权7、存储从金盏回切到金盏谢谢大家！谢谢大家！66
