1、北电PASSPORT设备应急预案 我省北电ATM网由25台PASSPORT 7K/15K设备组成，全网在用电路约1700余条，省级大客户100余户，是我省主用的ATM网。全网拓扑如下： 为保证北电PASSPORT设备大客户电路正常通信，且在故障发生时能够迅速进行业务抢通，故障定位，特制定如下应急预案：南昌一、 南昌JXNC15K01、JXNC07K01设备板卡情况JXNC15K0101234567CPCP4pOC3MmAtm4pOC3SmIrAtm16pOC3SmIrAtm16pOC3SmIrAtm1pOC12SmLrAtmNONE89101112131415NONENONE4pOC3SmIr
2、Atm4pOC3SmIrAtmNONENONENONENONEJXNC07K0101234567CP2pOC3MmAtm2NONE32pE1Msa32pE1MsaNONE89101112131415NONENONENONE2pEth100BaseT2pEth100BaseT2pEth100BaseT6pEth10BaseTCP二、处理流程图故障发现用户通信影响多个电路故障端口故障电源故障板卡故障中继故障机框故障用户通信影响单个FRATM电路ATM电路FRUNI电路仿真电路更换物理端口4PSmOC3故障4PMmOC3故障2PMmOC3故障供电系统故障电源模块故障16PSmOC3故障32PMSA故
3、障Trunk故障传输系统故障时钟不同步Fabric/Bus不同步机框不可用故障消除编写故障分析报告CP故障三、景德镇JXJDZ15K01、JXJDZ07K01设备故障场景设计1、 JXNC15K01 机框故障场景当机框出现时钟系统或交换矩阵不同步状态告警信息时，需对相关部件进行检查判断。A. 时钟（NS）不同步情况（1） 检查NS 的状态 d nsNSadminState = unlockedoperationalState = disabledusageState = idleclockSyncState = freeRunactiveReference =standbyReference
4、=（2） 检查NS 的配置 d -p nsNSprimaryReference = Lp/1 Sdh/0secondaryReference =tertiaryReference =useableReferences = notDegradedssmProtocol = disabled请注意上面结果的黑体部分“useableReferences = notDegraded”。这个参数意味着链路由于某种原因发生降质并表现为degraded 状态时，NS 将不在把该链路登记为一个可用的时钟参考源。因此，NS 就会把这种状态宣布为一个不可用状态，如上所示。对于上述的情况，可以在配置时钟参考源的时候
5、，更改useableReferences = enabled。如出现clockSyncState = synchronizing 信息，则按照如下步骤进行排查。 d p sw os pcsShowCards d sh ca/* ins, productcode d lp/x /* clocking d ns d p nsl 确认时钟线路没有发生环路l 对CP进行切换，指令switchover lp/0，并确定其状态 （此步骤将中断业务，慎用）clockSyncState=Synchronized 恢复，则说明是CP晶震故障clockSyncState=synchoronizing 未恢复，拨打
6、北电技术服务支持热线800-810-5000B 交换矩阵（Fabric）不同步情况交换矩阵由于运行中板卡或是服务链路的某些原因，会引起其工作不正常，导致其中一条不可用。（以fabric/x为例） lock sh fabric/x start sh fabric/x test 等到至测试完毕 unlock sh fabric/x如果总线在测试过程中非正常退出，需要更换新的交换矩阵或是机框，来解决此问题。C. 机框不可用情况当PASSPORT 15K单节点机框发生故障时，为保障下挂的7K节点用户能正常通信，可以采用7K节点临时上联其他邻近地市的15K节点方法解决。但这需要预先调配好5*6对155M
7、和做好网络规划、数据备份等工作。示意图如下：15K7K7K15KNCFZ参数配置参见北电附录：2、JXNC15K01 CP卡故障场景当CP卡出现红色告警显示灯，则说明CP卡出现硬件故障，但由于有备用CP卡，不影响节点正常通信，只需紧急更换损坏的CP卡即可。如果是文件系统不同步，则按下面操作步骤处理：文件系统（FS）不同步 文件系统正常情况d fsFsadminState = unlockedoperationalState = enabledusageState = activevolumeName = JXNC15K01activeDisk = Fs Disk/0syncStatus = S
8、ynchronizedsyncProgress = 100 %capacity = 4294770688 bytesfreeSpace = 2339176448 bytesusage = 45 %如果是新插入的CP 板卡，或是CP 板卡都正常，并且磁盘都可用，但是同步状态为不同步，可以使用同步命令进行同步操作： synchronize Fs d fsFsadminState = unlockedoperationalState = enabledusageState = activevolumeName = JXNC15K01activeDisk = Fs Disk/0syncStatus =
9、 SynchronizingsyncProgress = 1 % 直至同步到100，syncStatus 值为Synchronizedcapacity = 4294770688 bytesfreeSpace = 2339176448 bytesusage = 45 %如果出现不同步的情况，首先要对不能正常工作的CP 进行处理：对存在问题的CP 板卡进行重新启动，如0 槽的CP 板卡进行重新启动 reset sh card/0 （该步骤需技术支持确认同意方可实施）接下来，锁定0 槽CP 的磁盘，并检查测试状态 lock fs disk/0 disp fs disk/0 testFs Disk/0
10、 TestadminState = lockedoperationalState = disabledusageState = idletestCount = 1duration = 60 minutestype = filesystemCheckcauseOfTermination = neverStartednatureOfError = noErrorDetectedseverity = noErrorelapsedTime = 0 minutestestExecutionCount = 0ok 2005-01-04 15:56:29.43设置测试属性，开始测试 set fs disk/
11、0 test type diskRead start fs disk/0 test unlock fs disk/0如果无法恢复正常，由此得出结论，CP 板卡的磁盘损坏，需要及时更换磁盘。3、JXJDZ15K01 4pOC3Mm卡故障场景4POC3（多模）卡用于PASSPORT 15K与7K的155M互联中继，与PASSPORT 7K上的2POC3（多模）卡配套使用，设备编号位NTHR17DA。当该卡发生硬件损坏时，可以通过两种方式进行抢通。第一种方式，利用单多模转换器将PASSPORT 7K的2POC3（多模）卡通过单多模转换后与4POC3（单模）卡进行互联，在网管上进行数据更改。具体方式如
12、下图所示：SC-SC多模SC-SC多模PP 7KPP 15KPP 15KPP 7K多模多模多模单多模转换器多模单模SC-SC单模事先准备: A.平常准备好稳定的应急交流电源，可以方便地引到机架旁边，最好是从UPS或逆变器提供。B.平常单多模转换器上的两端光纤做好联接。C.从一个有空余端口的4P OC3上预设一个端口、做好数据配置和标记。操作步骤: A. 按右图示意，联上单多模转换器，激活4P OC3端口参数，确认客户业务恢复；B. 同时从备件中心调4P Mm OC3备件。C. 备件送达后，在与用户沟通确定时间后，将连接切换到新的4P Mm OC3上，确认客户业务恢复；D. 坏件送修并跟踪。E.
13、 向客户和上级部门提交故障情况报告。 第二种方式，利用传输设备进行故障抢通，具体方式如下所示：Passport7k多模转电口转换器DX10G传输设备Passport15K2M线（155M）155M多模光纤155M单模光纤操作步骤: A. 按上图示意，利用传输上多模转电口转换器经DX10G传输转成155M单模连接至PP 15K B. 同时从备件中心调4P Mm OC3备件。 C. 备件送达后，在与用户沟通确定时间后，将连接切换到新的4P Mm OC3上，确认客户业务恢复； D. 坏件送修并跟踪。 E. 向客户和上级部门提交故障情况报告。4、 JXJDZ15K01 4pOC3Sm卡故障场景 4PO
14、C3（单模）卡主要用于155M中继互联和155M用户接入，设备编号为NTHR21DA。板卡出现告警信息时，判断故障点。如传输中继没有问题，可先在网管上对板卡进行测试，或用尾纤对该板的各个端口进行自环测试。若自环仍有告警，则在厂家的远程指导下热插拔该板再次测试，测试仍有问题可先更换槽位测试，否则更换相应备用板先恢复通信。在备用板卡暂不到位情况下，可以将该板卡上电路割接至其他4POC3（单模）卡或16POC3板卡上，也可以利用单多模转换器割接至4POC3（多模）卡。中继故障处理与4pOC3Mm卡故障场景相同。1） 确认端口故障，还是板卡故障；2） 将故障板卡锁定，lock shelf card/4
15、，将4pOC3 板卡从槽道中拔出。3） 检查板卡物理状态，板卡进风口是否被大面积堵塞了。4） 清除后，再次插入原端口，观察。5） 如果问题依旧存在，将4pOC3 板卡从槽道中拔出。6） 选择一个新槽位，再将板卡插入到新槽位上，观察。7） 如果问题依旧存在，需要检查交换机运行温度。可以通过检查交换矩阵运行温度来检查交换机温度。命令为：disp sh fa/* oper8） 如果温度大于3235时，需要首先降低交换机运行温度。按照相应清除步骤对交换机进行除尘降温。9） 如果问题依旧存在，需要更换板卡。10） 坏件送修并跟踪。11） 向客户和上级部门提交故障情况报告。5、 JXJDZ15K01 16
16、pOC3Sm卡故障场景16POC3卡主要用于155M中继互联和155M用户接入，设备编号为NTHW21AA。该板卡出现异常时，可通过与4POC3（单模）卡相同的故障判断顺序进行故障定位。在备用板卡暂不到位情况下，可以将该板卡上电路割接至其他4POC3（单模）卡或利用单多模转换器割接至4POC3（多模）卡。中继故障处理与4pOC3Mm卡故障场景相同。1） 确认端口故障，还是板卡故障；2） 将故障板卡锁定，lock shelf card/5，将16pOC3 板卡从槽道中拔出。3） 检查板卡物理状态，板卡进风口是否被大面积堵塞了。4） 清除后，再次插入原端口，观察。5） 如果问题依旧存在，将16pO
17、C3 板卡从槽道中拔出。6） 选择一个新槽位，再将板卡插入到新槽位上，观察。7） 如果问题依旧存在，需要检查交换机运行温度。可以通过检查交换矩阵运行温度来检查交换机温度。命令为：display shelf fabric/* oper8） 如果温度大于3235时，需要首先降低交换机运行温度。按照相应清除步骤对交换机进行除尘降温。9） 如果问题依旧存在，需要更换板卡。10） 坏件送修并跟踪。11） 向客户和上级部门提交故障情况报告。6、 JXJDZ15K01 电源模块故障场景 北电PASSPORT设备电源模块采用2+1冗余备份保护模式供电。在正常情况下2块电源模块供电保证机框的正常运行，当其中一块
18、电源模块出现故障时，备份的电源模块会自动切换。当2块电源模块出现故障时，机框内部分板卡得不到正常供电，停止运行。操作步骤: A. 查看电源模块指示灯状态。亮绿色表示正常，亮黄色表示有告警，亮红色表示有故障。B. 更换故障电源模块，确认网管上无告警信息。C. 坏件送修并跟踪。D. 向客户和上级部门提交故障情况报告。7、 JXJDZ07K01 机框故障场景A. 总线（Bus）不同步情况查看总线Bus情况 disp sh bus/* jxnc07k01 d sh bus/*=|= #| JXNC07K01 JXNC07K01 | Shelf Bus/x Shelf Bus/y =|=(A)=(B)=
19、 1|adminState unlocked unlocked 2|operationalState enabled enabled 3|usageState active active 如Bus总线异常，可按以下操作步骤进行处理 lock sh bus/x start sh bus/x test 等到至测试完毕 unlock sh bus/x如果总线在测试过程中非正常退出，需要对节点进行进一步处理。准备该节点所需要的备用板卡。并报北电技术支撑要求进行支撑。A 机框不可用情况当PASSPORT 7K单节点机框发生故障时，为保障下挂用户能快速恢复通信，可以通过传输线路将用户接入至附近7K节点设备
20、上。示意图如下：15K7K7K15KNCFZ参数配置参见北电附录：8、 JXJDZ07K01 CP卡故障场景当CP卡出现红色告警显示灯，则说明CP卡出现硬件故障，但由于有备用CP卡，不影响节点正常通信，只需紧急更换损坏的CP卡即可。如果是文件系统不同步，同JXNC15K01方式处理。8、 JXJDZ07K01 2POC3Mm卡故障场景2POC3(多模)卡主要用于PASSPORT 7K设备上2M电路汇聚，与PASSPORT 15K设备互联，设备编号为NTNQ65AA。由于PASSPORT 7K设备上仅此一块互联板卡，当板卡出现损坏时，将造成PASSPORT 7K设备与15K设备的通信，发生全阻故
21、障。因此，该板卡发生故障时，只能等待备件的更换。9、 JXJDZ07K01 32P MSA E1卡故障场景MSA卡是一种32端口的E1接入板卡，设备编号为NTNQ69BA。它一般用于大客户分支网点的接入，接入带宽最高为2M。当该板卡出现端口故障时，可以将物理接入线路移到另外一个物理端口，并通过网管进行数据变更即可恢复。当判断整块物理板卡损坏时，可以通过更换物理备件恢复。如备件板卡暂不到位，可以将损坏板卡的电路割接至其他MSA卡空余端口。如没有其他MSA卡端口冗余，则只能通过其他网络方式（如36170网、SDH数字电路、迈普设备等）进行抢通。10、JXJDZ07K01 电源模块故障场景JXNC0
22、7K01设备出现电源模块故障，可参考JXNC15K01 电源模块故障场景处理。两者工作机制一样。A. 查看电源模块指示灯状态。亮绿色表示正常，亮黄色表示有告警，亮红色表示有故障。B. 更换故障电源模块，确认网管上无告警信息。C. 坏件送修并跟踪。D. 向客户和上级部门提交故障情况报告。11、 中继故障场景通常ATM 中继（Trunk）是ATM 接口下一条VC 电路。在Nortel MSS ATM 网络内，ATM 接口设定为PNNI。而与其它网络连接时，ATM 接口设定为IISP。其中VCI 和VPI 的值时可以随意设定，只要是在允许范围之内。中继（Trunk）构造和关联的示意图，如下：A.AT
23、M 中继（Trunk）状态是正常，有流量，但是用户电路无法迂回至此条中继上。1、首先检查ATM 中继（Trunk）的Atmif 下是否有PNNI 设置，并且在运行状态下正常。检查命令如下： d atmif/203 pnni rccAtmIf/23 Pnni RccadminState = unlockedoperationalState = enabledusageState = activetype = lowestLevelHorizLinknegotiatedVersion = version1point0helloState = twoWayInsideremoteNodeId = 2
24、8A045861941010104000F000000000090CFF5280028remoteNodeName = SHSHPP7K02remotePortId = 655361remoteInterfaceName = Atmif/10helloPacketsRx = 24339helloPacketsTx = 24368mismatchedHelloPacketsRx = 1badHelloPacketsRx = 0 d atmif/23 pnni sigAtmIf/23 Pnni SigadminState = unlockedoperationalState = enabledus
25、ageState = activelastTxCauseCode = 0lastTxDiagCode = 00lastRxCauseCode = 0lastRxDiagCode = 00currentConnections = 0peakConnections = 0successfulConnections = 0failedConnections = 0txPdus = 0rxPdus = 0currentPmpConnections = 0peakPmpConnections = 0successfulPmpConnections = 0failedPmpConnections = 02
26、、如果没有PNNI 部件，添加该部件，并激活。命令如下：PROV add AtmIf/xx PnniPROV check prPROV act prPROV save f（name）prPROV conf prPROV commit prPROV end pr3、如果有PNNI 部件，但是所显示状态不正常，需要再查看Atmif 下VC 状态： l atmif/200 vcc/*AtmIf/200 Vcc/0.184、以上结果说明端口上ATM PNNI 路由配置正常并加载成功，且产生了VCC/0.18 路由控制信道Rcc（RoutingControlChannel）电路，但是没有产生VCC/0.
27、5 信令Sig（Signalling）电路。原因是与对端相连接的ATM 端口没有配置加载PNNI 路由部件。5、登录到相应的远端交换机上，添加PNNI 部件并激活，问题可以解决。B. 正在使用的ATM 中继（Trunk）中断，且不可用。1、检查trunk 状态，查看trunk 状态是否正常；2、检查atmif 状态，查看atmif 状态是否正常；3、检查板卡状态，查看板卡状态是否正常；4、检查端口状态，查看端口状态是否正常；5、对端口进行测试（以OC3 为例）： lock lp/x sdh/y start lp/x sdh/y test disp lp/x sdh/y test d lp/2
28、sdh/0 test Lp/2 Sdh/0 TestadminState = unlockedoperationalState = enabledusageState = idlepurpose = ?type = manualfrmSize = 1024 bytesfrmPatternType = ccitt32kBitPatterncustomizedPattern = 55555555 HexdataStartDelay = 0 secondsdisplayInterval = 5 minutesduration = 1.00 minuteselapsedTime = 1.00 minu
29、testimeRemaining = 0.00 minutescauseOfTermination = testTimeExpiredbitsTx = 426614784bytesTx = 53326848frmTx = 52077bitsRx = 426614784bytesRx = 53326848frmRx = 520776、如果bitsTx 和bitsRx 的值一致，说明网络有物理环路。检查出环路位置，并拆除此环路。7、如果bitsTx 和bitsRx 的值不一致，可以在端口上做环路，确保光功率为接收范围为：-8db-28db，1310。再做测试。bitsTx 和bitsRx 的值必须
30、一致。否则端口存在问题。8、检查端口下vc4 或pa 部件状态，检场是否正常。 disp lp/x sdh/y vc4/0 或 pa/09、在atmif 下添加测试的vcc 电路进行测试，如下：PROV add atmif/x vcc/y.yyy test start atmif/x vcc/y.yyy test10、更换本节点中继光端口，例如：从3 槽0 口移动至4 槽1 口上：PROV disp atmif/30 interfacenameatmif/30 interfacename = lp/3 sdh/0 vc4/0PROV set atmif/30 interfacename lp/
31、4 sdh/1 vc4/011、登录到远端交换机上，对于相应的中继端口，依据上面19 的步骤顺序依次检查；12、更换到新的中继端口；13、再对有问题的端口和板卡做进一步排查和处理。C. 传输系统故障请传输部门进行故障查找，对重要电路进行路由迂回。路由迂回指令如下：12、 ATM电路故障场景ATM 业务由于涉及比较多的业务层面，因此在进行故障排除时相对其他业务的难度较大。我们在这里推荐根据ATM 业务层面来对ATM 业务进行逐层次的排查，更多细节请参考NPT：ATM Monitoring and Troubleshooting、 物理层的故障排除物理层的业务排除是指对承载ATM业务的各种业务板卡
32、或者端口，比如：STM-1、STM-4、2M，进行故障排除。要保障ATM业务层面上能够正常运行，我们必须首先确认物理层面的各种状态运行正常。 确认物理层运行正常这里我们以一台MSS 15000的STM-1端口为例说明物理层正常运行的各种状态，如下：11 d lp/13 sdh/2Lp/13 Sdh/2snmpOperStatus = upadminState = unlockedoperationalState = enabledusageState = busyavailabilityStatus =proceduralStatus =controlStatus =ala
33、rmStatus =standbyStatus = notSetunknownStatus = falselosAlarm = offlofAlarm = offrxAisAlarm = offrxRfiAlarm = offunusableTxClockRefAlarm = offtxAis = offtxRdi = offrunningTime = 21114489errorFreeSec = 21114489sectCodeViolations = 0sectErroredSec = 0sectSevErroredSec = 0sectLosSec = 0lineUnavailSec =
34、 0lineFailures = 0farEndLineErrorFreeSec = 21114489 secondsfarEndLineCodeViolations = 0farEndLineErroredSec = 0farEndLineSevErroredSec = 0farEndLineAisSec = 0farEndLineUnavailSec = 0farEndLineFailures = 0请注意上述输出中的黑体部分。AdminState、OperationalState 和UsageState 应该分别为unlocked、enabled、busy；所有的Alarm 应该为off
35、。若状态异常，则查看其他属性有何错误出现。只有消除了所有物理层的告警和非正常状态才能保证ATM逻辑层正常。 对故障端口进行环测（假定出现了ALARM）下图描述了关于端口测试的基本情形。这里我们介绍进行MANUAL环测的方法，MANUAL环测适合直接在端口或者从远端/近端传输向端口方向打环的情况，注意：在进行端口打环的时候一定要注意端口自身的收、发光功率，比如：2PortOC3Sm，必要时要给端口加一定的衰减器。下面是MANUAL具体的操作步骤：A、 锁定要被测试的端口，在运行模式执行lock lp/x e1/sdh/y # x指端口所在板卡的编号，y指端口号B、 设置测试的
36、参数set lp/x e1/sdh/y test type manual # manual 方式在端口外部打硬环或软环下使用set lp/x e1/sdh/y test duration 5 # 设置测试时间为5 分钟C、 开始测试start lp/x e1/sdh/y testD、 察看测试结果d lp/x e1/sdh/y testwatch lp/x e1/sdh/y test # 在EPIC 下动态察看测试结果E、 停止测试（在正常测试结束前停止测试）stop lp/x e1/sdh/y testF、 释放被锁定的端口unlock lp/x e1/sdh/yG、 拆除端口的物理环、 确
37、认ATM逻辑端口正常（察看ATMIF）d atmif/132AtmIf/132adminState = unlockedoperationalState = enabledusageState = busyavailabilityStatus =proceduralStatus =controlStatus =alarmStatus =standbyStatus = notSetunknownStatus = false. .txCellMemoryCongestionState = 3txLinkUtilization = 2 %rxLinkUtilization = 0 %. .dropp
38、edRxCells = 96945lastDroppedRxCellConnection = 5.112aal5RxErrors = 0lastAal5RxErrorConnection = 0.0aal5RxAborts = 0lastAal5RxAbortConnection = 0.0lrcFrameErrors = 0lastLrcFrameErrorConnection = 0.0AdminState 的状态应为unlocked；OperationalState 和UsageState 应该分别为enabled、busy；若状态为disabled、idle，则电路状态不正常；此时，可
39、进一步查看物理端口、卡板的状态。同时，请注意关于错误的各项统计值。、 测试虚电路（物理层、ATM逻辑端口都正常，虚电路异常），使用Test和Loop工具进行ATM链接测试，下图是Test和Loop的部件结构。 对外部非Passport 设备（例如：ATM 测试仪、其他厂商的ATM 设备）环（Loop） 在对应的VC 或VP 组件下加入Loop 环部件，例如非Passport 设备中虚电路与MSSATM 端口100 的VCC=0.99 相连add atmif/100 vcc/0.99 loop 使用Test 对与外部非Passport 设备相连的虚电路进行测试测试环境与上例相同，步骤如下add
40、atmif/100 vcc/0.99 test # 在对应的VC下添加Test 部件set atmif/100 vcc/0.99 test duration 5 # 设置测试时间为5 分钟start atmif/100 vcc/0.99 test # 启动测试display atmif/100 vcc/0.99 test # 察看测试watch atmif/100 vcc/0.99 test # 在EPIC 下使用watch观察stop atmif/100 vcc/0.99 test # 停止测试del atmif/100 vcc/0.99 test # 拆环 使用Test 和Loop 部件测
41、试Passport ATM网络中的链接例如：节点A 的ATM 端口100 与节点B 的ATM 端口200 直接相连，对应的VCC=0.999。在节点B 作环，节点A 测试。具体步骤如下：A、 节点A 的ATM端口100 下生成Test 测试部件add atmif/100 vcc/0.999 testB、 在节点B 的ATM端口下生成Loop 环部件add atmif/200 vcc/0.999 loopC、 在节点A 启动测试start atmif/100 vcc/0.999 testD、 在节点A 观察测试display atmif/100 vcc/0.999 testwatch atmif
42、/100 vcc/0.999 test # 在EPIC 下观察测试E、 在节点A 停止测试stop atmif/100 vcc/0.999 testF、 拆环del atmif/100 vcc/0.999 test # 在节点A删除Test 部件del atmif/200 vcc/0.999 loop # 在节点B删除 Loop 部件、 确认路由系统正常察看PNNI路由通道15 d atmif/133 pnni rccAtmIf/133 Pnni RccadminState = unlockedoperationalState = enabledusageState = activetype
43、= lowestLevelHorizLinknegotiatedVersion = version1point0helloState = twoWayInsideremoteNodeId = 24A045861941501203000F000000000090CF8D400024remotePortId = 5242881helloPacketsRx = 315674helloPacketsTx = 315744mismatchedHelloPacketsRx = 0badHelloPacketsRx = 0查看Pnni 路由控制信道的AdminState、OperationalState 和UsageState 应该分别为unlocked、enabled、active；尤其是helloState必须为twoWayInside。注意上面输出中的黑体部分。察看PNNI信令通道14 d atmif/133 pnni sigAtmIf/133 Pnni SigadminState = unlockedoperationalState = enabledusageState = activelastTxCauseCode = 41las
