1、 1.1.项目概况叙述项目概况叙述2.2.项目方案讲解项目方案讲解3.3.问题？问题？4.4.解决方案解决方案服务器 UCS B UCS C 网络 N5K FI 6200 存储 NETAPP FAS系列聯強國際聯強國際3 VM/window IP 数据中心/内网 NAS IP聯強國際聯強國際4A、Netapp 存储控制器通过4条链路（每个控制器2条）连接至N5K；控制器A 通过e1a、e1b使用VPC 11 上联双跨到2台N5K的E1/1口控制器B 通过e1a、e1b使用VPC 12 上联双跨到2台N5K的E1/2口 B、FI-A使用本地1/31和1/32号端口通过VPC13上联双跨到2台N5
2、K（E1/31）FI-B使用本地1/31和1/32号端口通过VPC14上联双跨到2台N5K（E1/32）C、内网3750交换机本地2/0/5 和 2/0/6 使用VPC 15上联双跨到2台N5K（E1/28）D、2台N5K之间使用E1/27 作为VPC 的keeplive 线路，作为心跳线；2台N5K之间使用E1/29、E1/30 作为peer-link线路，使用portchannel；E、刀片每个IO 使用4条链路连接至每台FI的1-4口；聯強國際聯強國際5 整体项目可分割成4个部分：1、2台N5K为中枢互联服务器、存储、内网；2、一组Cluster FI6248+UCS 作为服务器部分；3
3、、Netapp FAS 系列作为存储部分；4、单独UCS C系列 单独机架服务器；聯強國際聯強國際6聯強國際聯強國際71、数据中枢，承接整体架构的数据转换；2、此架构中互联统一使用VPC架构，网关在N5K；聯強國際聯強國際81、开启feature功能feature telnetcfs eth distributefeature interface-vlanfeature hsrpfeature lacpfeature vpcfeature lldpVPC 配置1：建立VRF KL，将1/27口配置为VPC的peer-keepkive端口，并配上地址；vrf context KLinterfac
4、e Ethernet1/27description Nexus_5548P_A:e1/27no switchportvrf member KL ip address 1.1.1.1 255.255.255.252配置VPC 域并加入keeplive 源和目的vpc domain 100role priority 300peer-keepalive destination 1.1.1.2 source 1.1.1.1 vrf KL聯強國際聯強國際9VPC 配置2：建立2台5K之间的peer-linkinterface port-channel10 description vPC peer-lin
5、k switchport mode trunk spanning-tree port type network speed 10000 vpc peer-link#interface Ethernet1/29 description Nexus_5548P_B:e1/29 switchport mode trunk channel-group 10 mode active#interface Ethernet1/30 description Nexus_5548P_B:e1/30 switchport mode trunk channel-group 10 mode activeVPC 配置3
6、：建立VPC链路：interface Ethernet1/31switchport mode trunk channel-group 13 mode activeinterface port-channel13switchport mode trunk speed 10000 vpc 13VPC配置4：建立HSRPinterface Vlan31 no shutdown ip address 192.168.31.252/24 hsrp 1 priority 120 ip 192.168.31.254聯強國際聯強國際10刀片服务器部分：主要涉及FI初始化及刀片配置 第一台第一台FI初始化初始化
7、 第一台初始化完毕后，第二台只需要输出第一台FI的密码，就可以自动同步；2台FI之间需要 L1-L1、L2-L2 连接；Enter the configuration method.(console/gui)?console Enter the setup mode;setup newly or restore from backup.(setup/restore)?setup You have chosen to setup a new Fabric interconnect.Continue?(y/n):y Enforce strong password?(y/n)y:n Enter th
8、e password for admin:Confirm the password for admin:Is this Fabric interconnect part of a cluster(select no for standalone)?(yes/no)n:yes Enter the switch fabric(A/B):A Enter a system name:Cluster-Fabric-6248UP Physical Switch Mgmt0 IPv4 address:192.168.33.55 Physical Switch Mgmt0 IPv4 netmask:255.2
9、55.255.0 IPv4 address of the default gateway:192.168.33.254 Cluster IPv4 address:192.168.33.57聯強國際聯強國際11第二台第二台FI初始化初始化：Cisco UCS 6200 Series Fabric Interconnect Enter the configuration method.(console/gui)?console Installer has detected the presence of a peer Fabric interconnect.This Fabric intercon
10、nect will be added to the cluster.Continue(y/n)?y Enter the admin password of the peer Fabric interconnect:输入第一台FI的密码 Connecting to peer Fabric interconnect.done Retrieving config from peer Fabric interconnect.done 自动同步以下：Peer Fabric interconnect Mgmt0 IP Address:192.168.33.55 Peer Fabric interconne
11、ct Mgmt0 IP Netmask:255.255.255.0Cluster IP address :192.168.33.57需手动配置以下：Physical Switch Mgmt0 IPv4 address:192.168.33.56 Apply and save the configuration(select no if you want to re-enter)?(yes/no):yes Applying configuration.Please wait.聯強國際聯強國際121、登录至UCSMJava问题，建议使用火狐和java 6.0版本;2、配置机箱发现策略：聯強國際聯強
12、國際13聯強國際聯強國際14刀片的每个IO连接至每台FI的1-4口，所以每台FI的1-4口设置为server端口3、设置FI UPLink 口聯強國際聯強國際15将31-32口绑定层port-channel上联双跨之2台N5K聯強國際聯強國際16IP地址段地址段用途用途备注备注192.168.30.0/24业务2台N5K启HSRP需要3个地址，252-254，254作为虚拟地址；192.168.31.0/24业务2台N5K启HSRP需要3个地址，252-254，254作为虚拟地址；192.168.33.0/24设备管理及刀片管理每个刀片需要2个地址；一个给物理刀片，一个给刀片的CIMC管理；1
13、72.16.10.0/24内网互联2台N5K启HSRP需要3个地址，252-254，254作为虚拟地址；聯強國際聯強國際17 准备工作准备工作 准备Windows2008 IOS镜像 准备U 盘一个并到官网下载cisco UCS C系列驱动（提前下，大概4个G打包文件包含所有驱动）ucs-cxxx-drivers.1.5.7a 将UCS的管理接口连接至网络 给UCS连接上显示器、键盘、鼠标聯強國際聯強國際18开启按F8进入如下界面：进行初始化配置默认网卡模式是 shared LOM EXT，将其改成Dedicated；设置管理地址和密码聯強國際聯強國際19流程按照正常装系统即可，但是在如下见面
14、时需要导入对应的服务器配置的raid卡的驱动，之前需要提前下载，并解压找到对应的raid卡驱动；这一步需要多试几次，容易失败；聯強國際聯強國際201、问题：用户的UCS服务器无故重启，通过和CISCO tac 的交流及抓取相关信息在设备重启前后没有明显故障提示，只是发现IO模块的版本号与FI的版本不统一，怀疑是此导致的重启解决：按照CISCO的tac的建议，将FI、IO以及UCS全部升级统一版本后至今未发现重启，问题解决；下载好IOS包后按照官方config升级步骤即可；因为出场的的因为出场的的FI以及以及IO模块模块 UCS等部件可能是不同批次下单出厂的，整体的版本等部件可能是不同批次下单出厂的，整体的版本无法统一，建议在部署时统一其版本，否则会出现一些莫名错误；无法统一，建议在部署时统一其版本，否则会出现一些莫名错误；聯強國際聯強國際212、问题：UCS使用VIC虚拟网卡+扩展卡（40G），环境为VM；VM EXSI网卡无法协商到万兆，只能到千兆；强制万兆网卡报错；聯強國際聯強國際22问题解决：经过和问题解决：经过和CISCO 交流后发现，交流后发现，VM可以认到我们的可以认到我们的40G网卡，基本可排网卡，基本可排除我们的网卡设置问题；怀疑除我们的网卡设置问题；怀疑VM设置问题设置问题.聯強國際聯強國際23聯強國際聯強國際24聯強國際聯強國際25聯強國際聯強國際26
