1、数据中心机房环境设计目录n数据中心环境面临的挑战n数据中心设计标准n数据中心基础架构设计nH3C数据中心解决方案布线实践n中小型数据中心机房建设实例数据中心IT设施正在发生变化，传统的数据中心环境已不能满足要求：n刀片服务器单机柜8084个服务器30KW功耗n1U系统端口密度高发热量大自重大n存储设备700,900,1100+kgs问题的引入数据中心环境面临的挑战典型问题：n空间n散热n结构化配线n电源n承载目录n数据中心环境面临的挑战n数据中心设计标准n数据中心基础架构设计nH3C数据中心解决方案综合实践n中小型数据中心机房建设实例数据中心业界标准介绍ANSI/TIA-942Telecomm
2、unications Infrastructure Standard for Data CentersTIA/EIA 568Copper&FiberCablingTIA/EIA 569Pathways&SpacesTIA/EIA 606AdministrationTIA/EIA 607Grounding&BondingASHRAECooling/HVACUptime InstituteIEEE 1100ITE Grounding国内相关标准：u数据中心布线系统的设计与施工技术白皮书 uGB50174-2008电子信息系统机房设计规范数据中心分级(TIA-942)Tier I基本Tier II冗
3、余单元Tier III可并行维护Tier IV容错可用性99.671%99.749%99.982%99.995%每年IT 服务中断时间28.8小时22.0小时1.6小时0.4小时建筑类型租用租用自建自建线路冗余NN+11主1备双主面积功率(w/ft)20304050100+150+多运营商线路否否是是主干线缆冗余否否是是水平配线冗余否否否可选供电线路1路1路1主1备2路热备UPS冗余NN+1冗余N+1冗余2N冗余注：数据中心的定级取决于整个系统中最低等级的部件数据中心电信空间与大楼其它空间关系建筑物场地大楼外墙普通办公空间数据中心外的电信和设备空间数据中心（电信空间）机 房维护人员办公空间接入
4、室（ER）机电设备机房UPS/HVAC等运营监管中心Storage Rooms&Loading Docks数据中心内的通信室TIA-942数据中心逻辑结构图接入室 RM总配线区MDA路由器、核心LAN/SAN交换机、PBX等接服务商网或园区接服务商网或园区水平配线区HDALAN/SAN/KVM交换机机 房水平配线区HDALAN/SAN/KVM交换机水平配线区HDALAN/SAN/KVM交换机水平配线区HDALAN/SAN/KVM交换机设备配线区 EDA机架/机柜设备配线区 EDA机架/机柜设备配线区 EDA机架/机柜设备配线区 EDA机架/机柜通信室TR办公&操作中心的LAN交换机运维办公室、
5、办公、操作中心主干电缆主干电缆主干电缆主干电缆主干电缆主干电缆水平电缆水平电缆水平电缆区域配线区 ZDA水平电缆水平电缆水平电缆典型数据中心布局接入室 RM接入服务商网或园区网总配线区 MDA水平配线区 HDA设备配线区 EDA主干电缆水平电缆通信室 TR机柜机柜机房 Computer Room机柜机柜机柜机柜机柜机柜MDAEDAEDA关于MDA/ZDA/EDAZDA水平电缆EDA机架EDA的一个机柜ZDA的电缆配线口MDA的一个机柜采用简化型布线结构的数据中心机房平面图EDAEDAEDAEDAEDAZDAMDA服务器水平电缆（90M）TOR 交换机服务器配线板LAN 交换机服务器水平电缆（9
6、0M）服务器EDA 通过 ZDA 同 HAD 连接配线板区域配线区ZDA水平配线区HDA设备配线区EDACP/ZOEDA 直接 同 HAD 连接跳线设备配线区EDA配线板跳线跳线服务器服务器HAD/ZDA/EDA的连接关系目录n数据中心环境面临的挑战n数据中心设计标准n数据中心基础架构设计nH3C数据中心解决方案综合实践n中小型数据中心机房建设实例 数据中心基础架构设计 数据中心的选址 数据中心的空间计算 数据中心结构设计 数据中心的供电系统设计 数据中心散热设计 其他数据中心选址需要考虑三点内容：远离危险：地震，冰风暴，飓风，龙卷风，洪水，滑坡，火灾，污染，电磁干扰，震动（运输过程中），政治
7、环境，飞机航道等；评估数据中心地点：易于到达；满足灾难恢复的要求（多中心间合理的距离）；已有的结构（供电系统，空调系统，结构化布线系统，空间，承重，装卸平台，货运电梯，可能存在隐患的区域，核心区域分散布置）确保数据中心未来发展和变化的需求数据中心空间计算决定数据中心空间大小的几个因素：数据中心支持的人数数据中心放置的服务器和其他设备的数量和类型数据中心除服务器区外的区域的空间；确定数据中心空间大小的两种方法：基于人数的计算方法：通过数据中心需要支持的人数来决定数据中心的大小基于设备的计算方法：通过数据中心计划购买的网络设备，服务器和其他必须购买的设备的尺寸来计算数据中的大小EmployeesA
8、pproximate Data Center SizeFewer than 1001 square meter per employee2002500.5 square meter per employee4005000.4 square meter per employee150060000.2 square meter per employee15,0000.1 square meter per employee参考Build the Best Data Center Facility for Your Business 公司主机房面积机柜每机柜平米中石化CNPC勘探院(new)30009
9、003.3中石化大厦四层总部机房22003256.8Google Dalles1858090902.0Cisco Richardson314411512.7Oracle Austin761822803.3北京电信兆维机房1400040003.5uStep1:根据业务持续发展要求，规划出未来510年的对服务器数量的需求；uStep2:考虑到供电及散热，单机柜功率35KW，规划时建议不超过4KW。根据服务器的功率(PC服务器正常功耗300500W)计算出机柜的数量，推荐每个机柜放置810台PC服务器。uStep3:中型数据中心机房的面积在200500平方米，服务器机柜数量约为50200个，折合每个
10、机柜占地面积34平方米。附：机房面积与机柜数据参考数据中心空间计算2设备计算法数据中心的机柜(设备)布局数据中心划分：划出栅格，将数据中心所需部件与栅格对齐；数据中心设备放置顺序：先放置所需的基本部件，例如：电源，空调，灭火器瓶等；过道空间：要充足，避免过小的过道带来运输的问题：服务器放置方式：按服务器类型或者功能放置；地板承重：满足未来不断增加的需求；布局不合理布局合理设计数据中心布局需要注意的问题：数据中心的走线方式1-下走线地板下走线 数据线，电源线和冷风管道从数据中心架空的地板下安装；应用场景大部分数据中心优点 冷气从地板送入机架，热气从数据中心顶部抽走，有利于热循环；数据线、电源线安
11、装在地板下，避免直接接触，更加安全；同时地板布线便于维修；结论：顶部布线：小型数据中心（小于100平米），并且高度有限，建议采用顶部布线；地板布线：大小数据中心建议采用地板布线更加利于散热，并便于维修。数据中心机房的高架地板地板下装电缆比架在空中的电缆便宜，也更好安装，也更美观；大多数直接放在地板上的主机系统/大服务器，都是设计成地板走线的；电缆应该被放在电缆槽中铺设，最好采用“电缆筐”而不是电缆槽，因为电缆槽容易影响空气流动；光缆和铜缆要分开铺设；电源电缆和双绞线电缆要分卡铺设；电源电缆部署在冷通道下，通信电缆部署在热通道下；如果没有预先的规划，地下电缆槽可能阻塞空气的流动；上图是高度0.9
12、1M(36英寸)的高架地板下的景象数据中心的走线方式2-上走线应用场景应用于中小型数据中心优点投资低于地板走线方式，占用地板空间少，利于小型数据中心；缺点冷却系统设计复杂；电源插座可靠性降低，存在因为插座重力作用导致脱落的可能；建议采用交叉插座进行固定。机柜上走线 数据线，电源线和从数据中心的吊顶安装；冷风管道也在吊顶安置；机柜高度一般为2m，空气流动所需机柜顶面至天花板的距离一般为500-700mm，所以机房净高不小于2.6m.数据中心的走线方式3-架空走线架空走线 弱电、强电、光纤分层架空走线，避免干扰。火灾隐患容易及时发现应用场景大型数据中心缺点机房层高要求扩展难度大，维护困难项目下走线
13、架空走线上走线初期安装工序地板下固定和敷设电源线和数据线两个走线槽，布线。在机柜正下方的地板上打孔，方便线缆进入机柜。在天花水泥板上打孔固定吊线架，布线。放线到每个机柜。在每个机柜顶部安装数据线和电源线槽，放线到每个机柜。两排机柜之间架走线桥架。工程量大中小扩容工序在配电柜内增加开关。揭开地板，揭开走线槽盖板，重新从配电柜放线过来，在机柜正下方固定电源插座。恢复地板。在配电柜内增加开关。延机柜上方吊线架放线进入机柜。在配电柜内增加开关。延机柜顶部线槽放线进入机柜。扩容对制冷的影响揭开高架地板，造成气流布局破坏，影响机柜散热。无影响无影响扩容最难难简单火灾如果在地板下的电缆发热、变软、冒烟、起火
14、，这个过程不容易被及时发现，容易从小事故变成大灾难。在吊线架上的电缆冒烟起火还是比较容易发现的。由于天花有吊顶，色彩反差大，如果有冒烟起火会被及时发现，人工、摄像、监控系统多重监控。水灾容易受水灾影响，进而带来人身和设备安全。基本不会受影响基本不会受影响虫鼠危害比较容易受危害，不能及时发现。有可能受危害，但能及时发现咬掉的线缆残渣。有可能受危害，但能及时发现咬掉的线缆残渣。对下送风制冷的影响地板下的走线槽会阻碍冷空气流动，从地板下进入机柜时要在地板上开口，造成冷热空气混合，冷空气逃逸。无影响无影响对机房装修的要求要求有高架地板，地板高度最好为大于600mm。（根据中国的环境最好是高于300mm
15、）要求天花水泥板与吊线架结构紧密，要求天花梁下到机柜顶部的高度大于600mm要求天花梁下到机柜顶部的高度大于400mm维护能力维护比较麻烦，需要掀开地板和走线槽寻找。要爬的较高维护最简单，只需要一个小梯子。走线方式的优势对比 数据线和电源线走线方式数据线和电源线分离-电源线产生的电磁干扰会影响数据线传输的信号。下表给出了建议的数据线和电源之间的最小距离*：干扰功率spacesLess than 3 kva50 mm36 kva3 m6 kva or more6 m干扰功率SpacesLess than 3 kva0 mm36 kva0.6 m6 kva or more1 mUTPSTP*数据来
16、自Build the best datacenter facility for your business.主用供电系统设计确定电源需求 通过计算数据中心的机架数量，每机架需要的电源功率，并作出适当预留（20%），来确定整个数据中心需要的电源功率；配电方式方式A：直接将电源模块与服务器机架相连；方式B：将电源通过电源分配单元与服务器机架相连；方式A方式B备用供电系统设计设计备用供电系统的要求：冗余，简单，高性价比。负载的计算：保证备份系统可以提供数据中心所需最大功率的110%120%；基于负载的级别进行建设，例如是采用N，N+1方式，还是2N方式；电池：UPS 小型数据中心：UPS是安装在机架
17、中的单个电池；一般可运行20分钟2小时。大型数据中心：采用落地式的UPS，位于电气室；还需要单独提供发电机。发电机：用于大型数据中心，并且数据中心处于易于断电的地区。建议断电时，UPS可以先工作20分钟，再使用发电机供电。要求发电机最少可以供电8个小时（再次添加燃料前）。发电机一般位于数据中心附件的建筑，并放置于单独的区域以避免损坏。机房散热风道设计冷热风道空气流动组件冷风道/热风道电缆布置天花板导管辅助风道优化设计u冷热风道u烟囱设计u空气循环加速中国电信对机柜散热的创新传统的送风存在的问题：u冷气只能到达机柜过道的里，依靠机柜内设备风扇将冷气吸进机柜内，散热效率低。（机房冷，设备热）u上送
18、风机柜要依赖面板上的网孔来通风，给空气流动带来不小的阻力，使流动性本来就不足的冷气量更加减少u传统下送风机柜只简单考虑冷空气从架空地板进入机柜的入口问题，进入机柜后向四周空间散去，只有流向机柜前面的少量冷气才能被设备吸收流空调设备中传统上送风方式气流组织传统上送风机柜的气流组织据理论计算和现场测试，表明上送风机柜可以较好地满足每个机柜1kW 功率的制冷要求，勉强能解决每个机柜2kW 功率的制冷问题。传统下送风机柜的气流组织2009 年7 月中国电信制定的数据用网络机柜技术规范和数据用电源列柜技术规范精确送风原则：1）把冷气输送到机柜里面去：因为是机柜内设备最需要冷气。2）把冷气输送到机柜的正面
19、去：因为冷气只能从服务器正面进入模块化服务器机箱，发挥换热作用。3）精确调节每个机柜的进气量：因为机柜内设备发热量不同，需要的冷量也不同。4）不让机柜内的冷气随意流失：因为只有进入服务器的冷气才真正发挥散热作用，所以应把冷气聚束在服务器正面空间。中国电信对机柜散热的创新数据中心机房建筑要求(TIA-942)u天花板高度机房装修后的地面至天花板任何障碍物（雨洒、照明灯、摄像头等）必须为2.6米，雨洒至天花板至少保留0.46米。u装修处理地面、墙、天花板必须密封、喷漆以减少灰尘，地面应具备防静电功能。整体以浅色装修以提高机房亮度。u照明水平面最小500 lux，垂直面200 lux。(在机柜中央、
20、距地面高度1米处测量)u门最小1m*2.13m，不能设置门槛，必须配锁，授权进入。u地板承重最小7.2Kpa，推荐12Kpa悬挂负荷：最小1.2Kpa，推荐大于2.4Kpau运行参数：温度:2025 相对湿度:4055目录n数据中心环境面临的挑战n数据中心设计标准n数据中心基础架构设计nH3C数据中心解决方案布线综合实践n中小型数据中心机房建设实例WEB WEB WEBAPP APPAPPDBDBDB外 联 网 区内 联 网 区 互 联 网 区 测试区生产&OA服务器区数据中心管理维护区办公网区核心交换区在 线 存 储 区备 份 存 储 区H3C新一代数据中心解决方案典型网络拓扑FCoE传统布
21、线1直连布线设计u网络机柜独立排列u布线与服务器机柜直连u适合某个功能分区(单元)u不适合某个功能分区(单元)u网络机柜集中排放u一个网络机柜对应一排服务器机柜u电缆重叠，容易拥塞传统布线2分布式布线设计(列头柜)u网络设备列头柜汇聚u列头柜连接到服务器机柜u由列头柜上行连接到网络核心机柜组u分布式列头柜设计u没有线缆重叠u连接线缆短，传输性好u网络层次性好，容易扩展u成本低、管理方便u空气流通性好，便于散热POD(Point Of Delivery)方式布线NEWu区域：对应到一个服务器区域uPod：对应到接入交换机(EOR)大小：取决于间距与密度 服务器机柜到网络机柜线缆长度：铜缆100m
22、光纤200500mu机架：服务器：受功率限制，每个机架630个服务器网络：取决于接入方式(TOR、EOR、Blade)存储：专门的机柜从组网逻辑图到布线系统图的对应核心层汇聚层接入层TOR接入刀片SW模块接入EOR接入服务器机柜存储机柜网络设备机柜Pod冷风道热风道AGG/ACC SWPatch panelCross-connectServerServerPatch panelCross-connectServerServerEnd of Row:n比较传统的布线方式.n网线直接从服务器拉到汇聚/接入交换机n这种方式面临着服务器群接入密度的挑战：从最远端机架到列头柜的距离比较远，网线拉的比较长
23、每排机柜的数量由于列头柜上接入交换机的端口密度限制而有限制n特点:比较典型的应用是在机架是交换机做接入每个服务器机柜6-12服务器。每个服务器机柜4-6KW。每个网络机柜10-20KW。每台交换机上有多个VLAN/子网；数据中心的接入交换机设备数量少,管理维护方便不适合机架高密度服务器接入CAT 5CAT 5CAT 5CAT 5AGG/ACC SWCordsCords服务器接入布线 End-Of-RowEOR/MOR汇聚层接入层AGG SWITCHAGG SWITCHServerServerServerServer服务器接入布线 Top-Of-RackACC SWACC SWFiber /CA
24、T5Fiber /CAT5Fiber/CAT5Fiber/CAT5CordsCordsTop of Rack:n这种组网一般用在大量1U服务器接入的机房n一般是每个机架上放一台接入交换机，但有时候根据具体情况也会放多台（还可能堆叠）n通常是每机柜15-30台服务器n布线:机架内的服务器拉网线到机架内的交换机上 上联汇聚交换机的链路可以是铜缆双绞线（CAT5E，CAT6），也可以是光纤（GE/10G）,建议用光纤n子网和VLAN问题：可以在一个接入交换上部署多个VLAN/子网，但通常每个交换机上的VLAN/子网较少。汇聚层接入层TOR接入刀片SW模块接入服务器接入布线Blade ChassisE
25、OR（Switch to Switch）:n 12U的IBM HT(3KW)，每个机柜放3组；n 堆叠或独立设备上行；n CAT3110(IBM)、CAT3020(HP)，目前都是铜缆上行，未来可能有光口；EOR（Pass-through）:n 正常用法；TOR:n 这种部署少见，但在实际环境中也可能会有这种用法；n 清华大学有这种模式；集成刀片交换机的布线方式采用直通模块的布线方式Switch to switchPass throughPass throughTOR目录n数据中心环境面临的挑战n数据中心设计标准n数据中心基础架构设计nH3C数据中心解决方案综合实践n中小型数据中心机房建设实例
26、实例1：小型数据中心机房布局设计机房面积：180平方米机柜数量：EDA 73个，MDA 6个服务器数量：500台6个网络机柜EDA设备机柜机房空调冷通道热通道EDA设备机柜EDA设备机柜EDA设备机柜EDA设备机柜EDA设备机柜*案例摘自 TIA-942附录H.1 适用范围：国内大多数政府、企业用户数据中心建设网络设备推荐：核心：S125082台服务器接入：S75E4台(配置FW+IPS+LB插卡)；或S58006台（配FW插卡）实例2：中型数据中心机房设计 数据中心服务器数量4000台 服务器双网卡接入（不考虑管理网卡问题）服务器采用千兆接入；服务器接入交换机万兆上联汇聚层交换机；接入、汇聚
27、、核心都采用机框式设备(共30台);存储网络有单独的机柜，这里不考虑存储布线；将来有可能在数据中心部署主机 每个服务器450瓦功耗；每个网络机柜的最大功耗5.5KW 每个存储机柜的最大功耗4KW 布线系统采用TIA-942的结构化设计理念 机房面积1300平方米设备设备配置清单配置清单接入层交换机24台S7510E，每台配7块48GE板，1块410GE板；每台S7510E通过2组210GE捆绑上行到汇聚，收敛比8.4:1；从接入交换机上行汇聚交换机共96个10GE口；汇聚层交换机4台S9512E，每台配7块410GE板，FW+IPS+LB插卡各1块；每台S9512E通过2组210GE捆绑上行到
28、S12518核心交换机；每台S9512E通过1组210GE捆绑与汇聚层另一台S9512E互联做IRF2；从汇聚交换机上行核心交换机共14个10GE；核心层交换机2台S12518，每台配3块410GE板；每台S12518通过1组210GE捆绑与核心层另一台S12518互联做IRF2；项目背景介绍：数据中心网络拓扑和POD布线规划 在机房建设中，为了布线方便（双绞线不超过100米，光纤不超过300米），通常会采用这种“机柜组”的方式。每个机柜组包含了若干个服务器机柜和网络机柜。这里的服务器机柜可以做为”设备配线区”（EDA），这里的网络机柜可以做为“水平配线区（HDA）”。这个数据中心设计12个“
29、机柜组”，每个“机柜组”包含32个服务器机柜（做为EDA）和4个网络机柜（做为HDA）；服务器部署在“机柜组”EDA的服务器机柜中；每个EDA可部署384台服务器，但实际部署336台；2台接入交换机部署在“机柜组”HDA的网络机柜中。采用EOF/MOR方式的布局。4台汇聚、2台核心交换机部署在机房的主配线区（MDA）的网络机柜中。MDAEDAHDA服务器机柜存储机柜网络机柜一个“POD”，36个机柜热通道冷通道冷通道主配线区 MDA，部署了4台汇聚交换机，2台核心交换机设备配线区 EDA的32个网络机柜部署336台服务器水平配线区 HDA的4个网络机柜，部署2台接入交换机机房空调CRAC机房空
30、调CRAC机房空调CRAC机房空调CRAC机柜的正面机柜的背面采用POD方式的机房效果图144英尺(43.2m)100英尺(30m)设备配线区（EDA）的布局一个POD一个EDA中的三个服务区机柜 除了4个网络机柜外，其它32个服务器机柜都属于一个EDA。水平配线区（HAD）的布局HDA中的4个网络机柜左侧2台是以太网交换机右侧2台是存储FC交换机接入层S7510E交换机 这里的布局方式其实是 Middle Of Row，两边机柜的电缆都向中间集中，这种布局比EOR更容易布线，避免了最远端电缆到列头机柜的网线超出规定了距离。机房中的一个“机柜组”总配线区（MDA）的布局路由器与运营商的设备相连4台汇聚、2台核心交换机存储核心交换机，与盘阵连接CFD(计算流体动力)分析结果u冷热风道间隔设计u外侧1220个CRAC单元u内侧1230个CRAC单元u上回风u送风地板开孔率25u峰值温度为45附录：数据中心技术专题交流目录1.数据中心机房环境设计2.基于IRF的数据中心网络架构设计3.数据中心安全部署探讨4.数据中心虚拟化技术应用5.数据中心运维管理6.数据中心灾备设计
