1、联想水冷解决方案2016 Lenovo. All rights reserved.Lenovo HPC Summit北京, 七月一日.22016 Lenovo. All rights reserved.日程基础架构制冷基础架构管理13面向选择宽泛的客户面向严苛的能源效率、高密设计要求的客户面向既考虑制冷效率又关心配置灵活性的客户水冷技术的选择 PUE = 1.5 PUE = 1.2PUE = 1.1节点内直接水冷技术空气制冷节点风冷，背板水冷热交换 内置风扇控制气流 适合任何数据中心 最大的灵活性 配件选择宽泛 支持节点直接扩展 (Storage NeX, PCI NeX) 节点风冷, 用水冷
2、北门补充制冷 用18度存储制冷 扩展受背门限节点内通过铜盘管直接水冷，没有风扇，静音效果良好提高分摊到每度电上的性能增加温水水冷能源再利用高密度设计优化能源消费和数据中心布局支持更高性能的处理器多数情况下，三种制冷方式可以并存(混合制冷数据中心) 4iDataplex dx360M4 (2010-2013)l在42U空间里面，配置i84台iDataplex dx360M4 服务器ldx360 M4 节点, 2xCPUs (130W, 115W), 16xDIMMS (4GB/8GB), 1HDD/2SSD, network card.l85% 热量可回收， 水温 18C-45C, 0.5升每节
3、点分钟.iDataplex机架dx360M4服务器5NextScale nx360M5 WCT (2013-2015)机柜配置NextScale机箱l NextScale 机箱6U高，支持12节点 .l nx360M5 WCT 2xCPUs (up to 165W), 16xDIMMS (8GB/16GB/32GB), 1HDD/2SSD, 1 ML2 or PCIe Network Card.l 85% 热量可回收， 水温 18C-45C, 0.5升每节点分钟2 Nodes of nx-360M5 WCT in a Traynx360M5 with 2 SSDsScalable Manifo
4、ldNextScale机箱6NextScale nx360M5 WCT (2016)l NextScale 机箱6U高，支持12节点 .l nx360M5 WCT 2xCPUs (up to 165W), 16xDIMMS (8GB/16GB/32GB), 1HDD/2SSD, 1 ML2 or PCIe Network Card.l 85% 热量可回收,水温 18C-45C, 0.5升每节点分钟.现存的铜盘管通过聚乙烯盘管降低成本(Fluorinated Ethylene Propylene)2 Nodes of nx-360M5 WCT in a Traynx360M5 with 2 SS
5、Ds7如何测试PUEl Energy Reuse Effectiveness 度量数据中心是如何重复利用计算机散发出的能量l ERE是计算消耗的电力和 计算机所消耗的电力与被重复利用的电力差的比值.l 理想的ERE等于0. 如果没有电力回收利用方案, ERE = PUEPUE = Total Facility PowerIT Equipment Power (IT power + VR + PSU + Fan) IT PowerITUE =ERE = Total Facility Power TreuseIT Equipment PowerPUEl Power usage effectiven
6、ess (PUE) 是一个衡量数据中心电力利用效率的数值;l PUE 是数据中心所需所有电力和利用在计算机上的电力的比值.l 理想数值是 1.0l 该值并不能表现是如何优化耗电结构的ITUEl IT power effectiveness ( ITUE) 度量节点是如何优化耗电结构的l 理想值是1.0ERE78面向选择宽泛的客户面向严苛的能源效率、高密设计要求的客户面向既考虑制冷效率又关心配置灵活性的客户 PUE = 1.5 / ERE 2 1.5 PUE = 1.2 / ERE 1.5 1.2PUE = 1.1 / ERE 1 with hot water节点内直接水冷技术空气制冷节点风冷，
7、背板水冷热交换 内置风扇控制气流 适合任何数据中心 最大的灵活性 配件选择宽泛 支持节点直接扩展 (Storage NeX, PCI NeX) 节点风冷, 用水冷北门补充制冷 用18度存储制冷 扩展受背门限节点内通过铜盘管直接水冷，没有风扇，静音效果良好提高分摊到每度电上的性能增加温水水冷能源再利用高密度设计优化能源消费和数据中心布局支持更高性能的处理器多数情况下，三种制冷方式可以并存(混合制冷数据中心) 水冷技术的选择9 莱布尼兹系统SuperMUC :一期和二期lPUE 1.1 l五年内电力节省 37%，资金销售从 from 27.6 M 降到 17.4 Ml3096 台nx360m5 计
8、算节点(Haswell EP CPUs)l HPL = 2.8 PetaFLOP/s l直接水冷, EASlInfiniband FDRl10 台 GSS26, 7.5 PB 容量, 100 GB/s IO带宽一期二期排名28 和 29 ，Top500 2016.6性能一览2012年6月欧洲Top500排名第一的系统l9324 节点配置2颗 Intel Sandy Bridge EP CPUs lHPL = 2.9 PetaFLOP/s lInfiniband FDR10 网络l适合各种用途的巨大存储空间 利用IBM GPFS实现10P容量和200GB/s的IO带宽 能源利用效率方面的创新l温
9、水水冷lEnergy Aware Scheduling(EAS技术)最优制冷效果的 HPC 系统910废热再利用废热夏天干什么?SuperMUCs 的废热，为40.000 m2 的办公室供暖德国的新的建筑标准，隔热性能指标很好: 标准的热量需求只有50 W/m2 11CooLMUC-2: 废热重复利用用来生产冷却水制冷机的制冷能力12CooLMUC-2: ERE = 0.3 CooLMUC-2 电力消耗CooLMUC-2 热量通过设循环水被带走制冷机的制冷能力(COP 0,5 0,6)12ERE = Total Facility Power Treuse IT Equipment Power
10、= 120 87 10413l进口水温为50 Cl全季节美欧压缩机的制冷l384 计算节点l466 TFlop/s 峰值计算能力l基于氟化物涂层和金属纤维的热交换技术l比基于当前基于硅胶制冷技术有三个优点lCOP = 60%l总体省电50+%CooLMUC-2ERE = Total Facility Power Treuse IT Equipment Power联想 NeXtScale Water Cool (WCT) 系统技术SorTech 的吸收式制冷机组366 TFlop/s HPL Performance Rank 262 (November 2015Energy Reuse Effe
11、ctiveness ( ERE)度量数据中心是如何重复利用计算机散发出的能量r ERE=0.314DWC 降低处理温度（Xeon 2697 v4）19结论: 直接水冷降低5%的CPU耗电并且支持更高主频15空冷和水冷比较 （Xeon 2697 v4）结论:关闭 Turbo 情况下, 直接水冷节省5%电力， ,and 打开Turbo 情况下, 提高3%的性能，仍然省电1%1516直接水冷带给联想的价值采用 50C水制冷,通过向建筑物提供能源，节省30%的能源服务器电力消耗降低CPU耗电( 5%) 节点不需要风扇( 4%)制冷电力消耗采用 45C水制冷, 可以估算一年节省 20%的制冷电力制冷设备
12、节省热力再利用 总共节省=50+%17如何管理电力节省闲置节点的电力消耗节省工作节点的电力消耗报告每节点、每机箱的温度和电力每个作业的电力消耗优化18Antilles: 开放的系统管理WEB控制台Gui里面罗列的主要HPC组件是OpenHPC 项目的一部分新功能制冷基于机柜和服务器的热力图CDU的水流状况可预知的能源利用 独立的调度器WEB CONSOLE GUIAdmin guide / scriptsInstallation guide / scriptsGangliaTorque/MAUIOpenMPI, MVAPICHMPICH, Intel Parallel studio xCAT/ConfluentCentOS/RHELLustreOFEDServerStorageNetworkLenovo componentsOpen Source/3rd partyLenovo Hardware19Confluent : HeatMap 1920Confluent: HeatMap 2021结论管理系统和基础架构降低总体拥有成本切合开源解决方案联想拥有端到端的解决方案21
