1、X86虚拟化王瑞琳Bupt_ 新一代数据中心管理与组织层次人员SLAIT服务管理系统IT培训系统环境数据中心基础设施等级（TIA942）Server&cpu业务数据处理能力业务规模应用服务1应用服务2应用服务.信息安全ITSM基础设施与处理能力IT成熟度数据中心研究和评估框架52023年2月14日星期二数据中心 需要关注的大功率机房空调特殊就近冷却液体冷却电力输送 火灾通讯，网络成本恐怖分子空中交通电网冗余后备自然灾害安全电缆服务器密度后备电力数据中心冗余后备高速管线操作中心工人和扳手需求,输出虚拟化管理培训设计数据中心需要特别关注 互联网数据中心、企业数据中心、灾备数据中心 大型数据中心建设
2、和运维成本如何优化（开源、节流节流）绿色数据中心 客户需求多样性-场地分步分区投入运营 IT需求-高密度、可靠性、远程监控、运维自动化 数据中心运营关注点-展示、客户服务、业务管理支持 项目规划、设计和建设流程数据中心关键数据中心关键基础设施实施基础设施实施服务（服务（CFI)CFI)数据中心综合数据中心综合监控软件监控软件数据中心迁移数据中心迁移服务服务数据中心基数据中心基础设施运维外础设施运维外包服务包服务（CFOSCFOS）ITIT运维管理运维管理与自动化软件与自动化软件数据中心数据中心ITIT运维支持外包运维支持外包服务（服务（DCOSDCOS）数据中心安数据中心安全咨询服务全咨询服务
3、数据中心关数据中心关键基础设施验键基础设施验证服务（证服务（CFACFA）绿色数据中绿色数据中心改造服务心改造服务（GDCTGDCT）数据中心动数据中心动态制冷系统态制冷系统（DSCDSC）规划规划设计设计实施实施运维运维持续持续改善改善数据中心数据中心关键基础设施关键基础设施规划服务规划服务（CFC)数据中心整合数据中心整合战略与规划服战略与规划服务务IT共享服务共享服务ITSS规划服务规划服务数据中心关键数据中心关键基础设施设计服基础设施设计服务（务（CFD)数据中心业务数据中心业务可用性和连续性可用性和连续性服务（服务（BC&A)数据中心数据中心IT架架构整合实施服务构整合实施服务（Co
4、nsolidation）IT共享服务共享服务 ITSS设计与实施设计与实施新一代数据中心新一代数据中心：24x7 24x7 无人值守的计算环境无人值守的计算环境，基于标准构建模块基于标准构建模块，使用模块化软件实现自动化使用模块化软件实现自动化，通过全面的服务实施交付。通过全面的服务实施交付。新一代数据中心完整生命周期服务 新一代数据中心：NGDC减轻风险业务增长降低成本节能和节省空间始终可用不停机全球化和虚拟化 惠普新一代数据中心面向服务和自动化业务成效期望的数据中心状态机房关键基础设施IT 基础设施管理&运营应用&信息数据中心域服务生命周期数据中心数据中心 战略规划战略规划数据中心数据中心
5、 设计设计数据中心数据中心 部署与过渡部署与过渡数据中心数据中心 运营运营数据中心数据中心 持续改善持续改善 与发展与发展自动化虚拟化安全IT 系统与服务供电与散热管理建设目标：建设目标：智能化机房设施，适应性 IT 基础设施，7x24 业务连续运行新一代数据中心基新一代数据中心基础设施（机房）础设施（机房）：可靠、绿色、智能、可靠、绿色、智能、灵活灵活Zone BZone ASite 1Site 2Site 3Site 4Zone CSite 5Site 6存储整合存储整合ITIT管理整合管理整合数据中心整合数据中心整合网络整合网络整合应用整合应用整合服务器整合服务器整合数据库整合数据库整合
6、工作地整合工作地整合HP IT 数据中心整合全球数据中心企业级数据仓库世界级 IT 企业组合管理802009 年 3 月 26 日HP IT 目标支持更好的商业决策大大降低 IT 成本，同时提供更高的商业价值通过加强基础设施的控制来降低企业风险HP 转型成为世界级 IT 企业IT 员工团队效率对HP 业务帮助衡量 IT 项目的商业价值应用程序标准化85 个全球数据中心转型为 6 个 NGDC处理能力提高 80%年节约成本 10 亿美元能耗成本减少 60%网络成本减少 50%新一代数据中心设计/改造关键点可靠、绿色、灵活、智能 合理的合理的可用性等级定位（可用性等级定位（T3T3，T4T4）和具
7、体实现和具体实现 数据中心基础设施可靠性、维修性和维修保障性的综合反映数据中心基础设施可靠性、维修性和维修保障性的综合反映 绿色数据中心绿色数据中心实现实现 1 1、最佳最佳PUEPUE（数据中心基础设施能源利用效率）（数据中心基础设施能源利用效率）实现实现 2 2、实现、实现动态动态智能智能制冷制冷，精确送配风系统，精确送配风系统 3 3、优化的场地设计、电气系统设计、优化的场地设计、电气系统设计 4 4、支持全球领先环保节能标准、支持全球领先环保节能标准LEEDLEED（美国领先能源和环境设计规范）（美国领先能源和环境设计规范）5 5、场地利用、场地利用CFDCFD工具进行模拟，实现最佳系
8、统部署工具进行模拟，实现最佳系统部署 区域化区域化和模块化和模块化设计设计高热区和低热区，采用不同的高热区和低热区，采用不同的散热散热方式，方式，实现实现对不同负载的有效支持。对大型数据中心，模块化设计理念。对不同负载的有效支持。对大型数据中心，模块化设计理念。整合的智能的机房监控系统整合的智能的机房监控系统 (动力设施动力设施,环境与环境与IT IT设施设施,平台统一平台统一)实现实现自动自动化管理化管理 数据中心全生命周期服务数据中心全生命周期服务112023年2月14日星期二122023年2月14日星期二TIA-942数据中心分级 Tier 1Tier Tier Tier 建造类型承租承
9、租自有自有值班没有值班1名轮班1名值班+轮班24小时值班可得到的通路数量只有一路只有一路主活被动各一路二路主活冗余实际量实际量+一路实际量+一路双系统或二路(实际量+一路)区域划分无无无有同时可维修性不能不能能能对最坏的事件的容错无无无有初始的用电总量（千瓦每机柜）1KW2KW3KW4KW最终的用电总量（千瓦每机柜）1KW2KW3-5KW大于5KW150以上连续冷却没有没有或许是的场地空间中架高活动地板的比率203080-90100架高活动地板的高度(cm)30CM45CM75-90CM75-90CM地板荷载公斤每平方米380450700700单点故障很多+人为错误很多+人为错误很少+人为错误
10、一个没有+人为错误每年场地引起的IT停机(实际值)28.8小时22.0小时1.6小时0.8小时场地的可用性99.671%99.749%99.982%99.995%lTier1:基础级数据中心100%电源负载、低供电能力、单路供电、水灭火、安全防护单级管理、无UPS冗余、混用建筑物、单电信运营商，可用性99.7%lTier2：冗余部件级数据中心100%电源负载、低供电能力、单路供电、气体灭火、安全防护单级管理、无UPS冗余、垂直混用建筑物、单电信运营商，可用性99.9%lTier3：可持续性维护级数据中心90%电源负载、双路供电能力、气体灭火、安全防护分级管理、N+1UPS冗余、独立建筑物、双电
11、信运营商、单路由、可用性99.98%lTier4：容错级数据中心90%电源负载、双路供电和1+1冗余（双变电站）、气体灭火、安全防护分级管理、2(N+1)UPS冗余、独立建筑物、双电信运营商、冗余路由、可用性99.995%TIA-942数据中心分级投资回报分析：运营维护成本基础基础建设建设费用费用项目支出安装/系统集成/线路电源设备/空调系统IDC 设备/工具其它网络设备支出路由器/交换机网络管理软件其它运营运营维护维护费用费用基础架构项目支出&电信支出 运维宽带电力管理其它 资料来源:China Research Corporation SAMPLE模块化数据中心设计方案Tier级别可转换、
12、低成本高级别模块冗余、可分期实施结构化布线设计-灵活布线系统高密度要求布线系统高可靠要求192023年2月14日星期二解决方案多层级混合设计能源效率和优化关键应用的MEP冗余支持级别较低的非关键应用 的MEP设备可节省的空间 关键应用的 高可靠性机房模块级别较低的关键应用的机房模块202023年2月14日星期二多层级设计的益处避 免用 不 着的冗 余；减少建设成本；提 高能效，减少运营 成本；合理 规划数据 中 心建设成本；为动 态 多 变的IT 环境 提 供 适用 性高，非 静的基 础设施响应；契合正 常运行时间期望值，提供可变、可 扩展的可用性负 载的关键性定义决定不同的可用性分区；将机
13、房内 系统 和 设备的故障限制到最小 范围区域现有技术就可 以 实现目 标 21机房环境智能监控 动力设施,环境与IT设施,平台统一 配电监测 UPS监测 温湿度监控，3D图像 安保,闭路电视监视机房环境智能监控人员进出监控资产信息RFID智能化数据中心资产管理业务及服务级别监控l基础设施监控 现场视频监控CCTV、门禁开关状态监控、灯光监控等；l环境监控 机柜进风出风温度、冷通道供风风压监控、空调或水管下方 积水监控、机房湿度监控等l设备运行状态监控 IT 设备运行状态、空调运行状态、UPS等供电设备运行状态l设备负载能耗监控 各类设备的负载、耗电功率监测lRFID资产管理 与现有资产管理系
14、统集成，实现即时性智能化资产管理l与IT运维系统、智能化楼宇系统（BAS）集成 基于开放平台和标准的应用接口（API），提供二次开发能力惠普机房环境智能监控系统特点 IT 服务器:(效率)(适用性)（温湿度范围）气流 组织管理目标提高送风提高送风/冷冻水送水温度冷冻水送水温度 减少气流旁路和负压 -减少气流短路现象-匹配实际需要风量-隔离送回风 机械 空调系统-自然冷却（风冷或水冷）-冷冻站/系统优化-冷冻机-精密空调-加湿器 等电气系统:UPS发电机、加热器-灯可再生能源（主干/现场）-主要能源（风能，水力）-现场（太阳能，风能，可持续生物燃料）数据中心能源策略282023年2月14日星期二
15、不同的PUE值对您意味着什么降低运营成本：绿色节能，节省约35%电费增加供电容量：支持的IT设备约为PUE3.0的两倍PUE1.6 Vs PUE 3.0延长生命周期：支持与适应业务增长与发展绿色数据中心最佳实践过低的回风量和过低的天花板高度空调摆放位置不佳机柜排列不合理机柜空白部分不使用挡板机柜内部产生气流循环机柜之间产生气流循环较低的冷气流风压通风地板摆放不合理 合理设计回风口/冷热通道 垂直于热通道摆放 机柜间无空隙，排列适当长度 请使用机架空白挡板 高密度设备安装在中下方 高密度和低密度区域相间 合理设置CRAC参数并抬高地板 需要CFD建模计算不同目标PUE设计带来巨大运行成本差异Co
16、oling the data centre 数据中心制冷常见机房制冷系统部署1、气流方式 上送风上回风方式 下送风上回风方式2、机柜摆放方式 非冷热通道布局 冷热通道布局 3、设计布局模式 上送风上回风、非冷热通道布局 上送风上回风、冷热通道布局 下送风上回风、非冷热通道布局 下送风上回风、冷热通道布局 1.总制冷量总制冷量2.制冷方式制冷方式3.场地与机柜部署场地与机柜部署4.送回风送回风5.热点问题热点问题热负荷分析 总制冷量设计 设备热量估算 照明热量估算 人员热量估算 建筑结构导热估算主要测试工具差压仪差压仪:TESTO 512（风压）风速仪风速仪:Testo425/625/506（温
17、度、湿度、风量、风速、风压等）风量仪：DBM700风量计（风量）数据中心送回风问题分析下送风气流分析（冷热通道布局）1.1.无效气流无效气流2.2.热回流热回流3.3.负压影响负压影响场地优化和机柜部署优化过低的回风量和过低的天花板高度过低的回风量和过低的天花板高度空调摆放位置不佳空调摆放位置不佳机柜排列不合理机柜排列不合理机柜空白部分不使用挡板机柜空白部分不使用挡板机柜内部产生气流循环机柜内部产生气流循环机柜之间产生气流循环机柜之间产生气流循环较低的冷气流风压较低的冷气流风压通风地板摆放不合理通风地板摆放不合理 合理设计回风口合理设计回风口/冷热通道冷热通道 垂直于热通道摆放垂直于热通道摆放
18、 机柜间无空隙，排列适当长度机柜间无空隙，排列适当长度 请使用机架空白挡板请使用机架空白挡板 高密度设备安装在中下方高密度设备安装在中下方 高密度和低密度区域相间高密度和低密度区域相间 合理设置合理设置CRACCRAC参数并抬高地板参数并抬高地板 需要需要CFDCFD建模计算建模计算冷热分离技术 精确送风或辅助回风系统 风道改造 使用送风器达到精确送风效果 智能调节送风量风道改造风道改造上送风气流分析（冷热通道布局）风道改造风道改造下送风气流分析（非冷热通道布局）风道改造风道改造下送风气流分析（冷热通道布局）风道改造风道改造上送风气流分析（非冷热通道布局）合理工具举例：TileFlow Til
19、eFlow 仿真程序仿真程序 某互联网数据中心某应用机房建模此图片中比较全面表现机房各个部分的温度，各点的雾的颜色表明该点的此图片中比较全面表现机房各个部分的温度，各点的雾的颜色表明该点的温度大小在空调位置和小型机位置形成的温度大小在空调位置和小型机位置形成的FOG较多，而且在小型机位置的较多，而且在小型机位置的FOG温度比较高，说明此部分的温度差异较大，功率为温度比较高，说明此部分的温度差异较大，功率为20KW的机柜温度的机柜温度差异很大，出风温度比较高。差异很大，出风温度比较高。机柜温度分布图此图片可以看见温度高于阈值的各机柜和热源，各此图片可以看见温度高于阈值的各机柜和热源，各WARNI
20、NG LIGHT用以提用以提示温度过高的机柜和热源，上图取于进风温度大于示温度过高的机柜和热源，上图取于进风温度大于21.1度报警的情况下，没度报警的情况下，没有任何机柜出现报警现象，效果非常理想。有任何机柜出现报警现象，效果非常理想。气流模拟图462023年年2月月14日星期二日星期二Rack Intake Air Thermal SensorsVFD Blower Speed ControllerSetpoint ControlforDSC Energy ManagerSensor Network/Data DepositorySystem Status EvaluationThermal
21、 System Control Sensor and Control NetworkVariable Capacity CRAC UnitChilled Water Supply Loop动态智能制冷系统 适用于水冷、或风冷系统 1、实时控制总制冷量；2、动态精确送风，实现高效气流组织针对总制冷量针对总制冷量和热点问题和热点问题动态智能制冷 网络组件传感器传感器传感器网络传感器网络 Base Station 连接-电源-以太网-传感器 温度传感器-5 个入口传感器-5 个出口传感器BaseStation 以太网以太网 电源电源采集机柜进风口和采集机柜进风口和出风口的温度出风口的温度 温度传温度
22、传感器感器精确送回风系统冷通道封闭示意图冷通道封闭示意图492023年2月14日星期二冷通道封闭后气流组织图冷通道封闭后气流组织图502023年2月14日星期二冷通道封闭冷通道封闭效果效果图图512023年2月14日星期二机房环境智能监控实时数据中心能效/PUE监控电力分析分析项目分析内容电气一、机房内配电柜容量分析a)列头柜负载容量分析（开关及线缆）b)配电柜内备用回路二、UPS系统分析a)UPS使用容量b)列头柜负载容量分析三、机柜配电容量分析a)机柜供电模式机柜顶部走线系统工业接插件实物PDU 插座插座强弱电分开强弱电分开机架式配电单元（机架式配电单元（Rack PDURack PDU）
23、实物实物国内某IDC项目概述项目概述总建筑面积总建筑面积90,000m2数据中心面积数据中心面积60,000m2(16个机房模块）个机房模块）总用电量为总用电量为90,000KVA主要设计亮点主要设计亮点1.节能性节能性 PUE1.6，部分，部分1.32.模块化设计，每个模块不同等级模块化设计，每个模块不同等级3.EYP R-R UPS系统节约设计（不降低可靠性）系统节约设计（不降低可靠性）4.高压系统（柴油发电机）设计高压系统（柴油发电机）设计5.自然冷却节能设计自然冷却节能设计6.持续制冷可靠性保证设计持续制冷可靠性保证设计一期二期一期二期共共6个机房模块个机房模块 三期四期共三期四期共1
24、0个机房个机房模块模块运维运维/办公办公/带宽接入带宽接入研发楼研发楼园区布局规划及分期建设步骤1234主入口主入口辅入口辅入口首层电气及空调设计（一号楼）冷冻机组冷冻机组辅卸货区辅卸货区主卸货区主卸货区柴油发电机柴油发电机 模块化的电气及空调设计，便于扩 展或灵活改变投资策略。设主备两个卸货区。备份备份UPS模块模块10KV配电配电Container预留预留模块化的机房区域UPS及电池室及电池室服务器机房服务器机房精密空调精密空调632023年2月14日星期二632023年2月14日星期二建设之前应当考虑的问题 为了什么目的而建？需要多大规模？面积、密度需要支持未来多少年的业务扩展？分阶段建
25、设计划需要什么样的可用性?定位在什么级别?选择投资规模与能够承受的运营成本运营管理是否需要流程化、自动化?是否需要最新技术以满足某些特定需求?例如:刀片服务器、虚拟化确定需求时依据什么：标准？行业经验？专门针对自己的模型计算？工作任务描述:交付物:-客户应用需求、系统配置的进一步调研与设计-大楼相关配套设施及场地情况的考察-数据中心容量、面积、布局、未来扩展规划等的分析与设计-数据中心配套各系统配置、容量与大楼的接口管理、分工界面等的规划与确认-数据中心应用与系统分析报告-数据中心规划深化报告和建议阶段阶段1:分析与规划分析与规划工作任务描述:交付物:-数据中心各系统的深化设计及施工图纸的交付
26、-整体分工界面、总包管理范围等的最终确认-数据中心建设技术方案的提交-对数据中心内各系统容量、配置、品牌、项目实施时间等的最终确认-各系统设计施工图纸-数据中心实施技术方案-效果图-系统设备配置清单阶段阶段2:设计与构建设计与构建工作任务描述:交付物:-各系统安装实施-配合消防验收的系统联动-设备到货管理-项目初验与终验-各系统竣工图表-系统结构图解及描述-系统设备到场验收记录-系统操作维护手册-系统设备检验合格报告-工程设计变更单-系统试运行记录阶段阶段 3:实施与集成（管理）实施与集成（管理）工作任务描述:交付物:-编写售后服务机房管理制度，包括日常监控管理，服务起停管理，机房管理，备份和
27、恢复管理，设备出入机房管理，紧急处理，数据中心管理制度-召开培训，培训对象为机房运维人员，项目组将上述规章制度移交至相关运维人员-机房管理制度包括集中运行维护过程中需要遵循的工作标准-完成机房管理制度培训，培训对象为相关机房运维人员，培训方式为现场培训。阶段阶段4:管理与运维管理与运维绿色数据中心咨询和改造绿色数据中心咨询和改造为何选择惠普为何选择惠普方案概述方案概述温度控制优化风量控制优化压力控制优化智能冷却服务 数据中心评估 数据中心成熟度模型绿色数据中心绿色数据中心DSCDSC场地布置调整设备机柜优化布线路由优化场地优化服务IT设备供电改造电源路由改造_UPS系统改造_电源改造服务 节省
28、运维成本（降低节省运维成本（降低PUEPUE）：耗能是数据中心主要的运维成本，在满足同等IT设备供电的情况下，可降低空调能耗20%-45%；提高数据中心空间承载容量（满足提高数据中心空间承载容量（满足IT IT设备增长需设备增长需求）求）：在同等配套设备耗能的情况下可增加IT设备的容量达75%；通过分区供电和冗余供电提高数据中心电源系统系统可靠性及扩展的灵活性（提高可用性等级）可靠性及扩展的灵活性（提高可用性等级）成功案例成功案例 通过采用惠普领先技术，可以帮助客户评估和改造 现有的数据中心，从而使其达到节能、高效、灵活 和可靠的绿色数据中心。惠普绿色数据中心基础架构升级方案具体服务内容:咨询
29、、优化设计服务咨询、优化设计服务优化改造服务优化改造服务实现数据中心可用性等级目标验证实现数据中心可用性等级目标验证和改进和改进实现整合的数据中心监控管理系统，实现整合的数据中心监控管理系统，实现自动化管理。实现自动化管理。预期升级,改造结果 可用性提高改造，升级项改造，升级项目目当前评估状况当前评估状况预期实现目标预期实现目标得益及投资回报得益及投资回报机房可用性级机房可用性级别别Tier IIITier III+，部分部分Tier IV提高可用性，并可验证符合提高可用性，并可验证符合UPTIME INSITUTE（美国（美国可用性研究中心）数据中心标可用性研究中心）数据中心标准准系统拓扑结
30、构系统拓扑结构双总线冗余双总线冗余BLOCK REDUNDANCY 多级混合冗余多级混合冗余提高系统可靠性与高效率兼容。提高系统可靠性与高效率兼容。散热，制冷系散热，制冷系统统空调制冷利用率空调制冷利用率60%或以下，或以下，散热布局没能散热布局没能适应新适应新IT设备设备的通风技术，的通风技术，局部热点。局部热点。采用采用CFD（热流量（热流量分析）合理布局分析）合理布局制冷，散热。并制冷，散热。并做到可动态智能做到可动态智能监视温湿度及制监视温湿度及制冷状况，控制到冷状况，控制到机柜级别。机柜级别。解决数据中心动态容量变化导致解决数据中心动态容量变化导致的制冷散热问题，提高效率，的制冷散热
31、问题，提高效率，最大化利用能量。最大化利用能量。预期升级,改造结果 无效能耗降低，承载能力提高，可管理性改造，升级项目改造，升级项目当前评估状况当前评估状况预期实现目标预期实现目标得益及投资回报得益及投资回报功率密度平均2KW每机柜平均4KW每机柜，按存储/服务器/网络不同密度，最高密度区平均可达10KW每机柜适应性基础设施，提高IT设备新技术的利用率，节省空间，提高效率。能源效率*PUE 2.4PUE 1.82.0(TBC)绿色数据中心的的重要效率衡量指标。可节省用电成本每年300万RMB或更多。机房环境监控系统升级动力环境基础设施与IT基础设施监控完全独立。使用同一监控界面和平台，把动力环
32、境与IT基础设施同步监控，诊断及分析。实现新一代数据中心可升级，可扩展的自动化集中监控。并部分实现远程监控。减少运维成本。68帮助数据中心节省空间空间效能空间效能经过GDCT改造，节省的空间可以放置8,800片刀片服务器；相对建设额外的传统数据中心，节省1,654万元，相当于551片刀片服务器；相对建设额外的高效数据中心，节省1,043万元，相当于348片刀片服务器05001,0001,5002,0002,5003,0003,5004,000GDCT 改造费用新建传统数据中心费用新建高效数据中心费用GDCT改造咨询服务土地审批费用土地购置费用项目管理费用电气扩容费用场地建设费用场地优化费用空调
33、建设费用空调改造费用电源建设费用电源改造费用改造后用户经济效益500500平米机房电费计算平米机房电费计算 (机柜数量：机柜数量：200200台，每台台，每台2.5KW,PUE2.5KW,PUE从从2.52.5降至降至2.0 2.0）1设备耗电量（KW）运行时间运行天数电费（元）合计（元）节电2IT设备5002436514,380,0003PUE=2.5125024365110,950,0004PUE=2.010002436518,760,0005节省2502436512,190,0002,190,000机房节电机房节电20%空调节电空调节电33%节省电量节省电量250KW,250KW,具备为
34、新增具备为新增7575台台2.5KW2.5KW机柜提供供电与冷却的能力（机柜提供供电与冷却的能力（250KW250KW的的75%75%用于供电，用于供电，25%25%用于冷却）用于冷却）1增加容量折合机柜数主机房面积辅助用房面积建设成本/m2 节省机房建设投资（元）275752.53.017000 7,012,5001增加容量折合机柜数每台机柜年年收入（元）年增加收入（元）27510万750万万1.节省电力，降低运营成本2.节省空间，增加IT容量，延长机房生命周期3.提升产能，增加业务收入改造后综合效益1.提高机房运营等级 实现高可靠性、高可用性、高可管理性2.降低风险，保证业务持续增长 大大减少因机房环境导致业务中断造成的损失3.提高机房运维效率，提高安全生产水平，降低运维成本 智能化机房环境监控，实现电气、空调、安保、消防等全方 位一体化监控。
