物联网工程设计与实施第4章-数据中心设计课件.pptx

1、第第4 4章章 数据中心设计数据中心设计 高性能计算机选择高性能计算机选择 服务器选择服务器选择 存储系统设计存储系统设计 云计算服务设计云计算服务设计 机房工程设计机房工程设计1/524.1 4.1 数据中心设计的主要任务数据中心设计的主要任务(1)设计高性能计算机系统。设计高性能计算机系统。(2)设计服务器系统。设计服务器系统。(3)设计数据存储系统。设计数据存储系统。(4)设计核心网络。设计核心网络。(5)设计机房。设计机房。(6)设计机房装修方案。设计机房装修方案。 2/524.2 4.2 设计方法设计方法(1)分类设计分类设计(2)找有资质的公司协助设计找有资质的公司协助设计 3/5

2、24.34.3高性能计算机选型高性能计算机选型p高性能计算机的作用高性能计算机的作用 运行用户程序运行用户程序 提供云计算服务提供云计算服务p高性能计算机的结构高性能计算机的结构 SMP MPP 集群集群4/52uSMPSMP计算机计算机Symmetrical MultiProcessingCPU/Cache互联结构I/O内存CPU/CacheCPU/Cache5/52uSMPSMP计算机计算机 主要特点是：主要特点是： 共享存储器系统共享存储器系统 对称性对称性 单地址空间单地址空间 每一每一CPU具有本地缓存具有本地缓存caching 利用存储器实现利用存储器实现CPU之间的通信之间的通信

3、 主要用途：主要用途： 运行串行性较强的程序，例如数据库系统运行串行性较强的程序，例如数据库系统 程序没有充分并行化：实现指令级并行程序没有充分并行化：实现指令级并行 选择要求：选择要求： 单个单个CPU的处理能力对最终性能的影响大，应尽量选的处理能力对最终性能的影响大，应尽量选择主频高、流水线多、可并行执行线程多的择主频高、流水线多、可并行执行线程多的CPU。6/52uMPPMPP计算机计算机MPP：Massively Parallel ProcessorsP/CMP/CBus / CrossBarNICP/CMP/CBus / CrossBarNICHigh-Speed Network(H

4、SN)Disk，I/ODisk，I/ODisk，I/O7/52uMPP计算机 专用高速互联网专用高速互联网8/523D TorusuMPP计算机 四类节点：四类节点： 计算节点计算节点：承担计算功能，数量最多。：承担计算功能，数量最多。 I/O节点节点：负责对外完成：负责对外完成I/O功能，包括对网络存储系统功能，包括对网络存储系统的访问。的访问。 服务节点服务节点：执行公共的系统调用。：执行公共的系统调用。 系统节点系统节点：执行开关机、调试等功能。：执行开关机、调试等功能。9/52uMPP计算机 结构特点结构特点分布式存储分布式存储分布式分布式I/OI/O每个节点有多个每个节点有多个Pro

5、cessorProcessor和和Cache(P/C)Cache(P/C)及本地存储器及本地存储器局部互联网（早期：总线；现在：局部互联网（早期：总线；现在：CrossBarCrossBar等）等）通过通过NICNIC与与HSNHSN相连相连可扩展性较好可扩展性较好 用途用途科学计算、工程计算科学计算、工程计算网络服务网络服务 系统管理：节点独占式调度以提高性能系统管理：节点独占式调度以提高性能10/52u集群计算机集群计算机 将一组相互独立的计算机（称为节点），利用高将一组相互独立的计算机（称为节点），利用高速通信网络组成的一个单一的计算机系统，并以速通信网络组成的一个单一的计算机系统，并以

6、单一系统的模式加以管理单一系统的模式加以管理 三种组装方式：三种组装方式：11/52独立式独立的计算机放在书架一样的机架上独立的计算机放在书架一样的机架上12/52机架式独立的计算机封装成扁平状，放在机柜中独立的计算机封装成扁平状，放在机柜中13/52刀片式 每台计算机称为一个刀片，插在刀箱中每台计算机称为一个刀片，插在刀箱中 刀箱内集成网络、电源等刀箱内集成网络、电源等刀箱刀箱刀片主板14/52集群节点集群节点 三类：三类： 管理节点管理节点：完成作业调度、其他节点监控、与：完成作业调度、其他节点监控、与用户交互的功能。用户交互的功能。 计算节点计算节点：完成具体的计算、处理等功能。：完成具

7、体的计算、处理等功能。 I/O节点节点：实现对共享外存的控制。：实现对共享外存的控制。15/52集群内部互联集群内部互联 通常组成三个网络：通常组成三个网络： 计算网络计算网络：包括计算节点、管理节点，通常用高速网：包括计算节点、管理节点，通常用高速网络互联。络互联。 管理网络管理网络：包括所有节点，用于分发命令、收集状态，：包括所有节点，用于分发命令、收集状态，实现管理功能。实现管理功能。 I/O网络网络：包括：包括I/O节点、计算节点等，主要完成对共享节点、计算节点等，主要完成对共享外存的外存的I/O操作。操作。 计算网络：计算网络：Infiniband，Gbe I/O网络：网络：Infi

8、niband，Gbe 管理网络：管理网络：Gbe16/5217集群的典型结构Infiniband交换机校园网交换机管理节点DL385节点1100M管理交换机1000M数据交换机节点19节点1100M管理交换机1000M数据交换机节点19节点1100M管理交换机1000M数据交换机节点19节点1100M管理交换机1000M数据交换机节点19I/O节点1I/O节点nFC交换机GPU异构集群 GPU（Graphic Processing Unit）用于图形图）用于图形图像处理（显卡）像处理（显卡） 通用计算的功能通用计算的功能(GPGPU)，达，达GPGPU2880核、核、5Tflops计算能力。计

9、算能力。CPUGPUDataData计算计算/等待任务/指令结果18/52集群的特点与适用领域集群的特点与适用领域 特点：特点： 节点独立节点独立 可扩展可扩展 适用：适用： 高并行性的科学与工程计算高并行性的科学与工程计算 高吞吐量的网络计算，如各种网络服务器高吞吐量的网络计算，如各种网络服务器 不适合用作数据库服务器不适合用作数据库服务器 19/52u高性能计算机的高性能计算机的CPUCPU RISC IA CISC VLIMu高性能计算机的其它技术高性能计算机的其它技术 内存：内存：ECCECC，电池，电池 应急管理应急管理EMPEMP 网络监控网络监控 热插拔热插拔20/52u高性能计

10、算机的作业调度系统高性能计算机的作业调度系统 LSF（Load Sharing Facility）-Platform-IBM PBS Pro（Portable Batch System ）-NASA Gridview21/524.4 4.4 服务器选择服务器选择p 服务器基本要求服务器基本要求（1）性能要稳定）性能要稳定（2）以够用为准则）以够用为准则（3）应考虑扩展性）应考虑扩展性（4）要便于操作管理）要便于操作管理（5）满足特殊要求）满足特殊要求（6）配件搭配合理）配件搭配合理（7）理性看待价格）理性看待价格（8）售后服务要好）售后服务要好22/52p服务器配置与选择要点服务器配置与选择要

11、点 1数据库服务器数据库服务器 硬件：优先级为内存、磁盘、处理器硬件：优先级为内存、磁盘、处理器 软件：软件：Oracle，DB2，SQL Server，PostGreSQL，MySQL，Access23/52p服务器配置与选择要点服务器配置与选择要点 2Web服务器服务器 硬件：优先级为网络系统、内存、磁盘系统、硬件：优先级为网络系统、内存、磁盘系统、CPU 软件：软件：Unix, Linux, Windows; WebLogic, Tomcat+Appache,24/52p服务器配置与选择要点服务器配置与选择要点 3文件服务器文件服务器 硬件：优先级为网络系统、磁盘系统和内存硬件：优先级为

12、网络系统、磁盘系统和内存 软件：软件：Lustre，GPFS，GFS25/52p服务器配置与选择要点服务器配置与选择要点 4邮件服务器邮件服务器 硬件：优先级为内存、磁盘、网络系统、处理器硬件：优先级为内存、磁盘、网络系统、处理器 5. FTP服务器服务器26/524.5 4.5 存储设备选型存储设备选型p磁盘接口类别磁盘接口类别 SATA SCSI SAS FC 27/52p磁盘阵列磁盘阵列RAID0 28/52p磁盘阵列磁盘阵列RAID1 29/52p磁盘阵列磁盘阵列RAID3 （N+1）30/52p磁盘阵列磁盘阵列RAID5 31/52p磁盘阵列磁盘阵列RAID10（1+0） 32/52

13、p 磁盘阵列磁盘阵列33/52RAID级别级别RAID 0RAID 1RAID 3RAID 5RAID 10别名条带镜像专用奇偶位条带分布奇偶位条带镜像阵列条带容错性没有有有有有冗余类型没有复制奇偶校验奇偶校验复制热备盘选项没有有有有有读性能高低高高中间随机写性能高低最低低中间连续写性能高低低低中间需要的磁盘数一个或多个只需2个或2N个三个或更多三个或更多只需4个或2N个可用容量总的磁盘的容量只能用磁盘容量的50%(n-1)/n的磁盘容量，其中n为磁盘数(n-1)/n的磁盘容量，其中n为磁盘数只能用磁盘容量的50%典型应用无故障的迅速读写，要求安全性不高，如图形工作站等随机数据写入，要求安全性

14、高，如服务器、数据库存储领域连续数据传输，要求安全性高，如视频编缉、大型数据库等随机数据传输要求安全性高，如金融、数据库、存储等要求数据量大，安全性高，如银行、金融等领域p 磁带磁带34/52 单盘容量单盘容量持续传输率持续传输率(MB/s)介质寿命（年）介质寿命（年）LTO2.5TB14030DLT1.6TB14015-30IBM TS11301TB16015-30p存储体系存储体系uDAS (Direct Attached Storage，直接附加存储，直接附加存储) 存储设备通过电缆（通常是存储设备通过电缆（通常是SCSI接口电缆）直接连接服接口电缆）直接连接服务器。务器。 I/O（输入

15、（输入/输入）请求直接发送到存储设备输入）请求直接发送到存储设备 称为称为SAS（Server-Attached Storage，服务器附加存储），服务器附加存储） u适用：适用： 地理分散地理分散 存储与应用必须直连存储与应用必须直连35/52uNAS(Network Attached Storage) 直接与网络介质相连直接与网络介质相连 用户通过网络来访问用户通过网络来访问 类似于一个通用的文件服务器类似于一个通用的文件服务器 NAS是通过网线连接的磁盘阵列，具备磁盘阵列是通过网线连接的磁盘阵列，具备磁盘阵列的所有主要特征的所有主要特征36/52uSAN(Storage Area Net

16、work) 通过专用高速网将一个或多个网络存储设备和服通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统务器连接起来的专用存储系统37/52uSAN(Storage Area Network) FC SAN IP SAN IB SANSAN 与与NAS的区别：的区别： SAN的文件管理系的文件管理系统分别在每一个应统分别在每一个应用服务器上用服务器上 NAS是每个应用服是每个应用服务器通过网络协议务器通过网络协议使用同一个文件管使用同一个文件管理系统（理系统（NAS有自有自己的文件系统管理）己的文件系统管理）38/524.6 云计算服务云计算服务 云计算的思想是将桌面上的计算

17、移到基于服务器云计算的思想是将桌面上的计算移到基于服务器集群和大型数据库的面向服务的平台集群和大型数据库的面向服务的平台 关键技术：关键技术：虚拟化虚拟化。将多个虚拟机复用在同一硬。将多个虚拟机复用在同一硬件机器上的体系结构方法和技术件机器上的体系结构方法和技术 虚拟机虚拟机：通过软件模拟的、具有完整硬件系统功：通过软件模拟的、具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机能的、运行在一个完全隔离环境中的完整计算机系统系统应用Guest OS应用Guest OSVirtualization layer (VMM)HardwareVM应用OSHardwareRM39/52云计算的实

18、现模式云计算的实现模式 IaaS PaaS SaaS 效果：效果： 租用租用40/524.7 4.7 机房工程设计机房工程设计p供电与供电与UPS系统设计系统设计 电力容量：设备电力容量：设备+空调空调+照明照明+冗余冗余 电力配置：电力配置：220V，380V 地线地线 UPS：负载设备：负载设备 计算负载：计算负载：1VA=0.8W 供电时间：？小时供电时间：？小时 特殊功能：失电关机特殊功能：失电关机 EPS：空调：空调41/524.7 4.7 机房工程设计机房工程设计p供电与供电与UPS系统设计系统设计 电力容量：设备电力容量：设备+空调空调+照明照明+冗余冗余 电力配置：电力配置：2

19、20V，380V 地线地线 UPS：负载设备：负载设备 计算负载：计算负载：1VA=0.8W 供电时间：？小时供电时间：？小时 特殊功能：失电关机特殊功能：失电关机 EPS：空调：空调42/52p制冷系统设计制冷系统设计43/52p制冷系统设计制冷系统设计44/52p制冷系统设计制冷系统设计 需要的制冷量需要的制冷量=A+B+C+D+E+FA外部设备发热量计算外部设备发热量计算 Q860N（kcal/h） N：用电量（：用电量（kw） ：同时使用系数（可取：同时使用系数（可取0.2）860：功的热当量：功的热当量45/52p制冷系统设计制冷系统设计 B主机发热量计算主机发热量计算Q860Ph1

20、h2h3 （kcal/h） P：总功率（：总功率（kw） h1：同时使用系数：同时使用系数(0.95) h2：利用系数：利用系数(0.9) h3：负荷工作均匀系数：负荷工作均匀系数(0.85) 46/52p制冷系统设计制冷系统设计 C照明设备热负荷计算照明设备热负荷计算 QCP （kcal/h） P：照明设备的标称额定输出功率（：照明设备的标称额定输出功率（w） C：每输出：每输出1w的热量（的热量（kcal/h.w）日光灯为）日光灯为1.0 47/52p制冷系统设计制冷系统设计 D人体发热量人体发热量 Qnq （cal/h） n：人数：人数 q：每人发热量：每人发热量(102cal )48/

21、52p制冷系统设计制冷系统设计 E围护结构的传导热围护结构的传导热 QKF（t1-t2）（）（kcal/h） K：围护结构的导热系数（：围护结构的导热系数（kcal/mh），普通），普通混凝土混凝土1.4 F：围护结构面积（：围护结构面积（m） t1：机房内温度（：机房内温度（） t2：机房外的计算温度（：机房外的计算温度（） F墙体面积墙体面积+地面面积地面面积+楼顶面积楼顶面积 t1-t215，按最高温度计算，按最高温度计算 49/52p制冷系统设计制冷系统设计 F换气及室外侵入的热负荷及其它热负荷换气及室外侵入的热负荷及其它热负荷 根据面积、是否有新风装置估算根据面积、是否有新风装置估算

22、 （100m2，无新风时可估算为，无新风时可估算为5000kcal ）50/52p消防系统设计消防系统设计 七氟丙烷气体灭火七氟丙烷气体灭火 自动控制：探测器发出声、光报警信号，同时发自动控制：探测器发出声、光报警信号，同时发出联动命令，关闭空调、风机、防火卷帘等通风出联动命令，关闭空调、风机、防火卷帘等通风设备，经过设备，经过30秒延时（人员撤离时间），释放七秒延时（人员撤离时间），释放七氟丙烷氟丙烷 手动：手动启动手动：手动启动 紧急停止：在延时时间内发现不需要启动灭火系紧急停止：在延时时间内发现不需要启动灭火系统下，可按下统下，可按下紧急停止紧急停止按钮，终止灭火程序按钮，终止灭火程序 51/52p监控与报警监控与报警 监控内容监控内容 漏水漏水 高温高温 失电失电 盗抢盗抢 报警报警 声声 光光 短信短信 公安联动公安联动52/524.8 4.8 数据中心设计文档数据中心设计文档1.设计原则与要求设计原则与要求2.数据中心环境说明数据中心环境说明3.高性能计算机选型高性能计算机选型 4.各类服务器功能与性能设计各类服务器功能与性能设计5.存储系统设计存储系统设计6.云计算服务设计云计算服务设计7.机房工程设计机房工程设计53/52