1、高性能计算机和曙光机群系统高性能计算机和曙光机群系统提纲 什么是高性能计算 什么是高性能计算机 集群系统什么是高性能计算？高性能计算HPC：High Performance Compute 高性能计算-并行计算并行计算(Parallel Computing）高端计算(High-end Parallel Computing)高性能计算(High Performance Computing)超级计算(Super Computing)什么是高性能计算？计算科学与传统的两种科学，即理论科学和实验科学，并立被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论
2、模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。为什么要做高性能计算 应用需求为什么要做高性能计算 人类对计算及性能的要求是无止境的从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求从应用的角度：适当分解应用，以实现更大规模或更细致的计算 问题:科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合提纲 高性能市场概要 曙光和高性能计算机 什么是高性能计算 什么是高性能计算机 集群系统什么是高性能计算机？由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算
3、都离不开使用并行技术，所以高性能计算机肯定是并行计算机。其发展历程可以简单的分为两个时代其发展历程可以简单的分为两个时代 专用时代专用时代包括向量机，MPP系统，SGI NUMA 系统，SUN大型SMP系统，也包括我国的神威，银河，曙光1000等。之所以称为“专用”，并不是说它们只能运行某种应用，是指它们的组成部件是专门设计的，它们的CPU板，内存板，I/O板，操作系统，甚至I/O系统，都是不能在其它系统中使用的。由于技术上桌面系统与高端系统的巨大差异，和用户群窄小。普及时代普及时代高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用。商品化趋势使得大量生产的商品部件接近
4、了高性能计算机专有部件标准化趋势使得这些部件之间能够集成一个系统中，其中X86处理器、以太网、内存部件、Linux都起到决定性作用。机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。高性能计算机系统架构高性能计算机系统架构 并行向量机 SMP DSM（NUMA）MPP，节点可以是单处理器的节点，也可以是SMP，DSM Cluster Constellation 高性能计算机的制造厂商 Cray SGI IBM 曙光 银河 神威并行计算机系统类型并行计算机系统类型 Flynn分类：SISD,SIMD,MIMD,MISD 结构模型：PVP,SMP,MPP,DSM,COW 访存
5、模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行计算机分类并行计算机分类Flynn分类Flynn(1972)提出指令流、数据流和多倍性概念，把不同的计算机分为四大类：SISD（Single-Instruction Single-Data）SIMD（Single-Instruction Multi-Data）MISD（Multi-Instruction Single-Data）MIMD（Multi-Instruction Multi-Data）现代高性能计算机都属于MIMD。MIMD从结构上和访存方式上，又可以分为：结构模型：PVP,SMP,MPP,DSM,COW访存模型：UMA
6、,NUMA,COMA,CC-NUMA,NORMA结构模型结构模型对称多处理机系统对称多处理机系统(SMP)SMPSMP对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、机率都是等价的;系统是对称的；微处理器:一般少于64个;处理器不能太多,总线和交叉开关的一旦作成难于扩展；例子:IBM R50,SGI Power Challenge,SUN Enterprise,曙光一号;分布式共享存储系统分布式共享存储系统(DSM)DSMDSM分布共享存储:内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的;这种结构也称为基于Cache目录的非一致内存访问(CC-NUMA)结
7、构;局部与远程内存访问的延迟和带宽不一致,3-10倍高性能并行程序设计注意;与SMP的主要区别：DSM在物理上有分布在各个节点的局部内存从而形成一个共享的存储器；微处理器:16-128个,几百到千亿次;代表:SGI Origin 2000,Cray T3D;大规模并行计算机系统大规模并行计算机系统(MPP)MPPMPP物理和逻辑上均是分布内存能扩展至成百上千个处理器(微处理器或向量处理器)采用高通信带宽和低延迟的互联网络(专门设计和定制的)一种异步的MIMD机器；程序系由多个进程组成，每个都有其私有地址空间，进程间采用传递消息相互作用；代表:CRAY T3E(2048),ASCI Red(30
8、72),IBM SP2,曙光1000机群系统机群系统(Cluster)ClusterCluster每个节点都是一个完整的计算机各个节点通过高性能网络相互连接网络接口和I/O总线松耦合连接每个节点有完整的操作系统曙光2000、3000、4000,ASCI Blue Mountain访存模型访存模型UMA:NORMA:NUMA:多处理机（单地址空间共享存储器）UMA:Uniform Memory Access NUMA:Nonuniform Memory Access多计算机（多地址空间非共享存储器）NORMA:No-Remote Memory Access结构模型访存模型结构模型访存模型UMA:
9、NUMA:NORMA:多处理机多处理机&多计算机多计算机UMA:NUMA:NORMA:多处理机(共享存储)多计算机(分布式存储)并行计算机的性能指标并行计算机的性能指标名名 称称符符 号号含含 意意单单 位位机器规模机器规模n处理器的数目处理器的数目无量纲无量纲时钟速率时钟速率f时钟周期长度的倒数时钟周期长度的倒数MHZ工作负载工作负载W计算操作的数目计算操作的数目Mflop顺序执行时间顺序执行时间T1程序在单处理机上的运行时间程序在单处理机上的运行时间s（秒）（秒）并行执行时间并行执行时间T n程序在并行机上的运行时间程序在并行机上的运行时间s（秒）（秒）速度速度R n=W/T n每秒百万次
10、浮点运算每秒百万次浮点运算Mflop/s加速加速Sn=T1/Tn衡量并行机有多快衡量并行机有多快无量纲无量纲效率效率En=S n/n衡量处理器的利用率衡量处理器的利用率无量纲无量纲峰值速度峰值速度R peak=n R peak所有处理器峰值速度之积所有处理器峰值速度之积，Rpeak为一个处理器的峰值速度为一个处理器的峰值速度Mflop/s利用率利用率U=R n/R peak可达速度与峰值速度之比可达速度与峰值速度之比无量纲无量纲通信延迟通信延迟to传送传送0-字节或单字的时间字节或单字的时间s渐近带宽渐近带宽r传送长消息通信速率传送长消息通信速率MB/s衡量系统性能的主要指标衡量系统性能的主要
11、指标(1)MIPSMIPS（百万条指令每秒）（百万条指令每秒）理论计算：处理器的时钟频率与平均每条指令所需的时钟周期（Cycles Per Instruction）的比值 MIPS clock rate/CPI=(number of Instructions)/(CPU time)实际数值：对于一个应用（程序），指令数目与运行时间的比值 MIPS(number of Instructions)/(execution time)衡量系统性能的主要指标衡量系统性能的主要指标(2)MFLOPSMFLOPS（百万次浮点运算每秒）（百万次浮点运算每秒）理论计算：系统的浮点计算部件每秒可以做的浮点计算次数
12、；MFLOPS=(number of Floating Point compute Unit)N N为每个浮点计算部件一个周期内可以做的最多浮点操作数，对于目前常见的微处理器，一般为14；实际数值：对于一个应用，浮点运算数目与运行时间的比值；MFLOPS=(number of floating operations)/(execution time)两个指标的缺点两个指标的缺点l 都不能全面表征系统的性能都不能全面表征系统的性能MIPS指标比较适用于事务处理领域；不同系统的指令不同，一条指令的功能和复杂度差别很大，如IBM的大型主机（Mainframe），价格达到千万元的大型机（含配套软件），
13、其MIPS值一般为510，不及价值数千元的Pentium4 PC；非计算密集型的应用（事务处理）对I/O要求高，计算密集型的应用（图形程序）对主频要求高。用户对可靠性等特殊要求；应用的需求不同，高性能计算领域也是“通才”难求，各有所长；某些特殊类型计算机适合特定的应用。两个指标的缺点两个指标的缺点l 理论计算和实际测试的差别对于一个具体的应用，可获得的实际性能与理论峰值有相当大的差距，即效率低的问题；应用效率成为高性能计算的核心问题之一，受到普遍关注。加速比定律加速比定律 在并行计算系统，并行算法（并行程序）的执行速度相对于串行算法（串行程序）加快的倍数，就是该并行算法（并行程序）的加速比；加
14、速比是衡量“并行收益”的重要指标；Amdahl定律适用于固定计算规模的加速比性能描述，Gustafson定律适用于可扩展问题。Amdahl定律定律S=(WS+WP)/(WS+WP/p)=1/(1/p+f(1-1/p)显然，当p时，S=1/f，即对于固定规模的问题，并行系统所能达到的加速上限为1/f 一度引发了并行界部分人士的悲观情绪Gustafson定律定律S=（WS+pwp）/（WS+WP）=p-f（p-1）=f+p（1-f）并行计算是为了解决大规模并行问题，可并行部分的比例是可扩大的 加速比与处理器数成斜率为（1-f）的线性关系 这样串行比例f就不再是程序扩展性的瓶颈，当然，f越低，斜率会
15、越大，加速性能越好。Linpack采用主元高斯消去法求解双精度稠密线性代数方 程组，结果按每秒浮点运算次数（flops）表示。包含三类测试，问题规模与优化选择各不相同：100100测试，在该测试中，不允许对Linpack测试程序进行任何修改（包括注释行）10001000测试，在该测试中，允许对算法和软件进行修改或替换，并尽量利用系统的硬件特点，以达到尽可能高的性能。但是所有的优化都必须保持和标准算法如高斯消去法相同的相对精度，而且必须使用Linpack的主程序进行调用。Linpack（续）（续）HPL测试 针对大规模并行计算系统的测试，其名称为High Performance Linpack(
16、HPL)，是第一个标准的公开版本并行Linpack测试软件包，用于TOP500与国内TOP100排名依据。使用者可以改变问题规模。有相当大的优化空间。NAS Parallel Benchmark NPB套件由八个程序组成 每个基准测试有五类：A、B、C、D、W(工作站)。A最小，D最大 NPB套件以每秒百万次运算为单位输出结果。整数排序(IS)快速Fourier变换（FT）多栅格基准测试（MG）共轭梯度(CG)基准测试 稀疏矩阵分解（LU）五对角方程（SP）和块状三角(BT)求解 密集并行(EP)高性能计算机的最新发展状况 顶天立地高端：低端：从单纯关注性能到综合评价高性能 vs 高效能性能
17、vs 使用硬件建设 vs 综合建设提纲 高性能市场概要 曙光和高性能计算机 什么是高性能计算 什么是高性能计算机 集群系统什么是机群系统什么是机群系统 机群系统（Cluster）利用标准网络将一台台普通服务器或者PC机连接起来，为使用者提供更高的计算能力和存储能力并为使用者提供单一系统映象的系统。单一系统映象单一系统映象使用者在使用机群系统的时候感觉上就象使用一个单独的计算机系统一样。单一系统映象实现方法：硬件层、操作系统层、软件层机群系统的优势机群系统的优势 极高的性价比极高的性价比 大型机的主流大型机的主流 良好的可扩展性良好的可扩展性 更高的可管理性更高的可管理性 更低的使用维护成本更低
18、的使用维护成本 更好的可使用性更好的可使用性 更改的系统鲁棒性更改的系统鲁棒性 更多的应用支持更多的应用支持机群使用越来越广泛应用领域越来越多机群系统的应用领域机群系统的应用领域数学基因信息气象预报生物物理石油勘探信息服务汽车制造船舶制造19932006年年 高性能计算机在高性能计算机在TOP500中的变化中的变化机群成为高性能计算机的主流机群成为高性能计算机的主流ArchitectureCountShare%Cluster40080%MPP9819.6%Constellations20.4%Total500100%TOP500排名(2008年6月)机群系统的分类机群系统的分类 高性能机群 负载均衡机群 高可用机群高性能机群系统架构高性能机群系统架构谢谢 谢！谢！放映结束 感谢各位的批评指导！让我们共同进步
