1、高性能计算中心高性能计算中心NX Nastran部署和客户案例部署和客户案例分享分享wangzongle.NX Nastran并行计算能力和方法并行计算能力和方法客户客户并行计算案例介绍并行计算案例介绍NX Nastran在高性能计算中心的部署在高性能计算中心的部署NX Nastran并行计算未来发展并行计算未来发展Agenda.NX Nastran并行计算能力和方法并行计算能力和方法客户客户并行计算案例介绍并行计算案例介绍NX Nastran在高性能计算中心的部署在高性能计算中心的部署NX Nastran并行计算未来发展并行计算未来发展AgendaDMP(分布式并行分布式并行计计算算)优势优
2、势 更少的计算时间 更少的硬件资源需求硬件硬件环环境境 工作集群 多处理器、多I/O通道工程工程问题问题 非常大型的有限元模型 非常宽泛的频率范围要求利用模型分割方法利用模型分割方法进进行并行行并行计计算算 几何分割、频率分割、或者同时和和SMP（共享内存式并行）比（共享内存式并行）比较较硬件硬件环环境境 分布式内存跨越多个工作站(cluster)vs.单机多核工作站，共享内存运行运行级别级别 高阶:模型分割方法 vs.低阶:分割矩阵和向量计算软软件机制件机制 信息传输机制MPI vs.进程，系统调用扩扩展性展性 多CPU(2 to 256)vs.少CPU(2 to 8)vs.DMP 静静态计
3、态计算算GDStat 分割几何模型为多个部分 在互相关联的各部分内部进行计算 分割原则是在各部分之间最少的边界 各部分的计算结果通过MPI进行通讯 LDStat 分割方程右面的载荷向量 模型包括大量的载荷条件的时候、可以加速计算任务 ntonntonntonntoFFFFKx4133122111.KKKKKKKKKKKKKKKKKKKKKKKKKKKKtt,to,to,to,to,to,to,tttt,to,to,ot,otoo,ot,otoo,tttttoto,ot,otoo,ot,otoo77675747372717666564756557464473323137232271311DMP
4、模模态计态计算算GDModes 对几何模型分块 FDModes 对计算频率范围分块 在互相关联的频率范围内部进行计算HDModes 按照交叉原则，同时进行几何分块和频率范围分块RDModes 利用递归分块将系统矩阵分为多个层级的子结构 和其他方法不同，由于子结构的缩减，模态计算结果有些许变化典型典型DMP应应用用场场景景LDStat 航空航天系统 通常具备100-1000种载荷工况计算要求 GDModes 白车身 主要由壳网格组成的复杂结构模型FDModes 白车身及动力总成 频率范围非常宽泛，要求模态数量足够多HDModes/RDModes 白车身及动力总成 可以接受近似计算结果 NX Na
5、stran递归递归模模态态加速加速计计算算计算选项 dmp 参与计算的处理器的数量 设计dmp=1 进行串行计算、计算效率比传统的模态计算速度要快 nrec 分割子结构的数量 最好是2的指数，例如2,4,128,256，默认为nrec=1，自动选择 rdscale 子结构模态范围系数默认为 2.0;子结构计算频率范围是整个模型频率范围的2倍；增加该系数，提高计算精度，降低计算速度 RDSPARSE parameter 控制是否采用稀疏矩阵进行响应计算的数据恢复，默认为YES 如果只需要对一小部分关注点进行响应结果计算，稀疏矩阵数据恢复非常有效RDModes 计算白车身模型计算白车身模型Mode
6、l Description 1.3M grid points 1,2M elements 6.5M degrees of freedomSolution Settings Modes 0 300 Hz(about 1000 modes)Full eigenvalue recovery NREC=512 RDSCALE=2.0Cluster System Siemens HP Cluster Linux OS 64 CPUs UC Berkeley Cluster 900 CPUsRDModes 计算白车身模型计算白车身模型CPU Time Savings Using More Processo
7、rsRuns performed on UC Berkeley ClusterRDModes 计算白车身模型计算白车身模型Computational Cost for Solving for More ModesRuns performed on Siemens HP Cluster using 64 processorsSolving for more modes only marginally adds to computational cost.RDModes 计算白车身模型计算白车身模型稀疏矩阵数据恢复 输出结构只在部分响应位置时，此方法效率最高 前端矩阵分割以及后端模态振型分割结构提
8、高响应计算效率 根据输出请求，自动选择稀疏矩阵恢复 SOURCE:NAFEMS(2014,Americas Conference)快速频率响应分析快速频率响应分析快速模态法频率响应分析快速模态法频率响应分析当结构阻尼矩阵属于低阶矩阵时特别有效当结构阻尼定义在少量单元上时特别有效快速直接法频率响应分析快速直接法频率响应分析迭代求解 PvL(Pad via.Lanczos)当响应需要在大量频率点上计算时相对标准方法计算频率响应相对标准方法计算频率响应44018110100200300400500NXN 10(SMP8=8)NXN 11(SMP=8)NXN 11(SMP=16)Elpased Tim
9、e(minutes)Low Rank K4 Damping-Performance 12000 modes and 57000 response0.000.200.400.600.801.00SparsePvLIterativeFrequency-dependent SOL 108Normalized Other timeNormalized FRRD fluid time-65%-9%NX Nastran首席算法科学家首席算法科学家Dr.Louis Komzsik Siemens PLM Chief Numerical Analyst.NX Nastran并行计算能力和方法并行计算能力和方法
10、洛阳洛阳613客户并行计算案例介绍客户并行计算案例介绍NX Nastran在高性能计算中心的部署在高性能计算中心的部署NX Nastran并行计算未来发展并行计算未来发展AgendaNX Nastran支持并行计算操作系统支持并行计算操作系统Platform (Build Types)Supported 64-bit Operating Systems-INTEL Windows Win Server 2008 R2 Win Server 2012 R2 Windows 7 SP1 Windows 8.1 Windows 10X86_64 Linux SUSE SLES 11 SP1(Opte
11、ron/Xeon)SUSE SLES 11 SP4 SUSE SLES 12 SUSE SLES 12 SP2 Red Hat ES 6.2 Red Hat ES 6.9 Red Hat ES 7.0 Red Hat ES 7.4 Centos 6 Centos 7.3Linux平台平台NX Nastran软件安装软件安装利用NX Nastran进行跨节点的并行计算，需要按照以下方式进行软件安装：安装NX Nastran程序在全局文件系统，该文件系统对每一个节点都是一样的，这是目前最容易的安装方式，缺点是数据交换压力较大，需要采用高速网络，否则数据交换影响并行计算的效率；安装NX Nastra
12、n程序在每一个参与计算的节点，每一个节点具备自己的文件系统。缺点就是安装和管理困难，但是网络数据交换容易.前述两种的混合安装方式.注意:不管哪种安装方式，启动nastran命令的目录必须是完全一样的，或者在每一个节点的PATH环境变量定义一样的目录.Linux操作系统安装前提从NX nastran9.1版本开始，在linux操作系统运行Nastran计算需要安装libnuma.so.1，该服务包含在下面软件包：.For Redhat EL,the package is numactl.For SuSE Enterprise,the package is libnuma1.计算机架构区分计算机架
13、构区分SMP硬件架构DMP硬件架构每个节点有自己的CPU,memory,disk数据互不干扰，可以单独运行通过网络进行数据交换易于扩展memory，disk单机具备多个CPU，共享内存和I/O总线多个CPU可以单独运行，但是所有操作其他CPU可见不容易扩展无法并行常见原因：无法并行常见原因：Rsh、rcp/ssh、scp基于网络安全，目前很多用户的系统环境设置为SSH/SCP功能实现各节点之间的无密码访问；如果要在SSH/SCP环境实现DMP并行计算，那么需要使用IntelMPI才能实现并行，而在LAM环境无法实现并行计算；原因原因：目前在Nastran的安装文件默认支持rsh、rcp，如果在
14、运行SSH/SCP的系统环境，无法运行DMP并行计算任务，也无法通过远程节点运行任务。运行环境设置运行环境设置：你可以无密码访问任何参与计算的节点，而不需要输入密码，例如你输入如下命令rsh -1 date 应该马上得到输出结果为：Thu STP 17 13:06:49 EST 2018 解决方法解决方法：a.The environment variable MPI_REMSH is set to ssh.b.The argument s.rsh=ssh is included on the nastran command line.c.The argument s.rcp=scp is in
15、cluded on the nastran command line.无法并行常见原因：无法并行常见原因：Infiniband互联网络协议互联网络协议如果用户的各节点采用infiniband互联网格，那么nastran运行DMP运行并行需要采用IntelMPI并行机制；如果采用LAMMPI机制，那么无法启动并行计算 原因：原因：lmp7.1才能支持infiniband互联网协议，而目前nastran并行命令（analysis.dmp）所编译包括的mpi library属于lam7.0.4，所以无法支持infiniband网络解决办法：解决办法：升级lammpi到最新版本，从而支持现有infin
16、iband网络利用hpmpi并行计算协议，可以实现在infiniband网络运行DMPWindows单机版运行单机版运行DMP命令命令NX Nastran12开始，用户不再需要进行环境设置，可以直接在单机包括多核的系统运行DMP命令，前提是系统安装MPI服务功能；.NX Nastran并行计算能力和方法并行计算能力和方法客户客户并行计算案例介绍并行计算案例介绍NX Nastran在高性能计算中心的部署在高性能计算中心的部署NX Nastran并行计算未来发展并行计算未来发展Agenda高性能高性能中心架构图中心架构图安装高性能计算硬件：1、胖节点：3台其中图形显示节点，进行结果的处理和显示操作
17、1台两台进行NX Nastran并行计算任务和热流并行计算任务热流并行计算安装linux版本NX11软件NX Nastran11安装Windows版本求解器软件2、计算中心硬件配置采用刀片配置16*8核数3、本地客户端采用Xmanager进行数据传输和任务提交，通过胖节点进行DMP任务执行高性能计算中心架构高性能计算中心架构机房硬件中心配置机房硬件中心配置计算中心计算中心NX Nastran程序运行结果程序运行结果NX Nastran并行计算程序安装1、安装企业版linux计算程序到刀片集群2、安装胖节点独立版计算程序3、安装linux版本NX软件，进行热流并行计算4、匹配PBS进行任务调度和
18、资源管理批处理任务监控集群式求解任务提交共享文件夹CAE 结果JT展示后处理获取数据准备数据理想化数据更新数据前处理数据解算数据后处理数据报表报告 与PBS Pro 计算管理软件平台集成 可配置本地解算器计算启动 可配置实现远程解算器计算启动高性能计算平台集成高性能计算平台集成并行计算并行计算NX Nastran应用推广应用推广Linear ModalDynamicsNonlinearAeroelasticityLaminate CompositesAcousticsNVHOptimizationRotor DynamicsParallel ProcessingThermalCustomSol
19、utionsMulti-physicsNASTRANSuperelementsConnection ModelingOpen EnvironmentDurabilityOptimizationCorrelationAcoustics.NX Nastran并行计算能力和方法并行计算能力和方法客户客户并行计算案例介绍并行计算案例介绍NX Nastran在高性能计算中心的部署在高性能计算中心的部署NX Nastran并行计算未来发展并行计算未来发展Agenda云云 可以配置计算资源的共享池可以配置计算资源的共享池美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可
20、用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。Managed by vendorYou manageStorageServersNetworkingO/SMiddlewareVirtualizationApplicationsRuntimeDataManaged by vendorStorageServersNetworkingO/SMiddlewareVirtualizationApplicationsRuntimeDataStorageServersNet
21、workingMiddlewareVirtualizationDataApplicationsRuntimeManaged by vendorYou manageO/S云服务的模式云服务的模式Platform(as a Service)Software(as a Service)Infrastructure(as a Service)Increasing Cloud ServicesTraditional Compute Configuration(not cloud based)StorageServersNetworkingO/SMiddlewareVirtualizationDataAp
22、plicationsRuntimeYou manageSiemens PLM Software Cloud FrameworkSaaS Configurations 程序:NX Nastran 用户不需要购买软件许可 Rescale 云端提供此类服务 按需付费 适合所有类型的企业PaaS Configurations(BYOL Bring Your Own License)程序:NX Nastran 用户采购软件许可 Rescale 云端提供此类服务 利用数据通道，Rescale允许用户按需获取许可 适合所有类型的企业IaaS Configurations 程序:Teamcenter and
23、all NX Products 用户采购软件许可，包括云服务许可 经过验证的云服务商(Amazon)特别适合大企业 通过西门子或者代理商购买通过西门子或者代理商购买许可许可 永久许可永久许可/年度维护年度维护;或者按或者按月月/年租用年租用 许可在公司内部管理和维护许可在公司内部管理和维护传统传统 NX Nastran 商业模式商业模式传统传统永久或者预订许可永久或者预订许可 通过西门子或者代理商购买通过西门子或者代理商购买许可许可 永久许可永久许可/年度维护年度维护;或者按或者按月月/年租用年租用 许可在公司内部管理和维护许可在公司内部管理和维护新的新的NX Nastran 许可模式许可模式
24、 按使用小时付费按使用小时付费 通过通过Rescale购买购买 并行计算（一次可以计算多并行计算（一次可以计算多个任务）个任务）如果进行如果进行DOE计算，可以优计算，可以优惠惠 根据使用时间付费根据使用时间付费1-12月月 通过通过Rescale购买购买 串行计算（一次计算一个任串行计算（一次计算一个任务）务）价格类似于从西门子预订许价格类似于从西门子预订许可的费用可的费用PaaS(BYOL)SaaS永久或者预订许可永久或者预订许可SaaS 按月预订按月预订SaaS 按需付费按需付费BYOL 自己购买的许可管理模式自己购买的许可管理模式使用已经购买的NX Nastran许可，增加计算资源的灵
25、活性 利用Rescale平台在内部，后者外部使用自己的许可 提供安全通道连接Rescale到你的服务许可管理站点 利用云平台的计算资源，高效的计算你的仿真任务All types of NX Nastran solutions supportedSecure SSH tunnel for License Check In-Out用户内部网络用户内部网络EngineerDesktopFlex LMLicense ServerIn-houseCompute ServerEngineerDesktopBYOLSolution Option关键技术点关键技术点数据安全机制数据安全机制 使用专利安全技术保
26、证数据的安全性 完全符合安全标准 ITAR,SOC 2 IT 管理员可以定制用户访问机制 数据保存在云比在自己的服务器还要安全数据传输速度数据传输速度 友好的用户界面，帮助提交计算你的任务 数据上传或者下载可以超过100Gb,并且测试过2Tb的数据降低硬件购置成本降低硬件购置成本 软件即服务的模式，用户不需要购买硬件资源扩展现有扩展现有HPC能力能力 按需配置资源，可以高效的应用软件的计算能力高效的回报率高效的回报率 最小成本进行快速部署计算能力数据安全数据安全 数据端到端的加密处理，冗余设计无需担心 数据丢失提高产品开发效率提高产品开发效率 利用大量的计算资源，提高计算仿真效率易于使用 采用
27、网页浏览器的模式提交计算任务提高创新和产品开发效率提高创新和产品开发效率 利用大规模资源的计算能力，可以进行DOE仿真计算，提高计算效率NX Nastran 布置在云端为用户带来的价值布置在云端为用户带来的价值工程工程/商务价值商务价值硬件资源价值硬件资源价值更低的支出成本更低的支出成本 按需支出，初期成本低不经常使用成本更低不经常使用成本更低 如果只是偶尔使用，成本更低DOE 灵敏度分析灵敏度分析 只有在云端才可以实现运维成本运维成本 没有硬件费用，成本更低灵活灵活 可以在本地，也可以在云端运行许可更低的长期成本更低的长期成本 从长期来看，永久许可和维护成本更低NX Nastran 在云端在云端BYOL vs.SaaSBYOL AdvantagesSaaS Advantages.NX Nastran并行计算能力和方法并行计算能力和方法客户客户并行计算案例介绍并行计算案例介绍NX Nastran在高性能计算中心的部署在高性能计算中心的部署NX Nastran并行计算未来发展并行计算未来发展Agenda总结总结
