1、动漫与影视超级渲染云计算平台动漫与影视超级渲染云计算平台裘初裘初 博士博士中国传媒大学高性能计算中心中国传媒大学高性能计算中心电话电话:86-10-65783520:86-10-65783520传真传真:86-10-65451007:86-10-65451007邮件邮件:chqiucuc.edu:chqiucuc.edu网站网站:hpcc.cuc.edu:hpcc.cuc.eduConfidential中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 2中国传媒大学简介中国传媒大学简介 中国传媒大学（于1954年。原名北京广播学院）是教育部直属的国家“211工程”重点建设大
2、学，创建 2019年8月，北京广播学院更名为中国传媒大学。学校设有16个学院，24个博士点，48个硕士点，80个本科专业。学校现有全日制在校生近15000人。建校50多年来，学校培养了大批传媒领域的高层次人才，为党和国家的传媒事业发展作出了重要贡献，被誉为“中国广播电视人才摇篮”。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 3中国传媒大学高性能计算中心简介中国传媒大学高性能计算中心简介中国传媒大学高性能计算中心成立于2019年6月，是中国传媒大学“十五”“211工程”实验室建设重点项目。中心的建成不仅满足了传统大规模电磁仿真计算的要求，同时还满足了与数字内容处理相关学
3、科的科研、开发和工程应用等需要，为我校开展数字内容管理、视频图像检索、数字高清视频压缩编码、动画制作以及游戏设计等项目的研究提供了强有力的支持。中心主要研究工作包括集群计算、网格计算、高性能计算方法和高性能计算应用产业化等方面的内容，先后承担了国家科技重大专项、国家高新技术项目、北京市自然科学基金项目等各类课题24项，取得一系列重要的科研成果。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 4主要内容主要内容 渲染云计算平台的基本概念 超百万亿次规模下渲染云计算平台解决方案“天河-酷卡”超级渲染云计算平台的应用案例 Q&A中国传媒大学高性能计算中心HPCC,CUC CON
4、FIDENTIAL 5渲染云计算平台的基本概念中国传媒大学高性能计算中心什么是渲染云计算平台？什么是渲染云计算平台？中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 7渲染应用特点渲染应用特点 CPU计算量大渲染应用通常会占用大量的CPU资源，一个分辨率较高的画面在渲染时会耗费几小时甚至十几个小时的时间，CPU基本上满负荷运行。内存带宽高 渲染任务开始后，大量的材质贴图将被读取到内存中，然后开始渲染图像，在此过程中，CPU与内存的通讯非常频繁。分辨率越高，材质贴图越多，内存带宽要求越高。网络带宽高 在通过渲染农场进行网络渲染时，一旦管理服务器下达渲染任务，所有的计算节点便开
5、始从网络共享存储中去读取材质贴图和目标文件。因此，高带宽的网络将大大地缩短预读数据的时间，提高整体的渲染效率。存储系统I/O能力强在渲染过程中，渲染节点会产生大量的，近乎同时的I/O请求。尤其是在节点比较多的情况下，常规存储系统的I/O性能很难满足大规模渲染应用的需求。因此，需要配备具有超强I/O性能的存储系统，以确保系统能够高效运行。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 8渲染云计算平台所面临的挑战渲染云计算平台所面临的挑战 网络带宽瓶颈千兆的局域网环境可以满足教学的要求，但是在千兆网络环境下进行超大规模渲染计算的效率是极其低下的，需要更高带宽和低延时的高速互
6、联网络。存储I/O性能瓶颈在渲染时，很多个节点同时对某个共享进行读写，单台服务器的磁盘I/O无法满足这个需求，导致渲染出现瓶颈，效率不高。缺乏足够的灵活性由于渲染应用需求具有较强的时效性、较高的复杂性，不同的渲染任务对操作系统、渲染软件、渲染引擎和插件有不同的要求，要求系统具备较强的“随需应变”能力。软件版本更新速度快操作系统会需要不定期的更新，三维软件通常半年到一年就会进行一次更新，每个节点都需要安装。渲染管理软件也会必要的更新；实际工作量=节点数操作系统数量软件种类；需要能够进行智能的软件分发和安装，从而保证系统的可持续性使用。中国传媒大学高性能计算中心HPCC,CUC CONFIDENT
7、IAL 9渲染云计算平台所面临的挑战渲染云计算平台所面临的挑战 系统管理维护困难渲染应用的用户往往都是艺术家，与专业系统管理员差距比较大；同时，由于缺少针对用户使用习惯和实际需求而定制开发的系统管理软件，使得用户更加难以对系统进行有效的管理、更新和维护，从而导致系统难以长期稳定的运行。“孤岛式”的运营方式导致使用率低下目前动漫渲染平台大多采用“孤岛式”的运营方式，由于本单位动漫渲染任务数量有限，使得渲染平台大部分时间都处于空负载运行的状态，而外单位的人员即使有相关的应用需求，却不知道哪里有这种资源可用。于是就出现了一边是设备和软件闲置无人问、一边是用户“踏破铁鞋无觅处”的尴尬局面，造成了资源的
8、极大浪费。如何有效地整合现有的计算资源、数据资源和软件资源，为用户提供一个方便、透明的动漫渲染平台，也是我们亟待解决的问题中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 10我们对渲染云计算平台的理解我们对渲染云计算平台的理解 艺术创作与科学实践同样都需要智慧，而超级动漫渲染作为一个艺术与科学高度结合的产物，则更是需要二者的智慧大融合，并且技术的应用始终要以服务于艺术创作为宗旨。我们认为渲染云计算平台的解决方案必须遵循这一宗旨，力求用高效的科技手段、个性化的方案定制来帮助艺术家顺利地实现其艺术创作。渲染云计算平台 高性能计算集群 系统+渲染软件 传统的集群系统主要用于科学
9、计算领域，关注的问题是如何获得强大的计算能力。为了使其能够适合于高带宽、大I/O的渲染应用需求，我们必须根据渲染应用的特点，从集群系统的多个层次出发，对系统进行重新设计。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 11超百万亿次规模下渲染云计算平台解决方案中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 12总体思路总体思路 我们认为，超级渲染云计算平台是软件即服务SaaS、网格计算、虚拟化三者的有机结合：虚拟化技术为平台提供了必要的基础设施；网格计算技术为平台提供了重要的技术基础；软件即服务SaaS为平台提供了一种完全创新的软件使用模式。中国传媒
10、大学高性能计算中心HPCC,CUC CONFIDENTIAL 13总体思路总体思路 超级渲染云计算平台包括：基础架构层、平台服务层、应用服务层、服务管理和访问接口五个组成部分。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 14基础架构层基础架构层 提供了必要的IT基础设施，包括硬件设备和相关的系统软件。计算子系统由系统管理节点、应用管理节点和渲染节点三类节点服务器组成；系统管理节点同时承担了登录节点、控制节点、管理节点和安装节点的所有任务，需要配备高性能、高可靠性的服务器；应用管理节点上部署渲染管理软件，实现对各个渲染节点任务的管理和分发，需要配备高性能、高可靠性的服务
11、器；渲染节点是整个集群渲染系统的计算核心，主要功能就是执行渲染计算。互联子系统提供系统管理节点、应用管理节点、渲染节点和存储子系统之间连接通路；实现了系统的管理、实时监控和网络文件访问数据的传递，以及渲染节点之间的高速消息交换；主流互联技术包括千兆/万兆以太网、Myrinet 光纤网络和Infiniband 网络；几乎所有的网络渲染软件都支持TCP/IP协议，用户无须进行任何改动，渲染平台即可平滑的迁移至万兆以太网。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 15基础架构层基础架构层 存储子系统为集群渲染平台提供集中的数据存储空间；渲染平台在运行过程中，需要频繁读取各
12、种场景、贴图、材质等文件，同时还会生成大量的图片序列；存储子系统不仅要满足渲染任务对存储容量的要求，而且必须满足渲染节点进行大量数据I/O对性能的要求；目前主流的三种存储架构：DAS、NAS和SAN。虚拟化子系统将高性能计算集群的操作系统和应用系统等动态部分与物理计算资源分离开来，构建了基于动态架构的集群系统实现了计算资源的虚拟化，使得用户能够按需申请所需计算资源。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 16基础架构层基础架构层 操作系统为了应对渲染应用复杂多样的要求，渲染平台必须支持多种操作系统平台；在很多情况下，需要在一个物理渲染节点上同时部署多个操作系统，并
13、要求多个操作系统间的一键式切换；目前主流的操作系统：Red Hat Linux,Suse Linux,Windows XP,Windows Server 2019等。文件系统文件系统可以为集群渲染提供并发的、高速的文件访问，以及突出的数据I/O性能；高效的文件系统可以满足渲染过程中，渲染节点产生的大量近乎同时的I/O请求，满足渲染节点对各种场景、贴图、材质等文件的并发访问，以及渲染生成大量图片序列的并行存储，提供较高的数据I/O性能；目前主流的文件系统：NFS、XFS、PVFS2、Lustre和GPFS。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 17基础架构层基础架
14、构层 集群管理系统整合分散于操作系统、系统管理、作业管理、状态监控等软件中的各个管理功能，实现了对集群多个层次的统一管理；将渲染集群的所有渲染节点从异构的、松散的状态整合成一个紧密的具有单一映像的“虚拟超级计算机”，实现对渲染集群系统资源有效的管理和维护；目前主流的集群管理系统：COMS、CHESS、OSCAR、xCAT、ROCKS等。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 18平台服务层平台服务层 包括基础网格服务、计算资源管理、数据资源管理、软件资源管理和渲染作业管理等子系统。基础网格服务：屏蔽了基础架构层中各种资源的异构性以及资源设备之间的复杂关联，为用户及
15、上层应用提供方便、透明的资源访问；计算资源管理：对平台中所有计算资源进行管理，并为用户提交的作业分配合理的资源，确保计算能力得到充分利用；数据资源管理：对平台上的所有数据资源进行统一管理，为用户提供透明地访问、存储、传输和管理数据的接口，使得用户能够方便地实现数据共享；软件资源管理：提供一个开放的应用软件管理平台，通过定义一组接口规范，实现“热插拔式”的应用软件集中管理；渲染作业管理：对任务的排队、分帧、分发、渲染进行高效地调度与管理。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 19应用服务层应用服务层 包括各种渲染软件、引擎和插件，充分确保用户复杂多样渲染任务的顺利
16、进行。目前常用的渲染软件Avid Softimage XSISumatraAlias/Wavefront MAYAHoudini3DS MAX Lightwave 3DAnimatek World Builder2C BrycePoserVue dEsprit Profesional中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 20服务管理服务管理 提供了用户管理、权限管理、项目管理、会员管理，以及计费管理等后台支撑服务。用户管理：利用PKI技术，构建统一的X.509用户证书信息库，并在此基础上实现统一认证和单点登录；权限管理：通过建立公共的系统平台框架，与业务系统无缝
17、集成，实现权限的集中管理和分散控制机制；计费管理：提供基于资源用量的服务计费方式。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 21访问接口访问接口 包括门户站点、应用网关和编程接口三部分。门户站点：一方面提供了各种公共信息，另一方面为用户访问各种渲染服务提供统一的入口；应用网关：将平台上的渲染服务对外映射成一个Web服务，降低业务系统和渲染平台集成的难度；编程接口：提供了C/C+、Python、Perl、Shell等方式的编程接口，提供系统进一步定制开发的能力。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 22“天河-酷卡”超级渲染云计算平台的
18、应用案例中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 23“天河天河-酷卡酷卡”超级渲染云计算平台超级渲染云计算平台 国家超算天津中心的“天河一号”拥有15,000个CPU和7,500个GPU，是目前世界上最快的超级计算机之一。“天河-酷卡”渲染云计算平台由中国传媒大学高性能计算中心与国家超算天津中心、北信酷卡公司联合开发。通过对“天河一号”底层的网络通信、资源管理系统以及应用软件的接口进行了相应处理，“天河-酷卡”渲染云计算平台中实现了渲染应用与“天河一号”超级计算机的无缝结合，实现了渲染作业管理与渲染业务管理的无缝结合，实现了对各种主流三维软件的完美支持。中国传媒大
19、学高性能计算中心HPCC,CUC CONFIDENTIAL 24“天河天河-酷卡酷卡”超级渲染云计算平台超级渲染云计算平台 目前，平台已经上线测试，并且创造了2,000个物理节点（24,000个处理器）同时对同一个模型进行并行渲染的世界纪录，无论是从规模还是技术上来说，都达到了世界一流水平。8月22日下午，“天河-酷卡”超级渲染云计算平台发布会在人民大 会堂金色大厅举行，全国人大常委会副委员长陈昌智出席，外交部、中联部、科技部、新华社、广电总局、天津滨海新区、国防科技大学有关领导和国内外影视界人 士三百余人与会。下一步，我们开发团队将继续推进平台的研发工作，以天河一号为龙头，整合分散在不同地理
20、位置的各种资源（包括渲染集群、存储资源、渲染模型库、渲染业务管理等），为用户提供一体化的信息和渲染服务。通过屏蔽资源的异构性以及设备间的复杂关联，为用户提供一个方便、透明的资源使用平台，并最终实现虚拟环境下的资源共享和协同工作，建成面向全国乃至全世界范围内用户的渲染云服务平台。中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 25“天河天河-酷卡酷卡”超级渲染云计算平台超级渲染云计算平台 节点管理界面中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 26“天河天河-酷卡酷卡”超级渲染云计算平台超级渲染云计算平台 作业管理界面中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 27“天河天河-酷卡酷卡”超级渲染云计算平台超级渲染云计算平台 作业结果预览界面中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 28“天河天河-酷卡酷卡”超级渲染云计算平台超级渲染云计算平台 在Maya部署的渲染云计算平台作业提交插件中国传媒大学高性能计算中心HPCC,CUC CONFIDENTIAL 29Q&A谢谢大家！谢谢大家！谢谢！
