远程沉浸式虚拟奥运博物馆关键技术研究-浙江大学课件.ppt

1、远程沉浸式虚拟奥运博物馆远程沉浸式虚拟奥运博物馆关键技术研究关键技术研究浙江大学CAD&CG国家重点实验室南京大学多媒体技术研究所国家体育总局体育科学研究所一一 项目背景和研究意义项目背景和研究意义(1)在申奥时，提出建立“虚拟奥运博物馆”的计划01年2月在获得奥运会主办权后，把该项目列入行动计划01年9月“虚拟奥运博物馆”是虚拟现实与数字博物馆技术的结合，它通过数字化和网络技术，介绍奥运历史、赛事等内容。图：位于瑞士洛桑的奥林匹克博物馆（外景）图：位于瑞士洛桑的奥林匹克博物馆（内部）一一 项目背景和研究意义项目背景和研究意义(2)介绍奥运的历史、发展，让中国人更加了解奥运。充分展示中华古代体

2、育文明，让世界更加了解中国。为科技奥运服务，促进一系列相关技术的发展与进步。图：洛桑奥林匹克博物馆中关于北京的介绍 图：中国古代体育项目马球 二二 相关研究工作及存在的问题相关研究工作及存在的问题(1)数字博物馆利用计算机技术，对博物馆中的展示对象进行数字化，可以从时间、空间上对实物展品进行延伸。借助三维、全景摄影等现代化手段，观众可从不同角度欣赏观察展品。数字博物馆还增加了观众的选择性，变“给你看什么就看什么”为“我想看什么就看什么”。数字博物馆已在国内外广泛应用。二二 相关研究工作及存在的问题相关研究工作及存在的问题(2)古代奥林匹克虚拟博物馆 美国Dartmouth College奥运博

3、物馆DVD/VCD洛桑现有系统的不足：*以二维图片或视频形式展示的比较多。*缺乏对运动项目的虚拟展示和仿真。*系统的交互性不够。*虚拟展品的绘制质量不高。*有些系统是单机运行的。图：古代奥林匹克运动场教堂遗迹 图：虚拟漫游系统 三三 研究内容研究内容(1)1 建模与实时绘制技术2 数字博物馆的交互技术3 运动项目虚拟展示与虚拟人技术4 面向数字博物馆的数据存储与检索5 虚拟奥运博物馆原型系统 1建模与实时绘制技术 (1)(1)几何和图像的多分辨率表示几何和图像的多分辨率表示 (2)(2)基于图像基于图像/视频的建模和绘制视频的建模和绘制 (3)(3)实时绘制算法研究实时绘制算法研究 三三 研究

4、内容研究内容 (2)(2)2数字博物馆的交互技术 (1)(1)基于虚拟化身的人基于虚拟化身的人-机交互机交互 (2)(2)协同交互技术协同交互技术 (3)(3)远程交互和多平台接口远程交互和多平台接口 三 研究内容(3)3运动项目虚拟展示与虚拟人技术 (1)(1)虚拟人体建模及参数化技术虚拟人体建模及参数化技术 (2)(2)运动控制技术运动控制技术 (3)(3)运动库的构建运动库的构建 三 研究内容(4)4面向数字博物馆的数据存储与检索 (1)(1)有效的多媒体数据存储结构有效的多媒体数据存储结构 (2)(2)基于网格环境的数据存储与管理基于网格环境的数据存储与管理 (3)(3)基于内容的检索

5、（图像、视频检索）基于内容的检索（图像、视频检索）5虚拟奥运博物馆原型系统 (1)(1)基于网格环境的虚拟博物馆的体系结构基于网格环境的虚拟博物馆的体系结构 (2)(2)虚拟奥运场馆的漫游虚拟奥运场馆的漫游 (3)(3)体育运动相关游戏体育运动相关游戏 三 研究内容(5)四四 关键问题与技术路线关键问题与技术路线(1)（1）虚拟环境的实时绘制技术（2）虚拟奥运博物馆中的交互技术（3）虚拟人运动控制及运动项目的逼真展示（4）基于奥运特征的多媒体信息的高效存储与检索（5）虚拟奥运博物馆的体系结构及原型系统的实现（1）虚拟环境的实时绘制技术 *对复杂场景使用基于图像的绘制技术，包括全景图和基于单张照

6、片的漫游；对复杂场景使用基于图像的绘制技术，包括全景图和基于单张照片的漫游；*使用基于视频的绘制技术，合成任意视点的图象，满足交互和个性化需求；使用基于视频的绘制技术，合成任意视点的图象，满足交互和个性化需求；*使用多细节层次模型和使用多细节层次模型和GPUGPU的方法来加快绘制速度。的方法来加快绘制速度。（2）虚拟奥运博物馆中的交互技术 *在系统中提供一个虚拟向导，她负责导引用户在虚拟环境中进行浏览，可以与在系统中提供一个虚拟向导，她负责导引用户在虚拟环境中进行浏览，可以与虚拟化身（代表用户）进行交互。虚拟化身（代表用户）进行交互。*考虑到多个用户有时需要相互对话和讨论，将考虑到多个用户有时

7、需要相互对话和讨论，将VRML技术与技术与Java等其它技术等其它技术结合，提高结合，提高Internet环境下协同环境的交互性。环境下协同环境的交互性。四四 关键问题与技术路线关键问题与技术路线(2)（3）虚拟人运动控制及运动项目的逼真展示 *从多种数据源（三维扫描仪器、交互式造型工具、照片）建立人体模型；从多种数据源（三维扫描仪器、交互式造型工具、照片）建立人体模型；*基于运动捕获数据的运动控制方法；基于运动捕获数据的运动控制方法；*建立运动信息库，并对运动项目进行模拟。建立运动信息库，并对运动项目进行模拟。（4）基于奥运特征的多媒体信息的高效存储与检索 *作为现有博物馆的藏品，其描述是非

8、常准确和充分的。因此，大部分信息作为现有博物馆的藏品，其描述是非常准确和充分的。因此，大部分信息检索需求可以通过对藏品标注的信息进行全文检索处理来服务。检索需求可以通过对藏品标注的信息进行全文检索处理来服务。*根据奥运媒体内容的特殊性，选择一套独特的特征集合，来完成基于内容根据奥运媒体内容的特殊性，选择一套独特的特征集合，来完成基于内容的信息检索处理。的信息检索处理。四四 关键问题与技术路线关键问题与技术路线(1)四四 关键问题与技术路线关键问题与技术路线(4)（5）虚拟奥运博物馆的体系结构及原型系统的实现 *综合利用原始录像资料、动画、多语言解说、互动点播等多种手段，以三条综合利用原始录像资

9、料、动画、多语言解说、互动点播等多种手段，以三条线性内容线性内容(时间线、事件和人物线、时间线、事件和人物线、文物和艺术品线文物和艺术品线)为观众进行展示。为观众进行展示。*开发普适性的三维展厅生成工具，提供一种信息集成的手段，同时与页面、开发普适性的三维展厅生成工具，提供一种信息集成的手段，同时与页面、视频、声音、动画等其它媒体展现方式有机融合。视频、声音、动画等其它媒体展现方式有机融合。*利用利用Globus提供的网格支持提供自治的资源管理和任务调度机制；使用提供的网格支持提供自治的资源管理和任务调度机制；使用多多种种数据网格技术，开发适用于虚拟博物馆数据分布存储的数据网格中间件。数据网格

10、技术，开发适用于虚拟博物馆数据分布存储的数据网格中间件。*考虑到不同系统的带宽以及登录设备的特性（如屏幕大小，分辨率，计算考虑到不同系统的带宽以及登录设备的特性（如屏幕大小，分辨率，计算速度等），需要支持特定于设备类型的远程交互机制。速度等），需要支持特定于设备类型的远程交互机制。四四 关键问题与技术路线关键问题与技术路线(1)五五 特色和创新之处特色和创新之处（1）基于视频的任意视点的场景漫游。基于视频的任意视点的场景漫游。系统允许用户从多个视点观看比赛场景，增加用户对比赛的体验。（2）运动项目的逼真展示。运动项目的逼真展示。基于虚拟人及其运动控制技术，对多种运动项目进行交互式的虚拟展示。（

11、3 3）支持多平台的接入设备。）支持多平台的接入设备。在使用PC平台时，为了增加虚拟奥运场景的真实感，提供基于GPU的实时阴影生成。（4）友好的用户界面和交互性。友好的用户界面和交互性。Avatar使得界面人性化，交互更具亲切感；另外，还多个用户的支持协同交互。（5）集知识介绍、运动体验和娱乐于一体集知识介绍、运动体验和娱乐于一体。在介绍具体项目时，增加一些游戏特征，做到寓教于乐。六六 年度研究计划及预期成果年度研究计划及预期成果(1)2006年度：（1）对本项目研究进行需求分析，总体规划和可行性分析（2）设计虚拟奥运博物馆的体系结构（3）设计有效的多媒体数据存储结构（4）研究基于流媒体技术的

12、多媒体数据播放（5）研究基于内容的检索(图像，视频)（6）基于网格的分布数据存储管理和可视计算 (7)在2006年虚拟系统与多媒体国际会议VSMM 2006上组织一个有关数字博物馆的专题讨论会 六六 年度研究计划及预期成果年度研究计划及预期成果(2)2007年度：（1）几何和图像的多分辨率表示（2）实时绘制和阴影算法研究（3）虚拟人体建模及参数化技术（4）运动控制，行为动画与虚拟人群仿真（5）体育运动相关游戏（6）实现虚拟奥运博物馆原型系统（第一版）六六 年度研究计划及预期成果年度研究计划及预期成果(3)2008年度：（1）基于视频的建模和绘制算法（2）虚拟化身技术的研究（3）协同交互和远程交

13、互技术（4）实现虚拟奥运博物馆原型系统（第二版）（5）基于主动兴趣管理的可扩展性技术（6）几何数据压缩与实时图形传输六六 年度研究计划及预期成果年度研究计划及预期成果(4)2009年度：(1)奥运场馆漫游系统（2）分布式并行绘制算法的研究（3）体育运动库的构建（4）虚拟奥运博物馆原型系统的完善（5）整理资料，进行项目的总结、验收或鉴定（6）组织一次虚拟奥运博物馆的国际研讨会 六六 年度研究计划及预期成果年度研究计划及预期成果(5)预期研究成果：(1)在理论和算法方面 争取在理论的原始创新方面取得重大突破，获得多项目原创性研究成果，为数字博物馆提供可供参考的理论、方法与技术实施方案。具体的研究成

14、果集中表现为高质量的学术论文、专著以及专利。（2）在系统开发方面 建立起一个支持远程交互的虚拟奥运博物馆原型系统。原型系统的建立将为验证本项目研究方案、方法的可行性和有效性提供实验环境。结合2008北京奥运会，从其他渠道争取更多的经费，使虚拟奥运博物馆向实用化方向发展。七 研究基础与工作条件1 研究队伍 总计：参加人员共20人，其中教授和博导5人，副教授 4人 主要人员：潘志庚，男，1965生，博士，浙江大学CAD&CG国家重点实验室研究员，博导。石教英，男，1937年生，浙江大学CAD&CG国家重点实验室教授，博导。孙守迁，男，1963年生，博士，浙江大学现代工业设计研究所所长，教授，博导。

15、潘金贵，男，1952年生。南京大学多媒体计算机研究所教授，博导。金小刚，男，1968年生，博士，浙江大学CAD&CG国家重点实验室研究员，博导。武港山，男，1966年生。博士，南京大学多媒体计算机研究所副教授。李祥臣，男，1974年生，硕士，副研究员，国家体育总局体育系统仿真实验室张 林，男，1955生，浙江大学体育系副教授，硕士导师。姜晓红，女，1966年生，博士，浙江大学计算机系副教授。七 研究基础与工作条件2 工作基础（浙江大学）浙江大学）*从1993年开始研究虚拟现实、分布式虚拟环境和实时图形绘制，取得众多研究成果，发表一批高水平的国际期刊论文，在国内居于领先水平。*近年来先后共承担国

16、家自然科学基金、国家973计划子课题、国家863计划等研究项目10余项目，为开展本项目的研究打下了很好的基础。*国家体育总局备战2008年奥运会重点科研攻关项目“艺术体操集体项目成套动作编排价值与创新的研究”中关于虚拟人的研究为本项目提供了前沿性的探索研究。*和国家体育总局体科所的研究人员合作，研究开发了多个与体育有关的产品原型系统，包括虚拟保龄球系统、CAVE中的虚拟乒乓球，移动平台上的台球游戏，大型团体操虚拟演练系统。七 研究基础与工作条件2 工作基础（浙江大学浙江大学）*在人体动画和虚拟人运动编辑平台方面，也开展了一些研究工作，实现了多种动作生成算法，并实现了一个简单的虚拟人运动编辑平台

17、。*浙大体育系在体育运动的虚拟展示、多媒体教学光盘的设计等方面有很好的基础。开发了篮球、排球等多个项目的多媒体光盘，在全国发行。*浙江大学在1999年建成国内第一家CAVE，并自行研制了基于高性能连网PC的多屏幕投影虚拟环境，并实现了虚拟博物馆原型系统。七 研究基础与工作条件2 工作基础（南京大学）南京大学）*从2000年开始研究直观方便的三维对象操纵技术以及虚拟空间漫游技术，并在此基础上开发了虚拟展览馆软件，该软件为展览馆提供了平面布局、展厅布置、展品管理以及虚拟参观和交互四大功能。*参与“中国大学数字博物馆关键技术研究”项目的过程中，进一步将虚拟展览馆软件开发成有机融合图形图像、语音解说、

18、网页等各种媒体形式与三维展馆空间等表现方式的集成工具。*负责863项目“面向奥运的多语言信息服务系统专题中面向内容管理的Web页面智能处理技术子项”。*参与了2005年教育部科技基础条件平台项目“中国大学数字博物馆共享平台和规范标准”，提出了多个领域大学数字博物馆建设的规范和标准。这对虚拟奥运博物馆的关键技术研究和开发具有很好的借鉴作用。七 研究基础与工作条件2 工作基础（国家体育总局体育科学研究所国家体育总局体育科学研究所）*针对科技奥运专门在2001年成立“体育系统仿真实验室”，该实验室这几年和浙江大学开展合作，从事多项与体育科学及科技奥运有关的课题。*完成或开展的项目包括2008奥运会现

19、代组织管理系统工程研究、艺术体操集体项目计算机编排系统、人体重心平衡测量分析与虚拟训练系统的研制、虚拟自行车训练系统、帆船帆板辅助训练系统等。3 3 项目组主要成员负责或参与完成的相关项目项目组主要成员负责或参与完成的相关项目 潘志庚:欧盟科技合作项目，“基于虚拟人物的电子学习环境”，2003-2004（中方负责人）潘志庚:国家自然科学基金，“智能虚拟环境中用户化身和行为真实感技术的研究”（60083009），2001-2003，负责人潘志庚:国家自然科学基金，“虚拟现实中动态实时连续LOD技术的研究”，1998-2000，负责人 潘志庚:国家自然科学基金，“分布式环境下限时图形绘制技术的研究

20、”，1995-1997，负责人 潘志庚:浙江省自然科学基金优秀人才专项，“智能多用户虚拟环境”，2001-2003，负责人 石教英：国家自然科学基金重点项目，“基于图像的绘制技术”，2001-2004，负责人 石教英，国家自然科学基金重点实验室项目，“分布式虚拟环境关键技术和应用研究”，1999-2001，排名第二孙守迁：虚拟人运动控制系统，运动编辑软件V1.0，计算机软件著作权，登记号：软著登字第027384号，版权号：2004SR08983七 研究基础与工作条件七七 研究基础与工作条件研究基础与工作条件 潘金贵：南京大学地球科学数字博物馆，现代远程教育网上公共资源建设大学数字博物馆建设工程

21、，2001中央财政专项（负责三维博物馆设计软件）武港山：面向内容管理的Web页面智能处理技术，2002年863项目：奥运多语言智能信息服务系统关键技术及示范系统研究(2002AA117010)的子项，负责人武港山：面向远程教育的Web教学资源智能化检索与挖掘技术，国家教育部现代远程教育关键技术研究，2000年，负责人 武港山：南京大学地球科学数字博物馆建设，“现代远程教育工程”中央财政专项，2001年，负责项目中的信息检索技术研究开发武港山：863重点课题“智能中文信息处理平台”的子课题（2001AA114040），2001-2003年，子课题负责金小刚：国家自然科学基金，“卷积曲面在计算机动

22、画中的应用研究”（69973040），2000.01-2002.12金小刚：国家自然科学基金，“基于几何和拟动力学约束的变形研究”（69603005），1997.01-1999.12李祥臣：艺术体操集体项目计算机编排系统，2003年总局攻关课题，负责人 七 研究基础与工作条件七七 研究基础与工作条件研究基础与工作条件4 4 项目组主要成员发表的相关研究论文项目组主要成员发表的相关研究论文 共发表相关论著共发表相关论著58篇，其中国际期刊论文篇，其中国际期刊论文31篇，篇，SCI论文论文23篇篇Zhou Kun,Bao Hujun,Shi JiaoyingShi Jiaoying,“3D sur

23、face filtering using spherical harmonics”,Computer Aided Design,2004,36(4):363-375(国际期刊，SCI)Mingmin Zhang,Zhigeng PanZhigeng Pan,Pheng-Ann Heng,“A Near Constant Frame-Rate Rendering Algorithm Based on Visibility Computation and Model Simplification”，Journal of Visualization and Computer Animation,20

24、03,14(2/3):1-13(国际期刊，SCI)Mei Chunhui,Shi JiaoyingShi Jiaoying,Wu Fuli,“Rendering with spherical radiance transport maps”,Computer Graphics Forum,2004,23(3):281-290(国际期刊，SCI)XiaogangXiaogang Jin,Jin,Chiew-Lan Tai,“Convolution Surfaces for Arcs and Quadratic Curves with a Varying Kernel”,The Visual Co

25、mputer,2002,18(8):530-546 (国际期刊，SCI)Jieqing Feng,T.Nishita,XiaogangXiaogang Jin,Jin,Qunsheng Peng,“B-Spline Free-Form Deformation of Polygonal Object as Trimmed Bezier Surfaces”,The Visual Computer,2002,18(8):493-510(国际期刊，SCI)Zhigeng PanZhigeng Pan,Jiaoying Shi,Mingmin Zhang,“Distributed Graphics Su

26、pport for Virtual Environments”,Computers&Graphics,1996,20(2):191-197(国际期刊，SCI)Zhigeng PanZhigeng Pan,Jiejie Zhu etc.“Interactive Learning of CG in Networked Virtual Environments”.Computers&Graphic,2005,29(2):273-281(国际期刊，SCI)七 研究基础与工作条件七七 研究基础与工作条件研究基础与工作条件Ji Zhou and Jiaoying Jiaoying Shi Shi,“A r

27、obust algorithm for feature point matching”,Computers&Graphics,2002,26(3):429-436(国际期刊，SCI)XiaogangXiaogang Jin Jin,Hanqiu Sun,Qunsheng Peng,“Subdivision interpolating implicit surfaces”Computers&Graphics,2003,27(5):665-674(国际期刊，SCI)Zhigeng PanZhigeng Pan,Qingge Ji,Mingmin Zhang,Yanfeng Li,“Simulati

28、on on pattern design and layout for group calisthenics and eurhythmics”,Simulation&Gaming,2005(Accepted)(国际期刊，SCI)Shengyou Lin,JiaoyingJiaoying Shi Shi.“Fast Natural Image Matting in Perceptual Color Space”,Computers&Graphics(已录用)(国际期刊，SCI)Zhigeng PanZhigeng Pan,Weiwei Xu,Jin Huang,Mingmin Zhang,Jia

29、oying Shi.“EasyBowling:A Virtual Bowling System based on Virtual Simulation”,Computers&Graphics，2003,27(2):231-238(国际期刊，SCI)Kangkang Yin,Zhigeng Pan,Zhigeng Pan,Jiaoying Shi,“Robust Mesh Watermarking based on Multiresolution Processing”,Computers&Graphics,2001,25(3):409-420(国际期刊，SCI)XiaogangXiaogang

30、 Jin,Jin,Chiew-Lan Tai,“Analytical Methods for Polynomial Weighted Convolution Surfaces with Various Kernels”,Computers&Graphics,2002,26(3):437-447(国际期刊，SCI)XiaogangXiaogang Jin,Jin,Chiew-Lan Tai,Jieqing Feng,Qunsheng Peng,“Convolution Surfaces for Line Skeletons with Polynomial Weight Distributions

31、”,Journal of Graphics Tools,ACM Press,2001,6(3):17-28(国际期刊)七 研究基础与工作条件七七 研究基础与工作条件研究基础与工作条件5 5 工作条件工作条件*浙江大学的课题组的成员来自于浙江大学CAD&CG国家重点实验室、浙江大学现代工业设计研究所和浙江大学体育系。可以利用实验室现有的高性能工作站、先进的虚拟现实设备(如四面投影的CAVE、各种跟踪设备)、浙大工程计算中心的网格计算环境、运动捕获设备和相关的人体动画软件。*南京大学的课题组所在实验室有着良好的网络条件，所有主机均已连入教育网，部分主机直接与互联网相连。另外还有多媒体卫星远程教学设备一整套，包括卫星设备、视频设备、工作站以及一台网络服务器。*国家体育科学研究所在2001年投资200多万专项经费建设体育系统仿真实验室，目前拥有多种体育测试平台，并自行开发了一些一起设备。另外，还订购了VICON运动捕获设备和大屏幕虚拟环境显示设备。七 研究基础与工作条件七七 研究基础与工作条件研究基础与工作条件v其他例子或演示七 研究基础与工作条件 谢谢！谢谢！