1、2“虚”与“实”昔者庄周梦为蝴蝶,栩栩然蝴蝶也,自喻适志与!不知周也。俄然觉,则蘧蘧然周也。不知周之梦为蝴蝶与,蝴蝶之梦为周与?庄子齐物论3“I think therefore I am”柏拉图:真正的世界只是存在于我们的想象中。笛卡尔:我思故我在!(我在故我思?)“倘若要颁发“最佳矛盾奖”,那么“虚拟现实”一词榜上有名。”数字化生存作者尼葛洛庞帝戏言。4 记忆裂痕 虚拟偶像(SIMONE,又名虚拟情人、西蒙妮)1011”、14、2140”、13、22、1240”逃出克隆岛(The Island)时空悍将(Virtuosity)7、1530”、20、17 异次元骇客(The Thirteent
2、h Floor,又名十三阶梯、十三度凶间)黑客帝国 一、问题的提出67交互的需要 计算机已成为信息时代信息处理的主要工具,成为人类与信息空间交流的主要通道。而在这其中,人机交互的界面是一个主要的障碍,特别是非计算机专业人员如何来克服这个障碍,轻松自如地操作计算机,应对信息时代的挑战,是近几年研究的一项热门课题。从计算机发明到现在,人机界面主要还是通过窗口,基于键盘、鼠标的WIMP(Windows、Icon、Menu、Pointing、Device)模式,这种模式是问接的、非直觉的、有限的,这极大地影响了用户对计算机的使用,甚至影响到人们的工作与生活。8科学计算可视化的需要 从60 年代末起,在
3、计算机技术的支持下已对科学计算提出可视化的要求 不仅仅是获得和计算数据,并且要解释数据、理解数据。即把计算所得的数字信息转换为直观的、用视频或声频信息表示的、随时间和空间变化的物理现象或模拟的物理现象 先进的科学计算将能洞察到传统科学计算所不可能看见的结果(To see the unsee),可视化是把某些不可见对象或抽象事物转化为可见的、可感知的结果“The purpose of computing is insight,not number”-Richard Hamming,Numerical Methods for Scientists and Engineers9 自90 年代初起,在
4、高性能计算的支持下要求实现沉浸式、协同式的可视化计算 人机和谐、定性定量结合是创造性研究的源泉,要求不仅仅是计算所得的数据,希望还能计算所得的形象结果和全局观念 研究人员甚至还希望能沉浸在计算所得、计算所创建的三维空间中,能交互地控制、驾驭和修改所“看见和感受到”的计算结果 为研究人员在认识世界和改造世界时,提供了有效的、定性和定量相结合的研究手段,为创建和谐的人机环境提供基础10 自90年代中旬以来,在网络计算技术的支持下要求实现协同式的可视化计算 解决复杂问题,必须跨领域合作集体攻关 网络技术已基本成熟,基于网络计算可实现资源共享 基于统一的开放体系框架结构、应用程序接口和面向对象的中间件
5、,已能实现“优势互补”、“即插即用”的协同式的可视化计算11 如今每天面对着大量的信息资讯 如何智能处理和高效利用这些来自于客观世界的海量信息?如何扩展人类的感知通道,提高人类对跨越时空事物和复杂动态事件的感知能力,实现人与信息空间的自然、和谐的交互?这些都已渐渐成为人类面临的一个新挑战,而虚拟现实技术是解决这个挑战最有效的方法途径,如图所示。12人海量信息客观世界虚拟现实技术WIMP界面信息社会中虚拟现实技术的应用信息社会中虚拟现实技术的应用13 目前,虚拟现实技术已成为计算机相关领域中继多媒体技术、Internet网络技术之后关注及研究、开发与应用的热点,也是目前发展最快的一项多学科综合技
6、术。虚拟现实从英文“Virtual Reality”一词翻译过来,“Virtual的含义即这个世界或环境是虚拟的,不是真实的,是由计算机生成的,存在于计算机内部的世界,“Reality”的含义是现实的世界或现实的环境,这里的“现实”实际上是泛指在物理意义上或功能上存在于世界的任何事物与环境,它可以是客观存在的,也可以是在客观世界难以实现或根本无法实现的,把两者结合起来就称为虚拟现实,也就是说本来不存在的事物和环境,通过各种技术虚拟出来,感觉到如同处在真实世界的一样。14 虚拟现实技术,又称“灵境技术”、“虚拟环境”、“赛伯空间”等,这项技术原来是美国军方开发研究出来的一项计算机技术,主要用于军
7、事上的仿真,一直到20世纪80年代末,虚拟现实技术才开始作为一个较完整的体系而受到人们的极大关注。是20世纪以来科学技术进步的结晶,集中体现了计算机技术、计算机图形学、传感技术、人体工程学、人机交互理论等多个领域的最新成果。以计算机技术为主,利用计算机等设备来产生一个看起来像真的,听起来像真的,摸起来像真的三维虚拟世界,这个虚拟世界是人工建造的,存在于计算机内部的环境。在这个虚拟世界中,能实时产生与真实世界相同的感觉,使人与虚拟世界融为一体,人们可以直接观察周围世界及物体的内在变化,与虚拟世界中的物体之间进行自然的交互(包括感知环境并干预环境)。15 虚拟现实技术的发展与普及,对我们有十分重大
8、的意义。它改变了过去人与计算机之间枯燥、生硬、被动的交流方式,使人机之间的交互变得更加人性化,为人机交互界面开创了新的研究领域,为智能工程的应用提供了新的界面平台,为各类工程的大规模数据可视化提供了新的描述方法,也同时改变了人们的工作方式和生活方式,改变了人们的思想观念。虚拟现实技术已成为一门艺术,是一种文化,深入我们的生活中。据有关权威人士断言,在21世纪,人类将进入虚拟现实的科技新时代,虚拟现实技术将是信息技术的代表,与多媒体技术、网络技术并称为三大前景最好的计算机技术。同时,虚拟现实技术已成为继科学实验和理论分析之后人类认识和改造客观世界第三种手段。16 在20世纪的最后十年中,哪些信息
9、技术 对未来信息社会产生深刻影响 信息资源环境的普适化:信息技术的全面嵌入和普适应用 信息资源环境的智能化:基于面向对象方法发展,发展面向Agent技术 信息资源环境的协同化:人在网络中基于网格和海量信息的处理 信息资源环境的沉浸化:可视化计算和虚拟现实技术17Original Food Chain Picture示例示例181980s Computer Food ChainMainframeVector SupercomputerMini ComputerWorkstationPC示例示例19MainframeVector SupercomputerMPPWorkstationPC1990s
10、 Computer Food ChainMini Computer(hitting wall soon)(future is bleak)示例示例20Computer Food Chain(Now and Future)示例示例21European Organization for Nuclear Research示例示例22示例示例23虚拟现实概念 虚拟现实就是采用以计算机技术为核心的现代高技术生成逼真的视、听、触觉一体化的一定范围的虚拟环境,用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响,从而获得亲临等同真实环境的感受和体验。虚拟现实(Virtual Reali
11、ty,VR)技术是近年来计算机领域的又一个研究热点。虚拟现实技术充分利用计算机硬件和软件的集成技术,提供一种实时、三维的虚拟环境,用户借助必要的设备(如头盔,手套等)以自然方式与虚拟环境中的物体进行交互,从而沉浸于虚拟环境中,产生接近真实环境的感受和体验。虚拟环境是由计算机生成的实时动态的三维立体逼真图像,它可以是某一现实世界的再现,也可以是虚拟构想的世界。虚拟现实的发展对科学进步和社会发展产生了深远的影响。24 关于虚拟现实的定义,可以从狭义和广义两个层面来理解 所谓狭义的,被认为是一种先进的人机界面(人机交互方式),在这种情况下,虚拟现实技术被称之为“基于自然的人机界面”,在此环境中,用户
12、看到的是彩色的、立体的景象,听到的是虚拟环境中的声响,手、脚等可以感受到虚拟环境反馈给他的作用力,由此使用户产生一种身临其境的感觉。换言之,人以与感受真实世界一样的(自然的)方式来感受计算机生成的虚拟世界,具有与在真实世界中一样的感觉。广义的,即对虚拟想象(三维可视化的)或真实三维世界的模拟。它不仅仅是一种界面,更主要的部分是内部的模拟。人机交互界面采用虚拟现实的方式界面,对某个特定环境真实再现后,用户通过自然的方式接受和响应模拟环境的各种感官刺激,与虚拟世界中的人及物体进行思想和行为等方面的交流,使用户产生身临其境的感觉。25 虚拟现实系统产生的虚拟世界不同于一般的虚拟世界,虚拟现实产生的虚
13、拟世界可以称作“三维的、由计算机生成的、存在于计算机内部的虚拟世界”,这个世界或环境是人工构造的,是存在于计算机内部的。这种虚拟的世界,通常有两种情况。一种情况是真实世界的再现。如文物保护中真实建筑物的虚拟重建。这种真实建筑物可能是已经建好的,或是已经设计好但尚未建成的,也可能是原来完好的,现在被破坏了的。另一种情况是完全虚拟的人造世界。如在虚拟风洞中,借助可视化技术构造的虚拟风洞世界或在三维动画设计中形成的,人工构造的虚拟世界。如果涉及界面,则称之为“具有虚拟现实界面的由计算机生成的三维虚拟世界”。而一般虚拟世界的定义,也就成了“使人有参与感、可与之交互的非真实的世界”,这种世界并不一定是由
14、计算机生成的,人的参与感、沉浸性也不一定要像虚拟现实系统那样强烈。26 综上所述,虚拟现实技术的定义可以归纳如下:虚拟现实技术是指采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉等一体化的虚拟环境,用户借助必要的设备以自然的方式与虚拟世界中的物体进行交互,相互影响,从而产生亲临真实环境的感受和体验。这里所谓虚拟环境指计算机生成的具有色彩鲜明的立体图形,它可以是某一特定现实世界的真实体现,也可以是纯粹构想的虚拟世界。必要的设备指包括立体头盔式显示器、数据手套、数据衣等穿戴于用户身上的设备和设置于现实环境中的传感设备(不直接穿戴在身上)。自然交互是指用日常使用的方式对虚拟环境内的物体进行操
15、作并得到实时立体反馈,如手的移动、头的转动、人的走动等。27 虚拟现实系统中的虚拟环境,可能有下列几种情况:第一种情况是模仿真实世界中的环境。例如,建筑物,武器系统,或战场环境。这种真实环境,可能是已经存在的,也可能是已经设计好但还没有建成的。为了逼真地模仿真实世界中的环境,要求逼真地建立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟现实系统的功能,实际是系统仿真。演示:居室环境的仿真和漫游 28293031 第二种情况是人类主观构造的环境。例如,用于影视制作或电子游戏的三维动画。环境是虚构的,几何模型和物理模型也可以完全虚构。这时,系统的动画技术常用插值方法。演示:三维动画场景 3
16、2 第三种情况是模仿真实世界中的人类不可见的环境。例如,分子的结构,空气中速度、温度、压力的分布等。这种真实环境,是客观存在的,但是人类的视觉和听觉不能感觉到。对于分子结构这类微观环境,进行放大尺度的模仿,使人能看到。对于空气中速度这类不可见的物理量,可以用流线显示速度(流线方向表示速度方向,流线密度表示速度大小)。这一类虚拟现实系统的功能,实际是科学可视化。演示:三维环型分子结构、ParticleWorld33从虚拟现实技术的相关概念可以看出,在人机交互的方面有了很大的改进:人机接口形式的改进:传统的计算机常规交互使用计算机屏幕、键盘、鼠标、打印机等接口设备,这些设备很好地完成了各类数据和多
17、媒体信息的交互,但这类设备是面向计算机的。而在虚拟现实系统中,采用头盔式显示器、数据手套、空间跟踪设备,通过这些设备,人可以利用自己的视觉、听觉、力觉等来感知环境,用自然的方式实现与环境互动。这些设备不是特别为计算机设计的,而是专门为人设计的。这也是虚拟现实技术中最有特色的内容,充分体现了计算机人机接口的新方向。人机接口内容的改进:计算机从20世纪40年代发明以来,最早的应用就是数值计算。当时,计算机和用户的交互内容是与计算有关的数值。此后,计算机扩大到处理数值、字符串、文本等各类数据。近年来,计算机更扩大到处理图像、图形、声音、语言等多种媒体的信息。虚拟现实系统中,由计算机提供的不是“数据”
18、、“信息”,而是“环境”,以环境为计算机处理的对象和人机交互的内容。人机交互内容的改进,开拓了计算机应用的新思路、体现了计算机应用的新方向。人机接口效果的改进:虚拟现实系统中,用户通过基于自然的特殊设备,得到逼真的感知效果,使人产生身临其境的感觉,好像人置身于真实世界中的一样,这也就大大改进了人机交互的效果,同时也体现了人机交互的一个发展要求。34 由于虚拟现实技术产生的具有交互作用的虚拟世界,使得人机交互界面更加形象和逼真,激发了人们对虚拟现实技术的兴趣。近十年来,国内外对虚拟现实技术的应用较广泛,在军事与航空航天、科技开发、商业、医疗、教育、娱乐等多个领域也得到越来越广泛的应用,并取得了巨
19、大的经济效益与社会效益。正是因为虚拟现实技术是一个发展前景非常广阔的新技术,人们对它的应用前景充满了憧憬。美国各个国家计算中心和有关部门都提出迎接21世纪技术发展的相应规划,如:DOE 2000和NSF的PACI等35国家中长期科学和技术发展规划纲要(20062020年)信息领域的前沿技术有三项 智能感知技术 自组织网络技术36 虚拟现实技术:重点研究心理学、控制学、计算机图形学、数据库设计、实时分布系统、电子学和多媒体技术等多学科融合的技术,研究医学、娱乐、艺术与教育、军事及工业制造管理等多个相关领域的虚拟现实技术和系统。摘自:国家中长期科学和技术发展规划纲要(20062020年),中华人民
20、共和国国务院2006年2月9日发布37 虚拟现实技术专题:重点研究计算机图形学、实时分布系统、人机交互、心理学、控制学、电子学、人工智能和多媒体技术等虚拟现实相关理论和技术,以及多学科技术的融合和集成;研制具有我国完全自主知识产权的虚拟现实应用系统开发工具与开发环境;开发工业制造、城市规划、教育、军事、医学、文化等多个领域的虚拟现实应用系统。863计算机主题专家组 38与“Virtual Reality”类似的概念及意译 70年代,M.W.Krueger曾提出“人工现实(Artificial Reality,简称AR)”,它用来说明由Ivans Sutherland 在1968年开创的头盔式三
21、维显示技术以来的许多人工仿真现实;在1984年,美国科幻作家William Gibson提出另一个词“电脑空间(Cyber Space)”,它是指在世界范围内同时体验人工现实;类似的词还有:“人工环境(Artificial Environments)”;“人工合成环境(Synthetic Environments)”;“虚拟环境(Virtual Environments)”;在1989年Jaron Lanier创造Virtual Reality一词。39虚拟现实发展的三个动力 追求、探求、需求(计算机科学工作者不断追求的三个目标:使计算机系统更快捷,更聪明,更和谐)使人机界面、人机交互自然、友
22、好是计算机科学工作者不懈追求的目标。计算与仿真成为科学技术探索除理论研究、科学实验之外的第三种手段 人们在许多领域所需解决的问题越来越需要有力的预测手段和虚拟环境。二、发展历程41虚拟现实的里程碑工作 Ivan Sutherland的“终极显示”1966年MIT研究了HMD 1980年的 SIMNET计划 90年代的STOW计划42 虚拟现实经过军事、企业界及学术实验室长时间研制开发后才进入民用领域。虽然它在20世纪80年代后期被世人关注,但早在20世纪50年代中期就有人提出这一构想:计算机刚在美国、英国的一些大学相继出现,电子技术还处于以真空电子管为基础的时候,美国的Morton Heili
23、g就成功地利用电影技术,通过“拱廓体验”让观众经历了一次沿着美国曼哈顿的想象之旅。但由于当时各方面的条件制约,如缺乏相应的技术支持、没有合适的传播载体、硬件处理设备缺乏等原因,虚拟现实技术没有得到很大的发展,直到20世纪80年代末,随着计算机技术的高速发展及互联网技术的普及,才使虚拟现实技术得到广泛的应用。43 虚拟现实技术的发展大致分为三个阶段:从20世纪的50年代到70年代,是虚拟现实技术的探索阶段;80年代初期到80年代中期,是虚拟现实技术系统化,从实验室走向实用的阶段;80年代末期到本世纪初期,是虚拟现实技术高速发展的阶段。44 1962年,美国电影摄影师Morton Heilig研制
24、出一套称为Sensorama的立体电影系统,这是一套只能供一个人观看,具有多种感官刺激的立体显示设备,它是模拟电子技术在娱乐方面的具体应用。在观看时,它生成立体的图像、立体的声音效果,并产生不同的气味,座位也能根据剧情的变化产生摇摆或振动,还能感觉到有风在吹动。在当时,这套设备非常先进,但观众只能观看,而不能改变所看到的和所感受到的世界,也就是说无交互操作功能。45 1965年,计算机图形学的奠基者、图灵奖获得者美国科学家伊凡苏泽兰(Ivan Sutherland)博士在一篇名为“The Ultimate Display(终极的显示)”的论文中,首次提出了一种全新的、富有挑战性的图形显示技术,
25、即能否不通过计算机屏幕这个窗口来观看计算机生成的虚拟世界,而是使观察者直接沉浸在计算机生成的虚拟世界之中,就像我们生活在客观世界中一样:随着观察者随意地转动头部与身体(即改变视点),他所看到场景(即由计算机生成的虚拟世界)就会随之发生变化,同时,他还可以用手、脚等部位以自然的方式与虚拟世界进行交互,虚拟世界会产生相应的反应,从而使观察者有一种身临其境的感觉。这一理论后来被公认在虚拟现实技术中起着里程碑的作用,所以我们称Ivan Sutherland既是“计算机图形学”之父,也是“虚拟现实技术”之父。46 在随后几年中,Ivan Sutherland在麻省理工学院(MIT)开始头盔式显示器(HM
26、D)的研制工作,人们戴上这个头盔式显示器就会产生身临其境的感觉。在1968年,Ivan Sutherland使用两个可以戴在眼睛上的阴极射线管(CRT)研制出了第一个头盔式显示器,并发表了“Head-Mounted 3D Display的论文,对头盔式显示器装置的设计要求、构造原理进行了深入的分析,并描绘出这个装置的设计原型,成为三维立体显示技术的奠基性成果。在第一个HMD的样机完成后不久,研制者们又反复研究,在此基础上把能够模拟力量和触觉的力反馈装置加入到这个系统中,并于1970年研制出了一个功能较齐全的头盔式显示器系统,如图1-3所示。4748 基于20世纪60年代以来所取得的一系列成就,
27、美国的VPL公司的创始人JaronLanier在20世纪80年代初正式提出了“Virtual Reality”一词。当时,研究此项技术的目的是提供一种比传统计算机模拟更好的方法。进入20世纪80年代,美国宇航局(NASA)及美国国防部组织了一系列有关虚拟现实技术的研究,并取得了令人瞩目的研究成果,从而引起了人们对虚拟现实技术的广泛关注。1984年,NASA Ames研究中心虚拟行星探测实验室的MMcGreevy和JHumphries博士组织开发了用于火星探测的虚拟世界视觉显示器,将火星探测器发回的数据输入计算机,为地面研究人员构造了火星表面的三维虚拟世界。在随后的虚拟交互世界工作站(VIEW)
28、项目中,他们又开发了通用多传感个人仿真器和遥控设备。49 1992年,Carolina Cruz-Neira等建立的大型VR系统CAVE,在SIGGRAPH 92上以独特的风貌展现在人们面前,标志着这一技术已登上了高新技术的舞台。CAVE可让一个或多个人感到被高分辨率的三维图像、声音彻底包围。CAVE是由3个后投影墙(3m2.75m),一个下投影屏作地板形成的房间。高分辨率(1280512像素)投影仪以120Hz的场刷新率显示计算机生成的立体图像,同时,计算机控制的放大器通过扬声器网转播播放的声音。在CAVE内部,用户佩戴一副选择左、右图像的立体光栅眼镜,最终结果是浸入虚拟环境的强烈感觉。50
29、CAVE51 1993年的11月,宇航员利用虚拟现实系统的训练成功地完成了从航天飞机的运输舱内取出新的望远镜面板的工作,波音公司在一个由数百台工作站组成的虚拟世界中,用虚拟现实技术设计出由300万个零件组成的波音777飞机。1996年10月31日,世界第一个虚拟现实技术博览会在伦敦开幕。全世界的人们可以通过因特网坐在家中参观这个没有场地、没有工作人员、没有真实展品的虚拟博览会。这个博览会是由英国虚拟现实技术公司和英国每日电讯电子版联合举办的。人们首先通过电话线将电脑与因特网相连,输入博览会的网址,即可进入展厅和会场等地,而且全部是立体图像。展厅内有大量的展台,人们可从不同角度和距离观看展台和展
30、品。如果用鼠标点一下展台上人物的照片,这个人物便会“活”起来,甚至向你做一番介绍;如果你在参观中看到一扇门,你只要用鼠标点击一下门上的把手就可以将门打开,并把你带到另一个房问。52 1996年12月,世界第一个虚拟现实环球网在英国投入运行。这样,因特网用户便可以在一个由立体虚拟现实世界组成的网络中邀游,身临其境般地欣赏各地风光、参观博览会和到大学课堂听讲座等等。输入世界最大的虚拟现实技术软件公司之一英国“超景”公司的网址之后,电脑屏上将出现“超级城市”的立体图像,并可看到其中散步的人们。用户可从“市中心”出发参观虚拟超级市场、游艺室、图书馆和大学等地。如果遇到解说员,只需用鼠标在其像片上点一下
31、,他就会用文字或声音向用户介绍有关情况。53三、国内虚拟现实研究现状5556高效几何建模575859606162人机交互636465666768并行绘制四、VR技术的基本特性70 虚拟现实系统提供了一种先进的人机界面,它通过为用户提供视觉、听觉、触觉等多种直观而自然的实时感知交互的方法与手段,最大程度地方便了用户的操作,从而减轻了用户的负担、提高了系统的工作效率,其效率主要由系统的沉浸程度与交互程度来决定。美国科学家Burdea G和Philippe Coiffet在1993年世界电子年会上发表了一篇题为“Virtual Reality Systern and Applications”的文章
32、,在该文中提出一个“虚拟现实技术的三角形”,它表示出虚拟现实技术具有的三个突出特征:沉浸性(Immersion)、交互性(Interactivity)和想象性(Imagination),如图1-6所示。71虚拟现实技术的三个特性72沉浸性 沉浸性又称浸入性,是指用户感觉到好像完全置身于虚拟世界之中一样,被虚拟世界所包围。虚拟现实技术的主要技术特征就是让用户觉得自己是计算机系统所创建的虚拟世界中的一部分,使用户由被动的观察者变成主动的参与者,沉浸于虚拟世界之中,参与虚拟世界的各种活动。比较理想的虚拟世界可以达到使用户难以分辨真假的程度,甚至超越真实,实现比现实更逼真的照明和音响等效果。虚拟现实的
33、沉浸性来源于对虚拟世界的多感知性,除了我们常见的视觉感知、听觉感知外,还有力觉感知、触觉感知、运动感知、味觉感知、嗅觉感知、身体感觉等。从理论上来说,虚拟现实系统应该具备人在现实客观世界中具有的所有感知功能。但鉴于目前科学技术的局限性,在虚拟现实系统中,研究与应用中较为成熟或相对成熟的主要是视觉沉浸、听觉沉浸、触觉沉浸、嗅觉沉浸,有关味觉等其他的感知技术正在研究之中,还很不成熟。731视觉沉浸 视觉通道是给人的视觉系统提供图形显示。为了提供给用户身临其境的逼真感觉,视觉通道应该满足一些要求:显示的像素应该足够小,使人不至于感觉到像素的不连续;显示更新的频率应该足够高,使人不至于感觉到画面的不连
34、续;要提供具有双目视差的图形,形成立体视觉;要有足够大的视场,理想情况是显示的画面充满整个视场。虚拟现实系统向用户提供虚拟世界真实的、直观的三维立体视图,并直接接受用户控制。在虚拟现实系统中,产生视觉方面的沉浸性是十分重要的,视觉沉浸性的建立依赖于用户与合成图像的集成,虚拟现实系统必须向用户提供立体三维效果及较宽的视野,同时随着人的运动,输出的场景也随之实时地改变。较理想的视觉沉浸环境是在洞穴式显示设备(CAVE)中,采用多面立体投影系统可得到较强的视觉效果。另外,可将此系统与真实世界隔离,避免受到外面真实世界的影响,用户可获得完全沉浸于虚拟世界的感觉。742听觉沉浸 声音通道是除视觉外的另一
35、个重要感觉通道,如果在虚拟现实系统加入与视觉同步的声音效果作为补充,在很大程度上可提高虚拟现实系统的沉浸效果。在虚拟现实系统中,主要让用户感觉到的是三维虚拟声音,这与普通立体声有所不同,普通立体声可使人感觉声音来自于某个平面,而三维虚拟声音可使听者能感觉到声音来自于围绕双耳的一个球形中的任何位置。它可以模拟大范围的声音效果,如闪电、雷鸣、波浪声等自然现象的声音在沉浸式三维虚拟世界中,两个物体碰撞时,也会出现碰撞的声音,并且用户根据声音能准确判断出声源的位置。753触觉沉浸 在虚拟现实系统中,我们可以借助于各种特殊的交互设备,使用户能体验抓、握等操作的感觉。当然从现在技术来说不可能达到与真实世界
36、完全相同的触觉沉浸,将来也不可能,除非技术发展到同人脑能进行直接交流。基于目前的技术水平,我们主要侧重于力反馈方面。如使用充气式手套,在虚拟世界中与物体相接触时,能产生与真实世界相同的感觉,如用户在打球时,不仅能听到拍球时发出的“嘭嘭”声,还能感受到球对手的反作用力,即手上感到有一种受压迫的感觉。764嗅觉沉浸 有关嗅觉的模拟的开发是最近几年的一个课题,在日本最新开发出一种嗅觉模拟器,只要把虚拟空间中的水果放到鼻尖上一闻,装置就会在鼻尖处释放出水果的香味。其基本原理是这一装置的使用者先把能放出香味的环状的嗅觉提示装置套在手上,头上戴着图像显示器,就可以看到虚拟空间的事物。如果看到苹果和香蕉等水
37、果,用指尖把显示器拉到鼻尖上,位置感知装置就会检测出显示器和环状嗅觉提示装置接近。环状装置里装着八个小瓶,分别盛着八种水果的香料,一旦显示器接近,气泵就会根据显示器上的水果形象释放特定的香味,让人闻到水果的飘香。虽然这些设备还不是很成熟,但对于虚拟现实技术来说,是在嗅觉研究领域的一个突破。775身体感觉沉浸、味觉沉浸等 在虚拟现实系统中,除了需要实现以上的各种感觉沉浸外,还有身体的各种感觉、味觉感觉等,但基于现在的科技水平,人们对这些沉浸性的形成的机理知之较少,还处于初级程度,有待进一步研究与开发。78交互性 在虚拟现实系统中,交互性的实现与传统的多媒体技术有所不同 在传统的多媒体技术中,人机
38、之间的交互工具从计算机发明直到现在,主要是通过键盘与鼠标进行一维、二维的交互 虚拟现实系统强调人与虚拟世界之间要以自然的方式进行交互,如人的走动、头的转动、手的移动等,通过这些,用户与虚拟世界进行交互,并且借助于虚拟现实系统中特殊的硬件设备(如数据手套、力反馈设备等),以自然的方式与虚拟世界进行交互,实时产生在真实世界中一样的感知,甚至连用户本人都意识不到计算机的存在。例如,用户可以用手直接抓取虚拟世界中的物体,这时手有触摸感,并可以感觉物体的重量,能区分所拿的是石头还是海绵,并且场景中被抓的物体也立刻随着手的运动而移动。79 虚拟现实技术的交互性具有以下特点:虚拟环境中人的参与与反馈:在虚拟
39、现实系统中,人是一个重要的因素,这是产生一切变化的前提,正是因为有了人的参与与反馈,才会有虚拟环境中实时交互的各种要求与变化。人机交互的有效性:人与虚拟现实系统之间的交互是基于真实感的虚拟世界,并与人进行自然的交互,人机交互的有效性是指虚拟场景的真实感,真实感是前提和基础。人机交互的实时性:实时性指虚拟现实系统能快速响应用户的输入。例如头的转动,希望能立即在所显示的场景中产生相应的变化,并且能得到相应的其他反馈,用手移动虚拟世界中的一个物体,物体位置会立即发生相应的变化。没有人机交互的实时性,虚拟环境就失去了存在的必要性和前提。80想象性 想象性指虚拟的环境是人想象出来的,同时这种想象体现出设
40、计者相应的思想,因而可以用来实现一定的目标。所以说虚拟现实技术不仅仅是一个媒体或一个高级用户界面,它同时还可以是为解决工程、医学、军事等方面的问题而由开发者设计出来的应用软件,通常它以夸大的形式反映设计者的思想,虚拟现实系统的开发是虚拟现实技术与设计者并行操作,为发挥它们的创造性而设计的。虚拟现实技术的应用,为人类认识世界提供了一种全新的方法和手段,可以使人类突破时间与空间,去经历和体验世界上早已发生或尚未发生的事件;可以使人类进人宏观或微观世界进行研究和探索;也可以完成那些因为某些条件限制难以完成的事情。81 例如在建设一座大楼之前,传统的方法就是要画各种图纸,而现在可以采用虚拟现实系统来进
41、行设计与仿真。它的功能远比那些呆板的图纸生动强大得多,制作的虚拟现实作品反映的是设计者的思想。所以有些学者称虚拟现实为放大人们心灵的工具,或人工现实(Artificial Reality),这就是虚拟现实所具有的第三个特征,即想象性。演示:高速公路82 现在,人们利用虚拟现实技术在许多领域中起到了十分重要的作用,如核试验、新型武器设计、医疗手术的模拟与训练、自然灾害预报,这些问题如果采用传统方式去解决,必然要花费大量的人力、物力及漫长的时间,或是无法进行的,甚至会牺牲人员的生命。虚拟现实技术的出现,为解决和处理这些问题提供了新的方法及思路,人们借助虚拟现实技术,沉浸在多维信息空间中,依靠自己的
42、感知和认知能力全方位地获取信息,发挥主观能动性,寻求解答,形成新的解决问题的方法和手段。综上所述,虚拟现实系统具有“沉浸性”、“交互性”、“想象性”,使参与者能沉浸于虚拟世界之中,并进行交互。所以也有人说,虚拟现实系统是通过视、听、触觉等信息通道感受到设计者思想的高级用户界面。五、VR技术与三维动画技术的异同84 VR技术和三维动画技术有本质上的区别:三维动画技术是依靠计算机预先处理好的路径上所能看见的静止照片连续播放而形成的,不具有任何交互性,即不是用户想看什么地方就能看到什么地方,用户只能按照设计师预先固定好的一条线路去看某些场景,它给用户提供的信息很少或不是所需的,用户是被动的;而VR技
43、术则截然不同,它通过计算机实时计算场景,根据用户的需要把整个空间中所有的信息真实地提供给用户,用户可依自己的路线行走,计算机会产生相应的场景,真正做到“想得到,就看得到”。交互性是两者最大的不同。85 VR技术源于人们对三维动画技术自由交互的渴望,虽然它形式上和三维动画技术有些相似之处,但它可能将是三维动画技术的替代品。举例来说,3DSMAX是三维动画制作的利器,其软件制作效果好,运行效率高,用户遍及全球。如果需要利用3DSMAX渲染一张小区建筑效果图,大概需要几十秒的时间;而VR软件在同样的分辨率下,每一秒要渲染几十帧这样的效果图,因为如果不能达到20帧秒以上的处理效率,就难以达到和人类实时
44、交互的效果,这种效率是三维动画软件通过软件的优化所无法达到的。86 下面来看一个应用的实例。房地产展示是这两个技术最常用的领域。在现在的应用中,很多房地产公司采用三维动画技术来展示楼盘,其设计周期长,模式固定,制作费用高;而同时在国内也已经有多家公司采用VR技术来进行设计,其展示效果好,设计周期短,更重要的是,它是基于真实数据的科学仿真,不仅可达到一般展示的功能,而且还可以把业主带入到未来的建筑物里参观,还可展示如门的高度、窗户朝向、某时间的日照、采光的多少、样板房的自我设计、与周围环境的相互影响等。这些都是三维动画技术所无法比拟的。有关VR技术与三维动画技术的比较详见表1。演示:虚拟厨房场景
45、、二层别墅漫游87六、虚拟现实系统分类89 近十年来,随着计算机技术、网络技术等新技术的高速发展及应用,虚拟现实技术也发展相当迅速,并呈现多样化的发展趋势,其内涵也已经大大扩展。虚拟现实技术不仅指那些采用高档可视化工作站、高档头盔式显示器等一系列昂贵设备的技术,也包括一切与其有关的具有自然交互、逼真体验的技术与方法。虚拟现实技术的目的在于达到真实的体验和基于自然的交互,而对一般的单位或个人不可能承受昂贵的硬件设备及相应软件的价格,现在我们说,只要是能达到上述部分目的的系统就可以称为虚拟现实系统。在实际应用中,根据虚拟现实技术对“沉浸性”程度的高低和交互程度的不同,划分为四种典型类型:沉浸式虚拟
46、现实系统、桌面式虚拟现实系统、增强式虚拟现实系统、分布式虚拟现实系统。其中,桌面式虚拟现实系统因其技术非常简单、实用性强、需投入的成本也不高,在实际中应用较广泛。90沉浸式虚拟现实系统 沉浸式虚拟现实系统(Immersive VR)是一种高级的、较理想的虚拟现实系统,它提供一个完全沉浸的体验,使用户有一种仿佛置身于真实世界之中的感觉。它通常采用洞穴式立体显示装置或头盔式显示器等设备,首先把用户的视觉、听觉和其他感觉封闭起来,并提供一个新的、虚拟的感觉空间,利用空间位置跟踪器、数据手套、三维鼠标等输入设备和视觉、听觉等设备,使用户产生一种身临其境、完全投入和沉浸于其中的感觉。919293 沉浸式
47、虚拟现实系统具有以下五个特点:(1)具有高度实时性能 沉浸式虚拟现实系统中,要达到与真实世界相同的感觉,必须具有高度实时性能。如当人头部转动改变观察点时,空间位置跟踪设备须及时检测到,并且由计算机进行运算,改变输出的相应场景,要求必须有足够小的延迟,而且变化要连续平滑。94(2)具有高度的沉浸感 沉浸式虚拟现实系统采用多种输入与输出设备来营造一个虚拟的世界,并使用户沉浸于其中,产生一个“看起来是真的、听起来是真的、摸起来是真的”的虚拟世界,同时要求具有高度的沉浸感,使用户与真实世界完全隔离,不受外面真实世界的影响。(3)具有良好的系统集成度与整合性能 为了实现用户产生全方位的沉浸,就必须要多种
48、设备与多种相关软件相互作用,且相互之间不能有影响,所以系统必须有良好的整合性能。95(4)具有良好的开放性 虚拟现实技术之所以发展迅速是因为它采用了其他先进技术的成果。在沉浸式虚拟现实系统中要尽可能利用最先进的硬件设备、软件技术及软件,这就要求虚拟现实系统能方便地改进硬件设备及软件技术,因此必须用比以往更灵活的方式构造虚拟现实系统的软、硬件结构体系。(5)能支持多种输入与输出设备并行工作 为了实现沉浸性,可能需要多个设备综合应用,如用手拿一个物体,就必须要数据手套、空间位置跟踪器等设备同步工作。所以说,支持多种输入与输出设备的并行处理是实现虚拟现实系统的一项必备技术。96 常见的沉浸式虚拟现实
49、系统有:基于头盔式显示器的系统、投影式虚拟现实系统、远程存在系统。基于头盔式虚拟现实系统是采用头盔显示器来实现单用户的立体视觉输出、立体声音输人的环境,可使用户完全投入。它把现实世界与之隔离,使用户从听觉到视觉都能投入到虚拟环境中去。投影式虚拟现实系统是采用一个或多个大屏幕投影来实现大画面的立体视觉效果和立体声音效果,使多个用户同时具有完全投入的感觉。远程存在系统是一种远程控制形式,也称遥操作系统。它由人、人机接口、遥操作机器人组成。实际上是遥操作机器人代替了计算机,这里的环境是机器人工作的真实环境,这个环境是远离用户的,可能是人类无法进入的工作环境(如核环境、高温工作环境等),这时通过虚拟现
50、实系统可使人自然地感受这种环境,并完成此环境下的工作。97桌面式虚拟现实系统 桌面式虚拟现实系统(Desktop VR)也称窗口虚拟现实,是利用个人计算机或初级图形工作站等设备,以计算机屏幕作为用户观察虚拟世界的一个窗口,采用立体图形、自然交互等技术,产生三维立体空间的交互场景,通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界,实现与虚拟世界的交互,如图1-8所示。桌面式虚拟现实系统一般要求参与者使用空间位置跟踪器和其他输入设备(如数据手套和六个自由度的三维空间鼠标器),使用户虽然坐在监视器前,但可以通过计算机屏幕观察360度范围内的虚拟世界。9899 在桌面式虚拟现实系统中,计算机的屏幕