1、v可视化显示设备可视化显示设备 为了生成一个具有沉浸感的虚拟现实环境，必须集成上述为了生成一个具有沉浸感的虚拟现实环境，必须集成上述 4种技术。种技术。头盔式显示器头盔式显示器 HMD(Head Mounted Display)是该项技术的结晶，它不仅是该项技术的结晶，它不仅综合了上述技术的精华，而且还结合人类对视觉感知的生理特点。其显综合了上述技术的精华，而且还结合人类对视觉感知的生理特点。其显示屏幕被设置在一个特制头盔的前部，把计算机生成的图象分别送到头示屏幕被设置在一个特制头盔的前部，把计算机生成的图象分别送到头盔显示器的盔显示器的2个屏幕，以产生一幅立体图象，且当人的头或身体转动时，个
2、屏幕，以产生一幅立体图象，且当人的头或身体转动时，计算机图象生成系统送出相应的图象也跟着发生变化。计算机图象生成系统送出相应的图象也跟着发生变化。三、虚拟现实系统软件三、虚拟现实系统软件一个较为成功的一个较为成功的 VR环境是极其复杂的环境是极其复杂的,必须是面向对象和实时的，具有必须是面向对象和实时的，具有内在的灵活性和可移植性，对软件开发环境提出较高的要求。内在的灵活性和可移植性，对软件开发环境提出较高的要求。v虚拟环境软件开发环境虚拟环境软件开发环境桌面虚拟环境系统桌面虚拟环境系统 VRT桌面虚拟环境系统桌面虚拟环境系统 VRT主要包括主要包括 3个功能模块，即形状编辑器、世界编个功能模
3、块，即形状编辑器、世界编辑器和可视化器。形状编辑器用于生成虚拟环境中的对象，世界编辑器用于辑器和可视化器。形状编辑器用于生成虚拟环境中的对象，世界编辑器用于将这些对象与在虚拟环境中的运动和行为联系起来，可视化器用于形成一个将这些对象与在虚拟环境中的运动和行为联系起来，可视化器用于形成一个应用的运行系统。应用的运行系统。VPL的的 RB2系统系统RB2(reality built for two)是一套完备的虚拟环境原型系统，利用它可以是一套完备的虚拟环境原型系统，利用它可以快速构建评测用的虚拟环境，它是第一个实用的快速构建评测用的虚拟环境，它是第一个实用的 VR环境系统。环境系统。SGI的的
4、VR开发平台开发平台该平台是该平台是 SGI公司研制的一系列适于虚拟环境的图形平台，它将虚拟世公司研制的一系列适于虚拟环境的图形平台，它将虚拟世界产生系统与各种外围设备集成在一起。其中界产生系统与各种外围设备集成在一起。其中 SGI的的 Sky Writer和现实引擎和现实引擎(reality engine)支持支持“窗口输出窗口输出”、Unix 计算和高级图形操作，支持数据计算和高级图形操作，支持数据库开发、任务规划、任务预演和映象。库开发、任务规划、任务预演和映象。v虚拟现实环境的编程软件虚拟现实环境的编程软件目前有关虚拟现实环境的编程软件很多，其中具有代表性的包括目前有关虚拟现实环境的编
5、程软件很多，其中具有代表性的包括:Open GL(open graphics library)使用专用图形处理硬件的软件接口，它有几百个过程与函数组成，支持使用专用图形处理硬件的软件接口，它有几百个过程与函数组成，支持用户使用高质量三维对象的图形和图象。用户使用高质量三维对象的图形和图象。VRML(Virtual Reality Modeling Language)虚拟现实建模语言，是超文本语言虚拟现实建模语言，是超文本语言(HTML)的三维模拟，它使用的三维模拟，它使用 VRML浏览器能读懂浏览器能读懂 ASCII文本格式来描述世界和链接。文本格式来描述世界和链接。VRML不仅可以用来建立不
6、仅可以用来建立真实世界场景的模型，也可以建立虚构的二维和三维世界，真实世界场景的模型，也可以建立虚构的二维和三维世界，VRML是建立和是建立和体验一个虚拟新世界的通信媒介体验一个虚拟新世界的通信媒介。四、虚拟现实理论及实现四、虚拟现实理论及实现虚拟现实是计算机科学和信息科学的交叉和融合，建立一个虚拟现实虚拟现实是计算机科学和信息科学的交叉和融合，建立一个虚拟现实系统需要包括计算机图形学、图象处理和模式识别、智能接口技术、人工系统需要包括计算机图形学、图象处理和模式识别、智能接口技术、人工智能技术、多传感器技术、多信息融合技术、语音处理与音响技术、网络智能技术、多传感器技术、多信息融合技术、语音
7、处理与音响技术、网络技术、并行处理技术和高性能计算机系统等学科的理论。技术、并行处理技术和高性能计算机系统等学科的理论。v虚拟现实技术实现目标虚拟现实技术实现目标VR技术的目标就是要在人和计算机之间建立一个适人化的多维信息空技术的目标就是要在人和计算机之间建立一个适人化的多维信息空间，在该空间中，信息处理工具是虚拟现实环境间，在该空间中，信息处理工具是虚拟现实环境(系统系统)，人与虚拟现实系，人与虚拟现实系统是通过各种先进的传感器和作用器发生联系，人们可以按照自己习惯的统是通过各种先进的传感器和作用器发生联系，人们可以按照自己习惯的方式与虚拟环境自由交互，人们以往的经验和体验方式与虚拟环境自由
8、交互，人们以往的经验和体验(全部的感性知识和理性全部的感性知识和理性知识知识)都是理解问题、寻求解答和提出新概念的基础。都是理解问题、寻求解答和提出新概念的基础。v虚拟环境及对象构造虚拟环境及对象构造虚拟现实系统的最大特点是要用户具有沉浸感、交互感以及能产生构虚拟现实系统的最大特点是要用户具有沉浸感、交互感以及能产生构想，构造一个虚拟现实系统必须考虑人们对虚拟环境的感知，即视觉感知、想，构造一个虚拟现实系统必须考虑人们对虚拟环境的感知，即视觉感知、听觉感知、记忆及认知等。听觉感知、记忆及认知等。1.1.视觉感知和视景生成视觉感知和视景生成2.2.人类视觉感知系统是由眼睛和视觉神经构成，眼睛结构
9、和照相机相似，人类视觉感知系统是由眼睛和视觉神经构成，眼睛结构和照相机相似，作用像光电转换器和信息编码器。视觉神经系统作用像信息网络，人的视觉感作用像光电转换器和信息编码器。视觉神经系统作用像信息网络，人的视觉感知由视网膜图像差、运动视差及色彩感知等部分组成。虚拟现实系统中视景生知由视网膜图像差、运动视差及色彩感知等部分组成。虚拟现实系统中视景生成有基于图形和图像的虚拟现实环境生成技术。成有基于图形和图像的虚拟现实环境生成技术。3.3.听觉感知与听觉生成听觉感知与听觉生成4.4.对听觉感知研究表明，人的听觉系统由外耳、中耳和内耳组成。外耳对听觉感知研究表明，人的听觉系统由外耳、中耳和内耳组成。
10、外耳负责定向收集声波，中耳负责保护内耳，并将外耳收集到的声音传送给内耳，负责定向收集声波，中耳负责保护内耳，并将外耳收集到的声音传送给内耳，内耳负责保护放大、滤波和提取声音特征，然后传送给大脑。为了产生虚拟现内耳负责保护放大、滤波和提取声音特征，然后传送给大脑。为了产生虚拟现实环境中的声音，人们采用了空间声音合成方法，即利用对应被测试耳廓的冲实环境中的声音，人们采用了空间声音合成方法，即利用对应被测试耳廓的冲击响应滤波器的声音信号的直接卷积。击响应滤波器的声音信号的直接卷积。5.5.记忆与认知记忆与认知6.人的记忆由短期和长期记忆构成，短期记忆容量为人的记忆由短期和长期记忆构成，短期记忆容量为
11、 5 9个存储单位，若个存储单位，若不及时更新，短期记忆的信息会在不及时更新，短期记忆的信息会在 2 0 ms内消失，必须不断刷新。长期记忆几内消失，必须不断刷新。长期记忆几乎有无限容量，人的认知过程，是一个优化安排短期记忆存储器的使用和有效乎有无限容量，人的认知过程，是一个优化安排短期记忆存储器的使用和有效检索长期记忆的过程。检索长期记忆的过程。v虚拟环境系统设计方法虚拟环境系统设计方法虚拟环境是一个相当复杂的系统，只能采用当今最为先进的面向对象虚拟环境是一个相当复杂的系统，只能采用当今最为先进的面向对象技术和面向智能体技术作为虚拟环境的系统设计方法，才能满足开发虚拟技术和面向智能体技术作为
12、虚拟环境的系统设计方法，才能满足开发虚拟环境的要求。环境的要求。面向对象技术面向对象技术面向对象的技术领域已涉及面向对象设计面向对象的技术领域已涉及面向对象设计 (OOD)、面向对象语言面向对象语言(OOL)、面向对象数据库面向对象数据库(OODB)、面向对象智能程序设计面向对象智能程序设计 (OOIP)和面向对象的体系结构和面向对象的体系结构 (OOA)。在面向对象系统观中，构成系统的基本在面向对象系统观中，构成系统的基本部分是对象。部分是对象。面向智能体技术面向智能体技术在面向智能体的方法中，人们使目前的在面向智能体的方法中，人们使目前的“对象对象”能够进化得更聪明些，能够进化得更聪明些，
13、即即“聪明的对象聪明的对象(Agent)”=“知识表示结构知识表示结构+处理方法处理方法”。面向智能体。面向智能体程序设计程序设计 (AOP)是一种以计算的社会观为基础的新型程序设计风范，它是一种以计算的社会观为基础的新型程序设计风范，它以以 Agent的设计与构造作为程序设计核心。的设计与构造作为程序设计核心。五、虚拟现实技术应用五、虚拟现实技术应用虚拟现实的概念从提出到现在仅虚拟现实的概念从提出到现在仅 3 0多年，但它在许多领域取得了举世瞩多年，但它在许多领域取得了举世瞩目的成果。目的成果。v航天领域应用航天领域应用航天员训练器航天员训练器利用虚拟训练系统对航天员进行失重心理训练，使其建
14、利用虚拟训练系统对航天员进行失重心理训练，使其建立失重环境下空间方位感。其次，通过构造航天器虚拟座舱模型，训练航天员立失重环境下空间方位感。其次，通过构造航天器虚拟座舱模型，训练航天员熟悉舱内布局、界面和位置关系，演练飞行程序和操作技能等。特别当航天器熟悉舱内布局、界面和位置关系，演练飞行程序和操作技能等。特别当航天器某些关键设备在轨运行期间发生故障时，可以通过某些关键设备在轨运行期间发生故障时，可以通过 VR技术，在地面或空间站技术，在地面或空间站对其进行修理培训。对其进行修理培训。1 993年，哈勃望远镜的修复成功就是一例。年，哈勃望远镜的修复成功就是一例。交会对接人工控制交会对接人工控制
15、 VR技术技术利用利用 VR技术，将交会对接时航天器的动力技术，将交会对接时航天器的动力学模型存入计算机系统，通过计算机仿真，实时解出学模型存入计算机系统，通过计算机仿真，实时解出 2个航天器间的相对距离个航天器间的相对距离和姿态角参量，再通过计算机生成图像，在头盔显示器里实时显示和姿态角参量，再通过计算机生成图像，在头盔显示器里实时显示 2个航天器个航天器虚拟环境，从而达到训练目的。虚拟环境，从而达到训练目的。v军事应用军事应用 早在早在 2 0世纪世纪 80年代初，美国的年代初，美国的 DARPA 就开始为坦克编队典型作战就开始为坦克编队典型作战训练开发一个实用的虚拟战场，其主训练开发一个
16、实用的虚拟战场，其主要目的是为了降低作战训练费用，同要目的是为了降低作战训练费用，同时也为了确保安全和减低对环境的影时也为了确保安全和减低对环境的影响。最后形成了一个由美国及德国的响。最后形成了一个由美国及德国的 2 0 0个坦克训练器互联网络个坦克训练器互联网络 SIMNET系统。系统。SIMNET通过分布网络形成一通过分布网络形成一个虚拟战场环境，在训练经费紧缩、个虚拟战场环境，在训练经费紧缩、战术训练质量和数量提高以及作为新战术训练质量和数量提高以及作为新武器概念试验台的应用等方面得到广武器概念试验台的应用等方面得到广泛认可。泛认可。NATO(北大西洋公约组织北大西洋公约组织)计划将逐步
17、把各个国家的兵力汇入计划将逐步把各个国家的兵力汇入 SIMENT而成为一个虚拟战场，进一而成为一个虚拟战场，进一步的工作是把空战仿真系统步的工作是把空战仿真系统(AWSIMS)和海战仿真系统和海战仿真系统(NWSIMS)与与 SIMNET相联。相联。v机械制造业应用机械制造业应用支持并行工程支持并行工程传统生产过程为：设计传统生产过程为：设计工艺规划工艺规划工装设计工装设计零件制造零件制造装配，装配，VR技术可实现技术可实现各阶段交叉进行过程。在网络环境下，可由不同终端处理不同过程，最后通过服务器进各阶段交叉进行过程。在网络环境下，可由不同终端处理不同过程，最后通过服务器进行数据管理与通讯。行
18、数据管理与通讯。完成动态联盟的建立完成动态联盟的建立网络环境中，一个工程项目的完成可依赖于多个用户，这些用户只是网络的一个网络环境中，一个工程项目的完成可依赖于多个用户，这些用户只是网络的一个节点。利用宽带网传输设计加工数据，可以实现异地生产。节点。利用宽带网传输设计加工数据，可以实现异地生产。虚拟制造虚拟制造 VR技术应用最重要的领域，如波音技术应用最重要的领域，如波音 777客机。波音公司开发的客机。波音公司开发的 VR系统可将虚拟系统可将虚拟环境叠加于真实环境之上，如把虚拟的模板显示在正加工的工件上，工人根据此模板控环境叠加于真实环境之上，如把虚拟的模板显示在正加工的工件上，工人根据此模
19、板控制待加工尺寸，简化了加工过程，使波音制待加工尺寸，简化了加工过程，使波音 777客机一次装配成功。客机一次装配成功。v机器人技术应用机器人技术应用遥操作界面遥操作界面遥现可以定义为人的感觉器官在远端的延伸，人的感官能通过虚拟现实遥现可以定义为人的感觉器官在远端的延伸，人的感官能通过虚拟现实的的 I/O设备得到增强，同时虚拟现实的三维图形数据适于低带宽及大延时的网设备得到增强，同时虚拟现实的三维图形数据适于低带宽及大延时的网络通讯。络通讯。三维场景表达和自动建模三维场景表达和自动建模虚拟现实的另外一个快速发展的研究领域是机器视觉领域，也正是国际虚拟现实的另外一个快速发展的研究领域是机器视觉领
20、域，也正是国际上上 VR技术研究热点。视觉处理一般分低层视觉处理、中层视觉处理及高层视技术研究热点。视觉处理一般分低层视觉处理、中层视觉处理及高层视觉处理觉处理 3个层次个层次,VR技术可以看成是视觉的高层处理的场景表达。技术可以看成是视觉的高层处理的场景表达。v医学应用医学应用虚拟人体虚拟人体早在早在 1985 年，美国国立医学图书馆年，美国国立医学图书馆 (NLM)就开始人体解剖图像数字化就开始人体解剖图像数字化研究，并利用虚拟人体开展虚拟解剖学、虚拟放射学及虚拟内窥镜学等学科的研究，并利用虚拟人体开展虚拟解剖学、虚拟放射学及虚拟内窥镜学等学科的计算机辅助教学。计算机辅助教学。遥控外科手术
21、遥控外科手术将备有基于将备有基于 VR技术的远程控制操作设备遥控手术中心与边远地区建立起技术的远程控制操作设备遥控手术中心与边远地区建立起远程医疗远程医疗 VR系统，医生只需对虚拟病人模型进行手术，并通过高速宽带网络系统，医生只需对虚拟病人模型进行手术，并通过高速宽带网络将医生动作传送到网络另一端的手术机器人，由机器人对病人进行手术。手术将医生动作传送到网络另一端的手术机器人，由机器人对病人进行手术。手术实际进展的图像也可通过机器人摄像机实时传给医生的头盔立体显示器，并将实际进展的图像也可通过机器人摄像机实时传给医生的头盔立体显示器，并将其与虚拟病人叠加，以便医生实时掌握手术情况并发出手术指令。其与虚拟病人叠加，以便医生实时掌握手术情况并发出手术指令。
