1、Chapter 4 Virtual Reality第四章第四章 虚拟现实技术虚拟现实技术n4.1 虚拟现实技术虚拟现实技术n4.2 计算机图形学计算机图形学n4.3 三维图形接口三维图形接口4.1 Virtual Reality4.1 虚拟现实技术n4.1.1 History and Application of Virtual Realityn4.1.1 虚拟现实的历史及应用History of Virtual Reality 虚拟现实的历史n自自1962年，美国青年年，美国青年（Morton Heilig），发明了实感），发明了实感全景仿真机开始，虚拟现实技术越来越受到人们的关注。全景仿真
2、机开始，虚拟现实技术越来越受到人们的关注。1970年元月年元月1日，艾凡日，艾凡萨瑟兰萨瑟兰(Ivan Sutherland)领导研领导研制成功第一个头盔显示器，这一天进行了首次的正式演示。制成功第一个头盔显示器，这一天进行了首次的正式演示。Virtual Reality的概念由美国的概念由美国VPL Research公司的创公司的创始人加隆始人加隆兰里尔兰里尔(Jaron Lanier)在在1989年正式提出来，年正式提出来，中文通常译作中文通常译作“虚拟现实虚拟现实”。Virtual Reality简称简称VR。Application of Virtual Reality虚拟现实的应用虚拟
3、现实的应用n近年来VR研究也取得了很大进步，除了一些娱乐系统外，还有飞行模拟器，模拟手术实验室，驾驶模拟器，波音飞机777设计、遥控机器人、欧洲Mona Lisa影视虚拟演播室、美国SIMNET海陆空战场仿真互联网。VR的一些具体的应用领域有：n娱乐、教育与训练、医学、可视化、遥控遥现、通讯与协同工作、设计与规划、虚拟制造技术 Application:Fear of HeightsFear of spiders(arachnophobia)蜘蛛恐惧症Driving SimulatorApplication:YACON高尔夫系统Application:YACON高尔夫系统n玩家击打的是真的高尔夫
4、球，经过速度感应器的计算，电脑能实时显示出高尔夫球在虚拟球场上的运动轨迹，以及落点。n真实的手感，加上逼真的显示效果带给玩家的是一种超越现实示的满足感。n在这里不仅能玩高尔夫球，而且能玩的很尽兴，这家俱乐部还能提供您世界50个顶级高尔夫场地的模拟数据，玩家在这里就能足不出户体验游历世界著名球场，享受挥杆天下的乐趣了4.1.2 Basic Concepts of VR4.1.2 虚拟现实的基本概念(1)虚拟现实的定义 Virtual Reality Definition(2)虚拟现实三角形 Triangle Relationship of Virtual Reality(3)虚拟现实的外部设备
5、Virtual Reality Tools4.1.2.1 VR Definition4.1.2.1虚拟现实的定义(1)虚拟现实技术是在计算机技术支持下的一种人工环境，是人类与计算机和极其复杂的数据进行交换的一种技术。利用计算机系统可以人为创建一种虚拟空间，虚拟现实系统具有向用户提供视觉、听觉和触觉、味觉和嗅觉等感知功能的能力，人们能够在这个虚拟环境中观察、聆听、触摸、漫游，并与虚拟环境中的实体进行交互，从而使用户亲身体验沉浸在虚拟空间中的感受。4.1.2.1 VR Definition 4.1.2.1虚拟现实的定义(2)Real in effect,not real in fact.虚拟现实的
6、最终目的是提高人的认识能力，促进人与环境的交流，更深入的开发人类的智慧。思考：道路交通驾驶模拟器系统的目的？4.1.2.2 Triangle of Virtual Reality 4.1.2.2 虚拟现实三角形(1)Imagination Interaction Immersion VirtualReality 4.1.2.2 Triangle of Virtual Reality 4.1.2.2 虚拟现实三角形(2)nReal Time:n Actions can immediately modify the state of the space.nImmersion:nFeeling to
7、 be in the 3D Virtual Space.nInteraction:nPossibilty of moving in the 3D space and manipulate objectsnImagination:n Get some idea in the 3D space.4.1.2.2 Triangle of Virtual Reality 4.1.2.2 虚拟现实三角形(3)沉浸性沉浸性是指用户感到被虚拟世界所包围，就好像完全融入其中一样。通常有两种实现方法，一种是多“窗口”显示法，常用于飞行或者驾驶模拟器中，用户能够通过任一“窗口”看见虚拟的世界，就好像通过一个真实的窗
8、口看见外部世界一样；另一种是多数沉浸式虚拟现实系统所采用的头盔法，通过跟踪用户头部的运动，用户能看到变化的景象。交互性交互性是指用户能通过自然的动作与虚拟世界的物体进行交互作用。例如在建筑中“穿行”，你可以开门或关门，也可以开关家电设备；在工程设计时，你可以用手拆散你的设计或者做其他的交互动作。想象力想象力是指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位地获取知识，发挥主观能动性，寻求解答、形成新的概念。用一句话来概括用一句话来概括3I：人们能够沉浸到计算机系统所描述的环境中，利用多种传感器和多维化的信息环境进行交互作用，从定性和定量结合集成的环境中得到感性和理性的认识。Examp
9、le 1:Inputting Document VR实例1：文档录入n虚拟现实与系统仿真P29n半实物仿真n增强现实Example 2:Drinking Hot Coffee in VR VR实例2：人在VR中喝热咖啡n半实物仿真、增强现实n沉浸感生成的技术基础n人的感知系统对各种信息的获取比例：n视觉60%n听觉25n其他20如：触觉、味觉、表情、手势等n真正可以投入实际应用的技术还局限于视觉、听觉、触觉，人们对嗅觉、味觉的研究尚处于开发中4.1.2.3 Virtual Reality Tools 4.1.2.3 虚拟现实外设n3D Position TrackersnData Gloven
10、3D MousenData ClothingnTouch and Force FeedbacknStereo Display Devicesn3D Sound GeneratorsData GloveHead-mounted display3D MOUSETouch and Force Feedbackn触觉系统中的纹理模拟：细小弹簧模拟n充气式触觉反馈装置：细小可充气气泡n操纵杆JoyStick式力反馈装置：如：游戏手柄、游戏方向盘kEgo-Centric or Emissive VRNew Sphere of Virtual RealityVirtuSphere provides a me
11、chnical basis for truly immersive virtual reality environments,permitting the user to move about in virtual space by simply walking.The device consists of a large hollow sphere which is mounted on a specially designed platform that allows the sphere to rotate freely as the user walks in any directio
12、n.(Note that the open hatch in the picture above is closed during use.)The user wears a head-mounted display,which provides the virtual environment.Sensors under the sphere provide subject speed and direction to the computer running the simulation.Users can even ineract with objects in virtual space
13、 using a special manipulator.4.1.3 Structure and Classification of VR 4.1.3 VR系统的构成与分类 n（1）典型的虚拟现实系统的基本构成：）典型的虚拟现实系统的基本构成：n包括：包括：虚拟现实发生器，声音合成器，3D声音定域器，语音识别器，跟踪器，触、动觉系统，头盔显示器（Head-Mount Display），数据手套（Data Glove）等硬件系统；以及虚拟现实境界构造程序和有关虚拟现实境界的数据库等软件系统。头部动作跟踪器头部动作跟踪器头部动作头部动作跟踪设备跟踪设备眼球运动眼球运动跟踪设备跟踪设备声音声音识别设
14、备识别设备手动作手动作识别设备识别设备触感发生触感发生器器计算机计算机眼球跟踪器眼球跟踪器拾音器拾音器数据手套数据手套自由度运动机构自由度运动机构视景生成视景生成子系统子系统立体声立体声合成器合成器耳机耳机典型VR系统的基本构成（2）VR Classification（2）VR的分类nVR系统根据沉浸程度的不同，大致分为：n强制式VRn非强制式VR：如KMRTDSnVR系统根据其原理和规模的不同可分为:n桌面式VR系统 n座舱式VR系统 n投影式VR系统 Nonmandatory VR非强制式VRDesktop VR桌面式VR系统4.1.4 VR Rendering Technology4.1
15、.4 VR渲染技术n虚拟现实系统的渲染技术包括三类：n基于图形的渲染技术:Rendering Based on Graph n基于图像的渲染技术：Rendering Based on Image n基于点的渲染技术：Rendering Based on PointGeometric Modeling 4.1.4.1基于图形：几何造型 Texture Mapping4.1.4.1基于图形：纹理映射4.1.4.2 Rendering Based on Image 4.1.4.2 基于图像的渲染技术n问题：n纹理映射依赖于基础的三维几何建模n纹理坐标与几何模型的结合存在困难Example实例n电影泰
16、坦尼克号中“泰坦尼克”模型的建模费用为 60M US$。4.1.4.3 VR渲染技术演示n基于图像建模技术演示n基于图形建模技术演示4.1.5 VR Modeling4.1.5 VR建模 n1.几何建模 Geometric Modelingn2.运动建模 Motion Modelingn3.物理建模：表面变形、表面光滑程度n4.对象行为：人的行为、驾驶员的行为n5.模型分割Level of Detail（LOD）n6.Virtual Reality Modeling LanguageGeometric Modeling几何建模物体的几何模型主要内用来描述物体的形状，常用的物体结构表示有线框表示
17、法、表面或边界法和实体模型表示法。VSDesign Demo(City Road)VSDesign Demo(Freeway)VSDesign Demo(Rural Road)Motion Modeling运动建模nDefinition：在计算机上模拟空间微重力状况下FFSR的运动学、动力学的运动规律。nAbout：n碰撞检测：（demo）n动态建模：（行走demo）Physical Modeling物理建模n也称现象建模，主要包括对几何建模的结果进行材质、纹理、颜色、光照等处理，在计算机上生成具有真实感的图形，并对虚拟环境对象的特性进行描述。Object Behaviour对象行为行人行走仿
18、真Demon法国AIMSUN软件行人简单行走模型n实验室逼真行人行走模型(行走仿真_逼真.dys)Driver deal with unexpected eventsKMRTDS应用:驾驶员处理突发事件Level of Detail模型分割Virtual Reality Modeling Language虚拟现实建模语言nVRML是一种用在Internet 和Web超链上的，多用户交互的，独立于计算机平台的，网络虚拟现实建模语言。虚拟世界的显示、交互及网络互连都可以用VRML来描述。VRML被称为继HTML之后的第二代Web语言，它本身是一种建模语言，也就是说，它是用来描述三维物体及其行为的，
19、可以构建虚拟境界（Virtural World),可以集成文本、图像、音响、MPEG影像等多种媒体类型，还可以内嵌用Java、ECMAScript等语言编写的程序代码。VRML的基本目标是建立因特网上的交互式三维多媒体，基本特征包括分布式、三维、交互性、多媒体集成、境界逼真性等。nVRML的设计是从在WEB上欣赏实时3D图象开始的。VRML浏览器既是插件，又是帮助应用程序，还是独立运行的应用程序，它是传统的虚拟现实中同样也使用的实时3D着色引擎。这使得VRML应用从三维建模和动画应用中分离出来，在三维建模和动画应用中可以预先对前方场景进行着色，但是没有选择方向的自由。VRML提供了6+1度的自
20、由，用户可以沿着三个方向移动，也可以沿着三个方向旋转，同时还可以建立与其它3D空间的超链接。因此VRML是超空间的。nVRML定义了一种把3D图形和多媒体集成在一起的文件格式。从语法角度看，VRML文件是显式地定义和组织起来的3D多媒体对象集合；从语义角度看，VRML文件描述的是基于时间的交互式3D多媒体信息的抽象功能行为。VRML文件描述的基于时间的3D空间称为虚拟境界(Virtual World)，简称境界，所包含的图形对象和听觉对象可通过多种机制动态修改。4.1.6 Virtural Reality Application and Foreground 4.1.6 虚拟现实相关技术应用与
21、展望虚拟现实相关技术应用与展望 n4.1.6.1 增强现实技术Augmented Realityn4.1.6.2普适计算Ubiquitous Computing n4.1.6.3 虚拟现实技术应用实例Virtural Reality Application Instance 4.1.6.1 Augmented Reality4.1.6.1 增强现实技术n增强现实(augmented reality，AR)是指在真实环境(real environment)之上提供信息性和娱乐性的覆盖(informative and entertaining overlays)，如将图形、文字、声音及超文本等叠加
22、(overlay)于真实环境之上，提供附加信息，从而实现提醒、提示、注记、注释及解释等辅助功能。它是虚拟环境和真实环境的结合。n增强现实技术的发展：仿真技术虚拟现实技术增强现实技术n增强现实技术特征：虚实结合、实时交互、三维注册 Virtual Environment Model虚拟环境模型增强现实虚拟环境建模 4.1.6.2 Ubiquitous Computing 4.1.6.2 普适计算 n20年前，计算机还是贵重的科学仪器，安装在洁净的机房并有专人负责管理。如果要上机，你需要换上白大褂和拖鞋，小心翼翼地敲键盘输入程序代码，然后耐心地等待运行结果。10年前，PC的普及使计算机的应用迈进了
23、一大步，我们可以在办公室、在家里、甚至在旅途中使用计算机。但这离人类的理想还有很大的距离，我们仍然是在主动地“使用”计算机，必须去安装、配置和管理它们，基本上，计算机还是一种生产工具，与我们的生活还存在很大的距离。n今天，社会信息化的飞速发展已经使我们的工作和生活发生了深刻的变化，工作、学习、甚至日常生活都与计算机紧密相连。看看典型的都市白领装扮：手里拎着笔记本电脑、包里带着“商务通”和手机，用计算机工作、上网、玩游戏已经成为日常生活中不可或缺的部分。但这还远远不够，人类的理想是让计算机无处不在，成为能自觉、主动地为人们服务的“仆人”，这就是普适计算要解决的问题。n普适计算（普适计算（ubiq
24、uitous computing，UC），），又称为无处不在的计算又称为无处不在的计算，这是由PARC的Mark Weiser于20世纪90年代初提出的，目的是让计算机真正渗入到我们的日常生活中。它是指在我们周围的环境中嵌入许多微型的计算芯片、装置或系统，不仅可完成预定的计算功能，还可主动向可穿戴计算机的使用者提供信息，以便使用者无论在何处都能与周围的环境进行动态通信，充分获取环境信息。在UC环境中，可穿戴计算机就是人与UC环境交互的主要渠道，起着特殊“界面”的作用。4.1.6.3 Virtural Reality Application Instance 4.1.6.3 虚拟现实技术应用实例
25、 n（1）基于图形建模软件）基于图形建模软件RoadTranS VRMAG：n简介：简介：RoadTran-SVRMAG建模、仿真软件是基于OpenGL图形库的Visual C+程序，可在PC系列计算机、Microsoft Windows操作系统下运行，具有三维实体建模、交互式场景生成平台、任意视点3D漫游、模拟器实时驱动；开放接口等特点。软件适用于交通工程、交通运输、汽车工程、道路工程等行业。可用于道路交通虚拟仿真、交通环境3维建模、驾驶模拟器支撑软件、交通设计评价等方向的教学与科研。n软件的主要功能、特色：软件的主要功能、特色：该软件具有三维实体建模、交互式场景生成平台、任意视点3D漫游、
26、模拟器实时驱动；开放接口等特点。RoadTranS VRMAG软件界面（2）世纪景园演示世纪景园演示 4.2 Computer Graphics 4.2 计算机图形学 要求：了解计算机图形学研究的基本内容。回顾要求：了解计算机图形学研究的基本内容。回顾线性代数的矩阵乘法，掌握用与矩阵相乘实现线性代数的矩阵乘法，掌握用与矩阵相乘实现图形变换的方法、理解齐次坐标的几何意义。图形变换的方法、理解齐次坐标的几何意义。通过实例介绍二维图形变换的基本方法、基本通过实例介绍二维图形变换的基本方法、基本变换矩阵的级联方法；要求掌握简单的二维图变换矩阵的级联方法；要求掌握简单的二维图形变换方法。形变换方法。4.
27、2.1 Summarize4.2.1 概述 n随着计算机技术的进步，计算机图形技术的发展也愈来愈受到人们的重视。计算机的应用也逐步由数值计算，数据处理领域向信息处理和知识处理领域拓宽。计算机的应用不断提出各种各样的要求又进一步促进了计算机科学技术的发展和提高。计算机图形学这一新的分支学科的出现，就是计算机应用与计算机技术相互促进的一个范例。n与其它形态的信息相比，图形具有直观明了，含义丰富等种种优点。因此它有着广泛的用途。虽然图形的表示、生成、处理、存贮、检索和管理等要比文字复杂得多，但用计算机处理图形信息比传统的手工或机械方式提高了一大步，它使图形的用途更加广泛，更加有效，而成本越来越低。n
28、与图形信息的计算机处理有关的计算机分支学科有三个，它们是图象处理，模式识别和计算机图形学。4.2.2 4.2.2 3D Stereo Vision4.2.2 4.2.2 三维立体视觉三维立体视觉 n术语“深度”一般可以指：某一点到远处某物体之间的距离，也可以指两个物体或同一物体的两点之间的距离。n（1)1)静态的深度线索n（2)2)运动深度线索n（3)生理上的深度线索n（4)立体视觉线索Static depth cue静态的深度线索静态的深度线索n遮挡 n影调 n亮度n尺寸 n线性透视 n纹理（1)1)（1)1)静态的深度线索静态的深度线索-遮挡（1)1)静态的深度线索静态的深度线索-尺寸（1
29、)1)静态的深度线索静态的深度线索-线性透视 我们观察某一建筑物，屋顶和地面形成的直线看起来会聚于一点。如果知道建筑物的高度是一致的，我们就可以确定建筑物的深度了。这种利用物体上的直线投影的角度来判断距离的方法，就是利用了线形透视。（2)Motion Depth Cue2)Motion Depth Cue（2)2)运动深度线索运动深度线索 n当你用一只眼睛去看几棵树的上部，如果他们之间没有互相遮拦的话，你很难说出哪棵树近，哪棵树远。但当你左右移动一下你的头部，树的远近就很容易发现了，因为近处的树在你看来移动得多或者说移动得快，而在远处的树则移动得慢一些。（3)3)Physiological D
30、epth Cue （3)3)生理上的深度线索生理上的深度线索 n最重要的近处物体的深度信息要靠两只眼睛来获取。从生理上来探讨，当你看近处的物体时，因为两只眼睛要看同一处，眼睛就要内向（向脸的中心线）转动。物体离你的脸越近，眼睛的转动就越多，如果看的物体在6、7米之外，两眼就基本平直了。所以，眼睛转动的多少提供了深度的信息。n从眼睛聚焦的过程来看，为了要看清一个物体，眼睛要调节晶状体使得物体的像能清晰的聚焦眼底，这种调节过程能给我们一些深度线索。你可以试验这种方法，但获得的深度信息一般不太准确。（4)Stereo Vision Depth Cue （4)立体视觉线索立体视觉线索 n当两只眼睛相隔
31、约60毫米，每只眼睛从略有不同的角度观察同一物体时，每只眼睛看到的并不完全相同，这称为视差。当双眼观察到左右配对的特征时，某种神经元反应最为灵敏。在虚拟现实的显示技术中，利用双目视差来造成立体感是一个重要的方面。头盔显示系统就是利用了这一点来实现虚拟现实系统的立体视觉线索的，因为头盔显示器中左眼和右眼所看到的视景系统有些差别。4.2.3 Graph Transform4.2.3 图形变换 n4.2.3.1 二维图形变换 n4.2.3.2 三维图形变换与投影变换 n4.2.3.3 图形变换实例Graph Transform图形变换图形变换n通常我们要对图形进行各种变换，如平移，缩放，旋转，投影等
32、。这些变换的实质是改变组成图形的各点的坐标。所以对图形的变换就转化为对一组点集的变换。既然构成图形的一组点集可由矩阵来表示，那么对图形的变换就可通过对矩阵的运算来实现。nnnnnzyxzyxzyxyxyxyx2221112211,4.2.3.1 2D Graph Transform 4.2.3.1 二维图形变换 n一个点可以表示为x,y,与矩阵T22相乘得：dybxycyaxxdybxcyaxdcbayx,nx,yTx*,y*(1)Scale Transform(1)Scale Transform(1)(1)比例变换比例变换(2)Rotate Transform)Rotate Transfor
33、m(2)旋转变换旋转变换 cossinsincoscossinsincoscossinsincoscossinsincossincoscossin)sincoscos(sinsinsincoscos)sinsincos(cos)sin(sin)cos(cossincosyxyxyxTyxyyxxRRRyRRRxRRyRRxRyRx旋转变换矩阵得(3)Translation and Homogeneous Coordinates(3)平移变换与齐次坐标平移变换与齐次坐标 (4)Geometric Significance of Homogeneous Coordinates（4)齐次坐标的几何意
34、义齐次坐标的几何意义 n用n+1维向量来表示n维向量的方法叫作齐次坐标表示法。n二维向量x y的齐次表示的一般形式为x y (1)当时，x y 1是齐次坐标的规范化表示，它的几何意义是：x,y的坐标没任何变化，只是增加了的附加坐标，相当于使xoy坐标平面上的图形落到了平面上，图形没有发生任何几何意义上的变化。图形ABC与平面上的图形ABC完全等价。n(2)当时，产生透视效果。sqypxyxsqpyx0010011,4.2.3.2 3D Graph Transform and Projection Transform4.2.3.2 三维图形变换与投影变换 11*zyxsnmLrjihqfedpc
35、bazyx4.2.3.3 Graph Transform Instance4.2.3.3 图形变换实例(1)n（1）绕坐标原点外任意一点A的旋转变换矩阵2Dn问题描述：点P（x，y）绕任意点A（x0,y0）旋转角，求变换矩阵Tn实 例：P（2，2）、A（1，1），45，先用变换矩阵T求解，然后用数学方法求解以验证。Transformation Matrix Solution变换矩阵求解（1)4.2.3.3 Graph Transform Instance 4.2.3.3 图形变换实例(2)n（2）关于任何一条直线的对称变换矩阵2Dn问题描述：点P（x，y）（或直线、面）绕任意轴（直线L：axb
36、yc0）的镜像操作，求变换矩阵Tn实 例：点P（0，0），直线L：xy10，求镜像点P Transformation Matrix Solution变换矩阵求解（2)4.3 3D Graphical Interface4.3 4.3 三维图形接口三维图形接口要求：了解三维图形接口的概念，了解要求：了解三维图形接口的概念，了解OpenGL的基本概念的基本概念 n4.3.1 常见图形API介绍n4.3.2 OpenGL简介n4.3.3 OpenGL对图形变换的封装 n4.3.4 图形接口的选择4.3.1 What is API4.3.1 What is API？4.3.1 4.3.1 什么什么是是
37、APIAPI？nApplication Programming Interfacen在图形图像行业里，三维图形API有许多种。常用的3D图形API是：Direct3DDirect3D(DirectX的主要设计成果)、OpenGLOpenGL和Quick Draw 3D(HeidiHeidi)。这3种常用的API格式在使用中都体现了一定的扩展性、灵活性和便捷性等。4.3.2 OpenGL Intro4.3.2 OpenGL Intro4.3.2 OpenGL4.3.2 OpenGL简介简介nOpenGL(Open Graphics Library开放图形库)是近年来发展起来的一个性能卓越的三维图
38、形标准，它是在SGI等多家世界闻名的计算机公司倡导下，以SGI的GL三维图形库为基础制定的一个通用共享的开发式三维图形标准。nSGI公司于1990年开始着手OpenGL的研制。1992年OpenGL体系结构委员会制定了1.0规范，经历了1.1、1.2、1.3、1.4、1.5，2.0(2004年8月推出)各个版本。目前最新版本为2.1版。n什么是OpenGL？OpenGL被严格定义为“一种图形硬件的软件接口”,不是一门新的“语言”。从本质上讲，它是一个完全可移植并且速度很快的3D图形和建模库。nOpenGL是图形硬件的软件接口。nOpenGL是作为一种新型的接口来设计的，它与硬件无关的特性，使其
39、可以在不同的硬件平台上实现。4.3.3 OpenGL API of Graph Transform4.3.3 OpenGL API of Graph Transform4.3.3 OpenGL4.3.3 OpenGL对图形变换的封装对图形变换的封装n平移变换 glTranslated(x，y，z)n旋转变换 glRotated(，x，y，z)n比例变换 glScaled(x，y，z)4.3.4 Graphical Interface Select4.3.4 4.3.4 图形接口的选择nOpenGL属于底层图形开发库，要开发一个项目，开发量较大，但如果对一个已经积累了许多OpenGL模块的单位而言就不同了，使用已有的成果可能会非常容易。n能快速、方便的加入了自定义的功能模块。n使用OpenGL开发的软件具有自主知识产权。而使用Vega、MultiGen Creator等软件进行建模与仿真则不具备自主知识产权，必须绑定相应的模块。
