1、2022-10-29虚拟现实技术虚拟现实的硬件设备2022-10-292第2章 虚拟现实系统的硬件设备本章主要包含的内容：1.视觉感知设备概述；2.听觉感知设备概述；3.触觉和力反馈设备；4.位置跟踪设备；5.虚拟现实的计算设备。2022-10-293第2章 虚拟现实系统的硬件设备本章主要包含的重难点：1.人的视听觉感知模型；2.各种硬件设备的工作原理；3.各种硬件设备的性能指标；4.各种硬件设备的优缺点。2022-10-294基于头盔显示器的虚拟现实系统硬件配置示意图基于头盔显示器的虚拟现实系统硬件配置示意图2022-10-29人的感官人的感官说明说明接口设备接口设备视觉视觉感觉各种可见光感
2、觉各种可见光显示器或投影仪等显示器或投影仪等听觉听觉感觉声音波感觉声音波耳机、喇叭等耳机、喇叭等嗅觉嗅觉感知空气中的化学成分感知空气中的化学成分气味放大传感装置气味放大传感装置味觉味觉感知液体中的化学成分感知液体中的化学成分触觉触觉皮肤感知温度，压力，纹理皮肤感知温度，压力，纹理等等触觉传感器触觉传感器力觉力觉肌肉等感知的力度肌肉等感知的力度力觉传感器力觉传感器身体感觉身体感觉感知肌体或身躯的位置与角感知肌体或身躯的位置与角度度数据衣数据衣前庭感觉前庭感觉平衡感知平衡感知动平台动平台人的感官器官对应的各种接口设备人的感官器官对应的各种接口设备2022-10-292.1 视觉感知设备概述2022
3、-10-292.1.1 人类视觉模型1视觉生理结构 眼球为人眼的视觉器官，主要有角膜、晶状体、玻璃眼球为人眼的视觉器官，主要有角膜、晶状体、玻璃体及视网膜等组成一套光学系统，体及视网膜等组成一套光学系统，下图下图为视觉系统的生理为视觉系统的生理结构图。自然界的物体的光线经视觉器官发生折射，在视结构图。自然界的物体的光线经视觉器官发生折射，在视网膜上形成倒立的像，视网膜的杆状细胞和锥状细胞负责网膜上形成倒立的像，视网膜的杆状细胞和锥状细胞负责通过视神经把信号传给大脑，经过脑神经传送给大脑，并通过视神经把信号传给大脑，经过脑神经传送给大脑，并由大脑把像颠倒过来。由大脑把像颠倒过来。2022-10-
4、2982.1.1 人类视觉模型1视觉生理结构 人眼的生理结构图人眼的生理结构图 物体在人眼成像图物体在人眼成像图2022-10-2992.1.1 人类视觉模型2视觉因素 1）立体视觉）立体视觉 提供给人类视觉的图像，必须使人感觉是立体的。人们感提供给人类视觉的图像，必须使人感觉是立体的。人们感觉到空间立体感，形成立体视觉主要是因为人类的左右双眼觉到空间立体感，形成立体视觉主要是因为人类的左右双眼的视野存在很大的重叠。通常将其重叠称之为双眼视觉或者的视野存在很大的重叠。通常将其重叠称之为双眼视觉或者立体视觉。人的双眼之间有立体视觉。人的双眼之间有6-8cm的距离，看同一物体，双的距离，看同一物体
5、，双眼会获得稍有差别的视图。人们的左右双眼视觉各有一套神眼会获得稍有差别的视图。人们的左右双眼视觉各有一套神经系统。人眼的两套神经系统在大脑前有一个交叉点，并且经系统。人眼的两套神经系统在大脑前有一个交叉点，并且在交叉点后分开。进入眼睛的光线根据左右位置的不同分别在交叉点后分开。进入眼睛的光线根据左右位置的不同分别进入交叉点后的左右神经。进入交叉点后的左右神经。2022-10-29102.1.1 人类视觉模型1）立体视觉）立体视觉 立体视觉形成原理图立体视觉形成原理图2022-10-29112.1.1 人类视觉模型1）立体视觉）立体视觉 立体视觉的基本原理立体视觉的基本原理2022-10-29
6、122.1.1 人类视觉模型2）屈光度）屈光度 眼睛折射光线的作用叫屈光，用光焦度来表示屈光的能眼睛折射光线的作用叫屈光，用光焦度来表示屈光的能力，叫做屈光度力，叫做屈光度。屈光度是与眼的光学部分有关的一个度量。屈光度是与眼的光学部分有关的一个度量。有有1个屈光度的镜头，可以聚焦平行光线在个屈光度的镜头，可以聚焦平行光线在1米距离。人眼的米距离。人眼的聚焦能力约聚焦能力约60屈光度，这表明聚焦平行光在屈光度，这表明聚焦平行光在17mm距离，这距离，这就是眼球尺寸，是晶状体和视网膜的距离。就是眼球尺寸，是晶状体和视网膜的距离。人通过改变眼睛的屈光度来保证远近物体能够在视网人通过改变眼睛的屈光度来
7、保证远近物体能够在视网膜上正确成像，获得清晰的图像。在注视运动物体时，眼睛膜上正确成像，获得清晰的图像。在注视运动物体时，眼睛的屈光度可以自动调节。屈光度的改变被称为调节或聚焦。的屈光度可以自动调节。屈光度的改变被称为调节或聚焦。其作用是保证某个距离的物体清晰，而其它距离物体模糊。其作用是保证某个距离的物体清晰，而其它距离物体模糊。这起了滤波器的作用，使人集中关注视场中部分区域。这起了滤波器的作用，使人集中关注视场中部分区域。2022-10-29132.1.1 人类视觉模型3）瞳孔）瞳孔 瞳孔是晶状体前的孔。一般人瞳孔的直径可变动于瞳孔是晶状体前的孔。一般人瞳孔的直径可变动于1.5-8.0mm
8、之间，面积之比之间，面积之比1:30。瞳孔的大小可以控制进入眼内。瞳孔的大小可以控制进入眼内的光量，瞳孔的变化是为了保持在不同光照情况下进入眼内的的光量，瞳孔的变化是为了保持在不同光照情况下进入眼内的光量较为恒定的。光量较为恒定的。瞳孔的工作原理就像照相机里的光圈一样，可以随光线的瞳孔的工作原理就像照相机里的光圈一样，可以随光线的强弱而缩小或变大。其对光线强弱的适应是自动完成的。通过强弱而缩小或变大。其对光线强弱的适应是自动完成的。通过瞳孔的调节，始终保持适量的光线进入眼睛，使落在视网膜上瞳孔的调节，始终保持适量的光线进入眼睛，使落在视网膜上的物体图像既清晰，而又不会有过量的光线灼伤视网膜。瞳
9、孔的物体图像既清晰，而又不会有过量的光线灼伤视网膜。瞳孔虽然不是眼球光学系统当中的屈光元件，但在眼球光学系统当虽然不是眼球光学系统当中的屈光元件，但在眼球光学系统当中起着重要的作用。瞳孔不仅可以对明暗做出反应，调节进入中起着重要的作用。瞳孔不仅可以对明暗做出反应，调节进入眼睛的光线，也影响眼球光学系统的焦深和球差。眼睛的光线，也影响眼球光学系统的焦深和球差。2022-10-29142.1.1 人类视觉模型4）分分辨率 分辨率是人眼区分两个点的能力，通常情况下，在分辨率是人眼区分两个点的能力，通常情况下，在10m距离上人眼能够分辨的距离约距离上人眼能够分辨的距离约1.5-2mm。例如在。例如在2
10、m的的距离观看宽度距离观看宽度400mm的电视时，人眼区分两个点的能力，的电视时，人眼区分两个点的能力，在在2m距离上约距离上约0.4mm，则宽度，则宽度400mm上应该由上应该由1000个个0.4mm大小的像素。计算机监视器和高清晰度电视机，都大小的像素。计算机监视器和高清晰度电视机，都达到了这样的分辨率。达到了这样的分辨率。2022-10-29152.1.1 人类视觉模型5）视觉暂留视觉暂留 视觉暂留是视网膜的电化学现象造成视觉的反应时间。视觉暂留是视网膜的电化学现象造成视觉的反应时间。其原理是：当人的眼睛看到一幅画面或一个物体后，在其原理是：当人的眼睛看到一幅画面或一个物体后，在1/24
11、秒内不会消失。也就是如果每秒更替秒内不会消失。也就是如果每秒更替24幅或更多的画幅或更多的画面，则前一幅画面在人脑中消失之前，下一个画面就会进面，则前一幅画面在人脑中消失之前，下一个画面就会进入人脑，从而形成了连续的影像。入人脑，从而形成了连续的影像。视觉暂留是电影、电视、动画、虚拟现实等显示的基础。视觉暂留是电影、电视、动画、虚拟现实等显示的基础。临界熔合频率（临界熔合频率（Critical Fusion Frequency,CFF）效果会）效果会产生把离散图像序列组合成连续视觉的能力，产生把离散图像序列组合成连续视觉的能力，CFF最低最低20Hz，并取决于图像尺寸和亮度。英国电视帧频，并取
12、决于图像尺寸和亮度。英国电视帧频25Hz，美，美国电视帧频国电视帧频30Hz。电影帧频。电影帧频24Hz。眼对闪烁的敏感正比于。眼对闪烁的敏感正比于亮度，所以若白天的图像更新率为亮度，所以若白天的图像更新率为60Hz，则夜间只要，则夜间只要30Hz。2022-10-29162.1.1 人类视觉模型6）视场视场 视场是指人眼能够观察到的最大范围，通常以角度来表视场是指人眼能够观察到的最大范围，通常以角度来表示，视场越大示，视场越大,观测范围越大。视场通常从水平和垂直两个观测范围越大。视场通常从水平和垂直两个方向来说明，人眼正常的视场约为水平方向来说明，人眼正常的视场约为水平100，垂直，垂直60
13、，而水平的双目重叠视场而水平的双目重叠视场120。实际的全景显示产生水平。实际的全景显示产生水平100，垂直，垂直30视场，即可有很强的沉浸感。视场，即可有很强的沉浸感。2022-10-2917 视觉感知设备主要向用户提供立体视觉的场景显示，并且这种场景的变化会实时变化。此类设备的关键技术是立体显示。采用两种方法来实现。一种是同时显示左右两幅图像，称之为同时显示技术(time-parallel)，它是让两幅图像存在细微的差别，使双眼只能看到相应的图像。这种技术主要用在头盔显示器中。另一种技术是分时显示技术，以一定的频率交替显示两幅图像，为了保证每只眼睛只能看到各自相应的图像，用户通过以相同频率
14、同步切换的有源或无源立体眼睛来观察图像。此技术主要使用在立体眼睛上。2.1.2 视觉感知设备2022-10-29181.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备 头盔显示器头盔显示器是是专为用户提供虚拟现实中景物的彩色立体显示器，专为用户提供虚拟现实中景物的彩色立体显示器，目前较普遍采用的一种立体显示设备。通常用机械的方法固定在目前较普遍采用的一种立体显示设备。通常用机械的方法固定在用户的头部，头与头盔之间不能有相对运动，当头部运动时，头用户的头部，头与头盔之间不能有相对运动，当头部运动时，头盔显示器随着头部运动而运动。头盔配有位置跟踪器，用于实时盔
15、显示器随着头部运动而运动。头盔配有位置跟踪器，用于实时探测头部的位置和朝向，并反馈给计算机。计算机根据这些反馈探测头部的位置和朝向，并反馈给计算机。计算机根据这些反馈数据生成反映当前位置和朝向的场景图像并显示在头盔显示器的数据生成反映当前位置和朝向的场景图像并显示在头盔显示器的屏幕上。通常，头盔显示器的显示屏采用两个屏幕上。通常，头盔显示器的显示屏采用两个LCD或者或者CRT显示显示器分别向两只眼睛显示图像，这两个图像由计算机分别驱动，两器分别向两只眼睛显示图像，这两个图像由计算机分别驱动，两个图像存在着微小的差别，类似于个图像存在着微小的差别，类似于“双眼视差双眼视差”。大脑将融合这。大脑将
16、融合这两个图像获得深度感知，得到一个立体的图像。两个图像获得深度感知，得到一个立体的图像。2022-10-29191.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备 由于头盔显示器所用屏幕离眼睛很近。因此，为了使眼睛聚焦由于头盔显示器所用屏幕离眼睛很近。因此，为了使眼睛聚焦于如此近的距离而不易产生疲劳，需要使用专门的镜片。并且此于如此近的距离而不易产生疲劳，需要使用专门的镜片。并且此镜片必须能够放大图像，向双眼提供尽可能宽的视野。在镜片必须能够放大图像，向双眼提供尽可能宽的视野。在1989年年首次推出了这种镜片，被称为首次推出了这种镜片，被称为LEEP镜片
17、。镜片。LEEP镜片的特征是它镜片的特征是它们使用输出成像极其宽阔的透镜。们使用输出成像极其宽阔的透镜。2022-10-29201.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备2022-10-29211.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备 在头盔中LEEP光学系统实现立体视觉的基本原理：（a）为单眼视觉的原理，图中可见虚像比屏幕离开眼睛更远。（b）为立体视觉的原理。图中的一个目标点，在两个屏幕上的像素分别为A1和A2。它们在屏幕上的位置之差，就是立体视差。这两个像素的虚像分别为B1和B2。双目视觉的融合，
18、人就感到这个目标点在C点，就是感觉的点。2022-10-29221.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备LEEP镜片的光学模型镜片的光学模型单眼光学模型单眼光学模型2022-10-29231.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备LEEP镜片的光学模型镜片的光学模型双眼立体光学模型双眼立体光学模型2022-10-29241.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备 在头盔中有立体显示和平面显示两种显示方式。立体显示的VR系统，为两眼分别计算具有视差的不同的图
19、像。平面显示的VR系统，为两眼提供相同的图像。2022-10-29251.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备头盔显示器的显示技术头盔显示器的显示技术立体显示立体显示2022-10-29261.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备头盔显示器的显示技术头盔显示器的显示技术平面显示平面显示2022-10-29271.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备 对于HMD系统，根据显示表面的不同，头盔显示器主要分为基于LCD头盔显示器、基于CRT头盔显示器和基于V
20、RD头盔显示器。2022-10-29281.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（1）基于LCD的头盔显示器 以低电压产生彩色图像，但只具有很低的图像清晰度。在头盔显示中，要求笨重的光学设备形成高质量图像。市场出售的头盔式显示器几乎全部依靠TV（电视机）质量的液晶显示。在VR和遥操作领域，不要求大区域显示。只要求紧凑的轻便的高分辨率显示。LCD显示器有待提高其分辨率。2022-10-29291.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（1）基于LCD的头盔显示器各各 种种 类类 型型 的的 LED 头头
21、 盔盔 显显 示示 器器2022-10-29301.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（2）基于CRT的头盔显示器 基于CRT的头盔显示器是使用电子快门等技术实现双眼立体显示的，提供小的高分辨率、高亮度的单色显示。但其CRT较重、存有高电压、佩戴较危险，视场较小，缺乏沉浸感。组合的技术途径可产生高质量彩色图像，并减少重量和价格。近期的途径是把高质量彩色的基于CRT的HMD（头盔显示器）引入市场，它使用了加于单色CRT的机械电子彩色滤光技术。这种途径中，CRT以三倍正常速率扫描，并依次加上红、绿、兰三色的滤光器。2022-10-29311.头盔显
22、示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（2）基于CRT的头盔显示器基于基于CRT的头盔产品的头盔产品2022-10-29321.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（3）基于VRD的头盔显示器 VRD是直接把调制的光线投射在人眼的视网膜上，产生光栅化的图像。观看者的幻觉是，感到这个图像是在前方2英尺远处的14英寸监视器上。实际上，图像是在眼的视网膜上。图像质量很高，有立体感，全彩色，宽视场，无闪烁。VRD的工作原理：源图像是要求显示的图像。调制的光源是红绿蓝三基色的光源。水平和垂直扫描器根据源图像对于光源进
23、行扫描。经过光学镜头，在人的视网膜上成像。2022-10-29331.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（3）基于VRD的头盔显示器VRTVRT显示工作原理显示工作原理2022-10-29341.头盔显示器(HeadMounted Display,HMD)2.1.2 视觉感知设备（3）基于VRD的头盔显示器主要特点：很小很轻的眼镜;大于120度的大视场;适应人类视觉的高分辨率;有更高彩色分辨率的全彩色;适用于室外的高亮度;很低的功率消耗;有深度感的真正的立体显示;具有看穿的显示方式。2022-10-29352.立体眼镜显示系统2.1.2 视觉感
24、知设备 立体眼镜显示系统的设备包括立体图像显示器和立体眼镜。每个用户佩戴一副立体眼镜来观看显示器。立体图像显示器通过专门设计，以两倍于正常扫描的速度刷新屏幕。2022-10-29362.立体眼镜显示系统2.1.2 视觉感知设备 立体眼镜显示系统的设备包括立体图像显示器和立体眼镜。每个用户佩戴一副立体眼镜来观看显示器。立体图像显示器通过专门设计，以两倍于正常扫描的速度刷新屏幕。2022-10-29372.立体眼镜显示系统2.1.2 视觉感知设备 立体眼镜显示系统的设备包括立体图像显示器和立体眼镜。每个用户佩戴一副立体眼镜来观看显示器。立体图像显示器通过专门设计，以两倍于正常扫描的速度刷新屏幕。采
25、用分时显示技术，计算机给显示器交替发送两幅有轻微偏差的图像。显示器采用两倍于60Hz的刷新率，这样保证了左右眼视图的刷新率保持60Hz，且图像也稳定。2022-10-29382.立体眼镜显示系统2.1.2 视觉感知设备 立体眼镜是为了实现立体视觉，即让双眼分别只能看到对应的左右视图。目前主要有两类立体眼镜：有源立体眼镜（主动立体眼镜），无源立体眼镜（被动立体眼镜）。2022-10-29392.立体眼镜显示系统2.1.2 视觉感知设备有源立体眼镜：镜框上装有电池及液晶调制器控制的镜片。立体显示器有红外线发射器，根据显示器显示左右眼视图的频率发射红外线控制信号。液晶调制器接收红外线控制器发出的信号
26、，通过调节左右镜片上液晶光栅来控制开或者关，即控制左右镜片的透明或不透明状态。当显示器显示左眼视图时，发射红外线控制信号至有源立体眼镜，使有源立体眼镜的右眼镜片处于不透明状态，左眼镜片处于透明状态。如此轮流切换镜头的通断，使左右眼睛分别只能看到显示器上显示的左右视图。有源系统的图像质量好，但价格昂贵，且工作范围受限。2022-10-29402.立体眼镜显示系统2.1.2 视觉感知设备无源立体眼镜：无源立体眼镜通常根据光的偏振原理设计的。每一个偏振片中的晶体物质排列整体形成如同光栅一样的极细窄缝，使只有振动方向与窄缝方向相同的光通过，成为偏振光。当光通过第一个偏振片时就形成偏振光，只有当第二个偏
27、振光片与第一个窄缝平行时才能通过，如果垂直则不能通过。2022-10-29412.立体眼镜显示系统2.1.2 视觉感知设备光的偏振原理图光的偏振原理图2022-10-29422.立体眼镜显示系统2.1.2 视觉感知设备无源立体眼镜：通常立体眼镜的左右镜片是两片正交偏振片，分别只能容许一个方向的偏振光通过。显示器显示屏前安装一块与显示屏同样尺寸的液晶立体调制器，显示器显示的左右眼视图经液晶立体调制器后形成左偏振光和右偏振光，然后分别透过无源立体眼镜的左右镜片，实现左右眼睛分别只能看到显示器上显示的左右视图的目的。由于无源立体眼镜价格低廉，且无需接受红外控制信号，因此适用于观众较多的场合。2022
28、-10-29432.立体眼镜显示系统2.1.2 视觉感知设备无源立体眼镜：其镜片也可以是滤色片。利用滤色片能吸收其他的光线，只能让与滤色片相同色彩的光透过的特点来设计。常用的是红绿滤色片眼镜。其原理是在进行电影拍摄时，先模拟人的双眼位置从左右两个视角拍摄出两个影像，然后分别以红、绿滤光片投影重叠印在同一画面上，制成一条电影胶片。放映时可用普通放映机在一般漫反射银幕上放映，但观众需戴红绿滤色眼镜。使通过红镜片的眼睛只能看到红色影像，通过绿色镜片的眼睛只能看到绿色影像，实现立体电影。2022-10-29442.立体眼镜显示系统2.1.2 视觉感知设备CrystalEyes 3 32022-10-2
29、9453.洞穴式立体显示系统2.1.2 视觉感知设备洞穴式立体显示系统是使用投影系统，投射多个投影面，形成房间式的空间结构，使得围绕观察者具有多个图像画面显示的虚拟现实系统，增强了沉浸感。此系统首先由伊利诺斯大学芝加哥校区的电子可视化实验室发明的。2022-10-29463.洞穴式立体显示系统2.1.2 视觉感知设备 CAVE空间结构空间结构 2022-10-29473.洞穴式立体显示系统2.1.2 视觉感知设备CAVE结构示意图结构示意图 2022-10-29483.洞穴式立体显示系统2.1.2 视觉感知设备 CAVE系统是一个立方体结构，图中所示的版本有4个CRT投影仪：前面1个，左右侧各
30、1个，地面1个。每个投影仪都由来自一个4通道计算机的不同图形流信号驱动。三个竖直的面板使用背投，投影仪旋转在四周的地板上，通过镜面反射图像。地面显示器上显示的图像由安装在CAVE上面的投影仪产生，通过一个镜面反射下来。这个镜面用在一起，以减少接缝处的不连续性；投影仪之间保持同步，以减少闪动。戴着立体眼镜的用户，能够看到一个非常逼真的三维场景，包括那些看上去好像是从地面中长出来的对象。2022-10-29493.洞穴式立体显示系统2.1.2 视觉感知设备浙江大学的浙江大学的4面面CAVE系统系统2022-10-29504.响应工作台立体显示系统2.1.2 视觉感知设备 响应工作台立体显示系统是计
31、算机通过多传感器交互通道向用户提供视觉、听觉、触觉等多模态信息，具有非沉浸式、支持多用户协同工作的立体显示装置。类似于绘图桌形式的背投式显示器，其显示屏（类似于绘图桌面）的尺寸约为2m1.2m或略小,通常采用主动式立体显示方式。2022-10-29514.响应工作台立体显示系统2.1.2 视觉感知设备2022-10-29524.响应工作台立体显示系统2.1.2 视觉感知设备 由上可知，工作台由CRT投影仪、一个大的反射镜和一个具有散射功能的显示屏组成。响应工作台前部为水平放置的显示屏，显示屏下面安装一个大的反射镜，后部桌面下安装一台CRT投影仪。投影仪将立体图像投影到反射镜面上，再由反射镜将图
32、像反射到显示屏上，显示屏通过漫散射向屏上反射。工作台立体显示装置为防止外面的光被镜面反射，通常将CRT投影仪合成在工作台的外壳中。佩戴立体眼镜，坐在显示器周围的多个用户，可以同时在立体显示屏中看到三维对象浮在工作台上面，虚拟景象具有较强立体感。2022-10-29534.响应工作台立体显示系统2.1.2 视觉感知设备 因为工作台是水平的，用户对面比较高的三维对象会被剪掉（这就是所谓的立体倒塌效果）。因此引入倾斜机制（手工的或者机动的）的工作台。可以处于水平和垂直之间的任意倾斜角度。另一种选择是所谓的L型工作台，例如V-Desk 6。桌面不是机动的，而是引入了两块固定的屏幕和两个CRTBarco
33、投影仪。顶部的投影仪瞄准竖直的屏幕，第二个投影仪的图像被放置在显示器较低部分的镜面反射出去。其结果是在一个非常紧凑的外壳中创建立体观察体，允许少数几个用户与三维场景交互。2022-10-29544.响应工作台立体显示系统2.1.2 视觉感知设备V-Desk 6V-Desk 6工作示意图工作示意图2022-10-29555.墙式立体显示系统2.1.2 视觉感知设备 类似于放映电影形式的背投式显示的墙式立体显示系统，采用大屏幕投影显示器组成。由于屏幕大，容纳的人数多，以适用于教学和成果演示。目前常用的墙式立体显示系统包括单通道立体投影系统和多通道立体投影系统。2022-10-29565.墙式立体显
34、示系统2.1.2 视觉感知设备单通道立体投影系统单通道立体投影系统2022-10-29575.墙式立体显示系统2.1.2 视觉感知设备 单通道立体投影系统主要由专业的虚拟现实工作站、立体投影系统、立体转换器、VR立体投影软件系统、VR软件开发平台和三维建模工具软件等几个部分。该系统通过以一台图形工作站为实时驱动平台，两台叠加的立体专业LCD投影仪作为投影主体。在显示屏上显示一副高分辨率的立体投影影像。2022-10-29585.墙式立体显示系统2.1.2 视觉感知设备 平面立体多通道虚拟现实投影系统是一种半沉浸式的VR可视协同环境。系统采用巨幅平面投影结构，来增强沉浸感，配备了完善的多通道声响
35、及多维感知性交互系统，充分满足虚拟现实技术的视、听、触等多感知应用需求，是理想的设计、协同和展示平台。它可根据场地空间的大小灵活地配置两个、三个甚至是若干个投影通道，无缝地拼接成一幅巨大投影幅面、极高分辨率的二维或三维立体图像，形成一个更大的虚拟现实仿真系统环境。2022-10-29595.墙式立体显示系统2.1.2 视觉感知设备 环幕投影系统是采用环形的投影屏幕作为仿真应用的显示载体，具有多通道虚拟现实投影显示系统。具有较强的沉浸感。该系统以多通道视景同步技术、多通道亮度和色彩平衡技术，以及数字图像边缘融合技术为支撑，将三维图形计算机生成的三维数字图像实时地输出并显示在一个超大幅面的环形投影
36、幕墙上，并以立体成像的方式呈现在观看者的眼前，使佩戴立体眼镜的观看者和参与者获得一种身临其境的虚拟仿真视觉感受。2022-10-29605.墙式立体显示系统2.1.2 视觉感知设备 环幕投影系统根据环形幕半径的大小，通常有120、135、180、240、270、360弧度不等的环幕系统。由于其屏幕的显示半径巨大，该系统通常用于一些大型的虚拟仿真应用。例如，虚拟战场仿真、数字城市规划、三维地理信息系统等大型场景仿真环境，近年来开始向展览展示、工业设计、教育培训、会议中心等专业领域发展。2022-10-29615.墙式立体显示系统2.1.2 视觉感知设备环幕投影系统环幕投影系统2022-10-29
37、626.裸体立体显示系统2.1.2 视觉感知设备 裸体立体显示系统：显示技术结合双眼的视觉差和图片三维的原理，自动生成两幅图片，一副给左眼看，另一幅给右眼看，使人的双眼产生视觉差异。由于双眼观看液晶的角度不同，因此不用戴上立体眼镜就可以看到立体的图像。2022-10-29636.裸体立体显示系统2.1.2 视觉感知设备立体液晶显示器立体液晶显示器2022-10-29646.裸体立体显示系统2.1.2 视觉感知设备 美国DTI公司首先推出的15英寸2015XLS 3D液晶显示器,采用了一种被称为视差照明（parallax illumination）的开关液晶技术实现了裸体立体显示效果。2022-
38、10-29656.裸体立体显示系统2.1.2 视觉感知设备2022-10-29666.裸体立体显示系统2.1.2 视觉感知设备 裸体立体显示系统的双眼影像，以每秒60张的速度产生，分别被传送到不同区域的像素区块，奇数区块代表左眼影像，偶数区块则代表右眼。而在标准LCD背光板与LCD屏幕本体之间加入的一个TN（Twisted Nematic扭曲向列型）上，垂直区块则会根据需要显示哪一幅影像，相应照亮奇数或偶数的区块，人的左眼只能看到左眼影像，右眼只会看到右眼影像，从而在大脑中形成一个纵深的真实世界。当然此显示器也可以工作在二维状态下。2022-10-29676.裸体立体显示系统2.1.2 视觉感
39、知设备2022-10-29682.2 听觉感知设备概述2022-10-292.2.1 人类听觉模型1听觉生理结构 2022-10-29702.2.1 人类听觉模型1听觉生理结构 人耳是听觉器官的统称，与人的眼睛的视觉机构的复杂程度差不多。人耳听觉机构由具有不同作用的3部分组成，即外耳、中耳和内耳。外耳包括耳廓和外耳道，主要负责定向收集声波；中耳包括鼓膜、听骨链、鼓室、咽鼓管等机构，主要把外耳收集到的声音传递给内耳，并保护内耳的作用；内耳包括半规管、前庭、耳蜗三部分，负责放大、滤波和提取声音特征并传递给大脑，其中耳蜗主要起到感声作用。2022-10-29712听觉因素 频率范围 人耳可感知的频率
40、范围约20Hz到20kHz。随年龄增加，频率范围缩小，特别是高频段。其中，人耳平均分辨能力最灵敏的频段是1kHz到3kHz之间的频率，当频率从1kHz变化到1003Hz时，耳朵就能够觉察出频率的变化。在低于1kHz时，人耳能平均分辨能力略弱，需要变化约10Hz，才能觉察到。而在16kHz到20kHz这一频段时，人耳的分辨能力就更差了。2.2.1 人类听觉模型2022-10-29722听觉因素 声音定位 根据跟踪人的头进行相关研究得出，一般情况人脑识别声源位置，是利用经典的“双工理论”。即两耳收到的声音的时间差异和强度差异。时间差异是指声音到达两个耳朵的时间之差。强度差异指声音到达两耳的强度上的
41、差异。强度差对高频率声音定位特别灵敏，而时间差对低频率声音定位相对灵敏。所以，只要到达两耳的声音存在时间差或者强度差，人就会判断出声源的方向。2.2.1 人类听觉模型2022-10-29732听觉因素 声音的掩蔽一个较弱的声音(被掩蔽音)的听觉感受被另一个较强的声音(掩蔽音)影响的现象称为人耳的“掩蔽效应”。一般分为两种类型：频域掩蔽和时域掩蔽。频域掩蔽是指掩蔽声与被掩蔽声同时作用时发生掩蔽效应，又称同时掩蔽。掩蔽声在掩蔽效应发生期间一直起作用，是一种较强的掩蔽效应。通常，频域中强音会掩蔽与之同时发声的附近的弱音，弱音离强音越近，越容易被掩蔽；除此之外，低频的音容易掩蔽高频的音。2.2.1 人
42、类听觉模型2022-10-29742听觉因素 声音的掩蔽时域掩蔽是指掩蔽效应发生在掩蔽声与被掩蔽声不同时出现时，又称异时掩蔽。异时掩蔽又分为超前掩蔽和滞后掩蔽。若掩蔽声音出现之前的一段时间内发生掩蔽效应，则称为超前掩蔽；否则称为滞后掩蔽。产生时域掩蔽的主要原因是人的大脑处理信息需要花费一定的时间，异时掩蔽也随着时间的推移很快会衰减，是一种弱掩蔽效应。一般情况下，超前掩蔽只有5ms到20ms，而滞后掩蔽却可以持续50ms到100ms。2.2.1 人类听觉模型2022-10-29752听觉因素 头部有关的传递函数 1974年Plenge认为，通过改变进入耳朵的声音的形式，会产生外部的声音舞台的感觉
43、。对于耳机（特别是插入式耳塞），使人感觉的声音舞台是内部的。如果耳机的左右通道人为地进行电子设备构成声音，则让人会感觉声音在外部的真实性。为此要求知道声音的形状，也就是知道由声源到耳内部的传递函数。这个由声源到耳内部的传递函数称为头部有关的传递函数(Head-related transfer functions,HRTF)，它反映头和耳对传声的影响，不同的人有不同的HRTF。2.2.1 人类听觉模型2022-10-29762听觉因素 头部有关的传递函数 HRTF的测量方法如下：在一个声音隔绝的测量环境中，对空间每个位置设置一个声源，安放在耳中接近耳膜的小麦克风测量收到的信号。信号经过处理，补偿
44、非线性频率响应。判断出声源到麦克风的声音传递的传递函数（HRTF）。2.2.1 人类听觉模型2022-10-29772.2.2 听觉感知设备1听觉感知设备的特性 在人的听觉模型中得知，听觉的根本就是三维声音的在人的听觉模型中得知，听觉的根本就是三维声音的定位。所以，对于听觉感知设备其最核心的技术就是三维定位。所以，对于听觉感知设备其最核心的技术就是三维虚拟声音的定位技术。虚拟声音的定位技术。（1）全向三维定位特性）全向三维定位特性（2）三维实时跟踪特性）三维实时跟踪特性2022-10-29782.2.2 听觉感知设备2听觉感知设备 听觉感知设备主要有耳机和扬声器两种。听觉感知设备主要有耳机和扬
45、声器两种。（1）耳机2022-10-29792.2.2 听觉感知设备2听觉感知设备 听觉感知设备主要有耳机和扬声器两种。听觉感知设备主要有耳机和扬声器两种。（2）扬声器 又称“喇叭”。是一种十分常用的电声转换器件，它是一种位置固定的听觉感知设备。大多数情况下能很好地用于给一组人提供声音，但也可以在基于头部的视觉现实设备中使用扬声器。2022-10-29802.2.2 听觉感知设备2听觉感知设备 听觉感知设备主要有耳机和扬声器两种。听觉感知设备主要有耳机和扬声器两种。（2）扬声器 环绕立体声是使用多个固定扬声器表现3D空间化声音的结果。环绕立体声的研究一直在进行。最有名的使用非耳机的系统是CAV
46、E。它使用四个同样的扬声器，安在天花板的四角上，而且其幅度变化（衰减）可以仿真方向和距离效果。在正在开发的系统中，扬声器安在长方体的八个角上，而且把反射和高频衰减加入用于空间定位的参数中。这项技术的实现有一定的难度，主要是因为两个耳朵都能听见来自每个扬声器的声音。2022-10-29812.3 触觉和力反馈设备2022-10-292.3.1 触觉和力反馈模型 触觉反馈称为接触反馈，是指来自皮肤表面敏感神经触觉反馈称为接触反馈，是指来自皮肤表面敏感神经传感器的触感。包括接触表面的几何结构、表面硬度、滑传感器的触感。包括接触表面的几何结构、表面硬度、滑动和温度等实时信息。动和温度等实时信息。力反馈
47、是指身体的肌肉、肌腱和关节运动或收紧的感力反馈是指身体的肌肉、肌腱和关节运动或收紧的感觉。提供对象的表面柔顺性、对象的重量和惯性等实时信觉。提供对象的表面柔顺性、对象的重量和惯性等实时信息。它主要抵抗用户的触摸运动，并能阻止该运动。息。它主要抵抗用户的触摸运动，并能阻止该运动。触觉和力反馈是人类感觉器官的重要组成部分，是通过传送一类非常重要的感官信息，帮助用户利用触觉来识别环境中的对象，并通过移动这些对象执行各种各样的任务。一般分为两类。2022-10-29832.3.1 触觉和力反馈模型 触觉和力反馈是人类感觉器官的重要组成部分，是通过传送一类非常重要的感官信息，帮助用户利用触觉来识别环境中
48、的对象，并通过移动这些对象执行各种各样的任务。一般分为两类。一类是在探索某个环境时，利用触觉和力觉信息去识别所探索对象和对象的位置和方向。另一类是利用触觉和力觉去操纵和移动物体以完成某种任务。2022-10-29842.3.1 触觉和力反馈模型对虚拟接触反馈和力反馈提出以下要求。（1）实时性要求。（2）安全性保障。（3）轻便和舒适的特点。2022-10-29852.3.2 触觉反馈设备 按照触觉反馈的原理，手指触觉反馈装置可以分为按照触觉反馈的原理，手指触觉反馈装置可以分为5类：类：基于视觉式、充气式、振动式、电刺激式和神经肌肉刺激基于视觉式、充气式、振动式、电刺激式和神经肌肉刺激式的装置。式
49、的装置。2022-10-29862.3.2 触觉反馈设备1充气式触觉反馈装置 充气式触觉反馈装置的工作原理是在数据手套中配置充气式触觉反馈装置的工作原理是在数据手套中配置一些微小的气泡，每一个气泡都有两条很细的进气和出气一些微小的气泡，每一个气泡都有两条很细的进气和出气管道，所有气泡的进管道，所有气泡的进/出气管汇总在一起与控制器中的微出气管汇总在一起与控制器中的微型压缩泵相连接。根据需要采用压缩泵对气泡来充气和排型压缩泵相连接。根据需要采用压缩泵对气泡来充气和排气。充气时，微型压缩泵迅速加压，使气泡膨胀而压迫刺气。充气时，微型压缩泵迅速加压，使气泡膨胀而压迫刺激皮肤达到触觉反馈的目的。激皮肤
50、达到触觉反馈的目的。2022-10-29872.3.2 触觉反馈设备1充气式触觉反馈装置 2022-10-29882.3.2 触觉反馈设备1充气式触觉反馈装置 缺点：缺点：首先，在制作数据输入手套时，很难设计出一种适合于首先，在制作数据输入手套时，很难设计出一种适合于所有用户的设备；所有用户的设备；第二，硬件使用麻烦，难于维护，非常脆弱。填充和排第二，硬件使用麻烦，难于维护，非常脆弱。填充和排空气泡的响应时间很慢，特别是基于气压的系统更是如此。空气泡的响应时间很慢，特别是基于气压的系统更是如此。由于这些固有的缺点导致了由于这些固有的缺点导致了Teletact系列手套不再生产。系列手套不再生产。
