1、人机交互技术编写组1第第3章章 交互设备交互设备人机交互技术编写组2主要内容 输入设备：n文本输入设备；图像输入设备；指点输入设备等； 输出设备：n显示器 ；声音的输出 ；数字纸 等虚拟现实系统中的交互设备 人机交互技术编写组33.1文本输入设备 文本输入是人与计算机交互的一个重要组成部分，同时也是一项繁重的工作。键盘输入是最常见、最主要的文本输入方式。手写以及语音等一些更自然的交互方式也可为文本输入提供辅助手段。人机交互技术编写组43.1.1键盘 键盘是文本输入的最重要手段，而键盘布局对于文本输入的速度和准确性至关重要。为了提高键盘在某些场合下的使用舒适度，许多键盘在设计的过程中还加入了更多
2、人性化的考虑。 人机交互技术编写组51.键盘的布局键盘的布局 QWERTY键盘布局w19世纪70年代，Sholes发明了QWERTY键盘布局，其名称来源于该布局方式最上行前6个英文字母，最常用的几个字母安置在相反方向，最大限度放慢敲键速度以避免卡键。 这种布局方式依然是今天最为常见的排列方式，成为一种事实上的标准。 DUORAK键盘布局w20世纪20年代的DUORAK键盘布局，据推测可以大大减少手指移动距离，从而大大提高输入速度，但由于受到传统QWERTY布局的影响，没有成为主流的键盘布局。 人机交互技术编写组62. 人性化设计的键盘人性化设计的键盘 (1)人体工程学键盘w是在标准键盘基础上将
3、指法规定的左手键区和右手键区这两大板块左右分开，并形成一定角度，这样可使操作者不必有意识的夹紧双臂，从而保持一种比较自然的形态，这种设计的键盘被微软公司命名为自然键盘（Natural Keyboard）。 人机交互技术编写组7(1)人体工程学键盘(图例1)图 3-1 人体工程学键盘：固定于椅子上的键盘 人机交互技术编写组8图 3-1 人体工程学键盘：固定于桌面上的键盘 (1)人体工程学键盘(图例2)人机交互技术编写组92.人性化设计的键盘人性化设计的键盘 （2）多功能集成键盘 n这类键盘集成了鼠标、无线等功能，在键盘布局以及外观设计方面，针对游戏、上网浏览等常用娱乐功能做了改进。n键盘正上方设
4、计的快捷键，包括 “IE主页”、“打开文件夹”、“查找文件”和“进入信箱”等12个，许多操作可以一键完成。键盘的无线接收器采用USB接口，安装使用也非常方便。 人机交互技术编写组10图 3-2 BTC 9019URF 无线游戏键盘2.人性化设计的键盘人性化设计的键盘 人机交互技术编写组11图 3-2 BTC 9019URF 无线游戏键盘2.人性化设计的键盘人性化设计的键盘人机交互技术编写组123.1.2 手写设备 手写笔板+手写笔:n是手写系统中一个很重要的部分。w有线笔:手写笔尾部均有一根电缆与手写板相连，从手写板上输入电源 。w无线笔:借助于一些特殊技术而不需要任何电源。无线笔的优点是携带
5、和使用起来非常方便，同时也较少出现故障。w手写笔一般还带有两个或三个按键，其功能相当于鼠标按键，这样在操作时不需要在手写笔和鼠标之间来回切换。 人机交互技术编写组133.1.2 手写设备图 3-3 汉王笔手写系统人机交互技术编写组143.1.2 手写设备手写板主要分类：n电阻式压力手写板：几乎已经被淘汰n电磁式感应手写板：目前市场主流产品n电容式触控手写板：市场的新生力量，具有耐磨损、使用简便、敏感度高等优点，是今后手写板的发展趋势。人机交互技术编写组153.1.2 手写设备手写板的一些通用的评测指标压感级数：n手写板可以感应到笔在手写板上的力度的级别，最高为512级。 精度：n精度又称分辨率
6、，指的是单位长度上所分布的感应点数，精度越高对手写的反映越灵敏，对手写板的要求也越高书写面积：n是手写板一个很直观的指标，手写板区域越大，书写的回旋余地就越大，运笔也就更加灵活方便，输入速度往往会更快，当然其价格也相应更高。书写面板的尺寸大体有以下几种：76mm51mm、76mm114mm、10mm13mm和11mm15mm人机交互技术编写组163.1.2 手写设备手写汉字识别软件n除了硬件外，手写笔和手写板的另一项核心技术是手写汉字识别软件，目前各类手写笔的识别技术都已相当成熟，识别率和识别速度也能够满足实际应用的要求。 人机交互技术编写组173.1.3 语音输入设备 语音输入为文本输入提供
7、了更加自然的交互手段，也许在将来，我们能够真正抛弃键盘，实现和计算机的“对话”。在语音录入过程中所涉及的设备主要麦克风和声卡（见3.5节）人机交互技术编写组183.2 图像输入设备 图像输入是人与计算机交互的另外一个重要组成部分。扫描仪可以快速地实现图像输入，且经过对图像的分析与识别，可以得到文字、图形等内容；而摄像头则是捕捉动态场景最常用的工具。 人机交互技术编写组193.2.1 扫描仪 扫描仪作为光电、机械一体化的高科技产品，自问世以来凭借其独特的数字化“图像”采集能力，低廉的价格以及优良的性能，得到了迅速的发展和广泛的应用，目前已成为计算机不可缺少的图文输入工具之一，被广泛地应用于图形、
8、图像处理的各个领域。 人机交互技术编写组201.扫描仪的简单工作原理 扫描仪对图像画面进行扫描时，光源将光线照射到待扫描的图像原稿上，产生反射光或透射光，然后经反光镜组反射到线性光电转换的电荷耦合器件（Charge Coupled Device，CCD）。中。CCD图像传感器根据反射光线强弱的不同转换成不同大小的电流，经模拟数字转换处理，将电信号转换成数字信号，即产生一行图像数据。同时，在控制电路的控制下，步进电机旋转带动驱动皮带，从而驱动光学系统和CCD扫描装置在传动导轨上与待扫原稿做相对平行移动，将待扫图像原稿逐条线扫入，最终完成全部原稿图像的扫描。对于彩色图像，扫描仪在扫描时，首先生成分
9、别对应于红(R)、绿(G)、蓝(B)三基色的三幅图像，然后将这三幅图像合成。人机交互技术编写组21图 3-4 扫描仪扫描过程简图人机交互技术编写组222.扫描仪的性能指标(1) 分辨率:n扫描仪的分辨率决定了最高扫描精度 ;在扫描图像时，扫描分辨率设得越高，生成的图像的效果就越精细，生成的图像文件也越大。nDPI是指用扫描仪输入图像时，在每英寸上得到的像素点个数。n扫描仪的分辨率等于其光学部件的分辨率加上其自身通过硬件及软件进行处理分析所得到的分辨率;n分辨率为1200DPI的扫描仪，往往其光学部分的分辨率只占400600DPI。扩充部分的分辨率由硬件和软件联合生成，这个过程是通过计算机对图像
10、进行分析，对空白部分进行插值处理所产生的;人机交互技术编写组232.扫描仪的性能指标(2)扫描速度:n扫描速度决定了扫描仪的工作效率.n一般而言，以300DPI的分辨率扫描一幅A4幅面的黑白二值图像，时间少于10秒钟，相同情况下，扫描灰度图，约需10秒左右，而如果使用三次扫描成像的彩色扫描仪，则要23分钟。人机交互技术编写组243.平板式扫描仪的结构目前大部分的扫描仪都属于平板式扫描仪，主要由上盖、原稿台、光学成像部分、光电转换部分、机械传动部分组成（如图3-5）。 机盖导轨滑杆稿台齿轮链条步进电机图 3-5 平板式扫描仪结构人机交互技术编写组253.2.2 数码摄像头数码摄像头1.数码摄像头
11、的用途n数码摄像头可以直接捕捉影像，然后通过计算机的串口、并口或者USB接口传送到计算机里。n数码摄像头没有存储装置和其他附加控制装置，只有一个感光部件、简单的镜头和不太复杂的数据传输线路，造价低廉。 人机交互技术编写组263.2.2 数码摄像头数码摄像头2.衡量数码摄像头的关键因素n感光元器件w大多为CCD, CCD的成像往往通透性、明锐度都很好，色彩还原、曝光可以保证基本准确;应用在摄像、图像扫描等对于图像质量要求较高的应用中,价格高w附加金属氧化物半导体组件（Complementary Metal-Oxide Semiconductor，CMOS）大多应用在一些低端视频应用中，价格低n像
12、素数：w像素数是影响图像质量的重要指标，也是判断摄像头性能优劣的重要条件。早期产品以10万像素的居多，目前则以35万像素为主人机交互技术编写组273.2.2 数码摄像头数码摄像头2.衡量数码摄像头的关键因素n解析度：w分为照像解析度和视频解析度 ：有352288、320240、176144、160120 等规格w一般产品的最高解析度可以达到640480 n视频速度：w视频速度和视频解析度是直接相关的，基本成反比关系如640480 解析度可达12.5帧秒（Frames Per Second，FPS）， 352288 的解析度可得到30 FPS，真正获取流畅的视频 n镜头：w镜头性能的重要条件是它
13、的调焦范围以及灵敏性等因素 ，好的摄像头，应该有较为宽广的调焦范围和较高的灵敏性人机交互技术编写组28数码摄像头产品如图3-6所示的摄像头（创新 Video Blaster WebCam），可以用16.7兆颜色进行实时视频捕捉；分辨率为 352288 时速度最快达 30 帧每秒，分辨率为 640480 时达15 帧每秒；支持160120、176144、320240、352288、和 640480 分辨率的静态图像捕捉；镜头免调焦距。人机交互技术编写组29图 3-6创新 Video Blaster WebCam 及其控制界面人机交互技术编写组303.3指点输入设备指点输入设备指点设备常用于完成一
14、些定位和选择物体的交互任务。物体可能处于一维、二维、三维或更高维的空间中，而选择与定位的方式可以是直接选择，或通过操作屏幕上的光标来完成。人机交互技术编写组313.3.1鼠标鼠标1963年，美国科学家Douglas Englebart发明了鼠标器（如图3-7左）。他最初的想法是为了让计算机输入操作变得更简单、容易。第一只鼠标器的外壳是用木头精心雕刻而成的，整个鼠标器只有一个按键，在底部安装有金属滚轮，用以控制光标的移动。1984年，苹果公司把经过改进的鼠标器安装在Lisa微电脑上，从而使鼠标器声名显赫，它与键盘一道成为电脑系统中必备的输入装置。 人机交互技术编写组321.最初的鼠标和现在常用的
15、鼠标最初的鼠标和现在常用的鼠标人机交互技术编写组332.鼠标的分类1）机械式鼠标(半光学鼠标)w工作原理：在机械式鼠标底部有一个可以自由滚动的球，在球的前方及右方装置两个支成90度角的编码器滚轴，移动鼠标时小球随之滚动，便会带动旁边的滚轴，前方的滚轴记录前后滑动，右方的滚轴记录左右滑动，两轴一起移动则代表非垂直及水平方向的滑动。编码器由此识别鼠标移动的距离和方位，产生相应的电信号传给电脑，以确定光标在屏幕上的正确位置。 人机交互技术编写组342.鼠标的分类2）光电式鼠标 w工作原理:利用一块特制的光栅板作为位移检测元件，光栅板上方格之间的距离为0.5mm。鼠标器内部有一个发光元件和两个聚焦透镜
16、，发射光经过透镜聚焦后从底部的小孔向下射出，照在鼠标器下面的光栅板上，再反射回鼠标器内。当在光栅板上移动鼠标器时，由于光栅板上明暗相间的条纹反射光有强弱变化，鼠标器内部将强弱变化的反射光变成电脉冲，对电脉冲进行计数即可测出鼠标器移动的距离。 人机交互技术编写组353.鼠标与计算机的接口串行接口设计(梯形9针接口)；随着PC机器上串口设备的逐渐增多，串口鼠标逐渐被采用新技术的PS/2接口鼠标所取代(小圆形接口)；随着即插即用概念的提出，使得采用USB接口的鼠标成为主流；而对于一些有专业要求的用户而言，采用红外线信号来与电脑传递信息的无线鼠标也成为一种专业时尚。人机交互技术编写组364.鼠标的按键
17、从按键而言，依次经历了两键、三键时代。随着INTERNET的普及，人们发现，在鼠标上加上一个小小的轮轴更便于浏览网页，这样，又出现了滚轮鼠标，目前的鼠标以三键滚轮鼠标为主（如图3-7右）。虽然鼠标的发展速度和其他输入设备相比似乎慢了许多，但是鼠标对计算机操作带来的巨大便利，决定了其在短时间内是难以被完全替代的。人机交互技术编写组373.3.2触摸板（Touchpad） 触摸板能够在一定的区域内（通常是5075毫米长度）感应接触，将这种接触信号转发给计算机处理。目前，触摸板已应用到笔记本电脑上，可以替代鼠标。触摸板通过电容感应来获知用户的手指移动情况，对手指热量并不敏感。 同鼠标相比，触摸板的使
18、用更加灵活，在使用过程中，通过更多的配置，可以得到更强的功能。 人机交互技术编写组38触摸板以及触摸板的配置 图 3-8 触摸板以及触摸板的配置人机交互技术编写组393.3.3 控制杆 控制杆很适宜于跟踪目的（即追随屏幕上一个移动的目标）的原因是移动对应的光标所需的位移相对较小，同时易于变换方向。 控制杆的移动导致屏幕上光标的移动。根据两者移动的关系，可以将其分为两大类：位移定位和压力定位。对于位移定位的游戏杆，屏幕上的光标依据游戏杆的位移而移动， 人机交互技术编写组40人机交互技术编写组413.3.4光笔 光笔是一种较早用于绘图系统的交互输入设备，它能使用户在屏幕上指点某个点以执行选择、定位
19、或其他任务。光笔和图形软件相配合，可以在显示器上完成绘图，修改图形和变换图形等复杂功能（如图3-10）。 光笔的形状和普通钢笔相似，它由透镜、光导纤维、光电元件、放大整形电路和接触开关组成（如图3-11）。人机交互技术编写组42图 3-10 光笔的使用人机交互技术编写组43光笔的的原理图光电转换放大整形开关电路光孔触钮开关导线透镜组光导纤维笔体输出信号人机交互技术编写组44光笔的优缺点 光笔的优点n不需要特殊的显示屏幕，与触摸屏的设备相比较，价格便宜许多；n在一些不适宜使用鼠标的地方，可以起到替代作用。光笔的缺点n手和笔迹可能将遮挡屏幕图像的一部分；n会造成手腕的疲劳；n光笔不能检测黑暗区域内
20、的位置；n会因房间背景光的影响，光笔产生误读现象。人机交互技术编写组453.3.5 触摸屏 触摸屏作为一种特殊的计算机外设，提供了一种简单、方便、自然的人机交互方式，在某些应用中，可以代替鼠标或键盘。触摸屏目前主要应用于公共信息的查询，如电信、税务、银行、电力等部门的业务查询，城市街头的信息查询。此外还可以应用于工业控制、军事指挥、电子游戏、点歌点菜、多媒体教学等方面。人机交互技术编写组46触摸屏的分类可以把触摸屏分为四种：n电阻式n电容感应式n红外线式（图3-12）n表面声波式。每一类触摸屏都有其各自的优缺点。 人机交互技术编写组47红外线式触摸屏及相关技术参数原理：红外线 屏幕类型：平面
21、分辨率（dpi）：16001200 尺寸（英寸）：19 透光率：92% 感应力度：可感知100g触摸力图 3-12 触摸屏及相关技术参数人机交互技术编写组483.3.6 手写液晶屏 手写液晶屏是液晶矩阵显示技术和高灵敏度电磁压感技术的完美结合，可以在屏幕上直接用压感笔实现高精度的选取、绘图、设计制作。液晶屏幕上除了具备一般的液晶显示屏的特征以外，在最上面还附有一层特制保护层，确保在书写过程中，屏幕保持平整不变形，液晶原来的画质毫不受损，同时具有高耐久性。 人机交互技术编写组49手写液晶屏人机交互技术编写组503.3.7 眼动跟踪系统 眼动跟踪系统允许用户仅仅通过凝视的手段来控制计算机选择物体。
22、目前来看，眼动跟踪系统需要利用较为复杂的硬件设备以及软件算法。 人机交互技术编写组51一个眼动跟踪系统示例图 3-14 眼动跟踪系统人机交互技术编写组52眼动跟踪系统工作原理首先，用四个L形的红外线发光器，在眼睛里产生一些亮点；然后利用一个广角摄像头获取脸部图像，快速确定眼睛的位置，再利用一个视野较小，分辨率较高的摄像头拍摄眼睛的高分辨率图像；最后，分析眼睛的图像,计算瞳孔中心和亮点的位置，通过计算瞳孔中心和亮点确定的矢量，确定视线方向。人机交互技术编写组533.3.8 光标键-非连续定位装置 选择菜单或者编辑文本过程中光标移动时，只需要上、下、左、右几个方向的控制，这时候仅需要简单的光标键就
23、可以了 。键盘上都有光标键，在windows等图形用户界面和鼠标出现之前，光标键是一般字符界面最重要的定位方式。目前，在一些应用中，特别是一些简单交互界面或一些文本编辑系统中，光标键作为一种简单、自然的方式，仍然发挥着重要的作用。 人机交互技术编写组543.4显示设备 显示器是计算机的重要输出设备，是人机对话的重要工具。它的主要功能是接收主机发出的信息，经过一系列的变换，最后以光的形式将文字和图形显示出来。在交互的计算机系统中，没有显示器的情况是非常少见的，只出现在某些非传统的应用中。 人机交互技术编写组553.4.1 位图显示 光栅扫描型（Raster scan）显示器，以点阵形式表示图形，
24、采用专门的帧缓冲区存放点阵，缓冲区按照矩形网格排列，每个网格点对应显示器上的一个象素。由视频控制器负责刷新扫描，当扫描到显像管表面时，根据对应的缓冲区中的值，显示不同的灰度和颜色（如图3-15），此类显示技术称为位图（Bitmap）显示。 人机交互技术编写组56 1.位图与光栅显示 帧缓冲存储器CRT光栅电子枪寄存器1DAC人机交互技术编写组57屏幕坐标系光栅显示器的图形表现能力，是通过光栅图形元素来实现的。为此建立了以屏幕分辨率为基础的二维图形整数坐标系，称为屏幕坐标系。它的垂直方向为Y轴，水平方向为X轴，原点在屏幕的左上角，单位为象素的直径（即点距）。 人机交互技术编写组583.4.2 显
25、示技术 1.阴极射线管（阴极射线管（CRT）显示器）显示器 n结构偏转的电子束荧光屏水平偏转板 垂直偏转板灯丝 阴极聚焦系统 加速系统电平控制器人机交互技术编写组593.4.2 显示技术n工作方式w电子束从左向右，从上向下扫描荧光屏，产生一幅幅光栅，每一条从左向右的直线称为扫描线，每一幅光栅称为一帧。扫描方式分逐行和隔行扫描方式。隔行扫描方式把一帧光栅分为两次扫描：先扫偶数行扫描线，再扫奇数行扫描线。逐行扫描比隔行扫描拥有更稳定显示效果。 人机交互技术编写组60液晶显示器液晶显示器2.液晶液晶-等离子显示器等离子显示器n在充电条件下，液晶能改变分子排列，继而造成光线的扭曲或折射n液晶显示器工作
26、原理是通过能阻塞或传递光的液晶材料，传递来自周围的或内部光源的偏振光。 nLCD比CRT显示器具有更好的图像清晰度，画面稳定性和更低的功率消耗，但液晶材质粘滞性比较大，图像更新需要较长响应时间，因此不适合显示动态图象人机交互技术编写组61等离子显示器等离子显示器诞生于二十世纪60年代，它采用等离子管作为发光材料，1个等离子管负责一个像素的显示：等离子管内的氖氙混合气体在高压电极的刺激下产生紫外线，紫外线照射涂有三色荧光粉的玻璃板，荧光粉受激发出可见光 。人机交互技术编写组623.4.3 数字纸 数字纸是一种仍处于试验阶段的显示技术。数字纸是一种薄的，柔软的介质，如同一般的计算机屏幕一样，可以利
27、用电子仪器在上面书写，不同的是，即使没有了能量，它也能保存已经书写的内容。 有若干技术应用于数字纸的研究。其中之一是将介质的表面布满小的球体，一面是黑色的，另一面是白色的。电子进入介质后，会使得小球旋转，呈现出黑色或白色。当电子信号消失后，小球保持其最后的朝向。目前的数字纸的分辨率可以到达100dpi，并可以显示不同的灰度和颜色。 人机交互技术编写组633.5语音交互设备 语音作为一种重要的交互手段，日益受到人们的重视。人们可以使用固定电话或移动电话以及PC、PDA和其它智能设备通过语音识别、语音合成等交互技术，以及语音浏览、智能信息处理技术等实现访问互联网，实现个人服务和商业服务的语音应用。
28、在美国、日本，语音互联已成为简易终端接入互联网的主要方式之一。对于语音的交互，耳机、麦克风以及声卡是最基本的设备。 人机交互技术编写组643.5.1 耳麦 1.耳机及指标n耳机结构：w耳机结构可以分为封闭式、开放式、半开放式三种n频响范围：w耳机能够放送出的频带的宽度，国际电工委员会IEC581-10标准中高保真耳机的频响范围应当能够包括50Hz到12500Hz之间 n灵敏度w指在同样响度的情况下，需要输入功率的大小，灵敏度越高所需要的输入功率越小人机交互技术编写组653.5.1 耳麦1.耳机及指标n阻抗w是耳机交流阻抗的简称，台式机或功放、VCD、DVD、电视等器械上，常用到的是高阻抗耳机，
29、各种便携式随身听，例如CD、MD或MP3，一般会使用低阻抗耳机 n谐波失真w是一种波形失真，在耳机指标中有标示，失真越小，音质也就越好。一般的耳机应当小于或略等于0.5%。人机交互技术编写组663.5.1 耳麦2.麦克风及指标n耳机佩戴有麦克风。为了过滤背景杂音，达到更好的识别效果，许多麦克风采用了NCAT（Noise Canceling Amplification Technology）专利技术。 nNCAT技术结合特殊机构及电子回路设计以达到消除背景噪音，强化单一方向声音（只从配戴者嘴部方向）的收录效果，是专为各种语音识别和语音交互软件设计的，提供精确音频输入的技术，采用NCAT/NCAT
30、2技术的麦克风会着重采集处于正常语音频段（介于350Hz-7000Hz）的音频信号，从而降低环境噪音的干扰。 人机交互技术编写组673.5.1 耳麦微软设计的Game Voice可以方便地实现同时与多个人对话，与不同的个人对话，以及通过语音命令控制游戏的功能 。图 3-17 Game Voice人机交互技术编写组683.5.2 声音合成设备-声卡 1.声卡的功能n是一种安装在计算机中的最基本的声音合成设备，是实现声波数字信号相互转换的硬件，可把来自话筒、磁带、光盘的原始声音信号加以转换，输出到耳机、扬声器、扩音机、录音机等声响设备，完成对声音信息进行录制与回放 。2.声卡的结构n声卡可分为模数
31、、数模转换电路两部分:n模数转换电路负责将麦克风等声音输入设备采集到的模拟声音信号转换为计算机能处理的数字信号；n而数模转换电路负责将计算机使用的数字声音信号转换为耳机、音箱等设备能使用的模拟信号。 人机交互技术编写组693.5.2 声音合成设备-声卡3.声卡拥有的接口：nLINE OUT（或者SPK OUT）w用于连接音箱耳机等外部扬声设备，实现声音回放；nMIC IN wOUTMIC IN用于连接麦克风，实现录音功能；nLINE IN wLINE IN则是把外部设备的声音输入到声卡中n游戏杆（外部MIDI设备接口）人机交互技术编写组703.5.2 声音合成设备-声卡4.与声卡相关的重要概念
32、 n声音的采样w采样的位数n决定了声音采集的质量。采样位数可以理解为声卡处理声音的解析度，这个数值越大，解析度就越高，录制和回放的声音也越真实。n16位声卡能将声音分为64K个精度单位进行处理，而8位声卡只能处理256个精度单位，造成较大的信号损失 w采样的频率n采样频率是指录音设备在一秒钟内对声音信号的采样次数，采样频率越高则声音的还原就越真实越自然。在当今的主流声卡上，采样频率一般分为22.05KHz、44.1KHz、48KHz三个等级 人机交互技术编写组713.5.2 声音合成设备-声卡n声道数w声音在录制过程中被分配到两个独立的声道，从而达到了很好的声音定位效果，用户可以清晰地分辨出各
33、种乐器来自的方向，从而使音乐更富想象力，更加接近于临场感受。 w四声道环绕音频技术较好实现了三维音效，四声道环绕规定了4个发音点：前左、前右，后左、后右，听众则被包围在这中间。 nMIDI（Musical Instrument Digital Interface ）文件wMIDI文件是一种描述性的“音乐语言”，非常小巧，它将所要演奏的乐曲信息用字节描述，例如“在某一时刻，使用什么乐器，以什么音符开始，以什么音调结束，加以什么伴奏”等等。 wMIDI文件只是一种对乐曲的描述，本身不包含任何可供回放的声音信息。 人机交互技术编写组723.5.2 声音合成设备-声卡n波表合成w波表（WAVE TAB
34、LE）将各种真实乐器所能发出的所有声音（包括各个音域、声调）录制下来，存贮为一个波表文件。w播放时，根据MIDI文件记录的乐曲信息向波表发出指令，从“表格 ”中逐一找出对应的声音信息，经过合成、加工后回放出来。w采用真实乐器的采样，所以效果较好。w一般波表的乐器声音信息都以44.1KHz、16Bit的精度录制，以达到最真实回放效果。w理论上，波表容量越大合成效果越好。 人机交互技术编写组733.6虚拟现实系统中的交互设备 虚拟现实系统要求计算机可以实时显示一个三维场景，用户可以在其中自由的漫游，并能操纵虚拟世界中一些虚拟物体。因此，除了一些传统的控制和显示设备，虚拟现实系统还需要一些特殊的设备
35、和交互手段，来满足虚拟系统中的显示、漫游以及物体操纵等任务。人机交互技术编写组743.6.1 三维空间定位设备 三维交互设备最基本的特点是具有六个自由度。常见的三维输入设备主要有以下几种：n1.空间跟踪定位器空间跟踪定位器n2. 数据手套（数据手套（Data Glove） n3.三维鼠标三维鼠标 n4.触觉和力反馈器触觉和力反馈器 人机交互技术编写组753.6.1 三维空间定位设备1.空间跟踪定位器空间跟踪定位器w空间跟踪定位器或称三维空间传感器（如图空间跟踪定位器或称三维空间传感器（如图3-18）是一种能实时地检测物体空间运动的装置，可以是一种能实时地检测物体空间运动的装置，可以得到物体在六
36、个自由度上相对于某个固定物体的得到物体在六个自由度上相对于某个固定物体的位移，包括：位移，包括：X、Y、Z坐标上的位置值，以及坐标上的位置值，以及围绕围绕X、Y、Z轴的旋转值（转动，俯仰、摇轴的旋转值（转动，俯仰、摇摆）。摆）。w这种三维空间传感器对被检测的物体必须是无干这种三维空间传感器对被检测的物体必须是无干扰的，也就是说，不论这种传感器是基于何种原扰的，也就是说，不论这种传感器是基于何种原理或使用何种技术，它都不应当影响被测物体的理或使用何种技术，它都不应当影响被测物体的运动，因而称为运动，因而称为“非接触式传感器非接触式传感器”。人机交互技术编写组76图 3-18 空间跟踪定位器人机交
37、互技术编写组77空间跟踪定位器的主要的性能指标：w定位精度：指传感器所测出的位置与实际位置的差异w位置修改速率：指传感器在一秒钟内所能完成的测量次数w延时：指被检测物体的某个动作与传感器测出该动作时间的间隔需要解决的关键问题n如何减少颤抖、漂移、噪音n在虚拟现实技术中广泛使用的传感器类型：w低频磁场式：在虚拟现实环境中，这种传感器常被用来安装在数据手套和头盔显示器上。w超声式：人机交互技术编写组783.6.1 三维空间定位设备2. 数据手套（数据手套（Data Glove）n数据手套一般由很轻的弹性材料构成，紧贴在手上。整个系数据手套一般由很轻的弹性材料构成，紧贴在手上。整个系统包括位置、方向
38、传感器和沿每个手指背部安装的一组有保统包括位置、方向传感器和沿每个手指背部安装的一组有保护套的光纤导线，它们检测手指和手的运动。数据手套将人护套的光纤导线，它们检测手指和手的运动。数据手套将人手的各种姿势、动作通过手套上所带的光导纤维传感器，输手的各种姿势、动作通过手套上所带的光导纤维传感器，输入计算机中进行分析。这种手势可以是一些符号表示或命令，入计算机中进行分析。这种手势可以是一些符号表示或命令，也可以是动作。手势所表示的含义可由用户加以定义。也可以是动作。手势所表示的含义可由用户加以定义。n在虚拟环境中，操作者通过数据手套可以用手去抓或推动虚在虚拟环境中，操作者通过数据手套可以用手去抓或
39、推动虚拟物体，以及做出各种手势命令。拟物体，以及做出各种手势命令。 人机交互技术编写组79图 3-19 数据手套人机交互技术编写组803.6.1 三维空间定位设备3.三维鼠标三维鼠标n三维鼠标能够感受用户在六个自由度的运动，三维鼠标能够感受用户在六个自由度的运动，包括三个平移参数和三个旋转参数。包括三个平移参数和三个旋转参数。n其装置比较简单：一个盖帽放在带有一系列其装置比较简单：一个盖帽放在带有一系列开关的底座上。开关的底座上。n转动这个小球或侧方向推动这个小球时，如转动这个小球或侧方向推动这个小球时，如向上拉它、向下压它，使它向前或向后等。向上拉它、向下压它，使它向前或向后等。n三维鼠标将
40、用户的这些动作传送给计算机，三维鼠标将用户的这些动作传送给计算机，从而进一步控制虚拟环境中的物体的运动。从而进一步控制虚拟环境中的物体的运动。人机交互技术编写组813.6.1 三维空间定位设备图 3-20 三维鼠标nLogitech 公司的公司的Magellan 3D Controller，它可提，它可提供供x,y,z,a,b,c 六个自六个自由度，并附有九个由度，并附有九个按钮。按钮。nMagellan 的外观设计充分考虑了功效学的原的外观设计充分考虑了功效学的原则，用户长时间操作不容易感到疲劳，用户只则，用户长时间操作不容易感到疲劳，用户只要轻轻搓动其上的盖帽便可在屏幕上平移和旋要轻轻搓动
41、其上的盖帽便可在屏幕上平移和旋转三维物体，松手后盖帽会自动恢复到初始位转三维物体，松手后盖帽会自动恢复到初始位置。置。人机交互技术编写组823.6.1 三维空间定位设备4.触觉和力反馈器触觉和力反馈器(振动触感式反馈器振动触感式反馈器) 图 3-21 Virtual Technology公司的触觉反馈手套人机交互技术编写组833.6.1 三维空间定位设备虚拟现实系统必须提供触觉反馈，以便使用户感觉到仿佛真的摸到了物体。但是由于人的触觉非常敏感，精度一般的装置根本无法满足要求。 另外，对于触觉和力反馈器，触觉和力反馈器，还要考虑到模拟力的真实性、施加到人手上是否安全以及装置是否便于携带并让用户感
42、到舒适等问题。目前已经有一些关于力学反馈手套、力学反馈操纵杆、力学反馈笔、力学反馈表面等装置的研究 人机交互技术编写组843.6.1 三维空间定位设备手指触觉反馈器的实现主要通过视觉、气压感、振动触觉、电子触觉和神经肌肉模拟等方法。 其中电子触觉反馈器是向皮肤反馈宽度和频率可变的电脉冲，而神经肌肉模拟反馈是直接刺激皮层，这些方法都很不安全，较安全的方法是气压式和振动触感式的反馈器。 人机交互技术编写组853.6.2 沉浸感显示设备 1.立体视觉立体视觉 n由于人类从客观世界获得的信息80%（60%视觉，听觉20%，其它20%）以上来自视觉，因而视觉沟通就成为多感知虚拟现实系统中最重要的环节，立
43、体视觉技术也就成为虚拟现实的一种极重要的支撑技术。 n人是通过右眼和左眼所看到物体的细微差异来感知物体的深度，从而识别出立体图像的。立体影像生成技术主要有两种：主动式立体模式和被动式立体模式。 人机交互技术编写组863.6.2 沉浸感显示设备显示模式n主动式模式：w用户的左右眼影像将按照顺序交替显示，用户使用LCD立体眼镜保持与立体影像的同步，这种模式可以产生高质量的立体效果。n被动式系统w需要使用两套显示设备以及投影设备分别生成左右眼影像并进行投影，不同的投影分别使用不同角度的偏振光来区别左右眼影像，用户使用偏振光眼镜保持立体影像的同步 。人机交互技术编写组873.6.2 沉浸感显示设备2.
44、立体显示系统立体显示系统n头盔式显示器（Head Mounted Display，HMD，）是一种立体图形显示设备，可单独与主机相连以接受来自主机的三维虚拟现实场景信息。 n目前最常用的头盔显示器是基于液晶显示原理的，最早如美国VPL公司于1992年推出的Eyephone，它在头上装有一个分辨率为360240象素的液晶显示器，其视野为水平100度。 人机交互技术编写组88图 3-22 头盔式显示器人机交互技术编写组893.6.2 沉浸感显示设备头盔分单通道和双通道两种:n单通道的头盔显示器上装有一个液晶显示器并显示同一幅图像；n双通道的头盔显示器上装有两个液晶显示器，左边的液晶屏显示来自主控计
45、算机生成的左眼图像，右边的液晶显示屏显示来自主控计算机生成的右眼图像，每一幅的图像的显示刷新速度都在60Hz以上，两幅图像在两个液晶屏之间快速切换显示，根据立体成像原理，观察者就可以看到立体图像 人机交互技术编写组903.6.2 沉浸感显示设备n头盔式显示器使用方式为头戴式，辅以空间跟踪定位器可进行虚拟场景输出效果的观察，同时观察者可做空间上的移动，如自由行走、旋转等。n两个显示屏幕处于用户佩戴的头盔中，分别覆盖用户双眼的视野，使得用户只能够感知来自计算机所生成的图像，沉浸感极强。人机交互技术编写组913.6.2 沉浸感显示设备改进的沉浸式虚拟现实环境：n吊杆式双筒全方位监视器（Binocul
46、ar Omni-Orientation Monitor，BOOM）nBOOM把两个独立的CRT 显示器捆绑在一起，用户可以用手操纵显示器的位置，以观察一个可移动、宽视角的虚拟空间。nBOOM的显著优点是分辨率较高，高端产品的分辨率是12801024 像素。nBOOM 的另外优点包括：没有延迟和噪声，对用户无佩戴重量方面的负担。人机交互技术编写组92图 3-23 BOOM显示系统人机交互技术编写组93洞穴式显示环境 （Cave Automatic Virtual Environment，CAVE）n这是一种四面的沉浸式虚拟现实环境。n系统在支持多用户的同时，给用户提供了前所未有的，带有震撼性的沉
47、浸感n对于处在系统内的用户来说，投影屏幕将分别覆盖用户的正面、左右以及底面视野，构成一个边长为10英尺的立方体。n可以允许多人走进CAVE中，用户戴上立体眼镜便能从空间中任何方向看到立体的图像。nCAVE 实现了大视角、全景、立体、且支持510 人共享的一个虚拟环境。 人机交互技术编写组94 图 3-24 CAVE显示环境 人机交互技术编写组95 图 3-24 CAVE显示原理 人机交互技术编写组96洞穴式显示环境l 它可提供180o的宽视域和20002000 以上的高分辨率；l 它允许用户在虚拟空间中走动，而不用佩戴笨重的设备；l 它允许在同一个环境中存在多个用户，而且用户间可以自然地交互；
48、l 一次能显示大型模型，如汽车、房屋等，而HMD则需要头部运动才能看到完整的模型。人机交互技术编写组97Cave系统示例Workbench是一种单投影面的系统，立体影像通过镜子的折射投影到一个水平的投影平面，用户在此工作平面上与虚拟物体进行交互人机交互技术编写组98多投影面系统 n相对于单投影面系统来说，多投影面系统能相对于单投影面系统来说，多投影面系统能够涵盖更多的用户视野范围，提供更好的沉够涵盖更多的用户视野范围，提供更好的沉浸感，所以多投影面系统也成为沉浸式虚拟浸感，所以多投影面系统也成为沉浸式虚拟环境的主要发展方向。对原来单投影面的环境的主要发展方向。对原来单投影面的Workbench
49、进行双投影面的改进，在水平进行双投影面的改进，在水平投影面的基础上增加额外的垂直投影面，可投影面的基础上增加额外的垂直投影面，可以进一步增加用户的虚拟视野范围。以进一步增加用户的虚拟视野范围。 人机交互技术编写组99PowerWall系统 nMinnesota大学在1994年提出的PowerWall系统是由多个投影面层叠或并排形成单个面积较大的投影平面，它能提供高解析度大面积范围的影像，主要被应用于科学数据可视化，或面向多用户展示工作（图3-25左）。 人机交互技术编写组100图 3-25 PowerWall人机交互技术编写组101图 3-25 WORKBENCH人机交互技术编写组1026个投
50、影面的CAVE系统n能够完全覆盖用户的视野范围，使用户能够完全沉浸于所生成的虚拟环境。另外，也有投影到圆柱状或环绕投影面的系统，主要应用于虚拟剧场，提供对多用户的支持。人机交互技术编写组1033.6.3 虚拟现实系统 山东大学考古数字博物馆n综合利用前面介绍的各种虚拟设备，可以在此基础上完成一些较为复杂的应用。山东大学构建了一套基于桌面的虚拟现实平台，并用于山东大学考古数字博物馆（图3-26） 人机交互技术编写组104图 3-26 山东大学考古数字博物馆的场景与交互人机交互技术编写组105用户漫游系统跟踪器立体眼镜/头盔音箱手 势位 置语音命令传统命令通 道理解整合立体图像三维音效麦克风鼠标/
