1、第第 6 章章混合现实混合现实 6.1混合现实的概念混合现实的概念 6.2混合现实（混合现实（MR）与虚拟现实（）与虚拟现实（VR）的）的关系关系 6.3混合现实的交互混合现实的交互技术技术 6.1 混合现实的混合现实的概念概念 混合混合现实是一种使真实世界和虚拟物体在同一视觉空间中显示和交现实是一种使真实世界和虚拟物体在同一视觉空间中显示和交互的计算机虚拟互的计算机虚拟 现实技术。加拿大多伦多大学工业工程系的现实技术。加拿大多伦多大学工业工程系的Paul Milgram对混合现实（对混合现实（Mixed Reality，MR）的定义是：真实世界和）的定义是：真实世界和虚拟世界在一个显示设备中
2、同时呈现。也有学者认为：虚拟世界在一个显示设备中同时呈现。也有学者认为：“现代意义上现代意义上的的混合现实混合现实是不同类型的现实（主要是指真实现实与虚拟现实）的是不同类型的现实（主要是指真实现实与虚拟现实）的彼彼 此混合。此混合。将计算机所生成的虚拟对象融合到真实的环境当中，从将计算机所生成的虚拟对象融合到真实的环境当中，从而建立出一个新的环境而建立出一个新的环境 及符合一般视觉上所认知的虚拟影像，在这及符合一般视觉上所认知的虚拟影像，在这之中，现实世界中的物件能够与虚拟世界中之中，现实世界中的物件能够与虚拟世界中 的物件共同存在并且即的物件共同存在并且即时地产生互动时地产生互动。”返回6.
3、2 混合现实（混合现实（MR）与虚拟现实（）与虚拟现实（VR）的关系的关系现实与虚拟两部分构成了混合现实，其中用户与虚拟世界的联结是虚现实与虚拟两部分构成了混合现实，其中用户与虚拟世界的联结是虚拟部分关心的拟部分关心的 内容。因此，涉及两个方面的内部，即虚拟世界的构内容。因此，涉及两个方面的内部，即虚拟世界的构建与呈现、人与虚拟世界的交互。建与呈现、人与虚拟世界的交互。所看到的虚拟世界是与人类感官所看到的虚拟世界是与人类感官直接联结的，因此，要构造完美的虚拟世界必须通过建直接联结的，因此，要构造完美的虚拟世界必须通过建 立与人类感立与人类感官匹配的自然通道。虚拟世界的呈现，音响效果的营造，触觉
4、、力觉官匹配的自然通道。虚拟世界的呈现，音响效果的营造，触觉、力觉等各种等各种 知觉感知和反馈要通过真实感渲染得到。因此，用户与虚拟知觉感知和反馈要通过真实感渲染得到。因此，用户与虚拟世界的交互必须建立相同的世界的交互必须建立相同的 知觉通道，通过分析用户的自然行为，知觉通道，通过分析用户的自然行为，在感知、理解、响应和呈现上形成环路，这是虚在感知、理解、响应和呈现上形成环路，这是虚 拟现实技术的核心拟现实技术的核心内容。内容。下一页返回6.2 混合现实（混合现实（MR）与虚拟现实（）与虚拟现实（VR）的关系的关系由于对现实世界的模拟本身非常困难，因此混合现实没有对复杂多变由于对现实世界的模拟
5、本身非常困难，因此混合现实没有对复杂多变的现实世界进的现实世界进 行实时模拟，其建立的是虚拟世界与现实世界的联结，行实时模拟，其建立的是虚拟世界与现实世界的联结，并模拟二者的相互影响。而要使并模拟二者的相互影响。而要使 虚拟世界与现实世界融为一体，技虚拟世界与现实世界融为一体，技术上的诸多挑战不仅要感知用户的主体行为，还要感术上的诸多挑战不仅要感知用户的主体行为，还要感 知一切现实世知一切现实世界中有关联的人、环境甚至事件语义，提供恰当的交互和反馈。因此，界中有关联的人、环境甚至事件语义，提供恰当的交互和反馈。因此，混混 合现实涉及了从计算机视觉、计算机图形学、模式识别到光学、合现实涉及了从计
6、算机视觉、计算机图形学、模式识别到光学、电子、材料等多个电子、材料等多个学学科领域。正是由于科领域。正是由于混合混合现实与现实世界的现实与现实世界的 紧密紧密联系，才使其联系，才使其具备具备强大且广泛的强大且广泛的实用价值实用价值。上一页 下一页返回6.2 混合现实（混合现实（MR）与虚拟现实（）与虚拟现实（VR）的关系的关系混合现实技术是混合现实技术是 虚拟世界与现实虚拟世界与现实世界无缝世界无缝融合的技术。虚融合的技术。虚 拟现实代拟现实代表的是计表的是计 算算机营造的世界，使机营造的世界，使 人类的知觉感知人类的知觉感知延展到延展到计算机中；而计算机中；而混合混合 现实技术在保持对现实技
7、术在保持对现实现实世界正常感知的世界正常感知的基础基础上，通过建立虚拟上，通过建立虚拟 世界与现实世界之间世界与现实世界之间 的联系，再将人类感的联系，再将人类感 官延伸到虚拟世界。官延伸到虚拟世界。混合混合现实技术中所关现实技术中所关 注的虚拟世界可以有注的虚拟世界可以有 丰富的内容丰富的内容。从早期从早期 的虚拟现的虚拟现实世界的局实世界的局 部场景，与现实世界部场景，与现实世界 无缝融合，使得我们无缝融合，使得我们 可以看到匪夷可以看到匪夷所思的所思的 场景，典型的是场景，典型的是电影阿凡达电影阿凡达呈现的世呈现的世 界。然而，计算机界。然而，计算机的的 强大能力不仅在于对强大能力不仅在
8、于对 场景的营造能力，还场景的营造能力，还 在于对信息搜集、数在于对信息搜集、数 据据整理和分析呈现的整理和分析呈现的 能力。在信息爆炸的能力。在信息爆炸的 时代，信息容量和复时代，信息容量和复 杂度远杂度远远超过人类所远超过人类所 能够的范围，在宏观能够的范围，在宏观 上把握信息的内涵，上把握信息的内涵，提供对数据提供对数据蕴涵的语蕴涵的语 义分析，才有可能使义分析，才有可能使 人类理解数据。混合人类理解数据。混合 现实技术可以在现实技术可以在数据数据分析的基础上建立用户与数据的联结，从而使得用户可以直接分析的基础上建立用户与数据的联结，从而使得用户可以直接感感知数据分析知数据分析的结果，将
9、人类感知延展到数据语义层面。的结果，将人类感知延展到数据语义层面。上一页 下一页返回6.2 混合现实（混合现实（MR）与虚拟现实（）与虚拟现实（VR）的关系的关系混合现实技术包含虚拟世界和现实世界。在需要虚拟现实技术混合现实技术包含虚拟世界和现实世界。在需要虚拟现实技术 支持支持的同时，也需要增强现实技术的支持。虚拟现实技术的第一个的同时，也需要增强现实技术的支持。虚拟现实技术的第一个 核心核心问题是对虚拟世界的建模，包括模拟现实世界的模型或人工设问题是对虚拟世界的建模，包括模拟现实世界的模型或人工设 计的计的模型；对现实世界模型的模拟，即场景重建技术。虚拟现实的模型；对现实世界模型的模拟，即
10、场景重建技术。虚拟现实的 第二第二个问题是将观察者知觉与虚拟世界的空间注册，满足视觉沉浸个问题是将观察者知觉与虚拟世界的空间注册，满足视觉沉浸 感的感的呈现技术；第三个问题是提供与人类感知通道一致的交互技呈现技术；第三个问题是提供与人类感知通道一致的交互技 术，即术，即感知和反馈技术。增强现实技术在虚拟现实技术的基础上，感知和反馈技术。增强现实技术在虚拟现实技术的基础上，还需要还需要将现实世界与虚拟世界进行注册，并且感知真实世界发生的将现实世界与虚拟世界进行注册，并且感知真实世界发生的 状况、状况、动态，搜集真实世界的数据，进行数据分析和语义分析，并动态，搜集真实世界的数据，进行数据分析和语义
11、分析，并 对其进对其进行响应。因此，混合现实的虚实融合分析三个层面，即虚实行响应。因此，混合现实的虚实融合分析三个层面，即虚实 世界产世界产生智能上的交互融合；虚实世界产生社会学意义上的交互融生智能上的交互融合；虚实世界产生社会学意义上的交互融 合，如合，如行人互相避让的行为；虚实空间产生视觉上的交互影响。行人互相避让的行为；虚实空间产生视觉上的交互影响。上一页返回6.3 混合现实的交互技术混合现实的交互技术 6.3.1用户界面形态用户界面形态新型交互技术和设备的出现，使人机界面不断向着更高效、更新型交互技术和设备的出现，使人机界面不断向着更高效、更 自然自然的方向发展。在混合现实中使用较多的
12、用户界面形态包括的方向发展。在混合现实中使用较多的用户界面形态包括TUI、触控触控用户界面、用户界面、3DUI、多通道用户界面和混合用户界面。、多通道用户界面和混合用户界面。（1）TUI是目前在混合现实领域应用最多的交互方式。它支持是目前在混合现实领域应用最多的交互方式。它支持 用户用户直接使用现实世界中的物体与计算机进行交互。无论是在虚拟直接使用现实世界中的物体与计算机进行交互。无论是在虚拟 环境环境中使用现实物体辅助交互（中使用现实物体辅助交互（AV），还是在虚拟环境中加入辅助），还是在虚拟环境中加入辅助 的虚的虚拟信息（拟信息（AR），在这种交互方式下都显得非常自然并对用户具），在这种交
13、互方式下都显得非常自然并对用户具 有吸有吸引力。引力。下一页返回6.3 混合现实的交互技术混合现实的交互技术（2）触控用户界面是在）触控用户界面是在GUI的基础上，以触觉感知为主要指点的基础上，以触觉感知为主要指点 技术技术的交互技术。在混合现实中，一种比较自然的方式是直接用手的交互技术。在混合现实中，一种比较自然的方式是直接用手 通过通过屏幕与虚实物体交互。手机、平板电脑等移动设备及透明触屏屏幕与虚实物体交互。手机、平板电脑等移动设备及透明触屏 都提都提供了这种支持，这使得直接触控成为混合现实中主要的交互方供了这种支持，这使得直接触控成为混合现实中主要的交互方 式之式之一。一。（3）在）在3
14、DUI中，用户与计算机中，用户与计算机进行交互进行交互是在一个虚拟或现实的是在一个虚拟或现实的3D空空间中进行间中进行 的。的。3DUI是从虚拟现实技术中衍生而来是从虚拟现实技术中衍生而来的交互的交互技术，它可技术，它可以支持在纯虚拟环境中以支持在纯虚拟环境中进行进行物体获取、观察世界、地形漫游、搜索物体获取、观察世界、地形漫游、搜索 与导航。在混合现实环境中，这种交互需与导航。在混合现实环境中，这种交互需 求是大量存在的，因此，求是大量存在的，因此，3DUI是混合现实是混合现实 中重要的交互手段之一。中重要的交互手段之一。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术（4）在
15、混合现实中的许多应用都利）在混合现实中的许多应用都利 用了多通道交互技术。多通道用用了多通道交互技术。多通道用户界面支户界面支 持用户通过多种通道与计算机进行交互。持用户通过多种通道与计算机进行交互。这些通道包括不这些通道包括不同的输入工具（如文字、同的输入工具（如文字、语音、手势等）和不同的人类感知语音、手势等）和不同的人类感知通道通道（听觉、视觉、嗅觉等）。在这种交互方听觉、视觉、嗅觉等）。在这种交互方 式中通常需要维持不同通式中通常需要维持不同通道间的一致性道间的一致性。（5）混合用户界面为用户提供）混合用户界面为用户提供更为更为灵活的交互平台，它将不同但相灵活的交互平台，它将不同但相互
16、互补足补足的用户界面进行组合，用户通过多种不的用户界面进行组合，用户通过多种不 同的交互设备进行交同的交互设备进行交互，以满足多样化互，以满足多样化 的日常交互行为。的日常交互行为。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术 6.3.2交互对象的虚实交互对象的虚实融合融合 1注册跟踪技术注册跟踪技术在增强现实中，如果用户改变自身在增强现实中，如果用户改变自身 位置和观察角度，被观察的虚拟位置和观察角度，被观察的虚拟物体就物体就 能实时融洽地与现实场景保持一致。要能实时融洽地与现实场景保持一致。要 达到此种效果达到此种效果，在增在增强现实中必须明强现实中必须明 确确观察者和虚
17、拟物体在现实环境中的观察者和虚拟物体在现实环境中的准确准确位置和姿位置和姿态。设计者一般会事先决定态。设计者一般会事先决定 虚拟物体在现实环境中的位置，因此，虚拟物体在现实环境中的位置，因此，只要注意观察者的位置和姿态，就可以只要注意观察者的位置和姿态，就可以 根据观察者的实时视角重建根据观察者的实时视角重建坐标系，计坐标系，计 算出虚拟物体的显示姿态，实现交互对算出虚拟物体的显示姿态，实现交互对 象的虚实融合。象的虚实融合。这个过程是三维注册过这个过程是三维注册过 程，其实现方法一般分为基于传感器的程，其实现方法一般分为基于传感器的 注册注册技术、基于视觉的注册技术和混合技术、基于视觉的注册
18、技术和混合 注册技术三种。注册技术三种。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术2显示设备显示设备显示设备要解决的问题是让用户显示设备要解决的问题是让用户简简单、便捷地观察到虚实融合的场景。单、便捷地观察到虚实融合的场景。在在AV中，由于场景的主体是中，由于场景的主体是虚拟虚拟的，其方位可以由系统唯一确定，的，其方位可以由系统唯一确定，因此，可以直接使用传统显示设因此，可以直接使用传统显示设 备来呈现虚实融合场景。而在备来呈现虚实融合场景。而在AR中，中，场景是用户直接观察到的现实场景是用户直接观察到的现实 世界，技术上一般采用头戴式显示设世界，技术上一般采用头戴式显示设
19、备（备（HMD）、手持式显示设备）、手持式显示设备 和投影式显示设备来实现。其中，和投影式显示设备来实现。其中，HMD包括光学透视型和视频透视包括光学透视型和视频透视 型两种型两种。光学透视型显示设备是通光学透视型显示设备是通过透明屏幕直接观察现实世界，过透明屏幕直接观察现实世界，视频视频透视型显示设备是用头戴式摄像透视型显示设备是用头戴式摄像机采集现实世界视频作为背景机采集现实世界视频作为背景投影到投影到显示器上。手持式显示设备（如显示器上。手持式显示设备（如手机、平板电脑）一般采用视频透手机、平板电脑）一般采用视频透 视技术，利用设备上的摄像头采视技术，利用设备上的摄像头采集现实世界的图像
20、。投影式显示设备集现实世界的图像。投影式显示设备 利用各种投影仪将图像直接投利用各种投影仪将图像直接投影到墙壁、桌面、物理实体等现实世界影到墙壁、桌面、物理实体等现实世界 的物体中，从而在这些物体的物体中，从而在这些物体上叠加虚拟信息。上叠加虚拟信息。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术 6.3.3手势识别技术手势识别技术混合现实中使用的手势识别技术可以按照输入设备分为基于传感混合现实中使用的手势识别技术可以按照输入设备分为基于传感 器器和基于计算机视觉两种。基于传感器的手势识别技术利用不同的和基于计算机视觉两种。基于传感器的手势识别技术利用不同的硬件硬件设备（如数据
21、手套、运动传感器），跟踪返回人手以及手部各设备（如数据手套、运动传感器），跟踪返回人手以及手部各骨骼所骨骼所在在的三维坐标，从而测量手势在三维空间中的位置信息和手指等关的三维坐标，从而测量手势在三维空间中的位置信息和手指等关 节的运动信息。这种系统可以直接获得人手在三维空间中的坐标和手节的运动信息。这种系统可以直接获得人手在三维空间中的坐标和手 指运动的参数，数据的精确度高，可识别的手势多且辨识率高，但需指运动的参数，数据的精确度高，可识别的手势多且辨识率高，但需 要佩戴额外的设备。基于计算机视觉的手势识别技术利用单个或多个要佩戴额外的设备。基于计算机视觉的手势识别技术利用单个或多个 摄像头来
22、采集手势信息，经计算机系统分析获取图像来识别手势。该摄像头来采集手势信息，经计算机系统分析获取图像来识别手势。该 技术使学习和使用简单灵活，更自然、直接地进行人机交互，但计算技术使学习和使用简单灵活，更自然、直接地进行人机交互，但计算 过程较复杂，识别率和实时性较差。过程较复杂，识别率和实时性较差。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术混合现实中使用的手势可分为静态手势和动态手势两类。静态手混合现实中使用的手势可分为静态手势和动态手势两类。静态手 势势是指某一时刻表态的手臂、手掌或手指的形状、姿态，手势数据中是指某一时刻表态的手臂、手掌或手指的形状、姿态，手势数据中 不
23、包含连续时间序列信息，这类手势给用户提供了利用手掌就能完成不包含连续时间序列信息，这类手势给用户提供了利用手掌就能完成 的交互行为，一般用基于图像特征聚类的方法进行识别；动态手势是的交互行为，一般用基于图像特征聚类的方法进行识别；动态手势是 指在一段连续的时间内手臂、手掌或手指的姿态变化或移动路径，手指在一段连续的时间内手臂、手掌或手指的姿态变化或移动路径，手 势数据中需要包括随时间变化的空间特征，这类手势能够很好地表示势数据中需要包括随时间变化的空间特征，这类手势能够很好地表示 空间路径手势，且需要使用基于隐马尔可夫模型（空间路径手势，且需要使用基于隐马尔可夫模型（HMM）、基于动）、基于动
24、 态时间规整和基于压缩时间轴的方法进行识别。态时间规整和基于压缩时间轴的方法进行识别。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术 6.3.43D交互交互技术技术 在在3D交互技术的支持下，交互技术的支持下，3DUI能够很自然地应用于混合现实能够很自然地应用于混合现实场场景。景。3D交互技术支持用户使用交互技术支持用户使用3D的的输入手段输入手段操作操作3D的对象及内容，并得的对象及内容，并得到到3D的的 视觉、听觉等多通道反馈。面向通用任视觉、听觉等多通道反馈。面向通用任 务的务的3D交互技术分为交互技术分为导航、选择导航、选择/操作和操作和 系统控制三个方面。其实现结构可
25、以划系统控制三个方面。其实现结构可以划 分为分为3个个具有显著特点的层次具有显著特点的层次几何模几何模 型、直接操纵隐喻、高层语义交互。型、直接操纵隐喻、高层语义交互。其其 中，几何模型层提供中，几何模型层提供3D可视反馈，直接可视反馈，直接 操纵隐喻定义包括选取、操纵隐喻定义包括选取、点击、拖动、点击、拖动、旋转在内的直接操纵功能，而面向旋转在内的直接操纵功能，而面向高层语义高层语义的交互隐的交互隐喻层允许用户实现更为喻层允许用户实现更为复杂复杂的交互任务，如指定路径进行漫游，的交互任务，如指定路径进行漫游，这这些任务需要由多个直接操纵层的动作些任务需要由多个直接操纵层的动作 序列组合完成。
26、混合现实应用序列组合完成。混合现实应用中的自然中的自然 交互和直观反馈将主要在这一层得到交互和直观反馈将主要在这一层得到 实现。实现。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术 6.3.5语音和声音交互语音和声音交互技术技术从声从声 音的类型上，可以将这种技术分为非语音的类型上，可以将这种技术分为非语 音（声音）交互技术和音（声音）交互技术和语音交互技术。语音交互技术。非语音交互技术主要使用声音给用户提非语音交互技术主要使用声音给用户提 供听觉线索，供听觉线索，使用户能够有效地掌握和使用户能够有效地掌握和 理解交互内容；语音交换技术包括语音理解交互内容；语音交换技术包括语音
27、 输输入、语音识别和处理及语音输出在内入、语音识别和处理及语音输出在内 的一整套交互技术。的一整套交互技术。一个完整的语音交互系统由语音输一个完整的语音交互系统由语音输 入和语音输出系统两部分组成。入和语音输出系统两部分组成。语音语音输入输入系统包括语音识别和语义理解两个系统包括语音识别和语义理解两个子系统子系统。语音识别系统负。语音识别系统负责将语音转化为责将语音转化为 音素，其识别方法是利用相应的语音特音素，其识别方法是利用相应的语音特 征，如梅尔征，如梅尔倒谱和语音模型、倒谱和语音模型、HMM和高和高 斯混合模型进行切分和识别。斯混合模型进行切分和识别。上一页 下一页返回6.3 混合现实
28、的交互技术混合现实的交互技术语义理解语义理解 系统通过语言模型将语音识别系统的结系统通过语言模型将语音识别系统的结 果进行修正并组合果进行修正并组合成符合语法结构和语成符合语法结构和语 言习惯的词、短语和句子。多元语言模言习惯的词、短语和句子。多元语言模 型得到型得到最广泛的应用。语音输出系统最广泛的应用。语音输出系统分分为有限词汇和无限词汇两种。有限词为有限词汇和无限词汇两种。有限词汇一般用于对汇一般用于对有限的有限的消息提示、控制指令、标准问题进行语音反馈；消息提示、控制指令、标准问题进行语音反馈；对于无限词汇，如盲人使用的读书软件或复杂的导航对于无限词汇，如盲人使用的读书软件或复杂的导航
29、 系统，无法将系统，无法将所有句子进行预先录制，只能通过语音所有句子进行预先录制，只能通过语音 合成的方法形成输出语音。合成的方法形成输出语音。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术 6.3.6其他交互其他交互技术技术 1触觉反馈技术触觉反馈技术触觉反馈技术在产生力学信号的过程中能够通过触觉反馈技术在产生力学信号的过程中能够通过 人类的动觉和触觉人类的动觉和触觉给用户反馈信息。从字面上看，给用户反馈信息。从字面上看，这项这项技术提供给用户的是通过触摸的技术提供给用户的是通过触摸的方式感知实际或方式感知实际或虚拟虚拟的力学信号。但实际上，触觉反馈技术还包括提的力学信号。但
30、实际上，触觉反馈技术还包括提供供 体位、运动、重量等动觉通道的力学信号。这一特点体位、运动、重量等动觉通道的力学信号。这一特点 对拓宽混合对拓宽混合现实的交互带宽，增加混合现实应用的真现实的交互带宽，增加混合现实应用的真 实感和沉浸感有很大的帮实感和沉浸感有很大的帮助。触觉反馈技术就曾用于助。触觉反馈技术就曾用于 乳腺癌触诊训练中。被训人员通过仿真乳腺癌触诊训练中。被训人员通过仿真运动模型，亲运动模型，亲 身体验到虚拟肿瘤上的触觉刺激。身体验到虚拟肿瘤上的触觉刺激。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术2眼动跟踪技术眼动跟踪技术用户感兴趣的区域及用户的心理和生理状态是能
31、用户感兴趣的区域及用户的心理和生理状态是能 够通过眼睛注视的够通过眼睛注视的方向体现出来的。因此，通过方向体现出来的。因此，通过眼睛注视眼睛注视进行的交互技术是最快速的人进行的交互技术是最快速的人机交互方式之一。机交互方式之一。眼动跟踪技术可分为基于视频和非基于视频两种。基眼动跟踪技术可分为基于视频和非基于视频两种。基 于视频的方法于视频的方法使用非接触式摄像机获取用户头部或使用非接触式摄像机获取用户头部或眼睛眼睛的视频图像，再用图像处理的视频图像，再用图像处理的方法获得头部和眼睛的方法获得头部和眼睛 的方向，最终组合计算出眼睛注视方向；非的方向，最终组合计算出眼睛注视方向；非基于视频基于视频
32、 的方法使用接触式设备依附于用户的皮肤或眼球，从的方法使用接触式设备依附于用户的皮肤或眼球，从 而获而获取眼睛注视方向。取眼睛注视方向。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术3笔式交互技术笔式交互技术笔式交互能够模拟人们日常的纸笔工作环境。由笔式交互能够模拟人们日常的纸笔工作环境。由 于笔式交互设备具于笔式交互设备具有便携、可移动的特点，方便了人有便携、可移动的特点，方便了人 们在不同的时间和地点灵活地进们在不同的时间和地点灵活地进行交流。目前，笔式行交流。目前，笔式 交互技术常见的有笔式界面范式、笔迹识别与交互技术常见的有笔式界面范式、笔迹识别与理解、理解、基于笔的交
33、互通道拓展基于笔的交互通道拓展。曾经有人将笔和交互平板。曾经有人将笔和交互平板 作为主要作为主要交互工具交互工具，实现了一个混合现实协同工作，实现了一个混合现实协同工作 环境。环境。上一页 下一页返回6.3 混合现实的交互技术混合现实的交互技术4生理计算技术生理计算技术生理计算是建立人类生理信息和计算机系统之间生理计算是建立人类生理信息和计算机系统之间 的接口的技术。它的接口的技术。它包括脑机接口（包括脑机接口（BCI）、肌机）、肌机接口（接口（MUCI）等。近几年，人机交互）等。近几年，人机交互学术界高度关注学术界高度关注的的对象集中于通过采集的人体脑电、心电、肌肉电、对象集中于通过采集的人
34、体脑电、心电、肌肉电、血氧饱和血氧饱和度、皮肤阻抗、呼吸率等生理信息进行分析处度、皮肤阻抗、呼吸率等生理信息进行分析处 理。肌肉电理。肌肉电曾被应用到基于混合现实的游戏、生活应曾被应用到基于混合现实的游戏、生活应 用、驾驶、手术中，在很用、驾驶、手术中，在很大程度上提高了游戏的参与大程度上提高了游戏的参与 度、生活应用的便捷度、驾驶的安全性度、生活应用的便捷度、驾驶的安全性和手术操作的和手术操作的 卫生程度。也有人员将脑电设备与混合现实图书相结卫生程度。也有人员将脑电设备与混合现实图书相结 合，通过分析少年儿童阅读时候的脑电情况对阅读材合，通过分析少年儿童阅读时候的脑电情况对阅读材 料进行一定的料进行一定的调整，提高儿童的阅读专注度。调整，提高儿童的阅读专注度。上一页返回
