1、2022-6-231第7章 多通道人机交互2022-6-232本章内容 多通道交互技术概述 眼动跟踪 三维输入 实例介绍 2022-6-233多通道交互技术概述 为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体（time-varing media），实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径 8 0 年 代 后 期 以 来 ， 多 通 道 用 户 界 面(Multimodal User Interface)成为人机交互技术研究的崭新领域，在国内外受到高度重视2022-6-234多通道用户界面 消除当前WIMP/GUI用户界面通信带宽不平衡的瓶颈 综合采
2、用视线、语音、手势眼神、表情等新的交互通道、设备和交互技术 使用户利用多个通道以自然、串行/并行、协作的方式进行人机对话 通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性2022-6-235 图51 多通道人机界面概念模型 2022-6-236多通道用户界面研究的目标 多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解 交互的自然性 使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷； 交互的高效性 使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力； 与 传 统 的 用 户 界 面 特 别
3、是 广 泛 流 行 的WIMP/GUI兼容2022-6-237多通道用户界面的基本特点 使用多个感觉和效应通道使用多个感觉和效应通道 允许非精确的交互允许非精确的交互 三维和直接操纵三维和直接操纵 交互的双向性交互的双向性 交互的隐含性交互的隐含性 2022-6-238使用多个感觉和效应通道使用多个感觉和效应通道 感觉通道侧重于多媒体信息的接受，效应通道侧重于交互过程中控制与信息的输入，两者密不可分、相互配合 一种通道(如语音)不能充分表达用户的意图时，需辅以其它通道(如手势指点)的信息；有时使用辅助通道以增强表达力 交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协
4、作的通道配合关系2022-6-239允许非精确的交互允许非精确的交互 人类语言本身就具有高度模糊性，人类在日常生活中习惯于并大量使用非精确的信息交流 允许使用模糊的表达手段可以避免不必要的认识负荷，有利于提高交互活动的自然性和高效性 多通道人机交互技术主张以充分性代替精确性2022-6-2310三维和直接操纵 人类的大多数活动领域具有三维和直接操纵特点 人生活在三维空间，习惯于看、听和操纵三维的客观对象，并希望及时看到这种控制的结果 多通道人机交互的自然性反应了这种本质特点2022-6-2311交互的双向性 人的感觉和效应通道通常具有双向性的特点，如视觉可看可注视，手可控制、可触及等 多通道用
5、户界面使用户避免生硬的、不自然的、频繁的、耗时的通道切换，从而提高自然性和效率 视线跟踪系统可促成视觉交互双向性，听觉通道利用三维听觉定位器实现交互双向性2022-6-2312交互的隐含性 追求交互自然性的多通道用户界面并不需要用户显式地说明每个交互成分，反之是在自然的交互过程中隐含地说明 用户的视线自然地落在所感兴趣的对象之上 用户的手自然地握住被操纵的目标 2022-6-2313多通道用户界面评价 基于多通道用户界面所追求的目标，人们提出相应的评价多通道用户界面的若干指标（Nigay等人提出的CARE指标）： 互补性（complementary）； 指派性（Assignment）； 等效性
6、（Equivalence）； 冗余性（Redundancy）；2022-6-2314互补性 互补性是指若干通道必须以互补方式完成特定的交互任务，也就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令 互补性可能存在一个“优势通道（Dominant Modality）”，并需要其他通道予以辅助，例如，用语音直指（“This city”），则需鼠标在屏幕对象上指点2022-6-2315指派性 指派性是指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代 指派性可分为两种情形 一种是不存在其他选择，称为严格的指派性（Str
7、ict Assignment） 另一种是虽然存在选择，但用户或系统总是倾向于使用同一种通道，称为代理指派性（Agent Assignment）2022-6-2316等效性 等效性是指在完成特定交互任务时至少有两种以上通道可以互相替代，由于设备特性、用户习惯或临时因素（如手头正忙）而使某种通道不能使用时，可选择其他通道代替。2022-6-2317冗余性 冗余性是指在特定交互中多个通道同时使用并具有相同的表达作用 不同通道为相同参数提供所需信息，并且所表达信息可能是一致的，也可能是矛盾的2022-6-2318眼动跟踪（Eye-Gaze Tracking） 与视觉有关的人机交互自始至终都离不开视线的
8、控制 如果能通过用户的视线盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤 有关视觉输入的人机界面研究主要涉及两个方面一是视线跟踪原理和技术的研究二是在使用这种交互方式后，人机界面的设计技术和原理的研究2022-6-2319眼动跟踪 早期的视线跟踪技术首先应用于心理学研究、助残等领域，后来被应用于图像压缩及人机交互技术 视线跟踪技术有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分 视线追踪主要用于军事领域（如飞行员观察记录），阅读及帮助残疾人通信等 2022-6-2320 图52 Stanford University和The
9、Poynter Institute合作研究 人们对于Internet上新闻的注意程度 2022-6-2321图53 人们对于Internet上新闻的注意程度研究结果 2022-6-2322人们对于Internet上新闻的注意程度研究结果 内 容注视率文章文字（Articles text）92%简讯（Briefs）82%照片（Photos）64%标题广告（Banner Ads）45%图形（graphics）22%2022-6-2323 眼动的主要形式 眼动有三种主要形式 跳动（Saccades） 在正常的视觉观察过程中，眼动表现为在一系列被观察目标上的停留及在这些停留点之间的飞速跳跃 在注视点之
10、间的飞速跳跃称为眼跳动。 注视（Fixations） 停留时间至少持续100ms以上的称为注视。在注视中，眼也不是绝对静止不动，会有微小运动，但大小一般不会超过1视角。 绝大多数信息只有在注视时才能获得并进行加工。 平滑尾随跟踪（Smooth Pursuit） 缓慢、联合追踪的眼动通常称为平滑尾随跟踪。 2022-6-2324 眼动跟踪的基本要求 在人机交互中眼动跟踪技术必须满足以下几点要求，才能满足实际需求： 不能妨碍视野 不要与用户接触，对用户基本无干扰 精度要高 动态范围要从1弧分（六十分之一弧度）到45 反映速度要快，实时响应 能与获取的身体和头部运动相配合 定位校正简单 可作为计算机
11、的标准外设 2022-6-2325 眼动跟踪的基本原理 利用红外发光二极管发出红外线，采用图像处理技术和能锁定眼睛的特殊摄像机，通过分析人眼虹膜和瞳孔中红外线图象点的连续变化情况，得到视线变化的数据，从而达到视线追踪的目的。 从视线跟踪装置得到的原始数据需要经过进一步的处理才能用于人机交互。 数据处理的目的是滤除噪声、识别定位及局部校准与补偿等，最重要的是提取出用于人机交互所必需的眼睛定位坐标。 但是由于眼动存在固有的抖动，以及眼睛眨动、头部剧烈的移动所造成的数据中断，存在许多干扰信号，提取有意眼动数据非常困难。解决此问题的办法之一是利用眼动的某种先验模型加以弥补。 2022-6-2326米达
12、斯接触问题与解决方法 “米达斯接触（Midas Touch）”问题： 如果鼠标器光标总是随着用户的视线移动，可能会引起用户的厌烦，因为用户可能希望能随便看着什么而不必非“意味着”什么，更不希望每次转移视线都可能启动一条计算机命令。 避免“米达斯接触”问题的方法：在理想情况下，应当在用户希望发出控制时，界面及时地处理其视输入，而在相反的情况下则忽略其视线的移动。 可采用其他通道（如键盘或语音）进行配合。2022-6-2327三维输入 许多应用（如虚拟现实系统）需要三维空间定位技术：三维空间控制器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。 通过控制这六
13、个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。 三维空间控制器、视线跟踪器、数据手套等输入设备产生的空间位置是相对的。 在三维用户交互中必须便于用户在三维空间中观察、比较、操作、改变三维空间的状态。2022-6-2328三维空间的交互操作方式 三维光标 由六自由度三维输入装置控制的三维光标将使三维交互操作更自然和方便； 三维光标必须有深度感，即必须考虑光标与观察者距离：离观察者近的时候较大，离观察者远的时候较小； 确定光标在三维空间的方向，这种定向操作必须自然且方便操作；为保持三维用户界面的空间感，光标在遇到物体时不能进入到物体内部。三维光标的实现需要大量的计算，对
14、硬件的要求较高，编程接口也比二维光标复杂得多。 2022-6-2329三维空间的交互操作方式 三维widgets 三维widgets即三维交互界面中的一些小工具。用户可以通过直接控制它们使界面或界面中的三维对象发生改变。 三维widget包括在三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。 许多三维用户界面的研究者正在设计和试验各种不同的三维widgets，希望将来能够建立一系列标准的三维widgets就像二维图形用户界面中的窗口、按钮、菜单等。2022-6-2330图55 三维widgets图例2022-6-2331采用三视图输入技术，实现三维的输入 如果输入一个三维
15、点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点；把直线段上两端点在三视图上输入后便可决定三维空间的一条直线；把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面；如果把一个多面体上的各面均用上述方法输入，也就在三维空间中输入了一个多面体2022-6-2332 图56 三视图输入实例2022-6-2333多通道人机交互 通道(Modality) 用户可以使用手动、语言、眼神等多种效应通道与计算机系统进行交互2022-6-2334多通道人机交互 通道 指传送或获得信息的通讯通道的类型，它包含了信息表达、感知以及动作执行的方式，定义了数据类型 模式 一种状态或上
16、下文信息，决定对信息的解释一获取意义 通道整合(Modality Integration)指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程2022-6-2335多通道用户界面的三维表示模型2022-6-2336多通道用户界面的概念模型2022-6-2337人机交互模型的发展2022-6-2338输入原语 为了摆脱设备的特定物理特性和操作方式上的差异，便利多种输入设备在词法级的整合，有必要在物理设备和对话控制中再抽象出一层，即输入原语翻译层 与应用无关的输入原语的抽象具有重要意义 原语IP(Input Primitive)代表了用户到计算机的词法输入，它是来自不同的通道的独
17、立的、最小的、不可分割的操作，这些原子操作在一定的应用上下文中有着特定的交互意义2022-6-2339输入原语 界面需抽象出一个简单完备的原语集合 每个IP可实例化为一个四元组用户动作，数据表示，使用通道，时间标签它体现了某一时刻来自某个输入通道的用户输入动作与一种内部数据表示联系在一起 IP是通道无关的，不同的物理通道的输入可以映射到相同的IP二维鼠标的Click动作和眼动跟踪的眼睛凝视动作都可归为指点类IPPOINT；2022-6-2340输入原语 IP是应用无关的，在软件环境的支持下，同一个IP在不同的应用上下文中可被解释为完全不同的操作 根据用户的交互意图和交互方式，抽象出六类输入原语
18、浏览（NAVIGATE），指点（POINT），拾取（TOUCH），文本（WORD），变换（TRANSFORM）手势（GESTURE）2022-6-2341输入原语2022-6-2342输入原语2022-6-2343用户模型和描述方法 在构建一个多通道界面的结构模型时，以下是问题关键不应该在应用程序中进行多通道整合允许用户完成不同通道与不同功能之间的映射多通道相互作用能在不中断相互作用过程的条件下随时相互启动和终止2022-6-2344用户模型和描述方法VisualMan 多通道用户界面模型2D GUI应用 /3D VR应用通 道 整 合交 互 分 析交 互 设 备2022-6-2345用户模型
19、和描述方法 交互设备处理直接来自不同通道的输入，系统对每一时刻的全部输入进行加工主要的交互通道包括语音、手和身体的运动以及视觉追综等 交互分析根据各通道的特性分析来自不同通道的输入，形成交互的原语完成定位、说明属性和操作。交互分析使原语的说明变得与设备无关 通道整合将相同操作维度的原语输入通过整合来完成某项任务的操作，从而做到任务的完成与通道无关不同的物理装置能整合成相同的操作，形成与装置独立的多通道界面2022-6-2346用户模型和描述方法 在这个多道通用户界面模型中，有二个重要的特征值得注意用户对一个特定的操作没有固定的输入顺序各输入的时相(timing)对说明操作维度是非常重要的202
20、2-6-2347用户模型和描述方法2022-6-2348用户模型和描述方法 层次化的多通道界面描述方法HMIS LOTOS （Language Of Temporal Ordering Specification）LOTOS算符主要有以下几种： T1 | T2（交替Interleaving) T1 T2（选择Choice) T1 | a1,.,an | T2（同步Synchronization) T1 T2 （禁止Deactivation) T1 T2（允许Enabling)2022-6-2349象棋对弈实例中国象棋2022-6-2350用户模型和描述方法LOTOS2022-6-2351用户模
21、型和描述方法拾取棋子UAN2022-6-2352用户模型和描述方法放置棋子2022-6-2353用户模型和描述方法基于事件-目标的多通道用户结构模型2022-6-2354用户模型和描述方法分布式多通道用户界面的结构模型2022-6-2355多通道整合和算法 分布式多通道用户界面模型 共享窗口客户 通过网络完成对同一系统的操作，每一个用户都可以在他的私有窗口中通过多个通道和CSCW系统交互，操作的结果可以在共享窗口中显示出来 共享窗口服务器 共享窗口服务器同时为所有的用户提供系统输出 DMMI协调服务器 支持多用户之间的协作2022-6-2356多通道整合和算法 基本概念 整合（Integrat
22、ion) 在比较低的层次上，主要关注如何把各种各样的交互设备和交互方式容纳到系统中 在较高的层次上，主要关注多个通道之间在意义的传达和提取上的协作 融合 (Fusion) 在多个层次上（词素的、词法的、语义的、会话的）上对来自不同通道、具有不同表示的信息的合一化处理，其目的是正确地获取用户输入，特别是正确地解释用户输入 分流 (Fission) 在多个层次上对需要向用户传达的特定信息向不同输出通道、不同信息表示和表现的转换2022-6-2357多通道整合和算法 多通道整合实例分析 自然语言/语音和指点的整合 语音与唇读的整合 眼动和其他通道的整合2022-6-2358多通道整合原理_通道用法
23、语音和手势/直接操纵互补 其他形式的多通道整合也应该考虑，如语音和书写的整合 语音通道并不需要支持大词汇量，并且当词汇量小时识别得到改善 结合多个通道的输入有利于提高识别率 在任何时候所有通道都应该可用，以保证通道的自由组合 如果存在限制，则限制应该是来自交互任务本身，而非系统功能的局限2022-6-2359多通道整合原理_系统结构 系统应该能够在硬件和软件上支持多种、多个通道 时间是融合处理的基本准则系统需要能够精确记录通道输入事件的时间 以自然语言处理为核心将强烈影响多通道系统的结构； 采用语音/自然语言为输入方式的系统也可以采取更简单的系统结构和整合方法 语义层次的整合会给界面带来更多的
24、应用相关性，整合需要充分利用应用领域信息 由于各个通道的技术是不完美的，任务特定的应用领域有利于实现多个通道的协作，这里存在着强的约束2022-6-2360多通道整合原理-整合策略 语音和手势信息的融合是目前整合的主要问题 融合中的一个重要问题是歧义消除上下文知识或者会话模型有助于消解歧义的输入并提高识别率 设备之间在时间响应上的差异可能非常大 多通道反馈是一个在信息融合过程中及时与适当地向用户分流重要信息的过程 急性子融合只要多通道输入支持一定程度的整合，就开始处理，可以看作事件驱动的 慢性子的融合则要到具有了全部输入之后才开始处理。 融合处理可以是分散系统中，也可以集中进行2022-6-2
25、361面向任务的整合模型(ATOM) 多通道界面的面向任务设计，需要解决如何将同一任务的相关信息让不同的通道来分担，并使它们能够相互协作的问题任务结构的设计解决如何定义任务的总的行为结构的问题，以及相应的交互任务参数的设计要解决如何构成一个完整的任务表示的各个参数的问题 参数的输入可能是以多通道的方式进行的。 与传统界面相比，任务参数的设计问题在多通道界面设计中尤其突出，多通道协作的指称就是这一设计所要考虑的问题之一2022-6-2362多通道输入的格模型 多通道整合的问题可以看作一个如何对多通道信息流加以合理地组块化并正确解释各个组块的意义的问题将整个多通道输入流分割成对应于任务的“段”和对
26、应于任务参数的“节”；分块的依据主要是语法约束和时间接近性 模型以格(lattice)这种代数结构为基础 来自多个通道的输入在时间上的关系是一种偏序关系 为了支持多通道整合，需要由各个通道输入处理程序给每个输入事件加上时间戳，这种时间戳应该尽可能接近用户相应动作发生的时间2022-6-2363积木世界实例2022-6-2364格模型整合算法2022-6-2365格模型整合算法多通道输入的格模型2022-6-2366面向任务整合的主要因素 任务 时间 任务结构和任务参数的多通道结构 上下文 应用领域信息2022-6-2367面向任务整合整合算法(1)1)通过自下而上的过程识别出任务，比如单纯地根
27、据语音识别的结果2）根据任务知识更新任务上下文3）对任务结构中的每一任务参数重复执行下面的（1）（2）（1）根据任务结构信息并利用时间节进行进行输入分解；（2）在分解后，进行任务参数的多通道整合，根据不同情况处理自然语言中的指称自然语言中的指称：A)通过应用相关的处理，结合交互上下文，根据指点输入求出候选对象集P.B)通过应用相关的处理，结合交互上下文，根据名词短语输入求出候选对象集NC)根据不同的指称方式：a)直指指称：以P作为所指集R;b)代词指代指称：结合上下文，求出P中满足会话上下文约束的候选对象，以P作为所指集R;2022-6-2368面向任务整合整合算法(2)c)名词短语（可以是指
28、代的）指称：求出P与N的交集，结合会话上下文，求出该交集中满足会话上下文约束的候选对象，作为所指集。D)根据任务相关约束（如当前任务不能以某些对象为参数）进一步缩小R。E)如果R为空，或者R中有超过允许个数的候选对象，则整合失败。F)给出适当反馈，如突出显示所指对象。其他情况1:相应处理其他情况2：相应处理。4）将具有完整而确认任务参数信息的任务表示提交给应用执行。2022-6-2369多通道整合和算法2022-6-2370多通道分层整合模型和算法通道信息的分层表示2022-6-2371多通道分层整合模型和算法多通道的整合模型2022-6-2372多通道分层整合模型和算法 词法级整合设 IP1
29、= , IP2=IP1IP2=ACTION3, PARA1 PARA2,(TEMP1+TEMP2)/2IF ACTION = ACTION2 and |TEMP1-TEMP2|T,where T 是两个通道相关的最小时间间隔且ACTION1 = ACTION2 = ACTION3IP1 IP= IP1 or IP2IF ACTION1 ACTION2 or | TEMP1-TEMP2| T语法级整合 将原语分层三类：表示动作，对象和对象属性2022-6-2373多通道分层整合模型和算法 语义级整合TASK:=PARA:=Mi=(提交的任意参数）Mi TASK = if TYPEi=TYPEj
30、and |TEMPi-TEMPj|/2 T,where PARAj*表示整合的结果，其中PARAj* = Mi TASK =IF TYEPiTYPE1,2,j,n or |TEMPi TEMPj| T2022-6-2374基于概率模型的指称整合模型三级整合的整体结构模型2022-6-2375基于概率模型的指称整合模型多通道整合的体系结构2022-6-2376基于概率模型的指称整合模型多通道整合的体系结构2022-6-2377基于概率模型的指称整合模型概率整合的基本机制2022-6-2378基于概率模型的指称整合模型 概率变换发生在整合过程的不同阶段 交互元素提取器 在某一时刻t输出整合概率Pi
31、(t)(1 i m,m为通道数) 命令整合器 在某一段时间段t0,tn内接受来自各交互元素提取器产生的整合概率Pi(tj)(1 i m,1 jn) 对于每个交互元素i,在t0,tn经过整合，得到与时间无关的整合概率：2022-6-2379基于概率模型的指称整合模型不同阶段的概率变换2022-6-2380基于概率模型的指称整合模型几个重要问题 交互周期从用户发动一个交互任务到提交系统完成该交互任务时间间隔，是交互任务的基本单位“超时“阀值为了支持回溯事件,工作事件队列WEQ保存给定时间内的所有事件 可能会溢出不同参数对WEQ的遍历深度可能不同2022-6-2381基于概率模型的指称整合模型几个重
32、要问题 时序问题时序适应向用户界面自然性的重要特性多通道用户界面应当支持非时序性，允许用户以任何合理的顺序指定交互任务的各种交互元素如何根据非严格时序交互捕捉用户的交互意图 首先确定动作 在获得了任务的结构后，就获得了任务结构中各参数之间的时序关系 可以按有序和无序的要求填写参数槽2022-6-2382基于概率模型的指称整合模型几个重要问题 交互上下文 事件的指向（是否有目标）、系统的状态、应用语义 响应特性 通道相关概率根据交互任务的匹配特性，不同通道和设备适合于不同的交互任务，通道和设备对于完成任务的自然形成都会有所不同 同一事件可解释为不同参数，但具有不同的概率， 不同事件可解释为同一参
33、数，概率各不相同2022-6-2383基于模糊识别模型的视线交互整合模型 视线交互将视线交互抽象成不精确的指称，采用模糊识别模型进行视线的交互整合 手势的指点范围2022-6-2384基于模糊识别模型的视线交互整合模型 人机交互中的指称技术自然语言处理技术指称处理 描述式 直指式 指代式目标选择与指称 按名引用（描述式） 属性描述（描述式） 空间引用（直指式） 时间引用（指代式） 指代（指代式） 间接引用（描述式和直指式结合）2022-6-2385基于模糊识别模型的视线交互整合模型 人机交互中的指称技术参数指定与指称 可以用语言描述35 直指式 间接方式 人机交互中的模糊信息多通道用户界面需处
34、理模糊信息，在多通道整合中集中处理2022-6-2386基于模糊识别模型的视线交互整合模型 模糊目标选择与参数指定算法属性模糊集的确定 将目标的可描述属性视为一个模糊集域，每个目标属性可以用适当的语言变量的原词来概括 空间位置：上、下、左、右、中、前、后、左上、东 形状大小：大 、中、宽、圆的 颜色特征：日常颜色 名称特征：在上下文中并不能唯一确定的个体和忽略大小写、拼写错的名称等 位序模糊特征：下一个、前面的、附近的、刚刚经过的2022-6-2387基于模糊识别模型的视线交互整合模型 模糊目标选择与参数指定算法属性模糊集的确定 直指模糊集2022-6-2388基于模糊识别模型的视线交互整合模
35、型 模糊目标选择与参数指定算法指称范围的确定 特定单选 非特定单选 复选指定词汇集的确定 模糊目标选择算法需要识别和处理四类描述词汇属性形容词：大的、红的修饰副词：很、稍微、一些、一点、最范围限定词：这个、一个、所有、每个连接词：而且、或是、不是、非2022-6-2389基于模糊识别模型的视线交互整合模型 模糊目标选择与参数指定算法隶属函数的确定 位置：采用以目标中心点为自变量的分段函数 形状大小：先找出参考标准，在确定目标的实际指标与标准值之间的函数关系 颜色:GRB模型计算距离 位序：离散形式 直指：兴趣区域2022-6-2390基于模糊识别模型的视线交互整合模型 模糊目标选择与参数指定算
36、法模糊目标识别 特征抽取：从对象xi(i=0,2,n)中提取与识别有关的特征，并监测xi在各个特征上的具体数据，将对象xi转换为模式 p(xi)=(xi1, xi2,xin) 建立隶属函数A： 识别判决：找出最接近的模糊集A最大原则阀值原则混合原则2022-6-2391基于模糊识别模型的视线交互整合模型 目标识别算法根据用户描述的属性信息分析并选取有关特征，形成目标模式根据目标模式的隶属度函数，计算交互场景中每个目标在“描述属性”中所涉及的属性模糊子集上的隶属度根据描述属性中包含的逻辑关系和程度修饰词，计算目标的复合隶属度若复选操作，则使用“阀值原则”判决，选择出隶属度高于阀值的所有目标若为单
37、选操作，则综合使用“阀值原则”和“最大原则”2022-6-2392基于模糊识别模型的视线交互整合模型 模糊参数指定参数通常是连续的和无限的从用户描述信息中提取参数的本质是去除模糊性 对于用户未提到的属性纬度，可以使用平均参数随机参数缺省参数 对于用户提到的属性维度，可在模糊集中使用极大；极小；中间；随机策略2022-6-23935.4 实例介绍 多通道人机交互与许多领域紧密相关，包括：多媒体、虚拟现实、模式识别（语音识别、手写识别、表情识别及相应的合成技术）、自然语言处理等。 以基于多通道交互技术的虚拟座舱和象棋游戏为例说明多通道人机交互的特性2022-6-2394基于多通道交互技术的虚拟座舱
38、 利用虚拟座舱系统来发展座舱设计新概念是一种有效的方法 易于重构和低费用是利用虚拟座舱系统的有利因素 在虚拟座舱系统中采用多通道用户界面设计是座舱发展的趋势 飞机性能的日益提高使得飞行员与机器之间的信息交换更加频繁，如何拓宽信息传输通道是迫切需要解决的问题 通过多通道来交换信息是解决问题的主要方法2022-6-2395虚拟座舱系统的构成 虚拟座舱系统通过视觉、听觉、触觉向飞行员提供信息，飞行员通过言语、手来控制飞行。 虚拟座舱系统由硬件和软件两部分组成2022-6-2396硬件组成 整个虚拟座舱系统的硬件组成包括座舱框架、油门杆、驾驶杆、座椅、话筒、触摸屏、三对影像以及两台显示器。这些硬件通过
39、两台计算机整合在一个系统里 座舱框架、座椅定义了座舱的轮廓 ； 由手控制的油门杆、驾驶杆向飞机输入了油门、俯仰角和横滚角的变化情况； 话筒输入了飞行员的言语指令； 触摸屏输入了仪表板上开关和旋钮的状态；一台显示器负责显示视景信息； 另一台负责仪表板的信息显示。声音是根据飞机中发声装置的位置、音量，通过头部关联函数整合计算后分配给布置在六个方向上的音响来实现的。2022-6-2397 图57 虚拟座舱系统的硬件构成视景显示器仪表板显示器视景/音响发生系统监视器控制系统监视器操纵杆话筒触屏2022-6-2398软件组成 虚拟座舱系统的软件组成分为五个模块： 座舱视景系统 座舱仪表显示系统 飞机动力
40、学系统 飞行控制系统 座舱网络通讯系统 虚拟座舱系统功过控制面板协调输入（油门杆、操纵杆、触摸屏 和语音）和输出（仪表和视景）的关系 飞机方程（GMS OCX）负责解算飞行姿态和油门杆、操纵杆的输入 语音指令通过IBM ViaVoice解释，开关和旋钮的信息通过触摸屏软件（Micro Touch）收集2022-6-2399 图58 虚拟座舱系统的软件构成飞机方程参数控制面板(Client)触摸屏软件语音识别软件视景显示仪表显示(Server)2022-6-23100多通道控制板的主要功能 多通道控制板采用了基于事件目标的多通道用户界面软件平台（MMUI）。 MMUI模型虽可支持多种通道，但目前
41、的系统只实际配备和实现了手和口两种通道，涉及控制器、触摸屏和语音识别软件等交互设备 语音识别采用了IBM ViaVoice接口。IBM ViaVoice是IBM开发的语音识别软件系统，支持非特定人连续语音识别。 多通道控制板能够让飞行员在机上完成一定的飞行任务。飞行员可以使用语音、触摸屏及操纵杆驾驶飞机，具体的命令和方式见表5.1，5.2，5.32022-6-23101用户命令效应动作“起飞”使飞机进入航行状态“停止”终止飞机的航行状态“语音驾驶”使飞机进入语音驾驶状态“手动驾驶” 使飞机进入手动驾驶状态“保持航向” 保持飞机当前的飞行速度和航向“加速” 使飞机飞行速度增加一档“减速” 使飞机
42、飞行速度降低一档“左转” 左转弯“右转” 右转弯“向上” 爬升“向下” 俯冲“开火” 发射武器表5.1 语音操纵2022-6-23102表5.2触屏操纵用户命令效应动作按下“起飞”按钮使飞机进入航行状态按下“停止”按钮终止飞机的航行状态按下“退出”按钮退出虚拟座舱系统2022-6-23103表5.3 操纵杆操纵用户命令效应动作左右移动操纵杆左转弯或右转弯前后移动操纵杆爬升或俯冲移动油门杆使飞机飞行速度增加或降低按动操纵杆按钮发射武器2022-6-23104小结 对多通道交互技术进行了概述，包括：多通道用户界面研究的目标，多通道用户界面的基本特点，以及多通道用户界面评价 介绍了多通道人机交互的关键技术： 眼动跟踪和三维输入 介绍了多通道界面的描述方法和整合原理 对多通道用户界面的实例基于多通道交互技术的虚拟座舱和象棋游戏进行了介绍
