1、数字媒体专题讲座课程 自然人机交互技术Natural Human-Computer Interaction主讲教师：孙树森2012年2月18日2outlinesoHistoryoChallengesoDriving forces of natural user interfaceoCase discussion3HistoryoHCI历史人适应计算机n1960s-1970s：KB,command linen1980s-1990s:MS,GUIo当前n仍以MS，GUI为主，辅以手写、声音、手势等o未来n自然人机界面？4自然人机交互的概念o人们对当前的人机交互方式并不满足，因为人与人之间的交互，主
2、要不是通过手来实现的，而是通过听说(听觉)、表情、手势、体势(视觉)等综合的方式进行的。o所以人们期望下一代人机交互能向人与人之间交互那样自然、快捷。20世纪90年代以来，人家交互进入了多模态的阶段称为自然人机交互，但距离人们的期望还有较大差距。5自然人机交互的主要功能o识别交互对象知道在与谁交互，可以根据视觉、听觉、体态等信息通道获取的知识进行时别和判断，Kinect一定程度可以做到。o理解对话的内容,并做出相应。这主要由听觉通道获取知识，但由于语言本身是双模态的，由视觉通道获取唇动知识及表情知识对某些语音识别是非常重要的。o理解对方的手势和体势，这主要有视觉通道处理，但对话的上下文对理解手
3、势和体势也是有益的。6自然人机交互的主要功能o理解对方的情感状态，以便更好的理解对方的对话内容、思想、意图，这主要通过对面部表情和语音语调的识别来进行判断。o能对说话人进行定位和跟踪，仿佛人与人进行交流，需要注视对方，看对方的眼神，多人对话，还会区分说话人。7自然人机交互的特征o交互方式上，输入输出都是多模态的，至少视觉和听觉双模态o交互内容上，不尽仅只是表达语义还有情感。o交互界面上，采用智能代理界面，以完成人机的多模态交互，且界面应该是开放、协调和分布式和人性化的o交互环境上，能营造逼真的2D/3D虚拟环境，使人机交互和人人交互类似，达到自然和谐。8需要实现的细分目标o为了人机自然交互，要
4、让计算机n具有 视觉、听觉、触觉和嗅觉等感觉和知觉n具有 学习、记忆以及情感等认知能力n具备说话、书写、绘画等表达能力n甚至具有本题感觉和自我意识。9自然人机交互前沿技术o体感器oSoundWaveoHumantenna oLightGuideoMirageTable10SoundWaveo声波（SoundWave）项目传感技术，利用电脑上的扬声器和麦克风来感应周围的手势和动作。扬声器发出的超声波音波（这种声波人们听不见，但是麦克风可以）可以检测由多普勒效应（Doppler Effect）引起的微妙频移的声波。当人们在电脑前做出手势的时候，超声波音波就以轻微的、不同的音量和波长反射回扬声器，随
5、后这些数据可用于测量速度、方位、距离、尺寸以及改变/移动的频率。声波技术能够检测多种多样的手势，还能直接控制现有的应用，无需用户佩戴任何特别的传感器ohttp:/ demo12HumantennaoHumantenna技术,不需要借助周围任何检测设备，就能够感应到人体全身的动作，利用环境中电器和电线发出的电磁噪音，让人体像天线一样接受这些噪音（信号）。用户佩戴一个信号检测和传输装置（目前是一个背包原型），该装置会随着时间的推移测量人体表面的电压及其变化，使系统能够识别用户的位置，动作以及手势，与用户进行实时的交互。目前，Humantenna能够检测12种姿势，精确度超过90%。ohttp:/
6、ohttp:/ Demo14LightGuideoLightGuide是一种手势向导的新方法，把一台深度摄像机和数字投影仪结合在一起，就能成为一名受人欢迎的虚拟老师。LightGuide将视觉提示（visual hints）直接投影到用户的身体上，提供实时的视觉反馈和前馈指令，指导用户正确地完成各种动作。研究人员表示，下一阶段的研发将把投影扩大到其他的身体部位，指导更大范围的动作。并且将与其他如计算机辅助运动等技术相结合。15LightGuide Demo16MirageTableoMirage Table将视线追踪、投影仪及一个3D显示屏结合在一起，可以在3D环境中进行动态模拟，以及实现真实
7、的物理行为。也就是说MirageTable允许人们在一个虚拟环境中进行交互式协作。通过这张神奇的幻影桌，3D立体投影仪可以将实质影像直接投射到弧形桌面上。Kinect摄像头将捕捉这些影像数据，并且能够追踪用户凝视的视角，呈现正确的透视图，实现在增强现实桌面上的徒手交互。ohttp:/ 17MirageTable Demo18基于增强现实人机交互o出现花朵的增强现实（）由国际领先的互动技术及互动媒体解决方案提供商品美信息科技有限公司（PMI Technologies Inc.）ohttp:/ ohttp:/ 19参考文献o 余涛 著，Kinect应用开发实战：用最自然的方式与机器对话，机械工业出版社，2012 http:/ ohttp:/ ohttp:/ 20Conference&Symposiumo中国计算机学会青年计算机科技论坛“自然人机交互技术”报告会 http:/ o ACM 人机交互会议 CHI每年举办一次，oCHI 2012 http:/ 21谢谢 你的倾听与参与
