20基于PC平台的AR系统技术-14讲49课件.ppt

1、基于PC平台的AR系统关键技术研究和基于VR培训系统开发o 基于PC平台的AR系统关键技术研究 o 基于VR培训系统开发基于PC平台的AR系统关键技术研究o 系统总体结构o 实时跟踪系统 o 多通道交互技术 o 场景融合技术o AR开发平台Illusiono 虚拟物体制作和头盔显示o 虚拟魔幻屋的设计与实现 系统总体结构实时跟踪系统多通道交互 场景融合 AR开发平台Illusion 显示部分实时跟踪系统 在AR系统中，实现虚拟信息和真实信息无缝集成要解决系统的静态和动态错误 ：p 解决静态错误所采用的技术方案p 解决动态错误所采用的技术方案静态错误解决方案 基于计算机视觉理论的实时跟踪技术和跟

2、踪系统的实现 实时的、较好精度和鲁棒的动态定位计算模块 简便的、自动的、高精度和鲁棒的摄像头定标技术 多目视觉跟踪系统的设计原则和安装措施返回返回动态错误解决方案 o 人工标志的设计o 针对标志的图像跟踪算法o 基于并行机制的实时图像处理技术o 基于并行机制的实时图像绘制技术o 基于PC平台的实时、高性能的图形数据显示管理系统两节点视觉跟踪系统两节点跟踪系统基本结构两节点跟踪系统基本结构跟踪标志的设计l所有的图案点共面;l每个圆点的半径相同；l相邻圆点的圆心上下左右的距离相等；l其中边缘两组点的圆心分别共线，并且这两条线互相垂直；l点的颜色为白色，背底为黑色; 人工特征点提取和匹配算法4，52

3、3671人工标志的空间姿态重建 Zc1 u1, v1, 1 T = M1 x, y, z, 1T Zc2 u2, v2, 1 T = M2 x, y, z, 1T单个人工标志物的跟踪和三维重建 左图像右图像重建结果多目视觉系统o由于两个摄像头的有效跟踪范围有限，可采用多摄像头阵列的多目跟踪技术和姿态重建，本发明中采用了呈平面网格分布的多目立体视觉结构，每个摄像头的光轴垂直水平面，光心均匀的分布在网格点上，图中阴影部分为有效跟踪范围。在建立该多目视觉系统时，H为摄像头光心的安装高度，h为稳定的跟踪区域的高度，一般情况下，摄像头的两个方向的视角不同，设；为保证各个方向稳定的跟踪区域的高度h相等，网

4、格的间距d1、d2应满足一定的约束；如下式所示： o在实际安装多目立体视觉系统时，考虑到摄像头的参数和方向不可能完全一致，为保证稳定的跟踪区域的高度h,加入修正因子h,可按下面两式的计算d1、d2。12(/2)(/2)dtgkdtg)2(1tghhHd12kdd多目视觉系统构架c11c12c13c11c12c13c21c22c23c31c32c33c11c21c31c11c12c13c21c22c23c31c32c33d1d2H HH Hh hh h多通道交互技术o 视觉通道nAR系统通过视觉通道产生以用户本人为视点的包括各种景物和运动目标的场景，人通过头盔显示器(HMD)等立体显示设备进行观

5、察。 o 听觉通道n在AR系统中加入三维虚拟声音，可以增强用户在虚拟环境中的沉浸感和交互性。项目中采用Direct Sound技术完成了背景音乐、音效的三维声音定位。o 力反馈n在本项目AR系统中，由引入力反馈，通过力学反馈操纵杆，让用户对增强现实环境有了一种“看得见摸得着”的感觉。 o 用户的输入零训练的语音识别系统 目前环绕语言技术的另一个领域就是如何把现有的语音识别技术应用到各个领域，让增强现实环境理解人的语言，可以提高人机交互的自然性。 o本项目中采用Spark SDK开发工具包，无须进行语音训练，即可识别定义好的语音命令，并与Internet控制技术相结合，实现了增强现实环境的交互。

6、系统的结构如下图所示：场景融合技术 o 坐标转换 o 真实场景视频采集 o 真实摄像头参数求解 o 摄像头标定和校正 o 虚拟摄像头校正 o 虚实融合 坐标转换 返回返回真实场景视频采集 我们使用DirectShow构架的软件模块，通过视频采集卡采集外部视频信号。这个软件模块的滤镜图如下：返回返回真实摄像头参数求解方法 o 摄像头模型 o 标定算法 o 畸变校正算法 o 焦距、视角的计算 返回返回AR开发平台Illusion AR开发平台Illusion的任务是完成AR项目所需要的实时图形显示和交互功能。AR项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显示，融合后场景的内容能够通过

7、各种已知或者未知的方式进行交互，支持特效的扩展，支持动画，支持故事线等。AR开发平台Illusion具有以下特征： p 管理扩展模块的能力 p 采用OpenInventor的显示机能 p 支持视频融合 p 分层式软件结构：l采用核心层、扩展层和应用层三层结构，从而可实现灵活的模块化管理、开放的扩展体系AR开发平台开发平台Illusion模块化结构模块化结构 模块划分o Studio （用于构造基础模块） iCom提供基于DirectPlay的通讯功能； iCore提供基础的模块和数据管理功能； iDeform提供变形计算，用于支持顶点动画； Illusion提供应用程序载体。o Plugin

8、（用于构造扩展模块 ） Animation提供具体的动画实现 Camera模块提供Camera控制功能 GA、VA模块实现了具体的刚体动画(GA)、顶点动画(VA)数据操作 Illusion模块提供了基础启动管理功能，决定了整个系统的启动配置 Video模块实现的是视频捕捉，至于捕捉以后的数据如何使用则是由 iCore模块决定的 三维虚拟物体的制作o AR系统中包括虚实两方面的数据，虚拟的数据就是必须创造一个虚拟环境，这个虚拟环境包括三维模型、三维声音等，在这些要素中，因为在人的感觉中，视觉摄取的信息量最大，反应亦最为灵敏，所以创造一个逼真而又合理的模型，并且能够实时动态地显示是最重要的。o

9、虚拟现实系统构建的很大一部分工作也是建造逼真合适的三维模型。三维虚拟物体的制作虚拟场景的构造主要有以下途径：u 基于模型的构造方法 ： (1)多边形建模； (2) NURBS建模 ； (3)细分曲面技术 ；u 基于图像的绘制 (IBR) 增强现实中虚拟物体的创建技术 为了充分利用发挥艺术创作人员的创造力，允许他们利用熟悉的主流三维建模工具3D Max进行虚拟场景和物体进行建模，然后利用开发的专用转换插件实现三维虚拟物体的导出，并AR系统中加以利用，可以大大加快系统的开发进程。本系统中的三维模型利用3DMAX制作、导出，然后在Illusion平台进行调整和显示，整个制作流程包括如下4个部分：n物

10、体造型n材质纹理n动画制作n合成导出增强现实显示系统oMonitor-based增强现实显示系统o 光学透视式(Optical See-through)增强现实显示系统o 视频透视式(Video See-through)增强现实显示系统返回返回Monitor-based增强现实系统增强现实系统返回返回光学透视式增强现实系统光学透视式增强现实系统返回返回视频透视式增强现实系统视频透视式增强现实系统 头盔显示系统（I）本项目采用视频透视式头盔显示系统，为了实现良好的沉浸感，必须实现基于头盔双通道的立体显示技术。由于头盔具有两个微型液晶显示器，可以同时显示左右眼的图像，为了能够将增强场景立体显示出来

11、，需要完成真实场景的和后，进行场景融合如下图所示。 o采用微软公司（Microsoft）DirectShow的滤镜(Filter)技术与多线程技术的双通道视频数据采集。由于实时视频数据量很大，同时为了兼容多种不同的视频捕捉卡，所以采集视频数据时采用了滤镜技术，双通道的视频数据采集在两线程中分别进行，采集到的视频数据保存在两个视频缓冲区中，利用线程同步机制来保证采集的视频数据的同步，从而实现双通道视频数据的采集。这样有效地利用了CPU的资源，提高了系统的实时性，可在一般PC上实现。立体视频采集虚拟场景的立体渲染o 基于Open Inventor的立体渲染 o 立体渲染有两种方式：n旋转相机：该方

12、法存在丢失集合一致性的问题：当两个摄像机旋转时，他们的投影轴就不同了。于是就会出现两种情况：由于两个视点的Z轴次序出现微小的差异，在两个视图中，形状方向就不能保持一致。该方法还要求当场景中的观察位置变化时，立体焦点也能一直变化。 n平移相机：该方法解决了上述问题，无扭曲实现所需的立体效果。通过增加与降低视景体的非对称，场景将相对屏幕发生移动。 虚拟魔幻屋的设计与实现 虚拟魔幻屋是一个本项目研究成果的综合体现 ,结构图如下：基于VR培训系统开发o 三维可视化驱动系统o 虚拟控制系统 o 工程分析子系统结构 SHU-虚拟机床系统o 虚拟机床由虚拟控制系统、三维可视化驱动系统构成、机床结构建模和运动

13、学分析共同构成，其功能结构图如下：机床设计知识库机床可视化机床可视化工程分析系统工程分析系统加工形貌分析系统应力场分析工艺参数优化系统热场分析系统机床静态数字模型机床结构建模运动学分析虚拟控制系统虚拟虚拟机床机床三维可视化驱动系统虚拟机床虚拟机床维护系统维护系统虚拟机床虚拟机床操作系统操作系统三维可视化驱动系统 o 包括了场景绘制模块、机床装配模块、机床模型导入模块、切削仿真模块、人机交互模块、网络通信模块等六个模块。其中，网络通信模块与虚拟数控系统进行通信，将操作指令传送给切削仿真模块；场景绘制模块负责图形场景的渲染，根据导入的机床模型与切削仿真、装配仿真的结果事实绘出制虚拟车床；人机交互模

14、块则使操作者可以通过三位鼠标与立体眼镜等交互设备对虚拟车床场景进行漫游。 仿真系统的基本数据结构虚拟控制系统虚拟控制系统o 本系统是仿上海开通数控的KT590T控制系统而设计的虚拟数控系统。其可用于紧凑型机床的微处理器控制CNC连续轨迹控制系统。本虚拟数控系统是将KT590T实现于PC平台上，并且通过网络将实时插补的数据输送基于OpenGL开发平台的虚拟机床上，实现对加工过程的仿真，功能模块选择示意如下图。 自动方式单段方式录返方式示教方式试运行方式手动/零点设置编辑方式输入/输出刀具偏置特殊方式操作方式选择按键0按键1按键2按键3按键4按键5按键6按键7按键8按键9工程分析子系统工程分析子系

15、统 o包括数据读入模块、计算模块和可视化模块。通过将工程分析的参考数据读入系统，应用结点的参考数据或计算公式计算出工程分析结果，最后将工程分析结果采用可视化的手段表现出来。 n数据读入模块数据读入模块 将工程分析的参考数据读入系统。参考数据是仿真图形结点的参考数据，他们是计算出结点的工程分析结果的基础。n计算模块计算模块 应用结点的参考数据或计算公式计算出工程分析结果。其中，工件的变形采用推导出的解析式可以直接求出，刀具的工程分析结果则需通过图形结点的参考值，结合插值等算法计算得出。n可视化模块可视化模块 将工程分析结果采用可视化的手段表现出来。工件的变形通过轴线位移表示，刀具的工程分析结果则

16、通过颜色的予以深浅反映。工程分析部分的基本数据结构采用的关键技术采用的关键技术 o 虚拟机床的控制系统 o 系统集成及三维驱动采用的关键技术 o 三维鼠标应用中采用的关键技术 o 切削过程仿真的关键技术 o 工程分析关键技术 软数控系统解决的关键问题软数控系统解决的关键问题o 直线差补o 圆弧差补o 软数控通讯协议系统集成及三维驱动解决的关键问题 o 车床模型的导入o 机床装配过程描述语言的设计（V代码）；o 机床装配仿真与场景绘制模块的接口。 三维鼠标技术 o 三维鼠标是一款真正的三维输入设备，它能够监测到手指施加其上的最轻微的力，并将其分解成,X,Y,Z的平移与转动，同步即时地操作3D 图

17、形。在操作三维图形或对象时，提供了良好的六自由度的交互控制。 o 用户即能够通过三维鼠标控制机床的平移与旋转运动，也可以使用三维鼠标的视点控制，浏览整个场景。 切削过程仿真的关键技术o 运动参数的整理 o 切削过程图形算法 算法思想 、工件分段 、刀具位置表达 、 切削后的工件变化、切削量（切削厚度）的计算 o 铁屑产生和运动状态描述算法 铁屑的生成、铁屑运动 工程分析关键技术 o 切削力模型的建立切削力模型的建立 切削用量的计算、切削力的描述 、切削力的近似公式 、刀具的几何角度对切削力的影响 o 切削用量对刀尖切削温度的影响切削用量对刀尖切削温度的影响 切削速度、进给量 、背吃刀量 o 工件的应力和应变分析工件的应力和应变分析 o 不同网格下的有限元数据转换算法不同网格下的有限元数据转换算法 4结点四面体单元 、10结点四面体单元 返回返回