双目立体视觉资料课件.ppt

1、双目立体视觉简介3D电影机器人导航立体视觉 当闭上一只眼睛拿东西时，物件的距离和空间感会变得不一样又或是当你轮流遮盖一只眼睛看某一件近距离的东西时，有没有留意到左右眼睛所看出来的物件位置是不同的这种情况是因为人体的两只眼睛位置不同，令每只眼睛看出来的影像有所差异。当左右眼睛所看到的影像传到脑部时，脑部会将两个影像合而为一，形成对物件的立体及空间感，即是立体视觉。 立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息。 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通

2、过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。 随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对

3、图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。 上世纪80年代初，Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为计算机视觉中一个非常重要的分支。 经过几十年来的发展，立体视觉在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等领域中的运用越来越广国外研究动态：双目体视目前主要应用于四个领域：机器人导航、微操作系统的参数检测、三维测量和虚拟现实

4、。麻省理工学院计算机系统提出了一种新的用于智能交通工具的传感器融合方式，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传统的目标分割算法难以在高速实时环境中得到令人满意的结果华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位玫导航。国内研究动态：目前在国外，双目立体视觉技术已广泛应用于生产，生活中，而我国正处于初始阶段，尚需要广大科技工作者共同努力，为其发展做出贡献。哈工大采用异构双目活动视觉系统实现了全

5、自主足球机器人导航。将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配及协调机制，使机器人在视野范围、测跟精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相遇目标时通过数据融合，也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。火星863计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸，还可根据需要获取人

6、体图像上任意一点的三维坐标。该系统已通过中国人民解放军总后勤部军需部鉴定。可达到的技术指标为：数据采集时间小于5s/人；提供身高、胸围、腰围、臀围等围度的测量精度不低于1.0cm。立体视觉的发展方向就双目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体视觉系统，还有很长的路要走，进一步的研究方向可归纳如下：（1）如何建立更有效的双目立体视觉模型，为匹配提供更多的约束信息，降低立体匹配的难度。（2）探索新的适用于全面立体视觉的计算理论和匹配更有效的匹配准则和算法结构，以解决存在灰度失真，几何畸变（透视，旋转，缩放等），噪声干扰，特殊结构（平坦区域，重复相似结构等），及遮掩景物的匹配问

7、题；（3）算法向并行化发展，提高速度，减少运算量，增强系统的实用性；（4）强调场景与任务的约束，针对不同的应用目的，建立有目的的面向任务的双目立体视觉系统。双目立体视觉三维测量是基于视差原理。其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即，则由三角几何关系得到：()cleftccrightcccxXfzxBXfzyYfz(,)leftleftleftpXY(,)rightrightrightpXY则视差为：

8、由此可计算出特征点P在相机坐标系下的三维坐标为：leftcccB XxDisparityB YyDisparityB fzDisparity因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。leftrightDisparityXX立体视觉测量过程1图像获取 (1) 单台相机移动获取 (2) 双台相机获取：可有不同位置关系（一直线上、一平面上、立体分布）2相机标定：确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。 (1)内部参数：相机内

9、部几何、光学参数 (2)外部参数：相机坐标系与世界坐标系的转换3图像预处理和特征提取预处理：主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等；特征提取：常用的匹配特征主要有点状特征、线状特征和区域特征等4立体匹配：根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。 立体匹配有三个基本的步骤组成：1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；3)确定这两个特征之间的相对位置，得到视差。其中的步骤2是实现匹配的关键。5深度确定 通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复 场景3D信息。谢谢！