1、第十章第十章 基于立体视觉的深度估计基于立体视觉的深度估计第二节第二节 结构光测距成像系统结构光测距成像系统1.1.结构光测距结构光测距n结构光测距将激光器（或投影仪）发出的光束结构光测距将激光器（或投影仪）发出的光束经光学系统形成某种形式的光，包括点、单线、经光学系统形成某种形式的光，包括点、单线、多线、单圆、同心多圆、网格、十字交叉、灰多线、单圆、同心多圆、网格、十字交叉、灰度编码图案、彩色编码图案和随机纹理投影等度编码图案、彩色编码图案和随机纹理投影等投向景物，在景物上形成图案并由摄象机摄取，投向景物，在景物上形成图案并由摄象机摄取，而后由图象根据三角法和传感器结构参数进行而后由图象根据
2、三角法和传感器结构参数进行计算，得到景物表面的深度图象和三维坐标。计算，得到景物表面的深度图象和三维坐标。n该方法的传感器具有体积小、价格低、便于安该方法的传感器具有体积小、价格低、便于安装和维护的特点，是工业中最常用的三维感知装和维护的特点，是工业中最常用的三维感知技术。技术。结构光测距结构光测距Stereo TriangulationStereo TriangulationIJCorrespondence is hard!IJStructured Light TriangulationCorrespondence becomes easier!结构光三角测距原理结构光三角测距原理,fyxx
3、fctgbzyx单点法结构光测距单点法结构光测距单点法结构光测距单点法结构光测距n一次只照明一个点然后使用上述方程计算一次只照明一个点然后使用上述方程计算该点的深度，由此得到二维距离图像。该点的深度，由此得到二维距离图像。n采用逐点扫描获得整个物体的三维形状，其采用逐点扫描获得整个物体的三维形状，其图象摄取时间和图象处理量随被测物面的增图象摄取时间和图象处理量随被测物面的增大而急剧增加，难以完成实时三维形状检测。大而急剧增加，难以完成实时三维形状检测。n但在结构光三维视觉传感中，它的精度是最但在结构光三维视觉传感中，它的精度是最高的。高的。单线法结构光测距单线法结构光测距单线法结构光测距单线法
4、结构光测距TriangulationnProject laser stripe onto objectLight Plane0DCzByAxTriangulationnDepth from ray-plane triangulation:qIntersect camera ray with light planeLight Plane0DCzByAx),(yxImage Pointfzyyfzxx/CfByAxDfzExample:Laser scannerCyberware face and head scanner+very accurate 0.01 mm more than 10sec
5、 per scanDigital Michelangelo Projecthttp:/graphics.stanford.edu/projects/mich/Example:Laser scannerExample:Portable Laser scanner单线法结构光测距单线法结构光测距n与单点法比较，它增加了产生平面狭缝光的光学装与单点法比较，它增加了产生平面狭缝光的光学装置，只需进行一维扫描就可以得到景物的深度图象，置，只需进行一维扫描就可以得到景物的深度图象，图象摄取和处理时间与工作量大为减少。图象摄取和处理时间与工作量大为减少。n尽管如此，该方法仍然是非常低效的图象处理方法，尽管如
6、此，该方法仍然是非常低效的图象处理方法，它必须俘获并处理与不同位置光条纹相对应的系列它必须俘获并处理与不同位置光条纹相对应的系列图象，以得到特定场景的一幅全帧深度数据。图象，以得到特定场景的一幅全帧深度数据。n所以单光条法的测量速度与单点法一样，在原理上所以单光条法的测量速度与单点法一样，在原理上受到限制。受到限制。图案法结构光测距图案法结构光测距n为了缩短测量时间，可以用二维结构光图案对为了缩短测量时间，可以用二维结构光图案对景物进行整体投射，分为重复图案投射法和图景物进行整体投射，分为重复图案投射法和图案编码投射法。案编码投射法。n重复图案投射法：将同一种图案重复多次投影重复图案投射法：将
7、同一种图案重复多次投影到景物上，每次等间隔的减小条纹图案、点阵到景物上，每次等间隔的减小条纹图案、点阵图案或网格图案。图案或网格图案。n投射图案与图象图案间混淆问题严重，位置关投射图案与图象图案间混淆问题严重，位置关系难以确定。系难以确定。Binary CodingPattern 1Pattern 2Pattern 3Projected over timeExample:3 binary-encoded patterns which allows the measuring surface to be divided in 8 sub-regions Faster:stripes in ima
8、ges.12 nnBinary CodingnAssign each stripe a unique illumination codeover time Posdamer 82Binary CodingPattern 1Pattern 2Pattern 3Projected over timeExample:7 binary patterns proposed by Posdamer&AltschulerCodeword of this pxel:1010010 identifies the corresponding pattern stripe图案编码投射法图案编码投射法n图案编码投射法
9、分为时间编码和空间编码。图案编码投射法分为时间编码和空间编码。n时间编码是将多个不同的编码图案按时序先后时间编码是将多个不同的编码图案按时序先后投射到物体表面，得到相应的编码图象序列，投射到物体表面，得到相应的编码图象序列，将编码图象序列组合起来进行解码，得到照射将编码图象序列组合起来进行解码，得到照射到各象点所对应物点上的光线投射角，再由结到各象点所对应物点上的光线投射角，再由结构光法基本公式得到景物的深度图象。构光法基本公式得到景物的深度图象。n两灰度两灰度(二值图象二值图象)二进制编码图案是较常使用二进制编码图案是较常使用的方法。的方法。使用彩色结构光可使用彩色结构光可以根据色调值的不以
10、根据色调值的不同进行编码，组合同进行编码，组合空间更大。而且同空间更大。而且同时还可以获得场景时还可以获得场景中诸如物体颜色、中诸如物体颜色、纹理等物理特性。纹理等物理特性。More complex patternsZhang et alWorks despite complex appearancesWorks in real-time and on dynamic scenes Need very few images(one or two).But needs a more complex correspondence algorithm时间编码结构光测距时间编码结构光测距n时间编码方法
11、不仅是减少工作量和提高测量速时间编码方法不仅是减少工作量和提高测量速度的有效途径，而且解码错误大为减少，但要度的有效途径，而且解码错误大为减少，但要求每次投射图案时投射空间位置和景物位置不求每次投射图案时投射空间位置和景物位置不可有变化，因此不适用于动态变化的场景中。可有变化，因此不适用于动态变化的场景中。空间编码结构光测距空间编码结构光测距n空间编码是将一幅按某种方式编码的图案向景物空间编码是将一幅按某种方式编码的图案向景物投射，得到一幅对应的编码图象，将编码图象与投射，得到一幅对应的编码图象，将编码图象与编码方式对照解码，获得照射到各象点所对应物编码方式对照解码，获得照射到各象点所对应物点
12、上的光线投射角，进而由结构光法基本公式得点上的光线投射角，进而由结构光法基本公式得到景物的深度图象。到景物的深度图象。n空间编码可以通过改变多线结构光的每个狭缝光空间编码可以通过改变多线结构光的每个狭缝光的参数：亮度、颜色和狭缝的宽度等来完成。该的参数：亮度、颜色和狭缝的宽度等来完成。该方法只需一次图案投射就可获得景物的深度图象，方法只需一次图案投射就可获得景物的深度图象，从原理上来说更适应于动态测量。从原理上来说更适应于动态测量。n投影的图案包括等间距的黑白条纹以及一定数投影的图案包括等间距的黑白条纹以及一定数量的彩色横切条纹。量的彩色横切条纹。n通过对场景的几何结构和反射特性的估计场景通过
13、对场景的几何结构和反射特性的估计场景信息信息n结构光的颜色、亮度和形状与场景信息相关结构光的颜色、亮度和形状与场景信息相关 自适应编码方案自适应编码方案空间编码结构光测距空间编码结构光测距n目前在分辨率和处理速度上还不能满足三目前在分辨率和处理速度上还不能满足三维视觉检测的要求。维视觉检测的要求。n无法应用于具有复杂背景的环境中。无法应用于具有复杂背景的环境中。n编码图案和编码图象由于受景物表面特性编码图案和编码图象由于受景物表面特性不同而产生的模糊点影响发生译码错误，不同而产生的模糊点影响发生译码错误，无法判断出光线的投影角。无法判断出光线的投影角。Continuum of Triangul
14、ation Methods3D Acquisition from ShadowsBouguet-Perona,ICCV 982.2.激光测距雷达激光测距雷达n激光测距（激光测距（laser range finderlaser range finder）是在二十世）是在二十世纪纪6060年代发展起来的一种新型测距雷达。年代发展起来的一种新型测距雷达。n激光雷达具有波束窄、波长短等独特优点，因激光雷达具有波束窄、波长短等独特优点，因而具有极高的角分辨能力、距离分辨能力和速而具有极高的角分辨能力、距离分辨能力和速度分辨能力。度分辨能力。n激光雷达可以获取目标的多种信息，如反射特激光雷达可以获取目标的
15、多种信息，如反射特性、距离信息、速度信息等性、距离信息、速度信息等 n激光测距的主要问题是技术实现难度较大激光测距的主要问题是技术实现难度较大 脉冲飞行时间测距脉冲飞行时间测距n我们知道，声波和光波信号在空气介质中传播我们知道，声波和光波信号在空气介质中传播的速度是一定的，如果知道它们在空间中的传的速度是一定的，如果知道它们在空间中的传播时间，则可以计算波形在空气中的传播距离播时间，则可以计算波形在空气中的传播距离人们将这种直接通过测量波形（或脉冲）飞人们将这种直接通过测量波形（或脉冲）飞行时间来计算距离的方法称为飞行时间法（行时间来计算距离的方法称为飞行时间法（time of flightt
16、ime of flight）激光脉冲测距雷达就属于）激光脉冲测距雷达就属于这类测距系统激光脉冲测距雷达向空间发射这类测距系统激光脉冲测距雷达向空间发射激光脉冲信号，并接收由于碰到物体表面而反激光脉冲信号，并接收由于碰到物体表面而反射回来的信号，然后测量发射和接收脉冲的时射回来的信号，然后测量发射和接收脉冲的时间差，就可以得到空间物体的距离间差，就可以得到空间物体的距离脉冲飞行时间测距脉冲飞行时间测距19771977年加洲理工大学喷推实验室年加洲理工大学喷推实验室 这种激光测距雷达在米的测量范围内，测距精度这种激光测距雷达在米的测量范围内，测距精度为厘米获取图像需要为厘米获取图像需要3 3分钟分
17、钟相位差测距相位差测距 n相位差测距属于连续波雷达。相位差测距属于连续波雷达。q深度信息可以通过检测调幅光波发射和接收的相位深度信息可以通过检测调幅光波发射和接收的相位差来得到。差来得到。n具有多义性具有多义性q消除多义性的办法：一是事先知道待测距离的大致消除多义性的办法：一是事先知道待测距离的大致范围，二是使用多台具有不同调制频率的激光测距范围，二是使用多台具有不同调制频率的激光测距雷达。雷达。相位差测距激光雷达原理图相位差测距激光雷达原理图44mmcdf已知调制频率和相位差，则物体到传感器的距离为：已知调制频率和相位差，则物体到传感器的距离为：22mmfcD测距范围：测距范围：n激光阵列成
18、像雷达能以很高的速率获取场景的稠密深激光阵列成像雷达能以很高的速率获取场景的稠密深度图，该系统使用大功率激光二极管阵列向场景发射度图，该系统使用大功率激光二极管阵列向场景发射激光，测量来自目标的相对于调幅载波相的反射光相激光，测量来自目标的相对于调幅载波相的反射光相移，以便计算到目标的距离。接收器里的图像增强器移，以便计算到目标的距离。接收器里的图像增强器的增益被和发送器同样的频率调制。到达的增益被和发送器同样的频率调制。到达CCDCCD的光与的光与返回信号的相位和它的强度无关，而与目标的反射率返回信号的相位和它的强度无关，而与目标的反射率有关。为了规范化反射率的变化，返回波的强度被采有关。为了规范化反射率的变化，返回波的强度被采样两次，一次是接收器调制增益作用，另一次是接收样两次，一次是接收器调制增益作用，另一次是接收器调制增益不作用。这样，与每一个象素相联系的距器调制增益不作用。这样，与每一个象素相联系的距离基本上同时在场景中测量。尽管这一系统具有能快离基本上同时在场景中测量。尽管这一系统具有能快速提供高精度的深度估计值的优点，该系统使用了许速提供高精度的深度估计值的优点，该系统使用了许多元件，规模很大，功耗大。多元件，规模很大，功耗大。激光阵列测距激光阵列测距
