1、19.1 9.1 机器视觉概述机器视觉概述1.1.机器视觉的发展机器视觉的发展(1)(1)基本概念基本概念 计算机视觉：基于获取的图像，用计算机实现对视觉图像信息的计算机视觉：基于获取的图像，用计算机实现对视觉图像信息的处理，实现人的双眼的视觉功能；处理，实现人的双眼的视觉功能；核心核心：通过对图像的分析实现对周围环境的认知和理解；：通过对图像的分析实现对周围环境的认知和理解；机器视觉：在计算机视觉的理论框架基础上侧重工程化应用，实机器视觉：在计算机视觉的理论框架基础上侧重工程化应用，实现场景中物体位置、姿态、尺寸等的测量。现场景中物体位置、姿态、尺寸等的测量。2(2)基本历程基本历程20世纪
2、世纪50年代年代：统计模式识别，主要工作：二维图像分析、识别和理解，对象有光统计模式识别，主要工作：二维图像分析、识别和理解，对象有光学字符识别、工件表面、显微图片和航空照片的分析和理解等。学字符识别、工件表面、显微图片和航空照片的分析和理解等。20世纪世纪60年代，年代，Roberts：场景由多面体组成，多面体由简单的点、线、平面的组合表示，如场景由多面体组成，多面体由简单的点、线、平面的组合表示，如立方体、楔形体、棱柱体等，计算机从图像中提取出多面体的三维结立方体、楔形体、棱柱体等，计算机从图像中提取出多面体的三维结构，对其形状和物体的空间关系进行描述以理解三维场景为目的三构，对其形状和物
3、体的空间关系进行描述以理解三维场景为目的三维机器视觉。维机器视觉。9.1 9.1 机器视觉概述机器视觉概述320世纪世纪70年代年代,英国学者英国学者Marr：提出提出Marr视觉理论，在视觉理论，在20世纪世纪80年代成为计算机视觉研究领域一个年代成为计算机视觉研究领域一个十分重要的理论框架，突破了简单的多面体为对象的三维视觉研究。十分重要的理论框架，突破了简单的多面体为对象的三维视觉研究。新的理论框架：新的理论框架：主动视觉理论框架主动视觉理论框架；基于感知特征群的物体识别理论框架基于感知特征群的物体识别理论框架；基于多视几何的视觉理论基于多视几何的视觉理论。9.1 9.1 机器视觉概述机
4、器视觉概述42.2.机器视觉面临的问题机器视觉面临的问题 准确、快速的目标识别准确、快速的目标识别 存储容量存储容量 可靠的识别算法可靠的识别算法3.3.视觉系统的局限性原因视觉系统的局限性原因（1 1）图像对景物的约束不充分，丢失信息。从图像恢复景物时存在）图像对景物的约束不充分，丢失信息。从图像恢复景物时存在多义性多义性（2 2）场景多种因素在图像中混叠，很难分离某种因素的影响程度）场景多种因素在图像中混叠，很难分离某种因素的影响程度（3 3）理解自然景物需要大量知识（专门知识）理解自然景物需要大量知识（专门知识）（4 4）对人类视觉的研究和理解还远远不够）对人类视觉的研究和理解还远远不够
5、9.1 9.1 机器视觉概述机器视觉概述54.4.机器视觉的关键技术机器视觉的关键技术（1 1）摄像机模型（视觉描述基础）摄像机模型（视觉描述基础）（2 2）视觉传感器的构建）视觉传感器的构建（3 3）传感器）传感器(系统系统)视觉模型建模视觉模型建模（4 4）视觉图像特征提取）视觉图像特征提取（5 5）系统的标定）系统的标定9.1 9.1 机器视觉概述机器视觉概述65.5.基本的视觉方法基本的视觉方法 结构光法结构光法 双目立体视觉方法双目立体视觉方法 多传感器法多传感器法 流动式测量方法流动式测量方法 多目视觉多视几何视觉多目视觉多视几何视觉 基于经纬仪的大尺寸测量（稀疏点）基于经纬仪的大
6、尺寸测量（稀疏点）9.1 9.1 机器视觉概述机器视觉概述71.1.机器视觉系统的一般构成机器视觉系统的一般构成视觉传感器、高速图像采集系统、专用图像处理硬件系统（计算机软件算视觉传感器、高速图像采集系统、专用图像处理硬件系统（计算机软件算法）、计算机等。法）、计算机等。二值视觉系统、灰度视觉系统二值视觉系统、灰度视觉系统 视觉传感器视觉传感器 高速图像采集系统高速图像采集系统 专用图像处理系统专用图像处理系统 控制总线控制总线 PCIPCI 标准总线标准总线 标准总线标准总线 视频输入视频输入 图像数据图像数据 计算机计算机 图像数据图像数据 81.1.机器视觉系统的一般构成机器视觉系统的一
7、般构成视觉传感器：视觉传感器：计算机视觉系统信息的直接来源。计算机视觉系统信息的直接来源。组成：一个或两个图像传感器、光投射器以及其它辅助设备。组成：一个或两个图像传感器、光投射器以及其它辅助设备。功能：获取足够的计算机视觉系统要处理的最原始图像。功能：获取足够的计算机视觉系统要处理的最原始图像。图像传感器：图像传感器：可以是激光扫描器、线阵和面阵可以是激光扫描器、线阵和面阵CCD摄像机或摄像机或 者者TV摄像机及最新出现的数字摄像机等。摄像机及最新出现的数字摄像机等。光投射器：光投射器：可以为普通照明光源、半导体激光器或者红外激可以为普通照明光源、半导体激光器或者红外激 光器等，它的功能主要
8、是参与形成被分析的物体图像的特征。光器等，它的功能主要是参与形成被分析的物体图像的特征。91.1.机器视觉系统的一般构成机器视觉系统的一般构成 高速图像采集系统：高速图像采集系统：专用视频解码器、图像缓冲器以及控制接专用视频解码器、图像缓冲器以及控制接 口电路。口电路。功能：实时地将视觉传感器获取的模拟视频信号转换为数字图像信功能：实时地将视觉传感器获取的模拟视频信号转换为数字图像信 号，并将图像直接传送给计算机进行显示和处理，或者将数号，并将图像直接传送给计算机进行显示和处理，或者将数 字图像传送给专用图像处理系统进行视觉信号的实时前端处字图像传送给专用图像处理系统进行视觉信号的实时前端处
9、理。理。计算机：计算机：是机器视觉系统的核心。是机器视觉系统的核心。功功 能：控制整个系统各个模块的正常运行，视觉系统的最后结果能：控制整个系统各个模块的正常运行，视觉系统的最后结果 运算和输出。运算和输出。101 1、机器视觉应用领域、机器视觉应用领域 零件识别与定位零件识别与定位 产品检验（测）产品检验（测）农业水果分拣农业水果分拣 移动机器人导航（星球机器人）移动机器人导航（星球机器人）遥感图像分析（植被分析、人工地物分析）遥感图像分析（植被分析、人工地物分析）医学图像分析（骨骼定位、血管重建、细胞分析）医学图像分析（骨骼定位、血管重建、细胞分析）安全鉴别、监视与跟踪（门禁系统、车辆监视
10、）安全鉴别、监视与跟踪（门禁系统、车辆监视）国防系统（目标自动识别与目标跟踪）国防系统（目标自动识别与目标跟踪）三维形貌检测（动画、体育、考古）三维形貌检测（动画、体育、考古）11121314151617u数字图像的基本概念数字图像的基本概念数字图像：数字图像：被划分成很多像元的小区域集合，每个像素被划分成很多像元的小区域集合，每个像素的位置反映了物理图像上对应点的亮度，图像被表示成的位置反映了物理图像上对应点的亮度，图像被表示成一个数字矩阵。一个数字矩阵。每个像素的属性：位置和灰度每个像素的属性：位置和灰度灰度灰度像素像素18图像的分类图像的分类灰度图像和彩色图像灰度图像和彩色图像图像亮度表
11、示：图像亮度表示：灰度图像：灰度图像：8位，位，4位，二值位，二值彩色图像：彩色图像：R、G、B，每个，每个 颜色又分为颜色又分为8位位19u 图像的预处理图像的预处理图像平滑：图像平滑：消除噪声，提高图像质量消除噪声，提高图像质量邻域平均法：邻域平均法：用窗口灰度的平均值代替该点灰度值用窗口灰度的平均值代替该点灰度值。缺点：缺点：细节模糊细节模糊四邻域平均四邻域平均八邻域平均八邻域平均20中值滤波：中值滤波：抑制干扰脉冲和点状噪声。抑制干扰脉冲和点状噪声。一维和二维中值滤波一维和二维中值滤波21高斯滤波：高斯滤波：消除随机噪声。消除随机噪声。滤波前灰度滤波前灰度滤波后灰度滤波后灰度22角点角
12、点光条光条边缘边缘23边缘：边缘：图像中灰度发生急剧变化的区域的边界。图像中灰度发生急剧变化的区域的边界。图像灰度的变化用图像灰度分布的梯度反映。图像灰度的变化用图像灰度分布的梯度反映。边缘特征的提取步骤边缘特征的提取步骤24一阶边缘检测算子一阶边缘检测算子：Sobel算子算子Prewit算子算子25二阶边缘检测算子：二阶边缘检测算子：laplace算子算子 22222yfxff边缘的二阶微分边缘的二阶微分26Sobel算子算子Prewit算子算子Laplace算子算子原始图像原始图像27v在梯度极值方向进行非极大抑制：垂直于边缘的方向在梯度极值方向进行非极大抑制：垂直于边缘的方向(梯梯度的方
13、向度的方向)上互相比较邻接像素的梯度幅值，并除去具有上互相比较邻接像素的梯度幅值，并除去具有比邻域处小的梯度幅值。比邻域处小的梯度幅值。)2exp(21),(222xyxG),()()(),(yxfyGxGyxI),(),(),(),(),(jiGjiGjiGjiGjiMyyxx),(),(arctan(),(jiGjiGjiOy2829把图像看作随机过程，则可做一阶及二阶统计。把图像看作随机过程，则可做一阶及二阶统计。一阶：单个象素特征。二阶：一对象素特征。一阶：单个象素特征。二阶：一对象素特征。1)一阶统计特征：一阶统计特征：P代表坐标，代表坐标，Z为灰度，为灰度，P(P，Z)象素。象素。
14、对同一对象的不同观测结果，随机过程，略去了随机性变化，对同一对象的不同观测结果，随机过程，略去了随机性变化，坐标位置关系，简化成直方图坐标位置关系，简化成直方图(Histogram）。）。纵坐标：象素个数纵坐标：象素个数/某灰度某灰度也可用百分比也可用百分比横坐标：灰度（横坐标：灰度（0255）总面积：全图象素数总面积：全图象素数S0255象素个数灰度K30直方图：离散状态下图像灰度的概率密度分布。直方图：离散状态下图像灰度的概率密度分布。图像图像直方图直方图不可逆变换，多对一的变换不可逆变换，多对一的变换多个图像可以生成相同的直方图，一阶统计特征未反映相多个图像可以生成相同的直方图，一阶统计
15、特征未反映相邻点之间的关系。但反映了图像的灰度散布范围等特征，邻点之间的关系。但反映了图像的灰度散布范围等特征，在很多场合下，往往是重要特征。在很多场合下，往往是重要特征。31通过调整图像的直方图通过调整图像的直方图,达到所需增强的目的。达到所需增强的目的。1)灰度变换法：由于光照不足，原图象灰度范围窄，看不清灰度变换法：由于光照不足，原图象灰度范围窄，看不清晰，直方图拉伸后灰度相差加大，分辨清晰。晰，直方图拉伸后灰度相差加大，分辨清晰。直方图下总面积不变为1，由概率论知：BdDDDBBAdDDDAAdDDHdDDHBBBAAA32DB=f(DA)常见的三种变换曲线：常见的三种变换曲线：v线性
16、：线性：DB=aDA+b(分为线性分为线性)突出感兴趣目标，抑制不感兴趣目标突出感兴趣目标，抑制不感兴趣目标v对数曲线：对数曲线：DB=Alg(DA+b)小灰度展开，大灰度压缩小灰度展开，大灰度压缩v指数曲线指数曲线：DB=DA*a+b大灰度展开，小灰度压缩大灰度展开，小灰度压缩具体编程实现引入查找表（lookup table）概念v图象512512大小，需256KB次运算，太慢v注意图象值输入：256级0255 输出：256级0255 输入到输出是映射关系332)直方图均衡：直方图均衡：直方图可用灰度为直方图可用灰度为256，但仅用了，但仅用了2/3，即可用灰度级别来充分利，即可用灰度级别来
17、充分利用，一种可能的充分利用多灰用，一种可能的充分利用多灰度方法是直方图越平越好。度方法是直方图越平越好。多多灰度值点数均摊。灰度值点数均摊。HB=1/m由：由：HAdDA=HBdDBDB=f(DA),dDB=dfHAdDA=1/m dfdf=mHAdDAf=mHAdDA341.1.坐标系转换坐标系转换 摄像机模型描述物像成像几何关系，最简单的模型针孔成像模型。摄像机模型描述物像成像几何关系，最简单的模型针孔成像模型。计算精度要求较高时，考虑镜头畸变，用非线性模型描述摄像机计算精度要求较高时，考虑镜头畸变，用非线性模型描述摄像机 的成像。的成像。n图像坐标系、摄像机坐标系、世界坐标系图像坐标系
18、、摄像机坐标系、世界坐标系 图像在计算机中是以矩阵的形式存储，矩阵的每个元对应的是图图像在计算机中是以矩阵的形式存储，矩阵的每个元对应的是图 像中该点的亮度值。像中该点的亮度值。（1）图像坐标系：）图像坐标系：以像素为单位的图像坐标系（计算机内存或屏幕）以像素为单位的图像坐标系（计算机内存或屏幕）以毫米为单位的图像坐标系（摄像机以毫米为单位的图像坐标系（摄像机CCD感光面）感光面）9.5 9.5 摄像机模型摄像机模型35 图像坐标系图像坐标系 像素图像坐标系的原点：屏幕的左上角，水平向左为像素图像坐标系的原点：屏幕的左上角，水平向左为 u轴正向，竖直向下为轴正向，竖直向下为v轴正向。轴正向。图
19、像坐标系坐标原点：以图像内的中心点图像坐标系坐标原点：以图像内的中心点O1，X轴平行且同向于轴平行且同向于u轴，轴，Y平行且同向平行且同向于于v轴，单位为轴，单位为mm。若若O1点的像素坐标为点的像素坐标为（u0,v0）,且每个且每个CCD感光元在感光元在X方向和方向和Y方向的物理尺寸分方向的物理尺寸分别为别为dX和和dY，则两种图像坐标系之间的点的坐标转换关系为：，则两种图像坐标系之间的点的坐标转换关系为：ooXuudXYvvdY36v用齐次坐标描述为：用齐次坐标描述为：或：37（2）摄像机坐标系和世界坐标系）摄像机坐标系和世界坐标系 摄像机坐标系：摄像机坐标系：Ocxcyczc Oc点点:
20、摄像机光心摄像机光心xc轴和轴和yc轴与图像平面的轴与图像平面的X轴与轴与Y轴平轴平行，行，zc轴轴:摄像机光轴，与图像平面垂直。摄像机光轴，与图像平面垂直。光轴与图像平面的交点光轴与图像平面的交点O1为图像坐标为图像坐标系的原点。系的原点。OcO1为摄像机有效焦距。为摄像机有效焦距。摄像机在空间中的位置是任意的，摄像机在空间中的位置是任意的，需选择一个基准坐标系描述摄像机的需选择一个基准坐标系描述摄像机的位置，选定坐标系位置，选定坐标系Owxwywzw为世界坐为世界坐标系。标系。38vOcxcyczc与与Owxwywzw之间是三维刚体变换关系：之间是三维刚体变换关系：0111cwcwTcwx
21、xyRtyzzR：旋转矩阵维数旋转矩阵维数3 3，正交矩阵，正交矩阵，t：平移矩阵，维数平移矩阵，维数31R和和t：摄像机模型的外部参数。：摄像机模型的外部参数。393 3）针孔成像模型针孔成像模型9.5 9.5 摄像机模型摄像机模型f:有效焦距，光轴：有效焦距，光轴：zc轴；轴；O1：光轴与像平面的交点：光轴与像平面的交点,O1(0,0,f)Oc:摄像机透视投影中心摄像机透视投影中心,Oc(0,0,0)Oc-xcyczc:摄像机坐标系摄像机坐标系O1XY:摄像机像平面坐标系摄像机像平面坐标系,X轴平行于轴平行于xc轴，轴，Y轴平行于轴平行于yc轴轴40即即 摄像机针孔成像模型：摄像机针孔成像
22、模型：对应矩阵表达式：对应矩阵表达式：cccczyfYzxfX101000000001cccczyxffYXz41问题问题若已知点在空间的三维坐标（若已知点在空间的三维坐标（xc,yc,zc）,则唯一确定其对应的像平则唯一确定其对应的像平面上的二维坐标面上的二维坐标(X,Y)；若已知点在图像上的二维坐标若已知点在图像上的二维坐标(X,Y)，却不能唯一确定其对应的空，却不能唯一确定其对应的空间三维坐标间三维坐标（xc,yc,zc）。101000000001cccczyxffYXz4200001210000100000110010001100000100101wwcTwwxwywTwuxdXufR
23、tyzvvfdYzxuRtyvM M XMz wx（4）二维像点和基准世界坐标系）二维像点和基准世界坐标系(xw,yw,zw)的关系的关系l 摄像机针孔模型坐标系和图像坐标系之间的关系：摄像机针孔模型坐标系和图像坐标系之间的关系：000000100101ccccxXfyzYfzl 像素二维坐标系和基准世界坐标系之间的关系（完整模型）：像素二维坐标系和基准世界坐标系之间的关系（完整模型）：43uM1：摄像机内部参数，只与摄像机的内部结构有关。摄像机内部参数，只与摄像机的内部结构有关。uM2：摄像机外部参数，摄像机相对于世界坐标系的方位摄像机外部参数，摄像机相对于世界坐标系的方位u确定摄像机内外参
24、数的过程称摄像机标定。确定摄像机内外参数的过程称摄像机标定。u0，v0以及以及f和和dx，dy称为摄像机的内部参数。称为摄像机的内部参数。44v实际的摄像机存在多种畸变，使得空间点的图像坐标与空间点不是严实际的摄像机存在多种畸变，使得空间点的图像坐标与空间点不是严格的透视投影关系。遵循严格透视投影关系的图像坐标（称为理想图格的透视投影关系。遵循严格透视投影关系的图像坐标（称为理想图像坐标）不能直接获得，需由畸变后的图像坐标（称为畸变图像坐标）像坐标）不能直接获得，需由畸变后的图像坐标（称为畸变图像坐标）计算。计算。v理想图像坐标为理想图像坐标为(Xi,Yi)，单位，单位mmv畸变图像坐标为畸变
25、图像坐标为(Xd,Yd)，单位，单位mm45畸变存在的原因：畸变存在的原因：a.透镜的形状缺陷引起径向畸变透镜的形状缺陷引起径向畸变b.透镜与摄像机装配之间的缺陷引起径向和切向畸变透镜与摄像机装配之间的缺陷引起径向和切向畸变c.偏心畸变偏心畸变：透镜等光学元件的光学中心并不严格共轴或共线透镜等光学元件的光学中心并不严格共轴或共线.径向和切向畸变46v主要是由于透镜元件的径向曲率曲线缺陷引起。主要是由于透镜元件的径向曲率曲线缺陷引起。v有桶形畸变和枕形畸变两种有桶形畸变和枕形畸变两种 桶形畸变相对于无畸变图像向里收缩。桶形畸变相对于无畸变图像向里收缩。枕形畸变相对于无畸变图像向外扩张。枕形畸变相
26、对于无畸变图像向外扩张。径向畸变相对于光轴严格对称。径向畸变相对于光轴严格对称。472251()(,)dYdddddkYXYOXY2251()(,)dXdddddk XXYOXY数学描述：48ddidXidYXXYY1010sXXdsYdus dXuvd Yv其中：cXXXsXNddNNcX:摄像机感光面摄像机感光面CCD上每行的像元数上每行的像元数NsX:摄像机对摄像机对CCD每行扫描由零阶采样保持器产生一连续波形，该每行扫描由零阶采样保持器产生一连续波形，该波形被图像采集卡产生的像素数波形被图像采集卡产生的像素数493.摄像机非线性模型摄像机非线性模型 一般工业摄像机只考虑一阶径向畸变。对
27、于采用广角镜头的情况，一般工业摄像机只考虑一阶径向畸变。对于采用广角镜头的情况，需要考虑多种畸变情况。需要考虑多种畸变情况。若只考虑径向一阶畸变，则理想像坐标与畸变像坐标的关系为：若只考虑径向一阶畸变，则理想像坐标与畸变像坐标的关系为：2221122211222()(1)()(1)idddddidddddddXXk XXYXk rYYkYXYYk rrXY其中，结论：图像边缘处的畸变程度较大。结论：图像边缘处的畸变程度较大。50n线性摄像机模型标定线性摄像机模型标定 线性模型摄像机标定：不考虑行扫描不确定性因子线性模型摄像机标定：不考虑行扫描不确定性因子s sX X和透镜的畸变和透镜的畸变00
28、00100001000011001000110000100101wwcTwwxwywTwuxdXufyzvvfdYzxuyvz 12wRt0RtM M xMx04.摄像机的标定摄像机的标定51 利用的是标定参照物的方块的角点作为标定点。角点的利用的是标定参照物的方块的角点作为标定点。角点的求取最直观简单的方法就是求取最直观简单的方法就是方块边缘直线的角点方块边缘直线的角点。直线可。直线可利用哈夫变换法或者检测边缘后做直线拟合。利用哈夫变换法或者检测边缘后做直线拟合。522.非线性摄像机模型标定非线性摄像机模型标定（基于径向约束的方法基于径向约束的方法)）径向约束示意图径向约束示意图53 径向约
29、束的基本表达：径向约束的基本表达：xc/yc=Xi/Yi=Xd/Yd第一步：求旋转矩阵第一步：求旋转矩阵R，平移矢量，平移矢量T的的tx，ty分量以及分量以及sx ty符号的确定符号的确定第二步：求有效焦距第二步：求有效焦距f，T的的tz分量，畸变系数分量，畸变系数k以及相面中心坐标（以及相面中心坐标（u0，v0）（1）先求）先求f和和tz的初值。先不考虑畸变的初值。先不考虑畸变k。（2）然后对）然后对f，tz，k，u0，v0进一步优化求解进一步优化求解 上述标定是基于上述标定是基于三维立体参照物三维立体参照物 549.5.1.9.5.1.双目立体视觉测量原理及数学模型双目立体视觉测量原理及数
30、学模型 平行双目立体视觉平行双目立体视觉简单的平视双目成像原理图简单的平视双目成像原理图55()(87)cleftccrightcccxXfzxBXfzyYfz视差为视差为：Disparity=Xleft Xright DisparityfBzDisparityYByDisparityXBxccleftc56一般位置双目立体视觉测量模型一般位置双目立体视觉测量模型l 一般位置的双目立体视觉一般位置的双目立体视觉 （1）世界测量坐标系与左摄像机的摄像机坐标系一致）世界测量坐标系与左摄像机的摄像机坐标系一致。57rrrrrrrrzyxffYX 10000001 10000001 zyxffYXll
31、lllzyxrrrtttrrrrrrrrrzyxzyxT,RT R987654321下列模型没有考虑除下列模型没有考虑除f之外的其它摄像机的内部参数。之外的其它摄像机的内部参数。58123456789 11llrrrrr xllrrrrrr yzzXfXf rf rf rf tzYfYf rf rf rf tzrrrt)()()()()()(654987321987rfYrXrfrfYrXrYtYtffrfYrXrfrfYrXrXtXtffzfzYyfzXxlllrlllrzryrllllrlllrzrxrlllll已知对应空间同一点的左右图像即可得到空间点的三维坐标已知对应空间同一点的左右图
32、像即可得到空间点的三维坐标求解对应空间同一点的同名像素点是立体视觉的一个难点。求解对应空间同一点的同名像素点是立体视觉的一个难点。599.5.2 9.5.2 立体匹配立体匹配l立体匹配中的约束立体匹配中的约束（1）外极线约束（）外极线约束（epipolar line）外极线几何示意图外极线几何示意图（极线、极点、极平面）（极线、极点、极平面）60利用外极线约束进行特征点匹配利用外极线约束进行特征点匹配(左图像上一点左图像上一点m1在右图像上的对应点不能由极线约束唯一确定在右图像上的对应点不能由极线约束唯一确定)61（2）唯一性约束）唯一性约束 一幅图像中的每一个特征点只能与另一幅图像上的唯一一
33、个特征一幅图像中的每一个特征点只能与另一幅图像上的唯一一个特征点对应。点对应。（3）一致性（相似性）约束）一致性（相似性）约束 若图像中的两点对应空间中同一点，则图像中这两点若图像中的两点对应空间中同一点，则图像中这两点及其它们的一定范围内的邻域在某些物理量上应具有相似及其它们的一定范围内的邻域在某些物理量上应具有相似性，如：灰度、灰度的梯度；或者在几何形状上有相似性，性，如：灰度、灰度的梯度；或者在几何形状上有相似性，如空间点是某一个多面体的顶点，则对应的两个像点应该如空间点是某一个多面体的顶点，则对应的两个像点应该是图像中某一多边形的顶点。是图像中某一多边形的顶点。62（4）连续性假设约束
34、）连续性假设约束 若空间点若空间点P和和Q为同一物体表面且相距很近的点，则它们在双目立为同一物体表面且相距很近的点，则它们在双目立体系统的两幅图像上的投影像点也应该分别比较接近。如果已经建立体系统的两幅图像上的投影像点也应该分别比较接近。如果已经建立了了P的两个像点的对应关系，则可以利用它们引导对的两个像点的对应关系，则可以利用它们引导对Q的两个像点进的两个像点进行匹配。这里的假设是物体的表面是连续的，行匹配。这里的假设是物体的表面是连续的，P和和Q的深度像差不大。的深度像差不大。（如视差连续）（如视差连续）（5）顺序一致性约束）顺序一致性约束 位于一幅图像极线上的系列点，在另一幅图像中的极线
35、上具位于一幅图像极线上的系列点，在另一幅图像中的极线上具有相同的排列顺序。有相同的排列顺序。点的时针顺序不变，点的凸性不变。点的时针顺序不变，点的凸性不变。63l基于上述约束准则的一些匹配方法基于上述约束准则的一些匹配方法（1）基于灰度相似性的相关法）基于灰度相似性的相关法 问题的关键在于如何度量灰度的相似性。一般选择互相关系数来计算相问题的关键在于如何度量灰度的相似性。一般选择互相关系数来计算相似度，也即归一化灰度互相关系数。似度，也即归一化灰度互相关系数。（2）基于视差梯度的相似性计算）基于视差梯度的相似性计算 在图像中相互靠近的两点，一般具有相似的视差。视差梯度可以作为相在图像中相互靠近
36、的两点，一般具有相似的视差。视差梯度可以作为相似性的一种度量。似性的一种度量。（3）特征点匹配方法）特征点匹配方法 图像中的边缘点和角点通常被用作匹配特征点，它们是灰度不连续的点。图像中的边缘点和角点通常被用作匹配特征点，它们是灰度不连续的点。同一空间点在左右图像上的像点应该在图像中的边缘上或为角点。这样极线同一空间点在左右图像上的像点应该在图像中的边缘上或为角点。这样极线与边缘的交点或者在极线上的角点就是对应的匹配点。与边缘的交点或者在极线上的角点就是对应的匹配点。在边缘没有实现匹配在边缘没有实现匹配的情况下，因此该方法仍然不是求对应匹配点的充分条件。的情况下，因此该方法仍然不是求对应匹配点
37、的充分条件。6465669.6.1.9.6.1.结构光视觉原理结构光视觉原理67l 结构光三维视觉常见的模式：结构光三维视觉常见的模式：点结构光法点结构光法 线结构光法线结构光法多线结构光法多线结构光法 网格结构光法网格结构光法68l 线结构光视觉传感器的模型（线结构光视觉传感器的模型（空间相对位置较特殊）空间相对位置较特殊）69l一般位置线结构光传感器模型一般位置线结构光传感器模型 线结构光三维视觉检测模型线结构光三维视觉检测模型70000000100101cccxufyvfz 摄像机坐标系与模块坐标系的空间位置关系摄像机坐标系与模块坐标系的空间位置关系:摄像机坐标系下点的透视投影关系：摄像
38、机坐标系下点的透视投影关系：123456789100011cxLcyLczLxrrrTxyrrrTyzrrrTz711uv 123456789xyzfrfrfrfTfrfrfrfTrrrT1LLLxyz模块坐标系下的空间点的透视投影关系：模块坐标系下的空间点的透视投影关系：光平面在模块坐标系下的方程为：光平面在模块坐标系下的方程为：0Lz 721uv 124578xyzfrfrfTfrfrfTrrT1LLxy进一步得到简化模型：进一步得到简化模型：若：若：0Lz 则结构光光平面在模块坐标系下的方程可写为：则结构光光平面在模块坐标系下的方程可写为：001LLLLLLaxbyczdxyabcdz7
39、3则新的结构光三维视觉检测模型表达如下：则新的结构光三维视觉检测模型表达如下：123456789110LxLyLzLLLxufrfrfrfTyvfrfrfrfTzrrrTaxbyczd 74 立体块法：立体块法：1uv 124578xyzfrfrfTfrfrfTrrT1LLxy123456789110LxLyLzLLLxufrfrfrfTyvfrfrfrfTzrrrTaxbyczd 75交比不变：交比不变：(,)(,):(,)SR A B CACADCR A B C DSR A B DBCBD1111(,)(,)CR A B C DCR A B C D761A2A3A1B2B3B1C2C3C1
40、D2D3D4D1A2A3A1B2B3B1C2C3C1D2D3D4DO),(),(iiiiiiiiDCBArDCBAr77 平面靶标移动法平面靶标移动法78v轿车白车身视觉测量系统轿车白车身视觉测量系统79v无缝钢管直线度激光视觉检测系统无缝钢管直线度激光视觉检测系统（椭圆中心定位问题）80v车轮激光视觉定位系统车轮激光视觉定位系统81v基于人工神经原网络的视觉检测系统基于人工神经原网络的视觉检测系统82v圆孔内表面检测系统圆孔内表面检测系统8384（1 1）质心法）质心法 一般的质心法一般的质心法 带阈值的质心法带阈值的质心法 9.6.3光条信息提取方法光条信息提取方法TyxfTyxfyxfyxF).(0),(),(),(mxnymxnyyxFxyxFx11110),(),(mxnymxnyyxFyyxFy11110),(),(，mxnymxnyyxFxTyxFx11110),(),(mxnymxnyyxFyTyxFy11110),(),(，85平方加权质心法平方加权质心法（2 2）曲线拟合法）曲线拟合法mxnymxnyyxFxyxFx1121120),(),(mxnymxnyyxFyyxFy1121120),(),(，)exp()(20 xxxAxfcbxaxxf2)(
