机器人技术及其应用第7章-机器人视觉及其应用课件.pptx

1、机器人视觉及其应用第七章目录Contents概述第一节机器人视觉系统的组成及其原理第二节视觉信息的处理第三节数字图像的编码第四节双目视觉和多目视觉第五节手眼视觉系统第六节机器人视觉伺服系统第七节机器人视觉系统应用举例第八节小结第九节1概述概述每个人都能体会到， 眼睛对人来说是多么的重要。 可以说人类从外界获得的信息，大多数都是通过眼睛得到的。 人类视觉细胞的数量大约 数量级， 是听觉细胞的 多倍， 是皮肤感觉细胞的 多倍。 从这个角度来说， 也可以看出视觉系统的重要性。 至于视觉的应用范围， 简直可以说是包罗万象。智能机器人为了具有人的一部分智能， 像前文所述的必须了解周围的环境， 获取机器人

2、周围世界的信息。 人们为了从外界环境获取信息， 一般是通过视觉、 触觉、 听觉等感觉器官来进行的， 也就是说如果想要赋予机器人较为高级的智能， 那么离开视觉系统是无法做到的。 第一代工业机器人只能按照预先规定的动作往返操作， 一旦工作环境变化， 机器就不能胜任工作。 这是因为第一代机器人没有视觉系统， 无法感知周围环境和工作对象的情况。 因此对于智能机器人来说， 视觉系统是必不可少的。概述从 世纪 年代开始， 人们便着手研究机器人的视觉系统。 一开始只能识别平面上的类似积木的物体。到了 世纪 年代， 已经可以认识某些加工部件， 也能认识室内的桌子、 电话等物品了。 当时的研究工作虽然进展很快，

3、 但无法应用于实际。 这是因为视觉系统的信息量极大， 处理这些信息的硬件系统十分庞大， 花费的时间也很长。 随着大规模集成电路技术的发展， 计算机内存的体积不断缩小， 价格急剧下降， 速度不断提高， 视觉系统也走向了实用化。 随着计算机技术、 传感器技术和数字化技术飞速发展， 实用的视觉系统已经进入各个领域。 现阶段， 利用机器视觉技术， 机器人可以取代人工完成一些在恶劣工况条件下的作业任务 （如焊接、 喷涂等） 和一些重复性的作业 （比如包装、 码垛等等）。概述众所周知， 人的视觉通常是识别环境对象的位置坐标、 物体之间的相对位置、 物体的形状颜色等， 由于人们生活在一个三维的空间里， 所以

4、机器人的视觉也必须能够理解三维空间的信息， 即机器人的视觉与文字识别或图像识别是有区别的， 它们的区别在于机器人视觉系统需要处理三维图像， 不仅需要了解物体的大小、 形状， 还要知道物体之间的关系。 为了实现这个目标， 要克服很多困难。 因为视觉传感器只能得到二维图像，那么从不同角度上来看同一物体， 就会得到不同的图像。 光源的位置不同， 得到的图像的明暗程度与分布情况也不同； 实际的物体虽然互不重叠， 但是从某一个角度上看， 却能得到重叠的图像。 为了解决这个问题， 人们采取了很多的措施， 并在不断地研究新方法。机器人视觉按照摄像机的数目不同， 可分为单目视觉、 双目视觉和多目视觉； 按照摄

5、像机放置位置的不同， 可分为固定摄像机系统 （Eye-to-hand 结构） 和手眼系统 （Eye-in-hand 结构）。2机器人视觉系统的组成及其原理机器人视觉系统的组成及其原理机器人视觉是指用视觉传感器， 结合计算机技术实现人类的视觉功能， 也就是对三维场景进行感知、 识别和理解。. 机器人视觉系统的硬件机器人视觉的概念：机器人视觉的主要目标：机器人视觉的主要目标是建立机器人视觉系统， 完成各种视觉任务。机器人视觉系统的组成及其原理） 景物和距离传感器。 常用的有摄像机、 CCD 图像传感器、 超声波传感器和结构光设备等。） 视频信号数字化设备。 其任务是把摄像机或 CCD 输出的信号转

6、换成方便计算和分析的数字信号。） 视频信号快速处理器。 其是视频信号实时、 快速、 并行算法的硬件实现设备， 如 DSP 系统。） 计算机及其外设。 根据系统的需要可以选用不同的计算机及其外设来满足机器人视觉信息处理及机器人控制的需要。） 机器人及其控制器。机器人视觉系统的硬件由下述几个部分组成：机器人视觉系统的组成及其原理机器人视觉系统的软件由以下几个部分组成：） 计算机系统软件。 选用不同类型的计算机， 就有不同的操作系统和它所支持的各种语言、 数据库等。） 机器人视觉信息处理算法。 图像预处理、 分割、 描述、 识别和解释等算法。） 机器人控制软件。机器人视觉系统的组成及其原理视觉信息通

7、过视觉传感器转换成电信号。 在空间采样和幅值化后， 这些信号就形成了一幅数字图像。机器人视觉使用的主要部件是电视摄像机， 它由摄像管或固态成像传感器及相应的电子线路组成。 这里我们只介绍光导摄像管的工作原理， 因为它是普遍使用的并有代表性的一种摄像管。 固态成像传感器的关键部分有两种类型， 一种是电荷耦合器件 （CCD）， 另一种是电荷注入器件 （CID）。 与具有摄像管的摄像机相比， 固态成像器件有若干优点： 它重量轻、 体积小、 寿命长、 功耗低。 不过， 某些摄像管的分辨率仍比固态摄像机高。. CCD 原理机器人视觉系统的组成及其原理图图 光导摄像管示意图光导摄像管示意图由图 可以看出，

8、 光导摄像管外面是一圆柱形玻璃外壳 ， 内部有位于一端的电子枪 以及位于另一端的屏幕 和靶。加在图 所示线圈 、 上的电压将电子束聚焦并使其偏转。 偏转电路驱使电子束对靶的内表面扫描以便 “读取” 图像， 具体过程如下所述。屏幕 玻璃外壳 光敏层 网格 电子束 光束聚焦线圈电子枪 管脚 光束偏转线圈 机器人视觉系统的组成及其原理玻璃屏幕的内表面镀有一层透明的金属薄膜， 它构成一个电极， 视频电信号可从此电极上获得。 一层很薄的光敏靶附着在金属膜上， 这一层由一些极小的球状体组成， 球状体的电阻反比于光的强度。 在光敏靶的后面有一个带正电荷的细金属网， 它使电子枪发射出的电子减速， 以接近于零的

9、速度到达靶面。 在正常工作时， 将正电压加在屏幕的金属镀膜上。 在无光照时， 光敏材料呈现绝缘体特性， 电子束在靶的内表面上形成一个电子层以平衡金属膜上的正电荷。 机器人视觉系统的组成及其原理当电子束扫描靶内表面时， 光敏层就成了一个电容器，其内表面具有负电荷， 而另一面具有正电荷。 光投射到靶层， 它的电阻降低， 使得电子向正电荷方向流动并与之中和。 由于流动的电子电荷的数量正比于投射到靶的某个局部区域上的光的强度， 因此其效果是在靶表面上形成一幅图像， 该图像与摄像管屏幕上的图像亮度相同。机器人视觉系统的组成及其原理也就是说， 电子电荷的剩余浓度在暗区较高， 而在亮区较低。 电子束再次扫描

10、靶表面时， 失去的电荷得到补充， 这样就会在金属层内形成电流， 并可从一个管脚上引出此电流。 电流正比于扫描时补充的电子数， 因此也正比于电子束扫描处的发光强度。 经摄像机电子线路放大后， 电子束扫描运动时所得到的变化电流便形成了一个正比于输入图像强度的视频信号。 机器人视觉系统的组成及其原理图图 b 电子束电子束扫描方式扫描方式图 所示为美国使用的基本扫描标准。 电子束以每秒 次的频率扫描靶的整个表面， 每次完整的扫描称为一帧， 它包含 2 行， 其中的 行含有图像信息。 机器人视觉系统的组成及其原理若依次对每行扫描并将形成的图像显示在监视器上， 图像将是抖动的。克服这种现象的办法是使用另一

11、种扫描方式， 即将一帧图像分成两个隔行场， 每场包含2 6 2 . 5行， 并且以两倍帧扫描频率进行扫描， 每秒扫描 行。 每帧的第一场扫描奇数行（见图 中虚线）， 第二场扫描偶数行。 这种扫描方式称为 RETMA （美国无线电、 电子管、 电视机制造商协会） 扫描方式。 在美国的广播电视系统中， 这是一种标准方式。 还有一种可以获得更高行扫描速率的标准扫描方式， 其工作原理与前一种基本相同。 例如，在计算机视觉和数字图像处理中常用的一种扫描方式是每帧包含 行， 其中 行含有图像数据。 行数取为 的整数幂， 优点是软件和硬件容易实现。机器人视觉系统的组成及其原理讨论 CCD 器件时， 通常将传

12、感器分为两类： 行扫描传感器和面阵传感器。 行扫描CCD传感器的基本元件是一行硅成像元素， 称为光检测器。 光子通过透明的多晶硅门由硅晶体吸收， 产生电子空穴对， 产生的光电子集中在光检测器中， 汇集在每个光检测器中电荷的数量正比于那个位置的照明度。 机器人视觉系统的组成及其原理图图 CCD 行扫描传感器行扫描传感器图 所示为一典型的 CCD 行扫描传感器， 它由一行前面所说的成像元素组成。 两个传送门按一定的时序将各成像元素的内容送往各自的移位寄存器。 输出门用来将移位寄存器的内容按一定的时序关系送往放大器， 放大器的输出是与这一行光检测器中内容成正比的电压信号。机器人视觉系统的组成及其原理

13、图图 CCD 面阵面阵传感器传感器CCD 面阵传感器与 CCD 行扫描传感器相似， 不同之处在于 CCD 面阵传感器的光检测是按矩阵形式排列的， 且在两列光检测器之间有一个门移位寄存器组合， 如图 所示。机器人视觉系统的组成及其原理奇数光检测器的数据依次通过门进入垂直移位寄存器， 然后再送入水平移位寄存器。水平移位寄存器的内容加到放大器上， 放大器的输出即为一行视频信号。 对于各偶数行重复上述过程， 便可获得一帧电视图像的第二个隔行场。 这种扫描方式的重复频率是每秒 帧。机器人视觉系统的组成及其原理显然， 行扫描摄像机只能产生一行输入图像。 这类器件适合于物体相对于传感器运动的场合 （如传送带

14、）。 物体沿传感器的垂直方向运动便可形成一幅二维图像。 分辨率在 和 像素之间的行扫描传感器比较常用。 面阵传感器的分辨率分成低、 中、 高三种。 低分辨率为 像素， 中分辨率为 像素。 目前市场上较高分辨率器件的分辨率为 像素， 正在研制的 传感器分辨率已达到 像素甚至更高。机器人视觉系统的组成及其原理. 3 视频数字信号处理器图像信号一般是二维信号， 一幅图像通常由 个像素组成 （当然有时也有 或者 个像素）， 每个像素有 级灰度， 或者是 ， 红黄蓝 种颜色， 一幅图像就有 或者 （对于彩色） 个数据。 为了完成视觉处理的传感、 预处理、 分割、 描述、 识别和解释， 上述前几项主要完成

15、的数学运算可以归纳为：机器人视觉系统的组成及其原理（） 点处理 常用于对比度增强、 密度非线性校正、 阈值处理、 伪彩色处理等。 每个像素的输入数据经过一定的变换关系映射成像素的输出数据， 如对数变换可实现暗区对比度扩张。（） 二维卷积的运算 常用于图像平滑、 尖锐化、 轮廓增强、 空间滤波、 标准模板匹配计算等。 若用 卷积核矩阵对整幅图像进行卷积时， 要得到每个像素的输出结果就需要做 次乘法和 （ ） 次加法， 由于图像像素一般很多， 即使用较小的卷积核，也需要进行大量的乘加运算和访问存储器。机器人视觉系统的组成及其原理（） 二维正交变换 常用二维正交变换有 、 、 和 变换等， 常用于图

16、像增强、 复原、 二维滤波、 数据压缩等。（） 坐标变换 常用于图像的缩放、 旋转、 移动、 配准、 几何校正和由投影值重建图像等。（） 统计量计算 如计算密度直方图分布、 平均值和协方差矩阵等。 在进行直方图均衡化、 面积计算、 分类和 变换时， 常常要进行这些统计量计算。机器人视觉系统的组成及其原理在视觉信号处理时， 要进行上述运算， 计算机需要大量的运算次数和大量的访问存储器次数。 如果采用一般的计算机进行视频数字信号处理， 就有很大的限制。 所以在通用的计算机上处理视觉信号， 主要有两个局限性： 一是运算速度慢， 二是内存容量小。为了解决上述问题， 可以采用如下方案：） 利用大型高速计

17、算机组成通用的视频信号处理系统。 为了解决小型计算机运算速度慢、 存储量小的缺点， 人们自然会使用大型高速计算机， 但是缺点是成本太高。机器人视觉系统的组成及其原理） 小型高速阵列机。 采用大型计算机的主要问题是设备成本太高， 为了降低视频信号处理系统的造价， 提高设备的利用率， 有的厂家在设计视频信号处理系统时， 选用造价低廉的中小型计算机为主机， 再配备一台高速阵列机。） 采用专用的视觉处理器。 为了适应微型计算机视频数字信号处理的需要， 不少厂家设计了专用的视觉信号处理器， 它的结构简单、 成本低、 性能指标高。 多数采用多处理器并行处理， 流水线式体系结构以及基于 的方案。3视觉信息的

18、处理视觉信息的处理如何从视觉传感器输出的原始图像中得到景物的精确三维集合描述和定量地 确定景物中物体的特性是非常困难的， 也是目前计算机视觉， 或称为图像理解的主要研究课题。但是对于完成某一特定的任务所用的机器视觉系统来说， 则不需要全面地 “理解” 它所处的环境， 而只需要提取为完成该任务所必需的信息。视觉信息的处理视觉信息的处理如图 所示， 包括预处理、 图像分割、 图像特征提取和图像模式识别四个模块。数字图像增强图像区域特征集预处理 图像颜色处理 图像增强 锐化类别图像分割 边沿检测 边沿连接图像特征提取 颜色 纹理 几何形状图像模式识别 模板匹配 特征匹配 结构匹配图图 视觉处理过程及

19、方法视觉处理过程及方法视觉信息的处理预处理是视觉处理的第一步， 其任务是对输入图像进行加工， 消除噪声，改进图像的质量， 为以后的处理创造条件。 为了给出物体的属性和位置的描述， 必须先将物体从其背景中分离出来， 因此对预处理以后的图像首先要进行分割， 就是把代表物体的那一部分像素集合提取出来。 一旦这一区域提取出来以后， 就要检测它的各种特性，包括颜色、 纹理， 尤其重要的是它的几何形状特性， 这些特性构成了识别某一物体和确定它的位置和方向的基础。 物体识别主要基于图像匹配， 即根据物体的模板、 特征或结构与视觉处理的结果进行匹配比较， 以确认该图像中包含的物体属性， 给出有关的描述，输出给

20、机器人控制器完成相应的动作。视觉信息的处理预处理的主要目的是清除原始图像中各种噪声等无用的信息， 改进图像的质量， 增强感兴趣的有用信息的可检测性， 从而使后面的分割、 特征提取和模式识别处理得以简化， 并提高其可靠性。 机器视觉常用的预处理包括图像颜色处理、 图像增强和锐化等。.3. 1 预处理视觉信息的处理进行图像处理时， 一般采用对真彩色图进行减色处理， 如转换成 色位图或直接转换为灰度图、 二值图， 以提高图像处理的速度。. 图像颜色处理视觉信息的处理（） 真彩色图转换为 色位图 将真彩色图像转换为 色位图时， 必须从真彩色所能表现的大约 种颜色中选择最具代表性或出现频率最高的 种颜色

21、。 目前广泛使用的方法主要有流行色算法、 中位切分算法和八叉树颜色量化算法。（） 色位图转换为灰度图 通常将 色位图调色板转换成灰度图调色板的方法主要有平均值法、 加权平均法和最大值法。视觉信息的处理平均值法： (， ) (， ) (， ) (， ) 加权平均法： (， ) .(， ) .(， ) .(， )最大值法： (， ) (， ) ， (， ) ， (， ) 其中， (， ) 表示灰度图像的像素亮度值； (， ) 、 (， ) 、 (， ) 分别表示彩色图像一个像素的 、 、 三个通道的灰度值。视觉信息的处理在实际的工业应用过程中， 通常采用图像增强来使目标工件的某些特征更加突出，尤其

22、是在缺陷检测中。 图像增强包括灰度变换、 滤波消噪等方式， 通常根据实际情况合理选择图像增强方式。 2. 图像增强视觉信息的处理（） 灰度变换 在图像的采集过程中， 相机曝光时间不足、 视觉系统硬件自身动态范围较小等原因会导致图像的对比度较弱， 导致目标工件在图像上的边缘特征、 轮廓特征显示的比较模糊， 使得后续的图像特征提取与匹配处理变得更加困难。 对比度增强是对每一个像素点的灰度值进行操作， 依据是按照特定的灰度变换关系改变像素灰度值。通过这样的运算， 目标图像的灰度值动态范围得到增强和扩大。 通常使用的方法有线性灰度变换与直方图均衡化。视觉信息的处理） 线性灰度变换。 线性灰度变换是按照

23、一定的线性关系， 将原图像的灰度值扩展到指定区间或整个动态范围。 如式 （ ） 所示， 其中 (， ) 和 (， ) 分别为 (， ) 位置上像素对比度增强前后的灰度值。 原图像灰度级别的最小值用 表示， 灰度级别的最大值用 表示； 经过线性映射， 增强后的图像灰度级的最小值为 ， 最大值为 。视觉信息的处理如图 所示， 按照式 （ ） 的线性变换关系， 将原图像的灰度级范围从 ， 扩展到 ， 。 线性灰度变换是增强图像对比度最简单的方法。图图 4 线性灰度变换线性灰度变换视觉信息的处理） 直方图均衡化 图像的灰度直方图是反映一幅图像的灰度级与出现这种灰度级的概率之间的关系的图形。 对于一幅

24、灰度图像， 可能有 种不同的灰度级， 因此直方图会以图形的方式显示 个灰度级像素数量的分布情况。 在图像的灰度直方图中， 横轴表示灰度变化区间， 纵轴表示落在该灰度变化区间内像素的数目。 直方图均衡化是一种通过重新均匀地分布各灰度值来增强图像对比度的方法。 经过直方图均衡化的图像对二值化阈值选取十分有利。视觉信息的处理该方法通常可以提高图像的全局对比度， 特别是当图像的有用数据是由彼此接近的灰度值表示时。 通过这样的调整， 该强度值可以更好地分布在直方图中， 同时允许具有较低局部对比度的区域获得更高的对比度。 直方图均衡化对于灰度分布范围很窄的图像具有明显的改善效果， 它将该图像的灰度直方图以

25、均匀的方式整体扩充到整个灰度级的范围， 从而在整体上增强了图像的对比度， 对于图像的细节信息显示得更加完善。视觉信息的处理直方图均衡化的具体方法如下： 统计图像各灰度值的像素数， 即得到图像的灰度直方图。 利用式 （ ） 计算图像各灰度值的累积分布函数值。 在原始图像上遍历所有像素， 对于每一个像素， 该位置处的灰度值计算方式为该像素灰度值对应的累积分布函数值与图像直方图上的最大灰度值的乘积。累积分布函数定义为视觉信息的处理式中， ， ， ， ； ， ， ， ； 表示灰度级范围； （） 表示图像中具有第 级灰度值的像素出现的概率； 为图像的像素总数。视觉信息的处理（） 滤波去噪 原始图像中不可

26、避免地会包括许多噪声， 如传感器噪声、 量化噪声等。 根据干扰的不同， 噪声会对图像产生不同程度的影响， 要消除噪声的影响首先要确定噪声的种类， 然后再采用不同的算法来消除噪声。 图像噪声可分为脉冲噪声 （椒盐噪声）、 放大器噪声 （高斯噪声）、 散粒噪声、 量化噪声 （均匀噪声）、 胶片颗粒噪声、 各向同性噪声、 乘性噪声 （斑点噪声） 和周期噪声。 目前已有很多滤波去噪的算法， 最好的去噪算法应该在完全去除噪声的同时保留更多的图像细节。 去噪滤波的方法主要有均值滤波、 高斯滤波与中值滤波。视觉信息的处理） 均值滤波。 在灰度连续变化的图像中， 如果出现了与相邻像素的灰度相差很大的点， 这种

27、情况被认为是一种噪声。 滤波作用就是滤掉高频分量， 从而达到减少图像噪声的目的。图图 5 均值均值滤波滤波的的模模板板平滑模板的思想是通过一点和周围 个点的平均来去除突然变化的点， 从而滤掉一定的噪声， 其代价是图像有一定程度的模糊。 均值滤波的模板如图 所示。中间的 “ ” 表示中心元素， 即用那个元素作为处理后的元素。 通常， 模板不允许移出边界， 所以结果图像会比原图小， 在编程中不处理图像最外面的两列与两行像素。视觉信息的处理） 高斯滤波。 均值滤波考虑了邻域点的作用， 但并没有考虑各点位置的影响， 对于所有的 个点都一视同仁， 所以平滑的效果并不理想。图图 6 高斯高斯滤波滤波的的模

28、模板板实际上， 离某点越近的点对该点的影响应该越大， 为此引入了加权系数， 将原来的模板改为图 所示的模板。可以看出， 距离越近的点， 加权系数越大。 新的模板其实也是一个常用的平滑模板，称为高斯 （） 模板。视觉信息的处理） 中值滤波。 中值滤波是指把以某点 （， ） 为中心的小窗口内的所有像素的灰度图 中值滤波的原理按从大到小的顺序排列， 将中间值作为（， ） 处的灰度值。 中值滤波的原理如图 所示。图图 中值滤波的中值滤波的模板模板左边是原图， 数字代表该处的灰度。 可以看出中间的 和周围的灰度相差很大， 是一个噪声点。 经过 窗口的中值滤波， 得到右边那幅图， 可以看出， 噪声点被去除

29、了。 中值滤波不仅能较好地过滤掉图像噪声干扰， 还能保持图像边缘信息的完整性， 适用于一些边角、 点线较多的图像， 能够较好地保留图像细节信息。视觉信息的处理图像增强方法实际上都是对灰度取平均， 这对滤除噪声是有益的， 但容易造成图像模糊。 为了使一幅图像的边缘更加的鲜明， 有时也需要对图像进行尖锐化处理。图像模糊的实质是图像受到平均或积分造成的， 因此锐化可对图像进行逆运算， 如做微分运算。 从频谱角度来看， 图像模糊的实质是其高频分量被衰减， 因而可以通过高能滤波操作来清晰图像。 要注意的是在对图像进行锐化处理时， 图像必须具有较高的信噪比， 否则锐化后噪声的增加比信号还要多。 因此， 一

30、般是先去除或减弱噪声后再进行锐化处理。. 锐化视觉信息的处理常用的微分锐化模板是拉普拉斯 （ ） 模板， 模板的形式如图 所示。 拉普拉斯模板先将自身与周围的 个像素相减， 表示自身与周围像素的差别， 再将这个差别加上自身作为新像素的灰度。 可见， 如果一片暗区出现了一个亮点， 那么锐化处理的结果是这个亮点变得更亮， 增加了图像的高频分量。 因为图像中的边缘就是那些灰度发生跳变的区域， 所以锐化模板在边缘检测中很有用。图图 拉普拉斯模板拉普拉斯模板视觉信息的处理边沿检测的实质是采用某种算法来提取出图像中对象与背景间的交界线。 边沿定义为图像中灰度发生急剧变化的区域边界。 图像灰度的变化情况可以

31、用图像灰度分布的梯度来反映， 因此可以用局部图像微分技术来获得边缘检测算子。边沿检测方法划分为两类： 基于查找和基于零穿越。 基于查找的方法通过寻找图像一阶导数中的最大值和最小值来检测边界， 通常是将边界定位在梯度最大的方向； 基于零穿越的方法通过寻找图像二阶导数零穿越来寻找边界， 通常是 过零点或者非线性差分表示的过零点。.3. 2 图像分割视觉信息的处理（） 边沿检测的常用算子） 梯度算子。 梯度对应一阶导数， 因而梯度算子是一阶导数算子。 在图像边沿灰度值过渡比较尖锐而且图像噪声较小时， 梯度算子的检测结果比较让人满意。最简单的梯度算子是 算子， 常用的还有 算子和 算子， 分别介绍如下

32、。 算子。 边沿检测算子是一种利用局部差分方法寻找边沿的算子。 它采用两个 模板 ， 边沿检测算子是一种平方根运算， 对具有陡峭的低噪声图像响应最好。视觉信息的处理 算子。 算子， 一个是检测水平边沿的 ， 一个是检测垂直边沿的 ， 图像中的每个点都用这两个核做卷积， 前一个核对水平边沿响应最大， 后一个核对垂直边沿响应最大。视觉信息的处理两个模板各自计算， 然后把两个卷积结果的最大值作为该点的输出值。- 边沿检测算子对灰度渐变和噪声较多的图像处理得较好。 算子。 边沿检测算子使用两个有向算子， 一个是水平的， 一个是垂直的， 每一个逼近一个偏导数， 即视觉信息的处理相对于 算子， 如果在每个

33、点噪声都是相同的， 那么 -算子是比较好的； 如果靠近边沿的噪声是沿着边沿的 倍， 那么算子是比较好的。 也就是算子的好坏取决于噪声的结构。梯度算子虽然简单， 编程容易实现， 但都对噪声有一定的敏感性。 由于噪声的影响，常常需要对梯度算子的结果进一步选取阈值做二值化处理， 以区分真假边沿点。视觉信息的处理） 方向算子。 方向算子利用一组模板分别计算不同方向上的差分值， 取其中的最大值作为边沿强度， 将与之对应的方向作为边沿方向。 常用的方向算子有平移和差分算子、梯度方向算子、 算子等几种。视觉信息的处理 平移和差分算子。 其包括垂直边沿算子、 水平边沿算子和水平与垂直边沿算子三种， 它们分别使

34、用下面的卷积核：视觉信息的处理该方法的实现思路是首先将图像平移一个像素， 然后用原图像减去平移后的图像。用相减的结果来反映原图像亮度变化率的大小。 如果原图像某个区域中的像素值保持不变， 相减的结果为零， 即像素点为黑； 如果原图像某个区域中的像素变化剧烈， 相减后的结果就会较大， 即得到较大的变化率， 对应的像素就会较亮。 如果相减后得到的像素值为负， 则取其绝对值， 以保证原图像像素比平移后图像更亮或更黑时， 都能得到有效的增强。其卷积核为 , 其梯度变化方向为东北， 如果在卷积核方向 （即东北方向） 上存在着正的像素亮度变化率， 则输出变化率越大， 则图像越亮。 梯度方向算子。 梯度方向

35、算子增强根据边沿检测方向的不同可以有 个不同的卷积核， 分别是北、 东北、 东、 东南、 南、 西南、 西和西北方向。 以东北方向算子举例说明,视觉信息的处理由于卷积核中所有卷积系数之和为 ， 因此， 图像中亮度基本不变的区域， 即频率较低的区域， 变化后的像素值将很小， 即这些部分经处理后将变黑。 算子。 使用 个模板来确定梯度和梯度的方向。 其 模板如下所示。视觉信息的处理图像中的每个像素点都用这 个卷积核进行卷积， 每个卷积核都对某个特定方向做出最大响应， 所有 个方向中的最大值作为边沿幅度图像的输出。 i- 边沿检测算子也对灰度渐变和噪声较多的图像处理得较好。） 其他算子。 其他边沿检

36、测算子有拉普拉斯算子、 高斯拉普拉斯 （ ） 算子、边界闭合算子等。 其中拉普拉斯算子是一种二阶算子， 对图像中的噪声相当敏感， 因而处理的效果不好， 而 算子是用高斯平滑滤波器先滤掉图像中的噪声， 然后再用拉普拉斯算子进行边沿检测， 但由于此算子也是二阶算子， 受噪声影响大， 因而效果也不好。而边界闭合方法是使用图像像素梯度的幅度和方向并行地进行边界闭合， 即比较图像的梯度中的每一个像素和它 个领域像素点的幅度和方向角， 如果这两者都小于其设定的阈值， 则把这些点连接起来， 以得到闭合边沿的方法。视觉信息的处理（） 阈值化 边沿检测计算出导数之后， 下一步要做的就是给出一个阈值来确定哪里是边

37、缘位置。 阈值越低， 能够检测出的边线越多， 结果也就越容易受到图像噪声的影响， 并且越容易从图像中挑出不相关的特性。 与此相反， 一个高的阈值将会遗失细的或者短的线段。视觉信息的处理图 所示的强度直方图对应于一幅图像 （， ）， 该图像是在暗背景上有亮的物体， 这使得物体像素和背景像素的强度分成两个不同的区域。 从背景中提取物体的一种直观方法是选择一阈值 将两个强度分开， 然后， 将所有 （， ） 的点 （， ） 称为物体点， 其他点则称为背景点。视觉信息的处理图图 可可分割的强度直方图分割的强度直方图在这种情况下， 图像的直方图形成三个聚集区 （如在暗背景上有两种亮物体）， 如图 所示。

38、这里， 我们可以使用同样的方法对物体加以分类， 若 （， ） ， 则点属于一类物体； 若 （， ） ， 则点属于另一类物体； 若 （， ） ， 则点属于背景。 视觉信息的处理图图 可可分割的强度直方图分割的强度直方图一般地说， 这种多级阈值化要比单一阈值化的可靠性低， 这是因为当直方图中大的聚集区较多时， 很难找到可以有效划分这些区域的多个阈值。 如果要用阈值化技术处理这类问题， 最好是使用单个可变阈值的方法。视觉信息的处理图图 可可分割的强度直方图分割的强度直方图将阀值看作是对承数 的一种检测运算， 即视觉信息的处理式中， （， ） 是点 （， ） 的强度； （， ） 表示该点的某种局部性质

39、。如例， 以点 （， ） 为中心的邻域内的平均强度可用式 （ ） 求得阈值化图像：考察 （， ）， 标记为 （或任何其他的约定强度级） 的像素对应于物体， 而标为 的像素对应于背景。当 只与 （， ） 有关时， 阀值称为整体阈值 （图 即是整体阈值的示例）。 若 取决于 （， ） 和 （， ） 两者， 则称为局部阈值。 此外， 若 与空间坐标 和 有关，则称之为动态阈值。在进行阈值化时， 关键是分割阈值的选择。 分割阈值的选择有很多的方法， 在此介绍最优阈值的选择。视觉信息的处理由概率密度函数之和所形成的直方图是双峰直方图， 其函数表达式可近似表示为视觉信息的处理式中， 为表示强度的随机变量；

40、 （ ） 和 （ ） 为概率密度函数； 和 称为先验概率。先验概率就是图像中两种类型强度级出现的概率。 例如， 考虑图 所示直方图对应的图像， 整个直方图可以用两个概率密度函数之和近似表示， 如图 所示。 若已知亮的像素代表物体， 并且图像面积的 为物体像素所占有， 则 .。 还应有视觉信息的处理结果表明， 其余的 应为背景像素。图图 图像图像发光强度直方图发光强度直方图假设 （） 和 （） 为高斯概率密度函数， 即视觉信息的处理式中， 、 分别为两部分灰度的数学期望 为方差。因此， 式 （ ） 和式 （ ） 中的 （） 中含有 个参数， 如果参数都是已知的， 那么很容易求出最优阈值。现在假设

41、亮的部分是背景， 暗的部分是物体， 且 。 在进行图像分割时， 把背景当作物体和把物体当作背景的错误概率分别由式 （ ） 和式 （ ） 给出：视觉信息的处理误差总概率为视觉信息的处理寻找 （） 的最小值， 则可以求阈值 。 因此， 将 （） 对 微分， 并令其等于 ， 则有将 （） 和 （） 代入上式， 整理可得视觉信息的处理式中， 。 若 ，则 若 或 ， 则最优阈值恰好是两个均值的平均值， 条件 意味着物体和背景的强度在整幅图像内都是常数； 而条件 则意味着物体和背景出现的概率相同，也就是图像中物体的像素个数等于背景的像素个数。视觉信息的处理. 图像的边沿连接在理想情况下， 前面的边沿检测

42、方法给出的只是那些位于物体与背景之间边界处的像素。 实际上， 噪声的存在， 不均匀照明引起的边界中断， 以及其他因素造成的意外强度不连续性， 都会使得检测出的像素难以完全表征边界。 因此， 在边沿检测算法之后，通常要进行连接和用其他边界检测的方法进行处理， 以便使边沿像素形成一个有意义的物体边界。 可用的方法有很多， 这里仅介绍用局部分析方法进行边沿连接。视觉信息的处理用局部分析方法进行边沿连接是最简单的一种方法。 在已导师行边沿检测处理的图像的每一点 （， ） 附近的小领域 （如 或 ） 内， 分析像素的特性， 将所有相似的点连接在一起， 这样便形成了具有某些共同特性的像素边界。在这类分析方

43、法中， 有两种基本特性可用于建立边沿像素的相似性： 用于检测边沿像素对梯度算子的响应速度； 梯度的方向。视觉信息的处理图像 （， ） 在位置 （， ） 处的梯度， 定义为二维矢量：视觉信息的处理根据式 （ ）， 矢量 的大小为实际上， 通常用绝对值来近似梯度：视觉信息的处理第一个特性可以由式 （ ） 或式 （ ） 所定义的 （， ） 值给出。 如果式中， 为阈值。则可以说， 在 （， ） 点预先确定的邻域中， 坐标为 （， ） 的边沿像素在幅值上与位于 （， ） 点的像素相似。根据式 （ ）， 梯度矢量角可以确定梯度的方向， 即视觉信息的处理式中， 为一角度 （相对于 轴测量）。沿差该角度，

44、变化率具有最大值。 因此， 若视觉信息的处理式中， 为一角度阈值。则可以说， 在 （， ） 的预定领域内， 坐标为 （， ） 的边沿像素与坐标为 （， ） 的像素在角度上相似。 应当注意， 实际上， （， ） 点的边沿方向垂直于该点梯度矢量的方向。基于上述概念， 若 （， ） 的邻域内一点与 （ ， ） 点同时满足幅值和方向准则，我们便可连接这两点。 对图像中每个位置重复上述处理， 逐个像素地移动邻域中心， 记录所有连接点。 分类记录的简单过程是对每组连接的边沿像素赋予不同的灰度等级。视觉信息的处理【例 】 为了说明上述过程，研究图 所示的汽车后部的图像。我们的目的是从图像中找出那些适于安置汽

45、车牌照的矩形框。 检测高响应的水平和垂直边沿， 便可获得所需的矩形。 图 、 所示为 算子的水平和垂直分量。 图 所示为梯度值大于 并且梯度方向差小于 的所有点的连接结果。 应用上述准则于图 的每一行， 便求得所需水平线， 然后再应用图 的每一列便可得到垂直线。 进一步的处理包括连接具有小间断区间的边沿线段和删除孤立的短线。视觉信息的处理视觉信息的处理图图 汽车汽车尾部的边沿连接尾部的边沿连接图像特征指图像中的物体所具有的特征， 图像特征是区分不同目标类别的依据。 图像特征主要有颜色、 纹理和几何形状等。视觉信息的处理. 图像特征提取. 颜色特征颜色特征是人类认识世界的最基本视觉特征。 颜色特

46、征具有较好的稳定性， 不易因大小或方向等的变化而发生改变， 具有较高的鲁棒性。 特征提取及计算方法相对简单。颜色特征属于全局特征。 目前常用的表示方法有颜色直方图、 颜色矩、 颜色聚合向量、颜色相关图等。（） 颜色直方图 颜色直方图不考虑每种颜色在图像中的具体位置， 描述的是各种颜色在整幅图像中所占的比例。 每幅图像都会有一个唯一的颜色直方图与其对应， 不因尺度缩放或方向旋转而发生改变， 但由于其不能确定颜色的具体空间位置， 因此只适合那些无须考虑位置、 无须考虑划分的图像。视觉信息的处理（） 颜色矩 颜色特征提取一般都需要对颜色空间进行量化， 而空间量化一方面容易造成误检， 另一方面容易产生

47、较高的维数， 增加计算量， 不利于图像识别。 针对这两方面的问题， 颜色矩是一种简单可行的方法， 它不需空间量化， 特征向量维数低。 另外，颜色信息集中分布在低阶矩中， 故而采用一阶矩、 二阶矩、 三阶矩就足以完成颜色信息描述。 但此种方法在检索时效率不是很高， 只适合进行图像的初步过滤。视觉信息的处理（） 颜色聚合向量 颜色聚合向量方法解决了颜色直方图和颜色矩无法确定颜色的空间位置的问题。 它在连通区域的计算过程中将每一柄的像素分为聚合和非聚合两部分，使得同一区域内的像素具有同类量化值， 并且同一区域的任意两个像素之间存在通路。 进行图像比较时， 对于每一个颜色簇的两个部分甄别其相似度， 根

48、据综合比对情况给出结论。（） 颜色相关图 颜色相关图既刻画了颜色的统计信息， 也刻画了不同颜色之间的空间关系， 即距离与颜色的空间相关性。视觉信息的处理. 纹理特征纹理也是识别物体的一个重要特征。 纹理在图像中表现为不同的亮度与颜色。 纹理很直观， 但由于对纹理的认识和考察角度不同， 纹理并没有一个准确的定义， 从而也导致对于纹理特征提取的方法有很多种。 目前， 纹理特征提取的方法主要有统计方法、 模型方法、 结构方法和信号处理方法， 针对每种方法的特性又产生了各种各样的算法。视觉信息的处理（） 统计方法 纹理貌似繁乱， 实则具有一定的规律性。 统计方法以像元及领域的灰度属性为基础， 依此思想

49、所提出的算法主要有： 自相关函数、 灰度共生矩阵法、 灰度梯度共生矩阵分析法等。视觉信息的处理（） 模型方法 模型方法是通过建立模型解决实际问题。 基本想法是先假定纹理符合某种模型分布， 此时， 特征提取就转化为参数估计。 经常使用的模型方法有随机场方法和分形方法两种。 随机场方法参考概率模型作为建立模型依据， 通过定量的信息计算，推测所需模型参数， 在聚类的基础上再形成模型参数， 而后进行概率估计确定其归属可能性。 分形方法是因自然纹理在图像尺度变化过程中所保有的自相似性而产生的， 该方法所需解决的核心问题是分形维数的准确估计， 其是各种算法设计的关键。视觉信息的处理（） 结构方法 结构方法

50、将复杂纹理分解为相对简单的纹理基元。 很多人工纹理是比较规则的， 可以从中找到其纹理基元及纹理基元的有序排列， 从而以图状、 树状等结构对其描述。 由于结构方法对规则性的要求， 所以， 它较适合高层检索， 而对于不容易得到基元的自然纹理求解相对困难。 比较有代表性的结构方法有句法纹理描述法和数学形态学法两种。视觉信息的处理（） 信号处理方法 信号处理方法即滤波法， 这种方法一般都基于纹理可被能量分布所识别。 常使用的有离散余弦变换法、 傅里叶级数方法、 小波方法、 滤波方法等等。视觉信息的处理. 几何形状特征形状的描述对于物体的识别起着不可忽视的影响作用。 形状特征一般从轮廓特征和区域特征两个