1、学习目标学习目标掌握常见CCD和CMOS图像传感器的基本工作原理、主要参数及选型方法。了解图像传感器的一般应用，能进行简易图像检测系统的操作，如图像获取与显示、图像识别等。能够根据工作任务，检索文献、查找阅读资料（含英文资料）以获得有用的信息；能自主学习新知识、新技术，具有综合与创新能力。专业能力方法能力第七章第七章 图像传感器图像传感器 CMOS图像传感器2 实训课题 机器人智能视觉4 CCD图像传感器1 本章小结5 图像传感器的应用3图像传感器图像传感器 视觉获取的信息占人类所能获取的信息总量的80%以上，作为视觉系统的延伸，图像检测在工业、农业及日常生活发挥出越来越重要的作用。图像检测采
2、用图像传感器将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格/不合格、有/无等，实现自动识别功能。图像传感器图像传感器 图像检测系统按功能可划分为图像输入（图像检测）、图像处理及图像输出组成。7.1 CCD7.1 CCD图像传感器图像传感器 CCD图像传感器由电荷耦合器件（Charge Coupled Device）制成，因集成度高，功耗小、耐冲击、寿命长等特点，而被广泛应用于军事、天文、医疗、广
3、播、电视、传真、通信等领域。在硅衬底上生长一层很薄的二氧化硅，再在二氧化硅薄层上依次沉积金属或掺杂多晶硅形成电极，称为栅极。该栅极和硅衬垫就形成了规则的MOS电容器阵列，再加上两端的输入及输出二极管就构成了CCD电荷耦合器件芯片。CCDCCD器件器件CCD有线针型和面阵型两种。线阵型CCD常用于扫描仪、传真机等设备。CCD摄像机、照相机就是通过透镜把外界的景像投射到二维MOS电容器面阵上，产生MOS电容器面阵的光电转换和记忆。（b）面阵CCD（a）线阵CCD CCDCCD图像传感器工作原理图像传感器工作原理 一个完整的CCD器件由光敏元、转移栅、移位寄存器及一些辅助输入、输出电路组成。CCD工
4、作时，在设定的积分时间内，光敏元对光信号进行取样，将光的强弱转换为各光敏元的电荷量。取样结束后，各光敏元的电荷在转移栅信号驱动下，转移到CCD内部的移位寄存器相应单元中。移位寄存器在驱动时钟的作用下，将信号电荷顺次转移到输出端。输出信号可接到示波器、图象显示器或其他信号存储、处理设备中，可对信号再现或进行存储处理。CCDCCD图像传感器工作原理图像传感器工作原理以简单三相CCD为例，在时刻t1，第一相时钟1处于高电压，2、3处于低电压，第一组电极1、4、7下面形成深势阱，在势阱中可以贮存信号电荷形成“电荷包”,2、5、8，3、6、9未形成势阱。在t2时刻，1线性减少，2为高电压，3仍为低电压，
5、在第一组电极下的势阱变浅，而第二组(2、5、8)电极下形成深势阱，信息电荷从第一组电极下面向第二组转移。直到t3时刻，2为高电压，1、3为低电压，信息电荷全部转移到第二组电极下面。（a）驱动信号（b）电荷转移 CCDCCD图像传感器工作原理图像传感器工作原理上述CCD电荷转移过程也可用虹吸雨量收集作形象的类比。用雨滴表示光学图像中的光子，小盆表示传感器像元，盆深度表示像元容纳的电荷，虹吸泵表示CCD的移位寄存器，雨量筒表示CCD的输出放大器。a）接受雨水b）雨水逐行收集 c)收集完成等待下次收集 色彩信息的获取色彩信息的获取CCD 芯片按比例将一定数目的光子转换为一定数目的电子，但光子的波长，
6、也就是光线的颜色，却没有在这一过程中被转换为任何形式的电信号，因此 CCD 无法区分颜色的，即获取的是灰度图像。为获取彩色图像，一种方法是采用分光棱镜和3个CCD器件。棱镜将光线中的红、绿、蓝三个基本色分开，使其分别投射在一个 CCD 上，每个 CCD 就只对一种基本色分量感光。实际应用中的效果非常好，但结构复杂，价格昂贵。3CCD彩色成像原理图 色彩信息的获取色彩信息的获取另一种方式是采用单一CCD器件，将马赛克滤光片（也称拜尔滤镜，Bayer filter）加装在CCD上。每四个像素形成一个单元，一个过滤红色、一个过滤蓝色，两个过滤绿色（因为人眼对绿色比较敏感）。每个像素都接收到感光信号，
7、但色彩分辨率不如感光分辨率。采用每四个感光单元为一组，分别获取G、B、R、G光度信号并合成为一个像素点色彩信息。单CCD彩色成像原理图 单CCD彩色图像传感器结构 CCDCCD图像传感器的基本参数图像传感器的基本参数1.光谱灵敏度 CCD的光谱灵敏度取决于量子效率、波长、积分时间等参数。量子效率表征CCD芯片对不同波长光信号的光电转换能力。2.动态范围 表征同一幅图像中最强但未饱和的点与最弱点强度的比值。数字图像一般用DN表示。3.非均匀性 CCD芯片全部像素对同一波长、同一强度信号响应能力的不一致性。CCDCCD图像传感器的基本参数图像传感器的基本参数4.非线性度 CCD芯片对于同一波长的输
8、入信号，其输出信号强度与输入信号强度比例变化的不一致性。5.分辨率 包括灰度值分辨率和空间分辨率。灰度值分辨率是利用图像多级亮度来表示分辨率的方法，机器能分辨给定点的测量光强度，所需光强度越小则灰度值分辨率就越高，一般采用256级灰度值，它具有很强的精确区别目标特征的能力；空间分辨率是指CCD分辨精度的能力，通常用像素来表示，即规定覆盖原始图像的栅网的大小，栅网越细，网点和像素越高，说明CCD的分辨精度越高。7.2 CMOS7.2 CMOS图像传感器图像传感器 采用标准CMOS（Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体）制造工艺制造，
9、优点是功耗小，成本低，速度快；缺点：分辨率低，动态范围小，光照灵敏度弱，图像质量差。类别CMOS图像传感器CCD图像传感器灵敏度高高信噪比良优动态范围小大最大帧频1000fps（帧/秒）30fps（帧/秒）集成度高低加工工艺通用工艺特殊工艺电路结构简单复杂模块体积小大可靠性高低成本低高CMOSCMOS图像传感器的组成图像传感器的组成 CMOS 图像传感器一般由光敏单元阵列（像元阵列）、行选通逻辑、列选通逻辑、定时和控制电路，片上模拟信号处理器构成。更高级的CMOS 图像传感器还集成有片上A/D转换器，将光敏感光单元（光电二极管）阵列、放大器、A/D 转换器、数字信号处理器行阵列驱动器、列时序控
10、制逻辑单元、数据总线输出接口以及控制接口等部分采用传统的芯片工艺方法集成在一块硅片板上。a)常用CMOS图像传感器组成 b)带A/D的CMOS图像传感器组成 CMOSCMOS图像传感器的像元结构图像传感器的像元结构 CMOS图像传感器的每一个基本感光单元也称为像素单元（简称为像素或像元），主要是以MOS电容和P-N结光敏二极管组成，采用阵列式结构，有线型和面型之分。CMOS图像传感器像素结构目前主要有无源像素图像传感器和有源像素图像传感器两种。无源像素图像传感器信噪比低、成像质量差，所以目前绝大多数CMOS图像传感器采用的是有源像素图像传感器结构。无源型像素单元 CMOSCMOS图像传感器的像
11、元结构图像传感器的像元结构 光敏二极管型有源像素单元 光栅型有源像素单元 对数有源像素单元 CMOSCMOS图像传感器的工作原理图像传感器的工作原理 电荷存储和传输的工作基本原理是：先将光敏二极管的PN结反向偏置到某一固定电压，然后断开，存储在光敏二极管电容上的电荷的衰减速度与入射光照度成比例。经过一定的积分时间后，读出二极管两端的电压。读出结束后，再通过开关使二极管两端的恢复到原来的电压。1.首先进入“复位状态”。这时打开行选通场效应管M，电源向电容C充电至固定电压Ur，光敏二极管D处于反向状态；2.然后进入“取样状态”。这时关闭场效应管M，在光照下二极管产生光电流，使电容上存贮的电荷放电，
12、经过一个固定时间间隔后，电容C上存留的电荷量就与光照成正比例，这时就将一幅图像摄入到了敏感元件阵列之中；3.最后进入“读出状态”。再打开场效应管M，逐个读取各像素中电容C上存贮的电荷电压。CMOSCMOS图像传感器的工作流程图像传感器的工作流程CMOSCMOS图像传感器的应用图像传感器的应用摄像头7.3 7.3 图像传感器的应用图像传感器的应用 光路图 结构 扫描仪 7.3 7.3 图像传感器的应用图像传感器的应用 数码摄像机 7.3 7.3 图像传感器的应用图像传感器的应用 数码相机结构示意图 CMOS数码相机图像工作原理 7.3 7.3 图像传感器的应用图像传感器的应用 CMOS数码相机图
13、像工作原理 7.3 7.3 图像传感器的应用图像传感器的应用 工件尺寸测量 根据工件成像轮廓覆盖的光敏单元数量来计算工件尺寸数据。例如，在光学系统放大率为1：M的装置中，有 L=（Nd2d）M式中 L工件尺寸；N覆盖的光敏单元数；d 相邻光敏单元中心距离。7.3 7.3 图像传感器的应用图像传感器的应用 生产线工件质量检测 废料收集桶传输链控制柜冷却台CCD检测系统机器人压铸机安全门工作区域围挡7.3 7.3 图像传感器的应用图像传感器的应用 钞票检查系统 7.3 7.3 图像传感器的应用图像传感器的应用 防盗检测7.3 7.3 图像传感器的应用图像传感器的应用字符识别 牌照识别7.3 7.3
14、 图像传感器的应用图像传感器的应用工业机器人焊锡系统 通过人工将散热片、IGBT、PCB板固定到基板的过程存在不确定性因素，将会造成IGBT的待焊接管脚的空间位置不固定。为保证焊接质量，须配置视觉系统。7.3 7.3 图像传感器的应用图像传感器的应用工业机器人焊锡系统组成图 7.3 7.3 图像传感器的应用图像传感器的应用机器人视觉控制系统原理图 7.4 7.4 实训课题实训课题 机器人智能视觉机器人智能视觉 机器人智能视觉系统是由视觉控制器、及监视显示器等组成。CCD图像传感器用于识别工件的特性，如数字、颜色、形状、姿态方位等，提供机器人所需的装配信息，比如让机器人按工件序号、颜色将工件放置
15、到相应工/库位，对工件放置的姿态方位进行调整等。视觉控制器 CCD图像传感器 7.4 7.4 实训课题实训课题 机器人智能视觉机器人智能视觉 CCD图像传感器 机器人本体 工件组装单元显示器视觉控制器机器人智能视觉系统 实训操作实训操作 打开电源，启动视觉控制器，系统启动后自动运行智能视觉软件并进入软件主画面。dfecbaa-菜单栏 b-测量信息显示区域 c-工具栏d-图像显示区域 e-控制区域 f-测量管理栏主画面实训操作实训操作 单击“场景切换”，在对话框中选择一个场景，然后确定，新建一个场景。场景切换 实训操作实训操作 在主界面单击“流程编辑”，进入流程编辑界面，进行流程编辑。流程编辑
16、实训操作实训操作 单击“分类”图标，进入设置界面在“分类”界面先设置“模型参数”，在初始状态下设定，选择“旋转”，还要设定旋转范围、跳跃角度、稳定度和精度等。模型登录参数设置 实训操作实训操作 进入“模型登录”界面，单击左边图形图标，在右边显示界面会出现一个圆圈，移动圆圈把数字圈在中间，设置测量区域，单击“确定”就可以一个工件的登录工作，并回到分类界面。模型登录界面 实训操作实训操作 完成一个模型登录实训操作实训操作 回到主界面，取已建立模型库的任一颜色的工件，镜头对准工件，单击“执行测量”，此时会在右下角对话框显示测量信息，即显示颜色识别的结果。参照上述操作方法完成工件编号识别及摆放角度测量。7.4 7.4 小结小结 主要介绍了CCD和CMOS固态图像传感器的基本知识，包括传感器的制作工艺，敏感单元构成，传感器的组成结构、信号获取及传输等基本工作原理。CMOS和CCD两种图像传感器的的主要性能，优、缺点和应用领域。并就基于图像传感器的典型产品和应用案例进行了详细阐述，以工业机器人智能视觉为例阐述了图像传感器颜色识别操作过程。
