1、.1机器视觉技术及应用机器视觉技术及应用.2本课程的主要内容本课程的主要内容机器视觉系统简介机器视觉系统硬件基础-图像采集机器视觉系统软件基础-机器视觉算法机器视觉系统应用基础-商用视觉软件机器视觉应用案例分析.3本课程的要求本课程的要求掌握一种编程语言 VC+，C#，Matlab掌握一种机器视觉工具软件 halcon,visonpro,opencv,Matlab图像处理工具箱掌握机器视觉一些常用技术基于以上技术能开发出一个机器视觉应用系统.4本次课后大家需要完成本次课后大家需要完成下载并安装微软公司的VS开发平台下载并安装常用的机器视觉工具软件： Halcon（商业软件） Matlab图像处
2、理工具箱（商业软件） opencv（开源软件）.5本次课后大家需要开始本次课后大家需要开始学习VS中某一种语言的Windows界面程序设计 VC+ , C# , VB.net了解并学习某一种机器视觉工具软件Halcon， Matlab图像处理工具箱, opencv 本教学以halcon以主.6网站nGoogle search computer visionnComputer vision homepagenComputer vision onlinenComputer vision source codesnComputer vision test datanComputer vision .
3、7 主要学术会议主要学术会议 Int. Conf. on Computer Vision and Pattern Recognition (CVPR); Int. Conf. on Computer Vision(ICCV); European Conf. on Computer Vision(ECCV); Asian Conf. on Computer Vision(ACCV); Int. Conf. on Pattern Recognition(ICPR); 主要学术期刊主要学术期刊 Int. J on Computer Vision(IJCV) IEEE Trans. on Patter
4、n Analysis and Machine Intelligence(PAMI) IEEE Trans. on Image Processing Pattern Recognition Image and Vision Computing Pattern Recognition Letter如何了解最新进展？如何了解最新进展？.8视视 觉觉有研究结果表明，有研究结果表明，视觉获得的感知信息视觉获得的感知信息占人对外界感知信息的占人对外界感知信息的 .9机器视觉机器视觉 因此，因此，赋予机器以人类视觉功能赋予机器以人类视觉功能对对发展新一代发展新一代智能机器智能机器是及其重要的是及其重要的10
5、什么是机器视觉？什么是机器视觉？用机器模拟人的视觉功能和大脑功能用机器模拟人的视觉功能和大脑功能看看思考思考理解理解判断判断（然后对相关的运动设备进行相应控制然后对相关的运动设备进行相应控制）11机器视觉的优点机器视觉的优点12机器视觉与人工视觉比较机器视觉与人工视觉比较机器视觉人工视觉效率高低速度快慢精度高（不一定）受主观影响可靠性检测效果稳定易疲劳，受情绪波动工作时间不间断工作有限信息化方便不易成本一次性投入不断降低人力成本不断上升环境适合恶劣危险环境不适合恶劣危险环境13机器视觉的不足机器视觉的不足还不够智能化，不能完全代替人还不够智能化，不能完全代替人14发展历程（国外）发展历程（国外
6、）20世纪世纪50年代年代：提出机器视觉概念：提出机器视觉概念 20世纪世纪70年代年代：真正开始发展：真正开始发展关键性标志关键性标志：CCD图像传感器的出现提供了可靠清晰的图像图像传感器的出现提供了可靠清晰的图像 20世纪世纪80、90年代年代：进入发展正轨：进入发展正轨关键性标志关键性标志：微处理器，图像处理技术的飞速发展提供了重：微处理器，图像处理技术的飞速发展提供了重要技术基础要技术基础 20世纪世纪90年代后年代后：高速发展，趋于成熟：高速发展，趋于成熟 关键性标志关键性标志：基于：基于LED光源的任意光场设计使机器视觉在各光源的任意光场设计使机器视觉在各种行业应用成为可能。种行业
7、应用成为可能。15- * -国内机器视觉发展历程国内机器视觉发展历程20世纪世纪90年代：开始起步年代：开始起步21世纪初：发展期世纪初：发展期近几年：加速发展近几年：加速发展机遇与挑战并存机遇与挑战并存中国正在成为世界机器视觉发展最活跃的地区之一中国正在成为世界机器视觉发展最活跃的地区之一中国已经成为全世界的制造中心，许多国际先进水平中国已经成为全世界的制造中心，许多国际先进水平的机器视觉系统已经进入中国的机器视觉系统已经进入中国国内机器视觉企业在与国际机器视觉企业的竞争中不国内机器视觉企业在与国际机器视觉企业的竞争中不断得到成长断得到成长16趋势趋势技术：数字化、实时化、智能化技术：数字化
8、、实时化、智能化 产品：智能相机将会占据市场重要地位产品：智能相机将会占据市场重要地位 应用：应用更加广泛应用：应用更加广泛 行业：发展更加迅速行业：发展更加迅速17机器视觉是一门交叉学科机器视觉是一门交叉学科综合技术综合技术光学成像技术光学成像技术照明技术照明技术传感器技术传感器技术计算机技术计算机技术数字图像处理技术数字图像处理技术人工智能技术人工智能技术机械工程技术机械工程技术控制技术控制技术开发机器视觉的团队需要机械工程开发机器视觉的团队需要机械工程、电子工程、光学工程及软件工程、电子工程、光学工程及软件工程等多方面的人才等多方面的人才光、机、电、算光、机、电、算18机器视觉定义机器视
9、觉定义美国制造工程师协会美国制造工程师协会 (SME) : “机器视机器视觉是使用光学器件进行非接触感知，觉是使用光学器件进行非接触感知，自自动获取和解释动获取和解释一个真实场景的图像，以一个真实场景的图像，以获取信息和获取信息和(/或或) 控制机器或过程。控制机器或过程。” 解释解释什么？什么？怎么怎么解释解释？(注意注意)本课程的核心问题是：.19.20樱樱桃桃柠柠檬檬苹苹果果葡葡萄萄.21樱樱桃桃柠柠檬檬苹苹果果葡葡萄萄.22樱樱桃桃柠柠檬檬苹苹果果葡葡萄萄.23葡葡萄萄樱樱桃桃柠柠檬檬苹苹果果.24葡葡萄萄樱樱桃桃柠柠檬檬苹苹果果.25葡葡萄萄樱樱桃桃柠柠檬檬苹苹果果.26樱樱桃桃柠柠
10、檬檬苹苹果果葡葡萄萄.27人类视觉人类视觉机器视觉机器视觉如何量化，如何计算如何量化，如何计算这里让机器解释什么？这里让机器解释什么？.28遥感图像遥感图像分析乞力马分析乞力马扎罗的积雪扎罗的积雪从图像上看这从图像上看这 “ “赤道上赤道上的雪峰的雪峰” ” 永久性积雪的永久性积雪的融化减少，反映了气候的融化减少，反映了气候的变暖趋势！变暖趋势！.29n如何让机器理解图中的目标，即如何让机器确定图中的子块是飞机？30Advantech Confidential& Internal Use Only 机器视觉的不足机器视觉的不足还不够智能化，不能完全代替人还不够智能化，不能完全代替人.31思考题
11、n找到其他想应用机器视觉解决的场景图像n想想要机器解释什么？如何解释？.32机器视觉的任务机器视觉的任务n中心任务就是对图象进行理解中心任务就是对图象进行理解n对单幅图象的理解对单幅图象的理解n对多幅图象的理解对多幅图象的理解n对视频图象的理解对视频图象的理解理解什么？理解什么？形状，位置、运动、身份形状，位置、运动、身份.33机器视觉的几个关键问题机器视觉的几个关键问题 感测：传感器是如何感测和表示外部世界图像？感测：传感器是如何感测和表示外部世界图像？ 信息编码：为了理解三维世界，如何对物体的几何特征、信息编码：为了理解三维世界，如何对物体的几何特征、纹理特征、运动特征和身份特征进行编码？
12、纹理特征、运动特征和身份特征进行编码？ 表示：在计算机中如何表示物体的部件、属性和关系？表示：在计算机中如何表示物体的部件、属性和关系？ 算法：用什么方法进行图像信息处理，以及建立对世界和算法：用什么方法进行图像信息处理，以及建立对世界和其中目标的描述？其中目标的描述？ 人类视觉人类视觉机器视觉机器视觉牢记可计算性牢记可计算性34机器视觉系统概述机器视觉系统概述通过图像采集单元将待检测目标转换成图像信通过图像采集单元将待检测目标转换成图像信号，并传送给图像处理分析单元；号，并传送给图像处理分析单元；图像处理分析单元进行特定的运算，输出分析图像处理分析单元进行特定的运算，输出分析结果；结果；分析
13、结果输出至图像界面，或通过分析结果输出至图像界面，或通过PLC控制机械控制机械单元执行相应的操作，或通过机械臂执行动作单元执行相应的操作，或通过机械臂执行动作35机器视觉系统硬件组成机器视觉系统硬件组成镜头镜头 机器视觉系统获取图像的窗口机器视觉系统获取图像的窗口光源光源 光源是光源是影响机器视觉系统输入的重要因素影响机器视觉系统输入的重要因素，因，因为它直接影响输入数据的质量，为它直接影响输入数据的质量，实际应用中其实际应用中其作用占到整个检测工作作用占到整个检测工作80%的应用效果的应用效果工业相机工业相机 机器视觉系统的核心部分，完成视觉检测的图机器视觉系统的核心部分，完成视觉检测的图像
14、采集像采集36halcon机器视觉软件系统机器视觉软件系统简介简介3738394041HALCON的HDevelop介绍424344454647484950不过大家还是要。掌握核心技术51机器视觉系统分类机器视觉系统分类52机器视觉系统分类机器视觉系统分类53机器视觉系统分类机器视觉系统分类54机器视觉系统分类机器视觉系统分类55机器视觉系统分类机器视觉系统分类56典型的机器视觉系统组成典型的机器视觉系统组成 （1）目标（）目标（2）相机（）相机（3）照明（）照明（4）光电传感器（）光电传感器（5）工控）工控机（机（6）相机与计算机接口（）相机与计算机接口（7）内存中的图像（）内存中的图像（8
15、）机器视觉）机器视觉软件（软件（9）检测结果（）检测结果（10）IO接口（接口（11）PLC（12）现场总）现场总线（线（13）执行机构）执行机构57典型的机器视觉系统的工作流程典型的机器视觉系统的工作流程.58小结小结q技术层次技术层次q底层基础元件和材料底层基础元件和材料q图像和视觉核心算法图像和视觉核心算法q视觉硬件和系统（含照明）视觉硬件和系统（含照明）q软件开发环境软件开发环境q机器视觉系统流程机器视觉系统流程q取像取像 = = 分析分析 = = 结果输出结果输出q部件与系统软、硬件部件与系统软、硬件q照明、光学元件、镜头、相机、图像采集卡照明、光学元件、镜头、相机、图像采集卡q工具
16、软件工具软件q智能相机智能相机q相关技术：相关技术：运动控制、机器人、通讯运动控制、机器人、通讯59机器视觉在工业上的典型应用机器视觉在工业上的典型应用检测定位识别测量测量机器视觉 60定位定位确定相机视场内的感兴趣物品的位置确定相机视场内的感兴趣物品的位置通常采用图像匹配技术通常采用图像匹配技术目标定位是机器视觉应用的非常关键目标定位是机器视觉应用的非常关键的第一步的第一步人眼定位很简单，机器定位却很困难人眼定位很简单，机器定位却很困难61定位的挑战性定位的挑战性因照明或遮挡而出现外观变化因照明或遮挡而出现外观变化62定位的挑战性定位的挑战性因姿态畸变影响而出现外观变化因姿态畸变影响而出现外
17、观变化63定位算法的要求定位算法的要求应能抵抗较大的对比度和光线变化，尺度应能抵抗较大的对比度和光线变化，尺度变化、旋转和其他因素。变化、旋转和其他因素。64Advantech Confidential& Internal Use Only - * -引导引导指导机器人进行零指导机器人进行零件取放作业件取放作业提供，提供，给给机器人用于二维和机器人用于二维和三维抓取三维抓取（例：（例：机器人机器人1，机器人机器人2）65识别（例：读码）识别（例：读码）66- * -识别（例：识别（例：OCR）67识别（例：颜色识别）识别（例：颜色识别）68识别（例：识别（例：行人识别行人识别，路的识别路的识别
18、）69检测检测 （例（例 IC检查检查）验证数量验证数量&检查装置检查装置完整性完整性数量缺少数量缺少是否缺失是否缺失装配验证装配验证质量检查质量检查检测缺陷检测缺陷外观检测外观检测1.污物污物.70q检测检测（如残次品检测）（如残次品检测）.71q检测检测（如数字统计）（如数字统计）.72q检测检测（瑕疵检测瑕疵检测）73Advantech Confidential& Internal Use Only - * -测量（例：测量（例：长度测量长度测量）74Advantech Confidential& Internal Use Only - * -测量（例：测量（例：角度测量角度测量）75A
19、dvantech Confidential& Internal Use Only - * -应用领域应用领域科学研究科学研究材料分析、生物分析、化学分析、生命科学等材料分析、生物分析、化学分析、生命科学等军事军事航天、航空、兵器航天、航空、兵器(敌我目标识别、跟踪敌我目标识别、跟踪)及测绘及测绘民用民用智能交通、安全防范、文字识别、身份验证等智能交通、安全防范、文字识别、身份验证等工业工业质量检测、产品分类、产品包装、机器人定位质量检测、产品分类、产品包装、机器人定位7677Advantech Confidential& Internal Use Only - * -78Advantech Confidential& Internal Use Only - * -
