1、主讲：主讲： 曹洋曹洋办公室：科技楼西楼办公室：科技楼西楼303303使用教材： Richard Szeliski，Computer Vision: Algorithms and Applications，Springer，2010参考教材：David A. Forsyth, Jean PonceDavid A. Forsyth, Jean Ponce著，计算机视觉（一种现著，计算机视觉（一种现代方法），电子工业出版社代方法），电子工业出版社 20042004。课程主页： 课程教材：待定课程设置课程设置：计计算算机机视视觉觉视觉基础视觉基础底层处理底层处理中层处理中层处理高层处理高层处理视觉基
2、础理论：视觉基础理论： 神经生理学、认知科学；神经生理学、认知科学； 色度学、光学；色度学、光学； 射影几何、矩阵理论。射影几何、矩阵理论。图像处理：图像处理： 空域图像处理；空域图像处理； 频域图像处理；频域图像处理； 图像特征提取。图像特征提取。 图像分割；图像分割； 相机标定；相机标定； 深度估计；深度估计； 运动估计。运动估计。 三维重建；三维重建； 目标识别。目标识别。 Week 1 Week 1 ( (2.272.27，3.2)3.2)绪论绪论 (5 lectures) (5 lectures)视觉基本特性视觉基本特性I I生物特性生物特性Week 2Week 2（3.63.6，3
3、.93.9）视觉基本特性视觉基本特性II II物理特性物理特性 (5 lectures) (5 lectures)视觉基本特性视觉基本特性IIIIII几何特性几何特性Week 3Week 3（3.133.13，3.163.16）图像处理基础图像处理基础I I空域处理空域处理 (5 lectures) (5 lectures)图像处理基础图像处理基础II II频域处理频域处理Week 4Week 4（3.203.20，3.233.23）特征提取特征提取I I点特征点特征 (5 lectures) (5 lectures)特征提取特征提取II II边缘及线特征边缘及线特征Week 5Week 5（
4、3.273.27，3.303.30）图像分割图像分割I I主动轮廓线主动轮廓线(5 lectures)(5 lectures)图像分割图像分割II IIMeanMean shift shiftWeek 6Week 6（4.34.3，4.84.8）图像对准图像对准(5 lectures)(5 lectures)摄像机标定摄像机标定Week 7Week 7（4.104.10，4.134.13）单幅图像深度估单幅图像深度估计计 I I(5 lectures)(5 lectures)单幅图像深度估单幅图像深度估计计 II IIWeek 8Week 8（4.174.17，4.204.20）运动估计深度运
5、动估计深度I I(5 lectures)(5 lectures)运动估计深度运动估计深度II II4.174.17(3 lectures)(3 lectures)图像分割图像分割I I主动轮廓线主动轮廓线4.19 4.19 (2 lectures)(2 lectures)图像分割图像分割II IIMeanMean shift shift4.244.24(3 lectures)(3 lectures)图像对准图像对准4.264.26(2 lectures)(2 lectures)摄像机标定摄像机标定5.15.1(3 lectures)(3 lectures)劳动节放假劳动节放假5.35.3(2
6、lectures)(2 lectures)运动估计运动估计 I I5.85.8(3 lectures)(3 lectures)运动估计运动估计 II II5.105.10(2 lectures)(2 lectures)稠密运动估计稠密运动估计光流光流3.203.20 (3 lectures) (3 lectures)引言引言3.223.22 (2 lectures) (2 lectures)视觉基本特性视觉基本特性I I生物特性生物特性3.273.27 (3 lectures) (3 lectures)视觉基本特性视觉基本特性II II物理特性物理特性3.293.29 (2 lectures)
7、 (2 lectures)视觉基本特性视觉基本特性IIIIII几何特性几何特性4.34.3 (3 lectures) (3 lectures)图像处理基础图像处理基础I I空域处理空域处理4.54.5 (2 lectures) (2 lectures)图像处理基础图像处理基础II II频域处理频域处理4.10 4.10 (3 lectures)(3 lectures)特征提取特征提取I I点特征点特征4.124.12 (2 lectures) (2 lectures)特征提取特征提取II II边缘及线特征边缘及线特征Week 9Week 9（4.244.24，4.274.27）立体视觉深度估立
8、体视觉深度估计计(5 lectures)(5 lectures)测距成像系统测距成像系统Week 10Week 10（5.1 5.1 ，5.45.4）劳动节放假劳动节放假(5 lectures)(5 lectures)三维重建三维重建I IWeek 11Week 11（5.8 5.8 ，5.115.11）三维重建三维重建II II(5 lectures)(5 lectures)目标识别目标识别 I IWeek Week 1212（5.155.15，5.18 5.18 ）目标识别目标识别 II II(5 (5 lectures)lectures)布置作业布置作业考核方式阅读报告：两人一组，从30
9、篇计算机视觉的经典文献中挑选一篇阅读，并提交一份阅读报告及PPT。项目报告：2-4人一组，从五个候选项目中任选一个，实现并提交项目报告以及源代码。视觉计算机智能机器：能够模拟人类的功能，感知外部世界并智能机器：能够模拟人类的功能，感知外部世界并有效解决人所能解决问题的系统。有效解决人所能解决问题的系统。在人类的感知器官中，视觉获取的信息量最大，大在人类的感知器官中，视觉获取的信息量最大，大约约80%80%，因此对于发展智能机器而言，赋予机器以，因此对于发展智能机器而言，赋予机器以人类视觉功能是十分重要的。人类视觉功能是十分重要的。计算机视觉：研究用计算机来模拟生物外显或宏观计算机视觉：研究用计
10、算机来模拟生物外显或宏观视觉功能的技术学科。视觉功能的技术学科。计算机视觉的任务是用图像创建或恢复现实世界模计算机视觉的任务是用图像创建或恢复现实世界模型，然后认知现实世界。型，然后认知现实世界。具体来说，让计算机具有对周围世界的空间物体进具体来说，让计算机具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识别、理解行传感、抽象、判断的能力，从而达到识别、理解的目的。的目的。 分为三个阶段分为三个阶段 特征提取和区域分割特征提取和区域分割 基于轮廓基于轮廓, ,纹理纹理, ,颜色颜色 建模与模式表达建模与模式表达 基于各种物体的抽象化模基于各种物体的抽象化模型型 描述和理解描述和理解
11、 基于景物的结构知识基于景物的结构知识底层处理中层处理高层处理知识少多n输入设备输入设备(input device)(input device)的研制的研制, ,包括成像设备包括成像设备和数字化设备成象设备是指通过光学摄像机或和数字化设备成象设备是指通过光学摄像机或红外、激光、超声、红外、激光、超声、X X射线对周围场景或物体进射线对周围场景或物体进行探测成象，得到关于场景或物体的二维或三维行探测成象，得到关于场景或物体的二维或三维数字化图像数字化图像n对输入的原始图像进行预处理这一过程借用了对输入的原始图像进行预处理这一过程借用了大量的图像处理技术和算法，如图像滤波、图像大量的图像处理技术和
12、算法，如图像滤波、图像增强、边缘检测等，以便从图像中抽取诸如角点、增强、边缘检测等，以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特边缘、线条、边界以及色彩等关于场景的基本特征；这一过程还包含了各种图像变换（如校正）、征；这一过程还包含了各种图像变换（如校正）、图像纹理检测、图像运动检测等图像纹理检测、图像运动检测等n恢复场景的深度、表面法线方向、轮廓等有关场恢复场景的深度、表面法线方向、轮廓等有关场景的景的2.52.5维信息维信息, ,并在此基础上恢复物体的完整三并在此基础上恢复物体的完整三维图，建立物体三维描述维图，建立物体三维描述. . n根据机器预先存贮的模型知识以
13、及形状、色彩等根据机器预先存贮的模型知识以及形状、色彩等特征特征, ,对于图像中各种物体进行识别对于图像中各种物体进行识别, ,确定它们用确定它们用于哪一类物体于哪一类物体. .n建立各个图像中物体的拓扑关系图建立各个图像中物体的拓扑关系图, ,给出图像所给出图像所反映景物的结构描述反映景物的结构描述. .n体系结构（体系结构（system architecturesystem architecture）, ,涉及一系列涉及一系列相关的课题相关的课题, ,并行结构、分层结构、信息流结构、并行结构、分层结构、信息流结构、拓扑结构以及从设计到实现的途径拓扑结构以及从设计到实现的途径图像多义性：图像
14、多义性： 三维场景被投影为二维图像，深度和不可三维场景被投影为二维图像，深度和不可见部分的信息被丢失，因而会出现不同形状的三维物体投见部分的信息被丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题另外，在不同角度影在图像平面上产生相同图像的问题另外，在不同角度获取同一物体的图像会有很大的差异获取同一物体的图像会有很大的差异环境因素影响：场景中的诸多因素，包括照明、物体形状、环境因素影响：场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对成像有影响表面颜色、摄像机以及空间关系变化都会对成像有影响. .知识导引：知识导引： 同样的图像在不同的知识导引下，
15、将会产生同样的图像在不同的知识导引下，将会产生不同的识别结果不同的识别结果大量数据：大量数据： 灰度图像，彩色图像，深度图像的信息量十灰度图像，彩色图像，深度图像的信息量十分巨大，巨大的数据量需要很大的存贮空间，同时不易实分巨大，巨大的数据量需要很大的存贮空间，同时不易实现快速处理现快速处理上世纪上世纪5050年代，从统计模式识别开始，主要集中年代，从统计模式识别开始，主要集中在二维图像分析与识别，主要应用包括字符识别、在二维图像分析与识别，主要应用包括字符识别、工件表面检测等等。工件表面检测等等。上世纪上世纪6060年代，拓展到三维结构，对物体的形状，年代，拓展到三维结构，对物体的形状，物体
16、的空间关系进行描述。通过对积木世界的研物体的空间关系进行描述。通过对积木世界的研究，引出了边缘、角点等特征提取，图像明暗、究，引出了边缘、角点等特征提取，图像明暗、纹理、运动以及成像几何等研究工作。纹理、运动以及成像几何等研究工作。上世纪上世纪7070年代，年代，MarrMarr计算视觉理论，建立一个十计算视觉理论，建立一个十分重要的理论框架。分重要的理论框架。(a) line labeling(Nalwa 1993), (b) pictorial structures (Fischler and Elschlager1973) (c) articulated body model (Marr
17、 1982) (d) intrinsic images Barrow and Tenenbaum 1981) (e) stereo correspondence (Marr 1982 (f) optical flow (Nagel and Enkelmann 1986)(a) pyramid blending (Burt and Adelson 1983) (b) shape from shading (Freeman and Adelson1991) (c) edge detection (Freeman and Adelson 1991) (d)physically based model
18、s (Terzopoulos and Witkin 1988) (e) regularization basedsurface reconstruction (Terzopoulos 1988) (f) range data acquisitionand merging (Banno, Masuda, Oishi et al. 2008MarrMarr视觉计算理论视觉计算理论三种层次三种层次计算理论，主要解决视觉系统的计算目的和策略计算理论，主要解决视觉系统的计算目的和策略是什么？输入输出是什么？用什么策略根据系统是什么？输入输出是什么？用什么策略根据系统的输入求出输出？该层次的任务就是研究如
19、何建的输入求出输出？该层次的任务就是研究如何建立输入输出之间的约束和关系。立输入输出之间的约束和关系。 表示和算法，解决输入输出信息如何来表示？如表示和算法，解决输入输出信息如何来表示？如何实现计算理论所对应的功能的算法？以及如何何实现计算理论所对应的功能的算法？以及如何由一种表示转换成另一种表示？由一种表示转换成另一种表示？硬件实现，就是具体的计算装置和一些细节配置硬件实现，就是具体的计算装置和一些细节配置(a) factorization-based structure from motion (Tomasi and Kanade 1992), (b) dense stereo match
20、ing (Boykov, Veksler, and Zabih 2001), (c) multi-view reconstruction (Seitz and Dyer 1999) (d) face tracking (Matthews, Xiao, and Baker 2007), (e) image segmentation (Belongie, Fowlkes, Chung et al. 2002) (f) face recognition (Turk and Pentland 1991a).(a) image stitching: merging different views (Sz
21、eliski and Shum 1997) (b) exposure bracketing: merging different exposures; (c) morphing: blending between two photographs (Gomes, Darsa, Costa et al. 1999 (d) turning a collection of photographs into a 3D model (Sinha, Steedly, Szeliski et al. 2008)图像处理图像处理：图像处理通常是把一幅图像变换成另外一：图像处理通常是把一幅图像变换成另外一幅图像，
22、也就是说，图像处理系统的输入是图像，输幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成出仍然是图像，信息恢复任务则留给人来完成计算机图形学计算机图形学：通过几何基元，如线、圆和自由曲面，：通过几何基元，如线、圆和自由曲面，来生成图像，它在可视化（来生成图像，它在可视化（VisualizationVisualization）和虚拟）和虚拟现实现实(Virtual Reality(Virtual Reality）中起着很重要的作用计算）中起着很重要的作用计算机视觉正好是解决相反的问题，即从图像中估计几何机视觉正好是解决相反的问题，即从图像中估计几何基元和其它特
23、征因此，计算机图形学属于图像综合，基元和其它特征因此，计算机图形学属于图像综合，计算机视觉属于图像分析计算机视觉属于图像分析模式识别：模式识别：模式一般指一类事物区别于其它事物所具模式一般指一类事物区别于其它事物所具有的共同特征。有的共同特征。人工智能（人工智能（AIAI）：涉及到智能系统的设计和智能：涉及到智能系统的设计和智能计算的研究在经过图像处理和图像特征提取过计算的研究在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行程后，接下来要用人工智能方法对场景特征进行表示，并分析和理解场景人工智能有三个过程：表示，并分析和理解场景人工智能有三个过程：感知、认知和行动感知、
24、认知和行动神经生理学与认知科学神经生理学与认知科学：将人类视觉作为主要的：将人类视觉作为主要的研究对象计算机视觉中已有的许多方法与人类研究对象计算机视觉中已有的许多方法与人类视觉极为相似许多计算机视觉研究者对研究人视觉极为相似许多计算机视觉研究者对研究人类视觉计算模型比研究计算机视觉系统更感兴趣，类视觉计算模型比研究计算机视觉系统更感兴趣，希望计算机视觉更加自然化，更加接近生物视觉希望计算机视觉更加自然化，更加接近生物视觉 零件识别与定位零件识别与定位 产品检验产品检验 移动机器人导航移动机器人导航 遥感图像分析遥感图像分析 医学图像分析医学图像分析 安全鉴别、监视与跟踪安全鉴别、监视与跟踪 国防系统（目标自动识别国防系统（目标自动识别ATRATR与目标跟踪）与目标跟踪） 其它（体育、考古、动画其它（体育、考古、动画 ）Sojourner 火星车前部图，中部的两个小突出是两个黑白CCD摄像机勇气号火星车Rocky 7 火星车CMU月球探测实验车Nomad漫游者
