1、数字图像处理复习课程内容 第一章引言 第二章数字图像处理基础 第三章空域图像增强 第四章频域图像增强 第五章彩色图像处理 第六章小波与多分辨率处理 第七章形态学图像处理第一章 引言什么是图像？图像是由扫描仪、摄像机等输入设备捕捉实际的画面产生的数字图像。图像是由像素点阵构成的位图。图像是一个矩阵，其元素代表空间的一个点，称之为像素（Pixel），每个像素的颜色和亮度用二进制数来表示，这种图像也称为位图。对于黑白图用1位表示，对于灰度图常用4位（16种灰度等级）或8位（256种灰度等级）来表示某一个点的亮度，而彩色图像则有多种描述方法。什么是图像处理？Photoshop？图像处理图像处理，是对图
2、像进行分析、加工、和处理，使其满足视觉、心理以及其他要求的技术。图像处理是信号处理在图像域上的一个应用。为什么要研究图像处理？大量的图像、视频需要自动处理、理解应用驱动 从一幅或多幅图像构建三维世界表达(VR、电影、动画)监控(W4,whos doing what at where and when)电影的后处理 人脸感知 图像压缩，恢复 大量的科学问题有待深入 对生理学、神经生物学、人类认知等的研究有待深入，对侧抑制现象的揭示是这方面的典型例证；关于这一点并非绝对，汽车之与动物行走方式的不同、飞机之与鸟类飞行方式的不同是很好的反例；图像处理很重要航天和航空技术方面航天和航空技术方面生物医学工
3、程方面生物医学工程方面通信工程方面通信工程方面工业和工程方面工业和工程方面军事公安方面军事公安方面文化艺术方面文化艺术方面智能视频监控智能视频监控机器人视觉机器人视觉视频和多媒体系统视频和多媒体系统科学可视化科学可视化电子商务电子商务等等数字图像处理与计算机视觉图像处理图像处理技术通常是把一幅图像变换成另外一幅图像把一幅图像变换成另外一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像。图像处理包括：图像增强、图像压缩和模糊校正与非聚焦图像等课题。计算机视觉计算机视觉把图像作为输入图像作为输入，产生的输出为另一种形式输出为另一种形式，比如图像中物物体轮廓体轮廓的表示。计算机视觉计算机视
4、觉的重点重点是在人的最小干预下，由计算机自动恢复场景信息自动恢复场景信息。图像处理算法图像处理算法在计算机视觉系统的早期起着很大的作用，它们通常被用来增强特定信息增强特定信息并抑制噪声抑制噪声。数字图像处理与图形学 计算机图形学计算机图形学是通过几何基元几何基元，如：线、圆和自由曲面，来生成图像生成图像(或场景)，它在可视化（Visualization）和虚拟现实（Virtual Reality）中起着很重要的作用。图像处理图像处理正好是解决相反的问题解决相反的问题，是对图像进行分析、加工、和处理，使其满足视觉、心理以及其他要求的技术。这两个领域在其发展的早期阶段是没有什么联系早期阶段是没有什
5、么联系的，但是近十几年来发展得越来越相近了。数字图像处理与模式识别 模式识别模式识别主要用于识别识别各种符号、图画等平面图形平面图形；模式模式一般指一类事物区别于其它事物所具有的共同共同特征特征。模式识别模式识别的方法有：统计方法统计方法和句法方法句法方法两种。统计方法统计方法是指从模式中抽取一组特征值，并以划分特征空间的方法来识别每一个模式。句法方法句法方法是指利用一组简单的子模式(模式基元)通过文法规则来描述复杂的模式。图像处理方法是模式识别识别物体的重要基础模式识别识别物体的重要基础之一，此外经常还需要其它技术的支持。图像处理与人工智能 人工智能人工智能：主要研究智能系统的设计和有关智能
6、的计算理论与方法 人工智能有三个过程：感知、认知和行动感知、认知和行动 在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行表示，并分析分析和理解和理解场景 图像分类按视觉系统感受的情况分 可见图像：(380780nm)不可见图像：(780nm)X射线、红外、微波、超音 可视图像(visible images)：眼睛可以看见的 光学图像(optical images)：光强度的空间分布 通过镜头(lenses)、光栅(gratings)、立体照相(holograms)所获得按维数分 一维、二维、三维按颜色分 黑白、彩色按时间分 运动、静止第二章 数字图像处理基础视觉系统视网
7、膜视锥细胞0.0280.058mm长，0.00250.0075mm，有大约700万个，实现明视觉功能，具有彩色视觉功能，集中于中央凹，每个视锥细胞连接一个双极细胞视杆细胞0.0400.060mm长，0.02mm，有大约12,000万个，实现暗视觉功能，位于中央凹附近,几十个视杆细胞连接一个双极细胞第二章 数字图像基础 亮度适应与鉴别亮度适应与鉴别 人眼主观(感觉)亮度是入射光强的对数函数.能同时鉴别的光强级范围很小 韦伯比韦伯比(I/I):在低的照明级别，亮度辨别较差（韦伯比大），视觉由杆状体执行。在高的照明级别，亮度辨别能力达到改善（韦伯比降低），视觉由锥状体起作用（表示较好的辨别能力）。在
8、相当宽的范围内约为2%马赫效应马赫效应 人眼响应在不同光强区的边界周围会”过量调整”.第二章 数字图像基础 平面图象光学特性的表示平面图象光学特性的表示 图象I上象素光的强度（Intensity）是位置,时间t和光的波长 的函数。黑白图象黑白图象（灰度图象gray level image，grayscale image）彩色图像第二章 数字图像基础 数字图象表示用矩阵表示数字图象表示用矩阵表示 在计算机中的二维阵列（网格）二维数组 最小单位：象素 两个基本属性：几何属性：坐标 物理属性：灰度、亮度I颜色、透射度、深度。第二章 数字图像基础 数字图像的产生:连续图像;沿AB扫描线的连续图像;图像
9、数字化（采样和量化）图像数字化（采样和量化）数字图像的分辨率：数字图像的分辨率：空间分辩率空间分辩率用来描述数字图象所表示的空间细节的程度，每一个像素像素（像元，像点）值值均对应物理世界的一定面一定面积上某特性的平均值积上某特性的平均值。灰度分辩率灰度分辩率用来描述数字图象每个像素可取值的灰度级数范围。第二章 数字图像基础 像素间的一些基本关系 m邻接邻接(混合邻接混合邻接)：邻点：邻点q与当前像素（点）与当前像素（点）p存在存在4邻接前景邻点；或邻接前景邻点；或 q是是p的对角邻点并且的对角邻点并且p和和q没有公共的前景没有公共的前景4邻点。邻点。区域区域R：图像中的一些像素构成的集合：图像
10、中的一些像素构成的集合R,如果如果R是一个连通集合，则称是一个连通集合，则称R是一个区域。是一个区域。区域区域R的边界：该区域中的一组像素，它们各的边界：该区域中的一组像素，它们各自都有一个或一个以上的邻点不在自都有一个或一个以上的邻点不在R中。中。第二章 数字图像基础 像素间的一些基本关系 距离度量距离度量 Euclidean距离距离:等距为圆等距为圆 街区街区(City-Block)距离距离:等距为等距为4角星角星 棋盘距离棋盘距离:等距为矩形等距为矩形 视觉范围和分辨力1.视觉范围 视觉范围人眼所能感觉的亮度范围人眼的分辨力主观(感觉)亮度范围呈现自适应层次人眼主观(感觉)亮度是入射光强
11、的对数函数.能同时鉴别的光强级范围很小主观亮度强闪光极限夜视阈值适应范围夜视昼视对数光强刻画亮度分辨率的基本实验-Weber定律亮度分辨力实验,具有恒定背景的对比灵敏度I：刚好能鉴别亮度差异I与I有关，是I的函数当背景宽广且亮度均匀，则I很大范围内近似同I成正比。即I/I为一常数，其值约为0.02。韦伯比昼视与夜视分段韦伯比(I/I):在相当宽的范围内约为2%杆状体锥状体感觉与知觉差别感受性 感觉具有相对性Weber定律 I/I=K(常数,与感觉器官有关)I 原始刺激值 听觉(2000Hz)K=0.003 触觉(400g)K=0.013 咸味(觉)(3mol/l)K=0.2 视明度(1000光
12、量子)K=0.016 甚至幸福感 G.H.Fechner(1860)将Weber定律发展为(中等强度)E=K logI+C，K、CConst，E感觉，I刺激强度感觉亮度不是光强的简单函数人眼响应在不同光强区的边界周围会”过量调整”.这种现象称为”马赫效应马赫效应”Ernst Mach(1865描述)同时对比度的示例亮度适应 暗亮（视杆细胞视锥细胞）亮适应适应时间短（几秒种）亮暗 （视锥细胞视杆细胞）暗适应适应时间长（30min）MN 的数字图像用矩阵表示)1,1()0,1()0,1()1,1()1,1()0,1()1,0()1,0()0,0(),(NMfMfMfNfffNfffyxfF(x,y
13、)在0,L-1有L个灰阶,通常取L为2的k次幂图像存储量的计算:M*N*k2.5 Some Basic Relationships Between Pixels2.5.2 邻接性、连通性、区域和边界假设假设V是用于定义邻接性的灰度值集合。是用于定义邻接性的灰度值集合。4邻接邻接：如果q在N4(p)中，则具有V中数值的两个像素p和q是4邻接的。8邻接邻接：如果q在N8(p)中，则具有V中数值的两个像素p和q是4邻接的。m邻接邻接(混合邻接)，如果（1）邻点q与p 4邻接；（2）q在ND(p)中，并且集合N4(p)与N4(q)相交的像素里，没有V值的像素。m邻接是8邻接的修订，它消除了应用8邻接可
14、能引起的模糊性，如图2.26b（4或8邻接共存）。2.5 Some Basic Relationships Between Pixels2.5.2 邻接性、连通性、区域和边界m邻接是8邻接的修订，它消除了应用8邻接可能引起的模糊性，如图2.26b（4或8邻接共存）。2.5.2 Adjacency,Connectivity,Regions,and Boundaries邻接、连通性、区域与边界 区域R：图像中的一些像素构成的集合R,如果R是一个连通集合，则称R是一个区域。区域R的边界是该区域中的一组像素，它们各自都有一个或一个以上的邻点不在R中。如果R刚好是整个图像，则图像的第一和最后一行/列就是
15、它的边界。边界不是边缘2.5.3 Distance Measures,距离度量对像素p(x,y),q(s,t)和z(v,w),距离函数D应满足:D(p,q)=0(D(p,q)=0,iff p=q)D(p,q)=D(q,p),and D(p,z)=0(D(p,q)=0,iff p=q)D(p,q)=D(q,p),and D(p,z)=D(p,q)+D(q,z)例如用LM范数表示的通用Minkowski距离:MMpkkjkMxxjidii11,M=1,2,的LM距离最有用,分别对应:欧氏euclidean距离L2:等距为圆:bw=zeros(200,200);bw(50,50)=1;bw(50,1
16、50)=1;bw(150,100)=1;D1=bwdist(bw);2122)()(),(tysxqpDe准欧氏距离:quasi-euclidean等距为8边形D2=bwdist(bw,quasi-uclidean);otherwisetysxqpDtysxtysxqpD,12),(,12),(tysxqpD),(4),max(),(8tysxqpD街区City-Block距离L1:等距为4角星棋盘chessboard距离L:等距为矩形第三章第三章 空域图像增强空域图像增强第三章 空间域图像增强 空间域构成图像的全体像素。空间域处理：G(x,y)=Tf(x,y)当邻域为1*1时，T有最简单形式
17、点运算 点运算点运算 某象素上值的改变只和该象素上的值及其位置有关，和邻域无关。反差增强的一些基本灰阶转换函数：对数变换，幂次变换等第三章 空间域图像增强 图象直方图图象直方图表示一幅图中每种灰度出现的频率。仅有图像的灰度统计信息，丢弃了所有的灰度的空间位置信息 直方图均衡化直方图均衡化,完全平坦?做两次直方图均衡化的结果？直方图规定化直方图规定化第三章 空间域图像增强 代数运算代数运算 在两幅输入图像在平面上的对应像素之间，进行加减乘除运算，输出一幅结果图像。邻域运算邻域运算 图像信息的特性：空间相邻像素间的密切相关。2D模板卷积：设模板卷积：设图象f(x,y)nn,模板T(i,j)mm相当
18、于先把模板沿中心反折，再加权平均。第三章 空间域图像增强 卷积定理卷积定理卷积的傅里叶变换等于卷积函数傅里叶变换的乘积。傅里叶变换的性质：傅里叶变换的性质：线性 平移不变第三章 空间域图像增强 滤波既可以在空间域进行，也可以在变换域进行：空间域的任一滤波核在频率域中有相对应的一个滤波器，反之亦然。线性滤波器线性滤波器邻域内象素加权的滤波器象素加权的滤波器 均值滤波，高斯滤波均值滤波，高斯滤波 非线性滤波器非线性滤波器不是由象素加权的滤波器象素加权的滤波器 中值滤波中值滤波第三章 空间域图像增强 平滑：平滑：积分、累加，积分、累加，邻域平均，高斯滤波；锐化：锐化：微分、差分，微分、差分，梯度算子
19、，拉普拉斯算子，LOG算子算子 一阶导数做增强一阶导数做增强梯度梯度 利用二阶导数作增强利用二阶导数作增强Laplacian算子算子 常用平滑和锐化模板，特定模板的含义图像增强的目的 采用一系列技术去改善图象的视觉效果，或将图象转换成一种更适合于人或机器进行分析处理的形式。图象增强并不以图象保真为准则，而是有选择地突出某些对人或机器分析有意义的信息，抑制无用信息，提高图象的使用价值。图像增强方法 空间域处理 全局运算：在整个图象空间域进行。局部运算：在与象素有关的空间域进行。点运算：对图象作逐点运算。频域处理 在图象的Fourier变换域上进行处理。空域对比度增强方法 灰度变换法 线性变换 对
20、数变换 指数变换 直方图调整法 直方图均衡化 直方图规定化线性变化对数变换和指数变换直方图 直方图的基本概念直方图的基本概念 如果将图像中像素亮度（灰度级别）看成是一个随机变量，则其分布情况就反映了图像的统计特性，这可用Probability Density Function(PDF)来刻画和描述，表现为灰度直方图（Histogram）。灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中每种灰度出现的频率，如图4-1所示。灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频度，它是图像最基本的统计特征。图像灰度直方图 664631326641666543664661
21、12234665432114265456543213.2 用于反差增强的一些基本灰阶转换函数crsrcsrLs)1lg(1反转增强暗部增强亮部其中c,r和为正数分段线性灰度变换将感兴趣的灰度范围线性扩展，相对抑制不感兴趣的灰度区域。设f(x,y)灰度范围为0,Mfg(x,y)灰度范围为0,Mg Digital Mammogram数字乳房X线照片rLs1a.原照片 b.反转照片,其中小病变和乳房组织更清晰例一线性变化：反转变化非线性灰度变换（1）对数变换低灰度区扩展，高灰度区压缩。（2）指数变换高灰度区扩展，低灰度区压缩。位平面切片8bit 图像的位平面表示，各个平面的重要性不同。直方图均衡化方
22、图均衡化实质上是：（1）直方图均衡后的灰度级数量(动态范围)并没有减少。（2）减少非零频数的灰度级数以换取对比度的加大。（3）在均衡过程中，原来的直方图上频数较小的灰度级被归入很少几个或一个灰度级内故得不到增强。若这些灰度级所构成的图象细节比较重要，则需采用局部区域直方图均衡（1）输入灰度值为lk,出现的频数为nk,（2）归一化灰度值rk=lk/(L-1),概率（3）p(rk)=nk/n,累计概率分布（4）Sk=T(rk)=p(r0)+p(r1)+p(rk),（5）输出灰度值sk=lk=Sk*(L-1),作业假定有64*64大小的图象,灰度为8级,概率分布如下,用直方图均衡化处理,并画出处理前
23、后的直方图.作业假定有64*64大小的图象,灰度为8级,概率分布如下,用直方图均衡化处理,并画出处理前后的直方图.直方图均衡的关键：累计频数作为转换函数 修改一幅图象的直方图，使得它与另一幅图象的直方图匹配或 具有一种预先规定的函数形状。目标：突出我们感兴趣的灰度范围，使图象质量改善。直方图匹配（规定化）加法运算主要应用 图像相加可以将一幅图像内容加到另一幅图像上，以达到二次暴光的要求（double exposure）。图像相加可以对同一场景的多幅图像求平均值，以降低加性（additive）随机噪声。图像相减可去除图像中不需要的加性图案。图像相减也可用于运动检测。加法运算应用噪声期望减法运算应
24、用4.4.2 邻域平均法 邻域平均法是一种利用Box模板对图像进行模板操作（卷积运算）的图像平滑方法，所谓Box模板是指模板中所有系数都取相同值的模板，常用的33和55模板如下：1111*1111191111111111111*1111111111111251 Box模板对当前像素及其相邻的的像素点都一视同仁，统一进行平均处理，这样就可以滤去图像中的噪声。例如，用33 Box模板对一幅数字图像处理结果，如图4-18所示（图中计算结果按四舍五入进行了调整，对边界像素不进行处理）。图4-18 33Box模板平滑处理示意图 12143122345768957688567891214313444545
25、695678856789作业 作业 图4-21 中值滤波不变性示例(a)原始图像；(b)中值滤波输出 第四章第四章 频域图像增强频域图像增强数学的棱镜数学的棱镜傅立叶变换数学的显微镜数学的显微镜小波变换一维连续傅立叶变换复数复数实数实数傅立叶变换性质傅立叶变换性质傅立叶变换性质写出以下公式并做必要使用说明：f(t)*g(t)F(u)G(u)f(t)g(t)F(u)*G(u)低频对应图像的全局信息或平均信息 高频对应图像的细节或边缘信息低通滤波理想低通滤波器的空间滤波函数/模板原始函数卷积结果同态滤波同态滤波照度分布i(x,y)属低频，物体反射r(x,y)属高频，高频应增强为避免卷积混叠需要加大
26、信号周期：第五章第五章 彩色图像处理彩色图像处理第五章 彩色图像处理 彩色基础 RGB是加色/色光合成 彩色模型，常用的颜色空间模型：RGB、CMY、CMYK、HIS。CIE-xy色度图，Web Safe Color，CMY，HSI 彩色的视觉处理，假/伪彩色增强，彩色分层/密度分层 2 颜色的三个属性颜色的三个属性 颜色是外界光刺激作用于人的视觉器官而产生的主观感觉。颜色分两大类：非彩色和彩色。u非彩色是指黑色、白色和介于这两者之间深浅不同的灰色，也称为无色系列。u彩色是指除了非彩色以外的各种颜色。u颜色有三个基本属性，分别是色调、饱和度和亮度。基于这三个基本属性，提出了一种重要的颜色模型H
27、SI（Hue、Saturation、Intensity）。在HSI颜色模型部分中，我们将详细介绍这三个基本属性。u色调：光的一种属性，可区分不同的色。u饱和度：彩色光所呈现颜色的深浅程度。饱和度愈高颜色愈深，反之亦然。u明亮度：光作用于人眼时引起的明亮程度的感觉。一般情况下，彩色光所包含的能量大则显得亮，反之则暗。表征彩色光有三个基本量表征彩色光有三个基本量颜色合成颜色合成（1）加色合成）加色合成 计算机屏幕显示通常用RGB表色系统，它是通过相加来产生其他颜色，这种做法通常称为加色合成法(Additive Color Synthesis)（2）减色合成）减色合成 绘画、摄影、印刷、印染、打印中
28、通常用CMYK表色系统，它是通过颜色相减来产生其他颜色的，所以称这种方式为减色合成法(Subtractive Color Synthesis)。CMYK模式的原色为青色(Cyan)、品红色(Magenta)、黄色(Yellow)和黑色（Black）。6.2 颜色模型颜色模型 为了科学地定量描述和使用颜色，人们提出了各种颜色模型。目前常用的颜色模型按用途可分为两类：u一类面向诸如视频监视器、彩色摄像机或打印机之类的硬件设备。面向硬件设备的最常用彩色模型是RGB模型。u另一类面向以彩色处理为目的的应用，如动画中的彩色图形。面向彩色处理的最常用模型是HSI模型。u另外，在印刷工业上和电视信号传输中，
29、经常使用CMYK和YUV色彩系统。Web Safe ColorRGB分量 的有效值：216种安全的RGB彩色：在256色中的灰色，其中带下划线的属WSC 2.CMYK表色系统表色系统 CMYK表色系统也是一种常用的表示颜色的方式。计算机屏幕显示通常用RGB表色系统，它是通过相加来产生其他颜色，这种做法通常称为加色合成法(Additive Color Synthesis)。而在印刷工业上则通常用CMYK表色系统，它是通过颜色相减来产生其他颜色的，所以称这种方式为减色合成法(Subtractive Color Synthesis)。CMYK模式的原色为青色(Cyan)、品红色(Magenta)、黄
30、色(Yellow)和黑色（Black）。在处理图像时，一般不用CMYK模式，主要是因为这种模式的文件大，占用的磁盘空间和内存大。这种模式一般在印刷时使用。6.3 图像的伪彩色处理图像的伪彩色处理 6.3 图像的伪彩色处理图像的伪彩色处理 6.3.1密度分层6.3.2灰度级到彩色转换6.3.3滤波法 1.连续小波变换（连续小波变换（CWT）像傅立叶分析一样，小波分析就是把一个信号分解为将母小波经过缩放和平移之后的一系列小波，因此小波是小波变换的基函数。小波变换可以理解为用经过缩放和平移的一系列小波函数代替傅立叶变换的正弦波和余弦波进行傅立叶变换的结果。图7-13表示了正弦波和小波的区别，由此可以看出，正弦波从负无穷一直延续到正无穷，正弦波是平滑而且是可预测的，而小波是一类在有限区间内快速衰减到0的函数，其平均值为0，小波趋于不规则、不对称。
