1、 Image&Vision LabImage&Vision Lab2图像滤波图像滤波p图像处理中所用到的图像往往含有噪声，需要用图像滤波的方法去除噪声。噪声图像滤除噪声图像Image&Vision Lab3内容框架内容框架p像素基础知识介绍p算术和逻辑运算p直方图u直方图均衡算法，用于图像锐化。p图像增强基本方法u空间域l 平滑 l 锐化u频率域l 平滑的频率域滤波器l 锐化的频率域滤波器p相关代码实现p兴趣实例Image&Vision Lab4像素基础知识介绍像素基础知识介绍p像素的邻域p像素间的邻接，连接和连通p像素间的距离Image&Vision Lab5像素的邻域像素的邻域rrprrs
2、spsssrsrprsrs垂直4邻域对角4邻域8邻域Image&Vision Lab6邻接和连接邻接和连接p邻接u两个像素点在空间上是否接触。p连接u两个像素点不但要在空间上接触，而且灰度值要满足一定的相似性。Image&Vision Lab7像素集合的邻接和连接像素集合的邻接和连接p邻接:u如果两个像素集合中部分像素点是邻接的，那么可以认为两个像素集合是邻接的；p连接：u同样的，像素集合连接也要首先保证两个像素集合是邻接的，还要保证邻接像素的灰度值保证一定的相似准则(相似准则：两个像素集合中的某些像素点满足连接要求)。Image&Vision Lab8像素间的距离像素间的距离p像素在空间上的
3、接近程度可以用像素之间的距离来衡量。给定3个像素点p,q,r，坐标分别是：，距离函数D必须满足的条件：(1)(2)(3)(,),(,),(,)x ys tu v(,)0(,)0)Dp qDp q当 且 仅 当 p=q(,)(,)Dp qDqp(,)(,)(,)D p rD p qD q rImage&Vision Lab9常用像素距离公式常用像素距离公式p欧几里德距离p范数距离p棋盘距离22(,)EDp qxsyt(,)D p qxsyt(,)max,D p qxsytImage&Vision Lab10像素间的基本运算像素间的基本运算p算术运算：u加法：p+qu减法：p-qu乘法：p*qu除
4、法：p/qp逻辑运算u补 u与u或u异或qp qpqpqImage&Vision Lab11图像间的算术和逻辑运算图像间的算术和逻辑运算p在两个像素之间算术和逻辑运算的基础上可以进行两幅图像之间点对点的算术和逻辑运算。p 对于图像 和图像 的算术和逻辑运算：u加法：u减法：u乘法：u除法：u与，或，非，异或等逻辑运算也是以相对应的像素点之间的逻辑运算为基础，针对的图像都是二进制的逻辑图像。(,)f x y(,)h x y(,)(,)(,)g x yf x yh x y(,)(,)(,)g x yf x yh x y(,)(,)(,)g x yf x y h x y(,)(,)/(,)g x y
5、fx yh x yImage&Vision Lab12图像间的运算图像间的运算加法的应用加法的应用p 是采集到的图像，是原始场景图像，是噪声图像。p图像间的加法运算多用来求采集的多幅相同图像的平均值图像，利用平均值图像滤除噪声。假设有M副图像：p可以证明 pM越大，均值图像 越接近 。(,)(,)(,)g x yf x ye x y(,)g x y(,)f x y(,)e x y11(,)(,)Miig x ygx yM(,)(,)E g x yf x y(,)g x y(,)f x yImage&Vision Lab13图像间的运算图像间的运算减法的应用减法的应用p医学图像处理中以消除背景；
6、p运动检测中起很大作用u例如，采集的连续两帧图像，像素点没有变化的地方证明不是运动物体，有变化的说明像素发生了移动。u对时间上相邻的两幅图像求差可以将图像中的目标位置和形状变化突出出来。(,)(,)(,)g x yf x yh x yImage&Vision Lab14直方图直方图p直方图是一个二维坐标系，横轴表示整幅图像上灰度值的变化范围，纵轴表示每个灰度值的统计个数。p直方图能够反映灰度图像的灰度分布特征。原始图像直方图Image&Vision Lab15灰度直方图定义：kknrh)(nk:灰度值等于rk的像素数量（计数值）rh(r)Image&Vision Lab16灰度映射灰度映射(直
7、方图变换直方图变换)p用直方图变换方法进行图像增强是以概率论为基础的。p常用的方法：u图像均衡化u图像规定化l直方图规定化的增强效果不易控制，应用不是很广泛，这里不做详细介绍。Image&Vision Lab17灰度映射灰度映射灰度映射：)(rTs r：原始图像灰度s：目标图像灰度目标：T()改变像素灰度分布，充分利用灰度动态范围Image&Vision Lab18rsrsImage&Vision Lab19灰度直方图反映图像的灰度分布特征Image&Vision Lab20直方图变换的目标：均匀分布的灰度直方图2550rh(r)Image&Vision Lab21归一化直方图nnrpkk/)
8、(kknn)(/)()(kkkrhrhrp或1)(0 xp1)(xxpp(x):概率密度函数Image&Vision Lab22直方图均衡算法直方图均衡算法p直方图均衡化主要用于增强动态范围偏小的图像的方差；p基本思想：把原始的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。Image&Vision Lab23算法理解sp(s)理想归一化直方图0L-11/LP(s)skkpsP0)()(L-101/L1)1(1)(sLsPs1)(sPLs灰度映射的目标(即希望变换后尽可能符合此关系)Image&Vision Lab2407P0.125112345
9、60.250.3750.50.6250.750.8750.050.10r例P r 关系目标曲线原始图像中的r点位置对应变换后的Pr点位置算法理解Image&Vision Lab25算法描述算法描述p设像素共分为L级(r=0,1,2,L1)，变换后对应的灰度值记为s；p原始图像的归一化直方图记为：p(r)1)()(0rkkpLrs1)(0LrsImage&Vision Lab26r01234567p(r)0.050.050.150.250.400.050.050P(r)0.050.100.250.500.900.951.001.00s(r)0.60.2136.26.677s00136777p0.
10、10.150.250.40.101)()(0rkkpLrsL=8rkkprP0)()(例Image&Vision Lab27Image&Vision Lab28Image&Vision Lab29Image&Vision Lab30直方图均衡算法可以有效地提高图像视觉的对比度直方图均衡算法不增加图像的灰度分辨率直方图均衡算法可能丢失图像细节直方图均衡算法用于图像处理流程的显示环节自动处理/分析过程中不使用直方图均衡算法Image&Vision Lab31图像增强基本方法图像增强基本方法p空间域u平滑 l图像卷积u锐化l图像差分p频率域u平滑的频率域滤波器u锐化的频率域滤波器p空间域的方法比较简
11、单易懂，因此详细介绍；频率域方法则较为简单地介绍。Image&Vision Lab32图像平滑图像平滑p图像平滑是为了消除图像中的高频分量，同时不影响低频分量；p高频分量对应途中的边缘等灰度值具有较大变化的区域，平滑可以减少这部分起伏；p消除噪声；p在提取较大目标之前，滤除太小细节的影响。p类别：u线性平滑滤波u非线性平滑滤波Image&Vision Lab33原始图像平滑图像Image&Vision Lab34原始图像平滑图像Image&Vision Lab35线性平滑滤波线性平滑滤波邻域平均邻域平均p邻域平均u每个像素点用它邻域像素的平均值作为平滑结果u33模板：p邻域平均，平滑滤波确实会
12、将噪声点减弱，但是同时也是整个图像的跟为模糊，可视的细节逐渐减少，而且运算量也非常大。p有关模板与图像的运算涉及到图像卷积，接下来介绍一下图像卷积的原理。111111111Image&Vision Lab36图像卷积图像卷积p图像平滑中，有关模板的运算都用到了图像卷积的概念。p卷积模板中的各个位置对应的是权重系数，例如：a1a9可以根据具体需要来确定数值。p卷积就是将模板的中心a5对应好所处理的当前像素点，系数与图像上的灰度值一一对应相乘，得到的数值作为所处理像素点的新的灰度值。a1a2a3a4a5a6a7a8a9Image&Vision Lab37噪声图像2 x 23 x 34 x 4Ima
13、ge&Vision Lab383355Image&Vision Lab39单帧8帧迭加16帧迭加64帧迭加128帧迭加Image&Vision Lab40加权平均加权平均p同一尺寸的模板，不同位置的系数不同；p距离模板中心越近的像素点的权重越大，同理越远的越小；p为了减少计算量，将模板系数最小值设为1，其他的按等比数列递增，中心系数最大；121242121Image&Vision Lab41根据高斯分布确定模板系数根据高斯分布确定模板系数p高斯函数：p 代表邻域像素点距离中心像素点的距离，可以用欧几里德距离来表示。p可以通过调整 ，来控制平滑效果的程度。p高斯系数跟距离成反比。221()exp
14、(/2)2f iiiImage&Vision Lab42噪声图像2 x 23 x 34 x 4Image&Vision Lab43非线性滤波非线性滤波p线性滤波平滑噪声的同时，也损坏了非噪声区域的信号；采用非线性滤波可以保留信号的同时，滤除噪声。p非线性滤波的典型方法是：中值滤波。Image&Vision Lab44中值滤波中值滤波p一维中值滤波p模板尺寸为 ，1,.,.,jj rj rjj rgmedianffff M21Mr原始数据中值滤波均值滤波Image&Vision Lab45二维中值滤波二维中值滤波p公式：p二维中值滤波更加广泛的应用于图像滤波当中(,)(,)(,)(,)media
15、ns tN x ygx ymedianf s tImage&Vision Lab46排序取中值二维中值滤波二维中值滤波Image&Vision Lab47中值滤波的步骤中值滤波的步骤p将模板在图中漫游，并将模板中心与图中某个像素位置重合；p读取模板下各对应像素的灰度值；p将这些灰度值从小到大排成一列；p找出这些值的中间值；p将这个值赋给对应模板中心位置的像素。Image&Vision Lab48噪声图像中值滤波3x3Image&Vision Lab49平均滤波与中值滤波比较平均滤波与中值滤波比较噪声图像均值滤波中值滤波均值滤波和中值滤波都采用的是2x2 的模板Image&Vision Lab5
16、0均值，中值和最频值均值，中值和最频值p均值是模板内像素点灰度的平均值，中值是数值排列后处于中间的值，最频值是出现次数最多的灰度值；p这三者都与直方图有着密切的关系；p直方图的一个峰对应一个区域，如果这个峰是对称的，那么均值等于中值，等于最频值。Image&Vision Lab51中值滤波的代码实现中值滤波的代码实现pMatlab中函数medfilt1和medfilt2，第一个是一维的中值滤波，第二个是二维的中值滤波。p使用help查看函数功能Image&Vision Lab52示例示例Image&Vision Lab53代码讲解代码讲解读入图像，eight.tif是图像名称。如果图像不是存放
17、在matlab的work文件夹下，那么需要在文件名前加上目录位置，例如：Dimageeight.tif加入噪声，salt&pepper是指加入的噪声的类型，可以通过输入help imnoise来查看imnoise函数，也可以加入高斯噪声或者possion噪声；0.02是用来控制加入噪声的程度。Medfilt2滤波，输出图像K，imshow显示图像Image&Vision Lab54图像锐化图像锐化p邻域平均或加权平均是累加的一个过程，用来平滑图像；反过来，利用微分方法可以锐化图像。p常用的微分方法是利用梯度算子，连续函数的微分形式：p离散空间用差分替代微分,常用模板：TxyfffG Gxy11
18、1000111101101101垂直锐化水平锐化Image&Vision Lab55模板的选择模板的选择p图像上需要锐化的方向不只垂直和水平两个方向；p需要锐化哪个方向，需要根据图像的具体情况来定，斜对角锐化和全方位锐化也经常用到：11 010101111188811188111888对角锐化全方位锐化Image&Vision Lab56原始图像锐化图像Image&Vision Lab57原始图像锐化图像Image&Vision Lab58原始图像锐化图像Image&Vision Lab59频率域图像增强频率域图像增强p频率域增强原理p频率域平滑滤波器p频率域锐化滤波器p同态滤波p频域技术与空
19、域技术Image&Vision Lab60频域增强原理频域增强原理p卷积定理：p增强图像：p步 骤：计算图像的变换在频域滤波反变换回图像空间(1)频域滤波:低通，高通，同态),(),(),(vuFvuHvuG),(),(),(1vuFvuHyxg-TImage&Vision Lab61频率域平滑滤波器频率域平滑滤波器p图像中的边缘和噪声都对应图像傅立叶变换中的高频部分，所以如要在频域中消弱其影响就要设法减弱这部分频率的分量；p根据频域增强技术的原理，需要选择一个合适的H(u,v)以得到消弱F(u,v)高频分量的G(u,v)；p以下讨论对F(u,v)的实部和虚部影响完全相同的滤波转移函数。具有这
20、种特性的滤波器称为零相移滤波器。Image&Vision Lab62理想低通滤波器理想低通滤波器ILPF(Ideal Low Pass Filter)理想是指小于D0的频率可以完全不受影响地通过滤波器，而大于D0的频率则完全通不过。D01HD0()(u,vu,vHuv)(u,vImage&Vision Lab63理想低通滤波器理想低通滤波器1、理想低通滤波器 H(u,v)：转移/滤波函数 D0：截断频率 D(u,v)是从点(u,v)到频率平面原点的距离 D(u,v)=(u2+v2)1/2 00),(0),(1),(DvuDDvuDvuH如如Image&Vision Lab64理想低通滤波器理想
21、低通滤波器半径分别半径分别为为5，11，45和和68能量分别能量分别为为90，95，99和和99.5Image&Vision Lab65理想低通滤波器理想低通滤波器p问题：u模糊u振铃现像：在2D图像上表现为一系列同心圆环;圆环半径反比于截断频率。Image&Vision Lab66理想低通滤波器理想低通滤波器振铃现象(a)半径为半径为5的频率的频率域域ILPF(b)相应的空间滤相应的空间滤波器波器(c)空间域中的空间域中的5个个脉冲模拟脉冲模拟5个像素个像素(d)空间域空间域(b)和和(c)的卷积的卷积Image&Vision Lab67理想低通滤波器理想低通滤波器半径分别为半径分别为5,1
22、5，30,80和和230能量分别为能量分别为92，94.6，96.4,98%和和99.5Image&Vision Lab68巴特沃斯低通滤波器巴特沃斯低通滤波器BLPF（Butterworth）p物理上可实现（理想低通滤波器在数学上定义得很清楚，在计算机模拟中也可实现，但在截断频率处直上直下的理想低通滤波器是不能用实际的电子器件实现的）；p减少振铃效应，高低频率间的过渡比较光滑；p阶为n。p具体原理可以参考数字信号处理。nDvuDvuH20/),(11),(Image&Vision Lab69巴特沃斯低通滤波器巴特沃斯低通滤波器截断频率：使H最大值降到某个百分比的频率在D(u,v)=D0时，H
23、(u,v)=1/2nDvuDvuH20/),(11),(01HDD0()u,vu,vImage&Vision Lab70巴特沃斯低通滤波器巴特沃斯低通滤波器p图像由于量化不足产生虚假轮廓时常可用低通滤波进行平滑以改进图像质量。Image&Vision Lab71巴特沃斯低通滤波器巴特沃斯低通滤波器半径分别半径分别为为5,15，30,80和和230Image&Vision Lab72巴特沃斯低通滤波器巴特沃斯低通滤波器 阶数对振铃现象的影响：阶数越高，越明显。Image&Vision Lab73其他低通滤波器其他低通滤波器p梯形p指数Image&Vision Lab74其它例子：字符识别前的增强
24、处理其它例子：字符识别前的增强处理Image&Vision Lab75其它例子：人脸皱纹处理其它例子：人脸皱纹处理Image&Vision Lab76频率域锐化滤波器频率域锐化滤波器p理想高通滤波器IHPF(Ideal High Pass Filter)p巴特沃斯高通滤波器BHPFp高频增强滤波器p高频提升滤波器Image&Vision Lab77理想高通滤波器理想高通滤波器形状与低通滤波器的形状正好相反00),(1),(0),(DvuDDvuDvuH如如Image&Vision Lab78巴特沃斯高通滤波器巴特沃斯高通滤波器p形状与巴特沃斯低通滤波器的形状正好相反，截断频率使H值上升到最大值
25、某个百分比的频率 H(u,v)=1/2nvuDDvuH20),(11),(01u,vD0()Hu,v()D01HDD0()u,vu,vImage&Vision Lab79高频增强滤波器高频增强滤波器p高通滤波的结果：边缘加强，光滑区域变暗。p方法：改进转移函数高通滤波：G(u,v)=H(u,v)F(u,v)高频增强转移函数：He(u,v)=k H(u,v)+c高频增强输出图的傅立叶变换：Ge(u,v)=k G(u,v)+c F(u,v)反变换回去：ge(x,y)=k g(x,y)+c f(x,y)Image&Vision Lab80高通滤波增强高通滤波增强(a)比较模糊的图像(b)阶为1的巴特
26、沃斯高通滤波(c)高通滤波增强的结果Image&Vision Lab81高频提升滤波器高频提升滤波器p用原始图减去低通图得到高通滤波器的效果。p把原始图乘以一个放大系数A再减去低通图就可构成高频提升（high-boost）滤波器。A=1：高通滤波器A 1：原始图的一部分与高通图相加，恢复了高通滤波时丢失的低频分量Image&Vision Lab82高通滤波与高频提升滤波比较高通滤波与高频提升滤波比较(a)比较模糊的图像比较模糊的图像 (b)高通滤波处理的结果高通滤波处理的结果(c)高频提升滤波器处理的结果（高频提升滤波器处理的结果（A2）(d)对对(c)进行了灰度范围的扩展进行了灰度范围的扩展
27、sCt1lgImage&Vision Lab83同态滤波同态滤波p成像模型（照度和反射）：f(x,y)=i(x,y)r(x,y)u两边取对数：u两边取傅立叶变换：u用一频域函数 H(u,v)处理 F(u,v)：u反变换到空域：u两边取指数：),(ln),(ln),(lnyxryxiyxf),(),(),(vuRvuIvuF),(),(),(),(),(),(vuRvuHvuIvuHvuFvuH),(),(),(yxhyxhyxhrif),(),(),(),(yxhyxhyxhrifeeeyxgImage&Vision Lab84同态滤波同态滤波流程pH(u,v)：同态(homomorphic)
28、滤波器，分别作用于照度分量和反射分量。p分析：u图像照射分量变化缓慢；反射分量在边缘处变化剧烈u图像对数的傅立叶变换后的低频部分对应照度分量，高频成分对应反射分量p滤波器特点：对高频和低频成分有不同的影响。lnFFTH(u,v)(FFT)-1expf(x,y)g(x,y)Image&Vision Lab85同态滤波同态滤波p典型应用：压缩图像的动态范围，同时增加对比度p滤波器：11HHHL且L)20/),(2(Le1)(),(HHHvuHDvuDcH常数c用来控制滤波器函数斜面Image&Vision Lab86同态滤波同态滤波0.2;5.0HL窗内细节变得清晰；窗内细节变得清晰；窗外的灰度得
29、到平衡窗外的灰度得到平衡Image&Vision Lab87频域技术与空域技术频域技术与空域技术p空间滤波器的工作原理可借助频域进行分析 u空间平滑滤波器消除或减弱图像中灰度值具有较大较快变化部分的影响，这些部分对应频域中的高频分量，所以可用频域低通滤波来实现。u空间锐化滤波器消除或减弱图像中灰度值缓慢变化的部分，这些部分对应频域中的低频分量，所以可用频域高通滤波来实现。Image&Vision Lab88频域技术与空域技术频域技术与空域技术p空域中的平滑滤波器在频域里对应低通滤波器 频域越宽，空域越窄，平滑作用越弱 频域越窄，空域越宽，模糊作用越强uuF()xf()x00平滑模板系数为正，且
30、中部系数值较大平滑模板系数为正，且中部系数值较大Image&Vision Lab89频域技术与空域技术频域技术与空域技术p空域中的锐化滤波器在频域里对应高通滤波器 空域有正负值，模板中心系数值较大(d)(c)uuF()xxf()00Image&Vision Lab90小小 结结p频率域平滑滤波u消除高频成分p频率域锐化滤波u消除低频成分p同态滤波u滤波器同时对高低频成分影响Image&Vision Lab91彩色增强技术彩色增强技术p人眼的视觉特性：u分辨的灰度级介于十几到二十几级之间；u彩色分辨能力可达到灰度分辨能力的百倍以上。p彩色增强技术u利用人眼的视觉特性，将灰度图像变成彩色图像或改变
31、彩色图像已有彩色的分布，改善图像的可分辨性。彩色增强方法可分为伪彩色增强和假彩色增强两类。p伪彩色增强u伪彩色增强是把黑白图像的各个不同灰度级按照线性或非线性的映射函数变换成不同的彩色，得到一幅彩色图像的技术。使原图像细节更易辨认，目标更容易识别。u伪彩色增强的方法主要有密度分割法、灰度级一彩色变换和频率域伪彩色增强三种。Image&Vision Lab92密度分割法密度分割法p密度分割法是把黑白图像的灰度级从0（黑）到M0（白）分成N个区间(i=1，2，N),给每个区间指定一种彩色 ，这样，便可以把一幅灰度图像变成一幅伪彩色图像。该方法比较简单、直观。缺点是变换出的彩色数目有限。iC伪彩色增
32、强例：0-31 32-63 64-95 96-127 128-159 160-191 192-223 224-255 黑 蓝 绿 青 红 品红 黄 白Image&Vision Lab93空间域灰度级一彩色变换空间域灰度级一彩色变换p 根据色度学原理，将原图像f(x,y)的灰度范围分段，经过红、绿、蓝三种不同变换TR()、TG()和TB()，变成三基色分量IR(x,y)、IG(x,y)、IB(x,y)，然后用它们分别去控制彩色显示器的红、绿、蓝电子枪，便可以在彩色显示器的屏幕上合成一幅彩色图像。Image&Vision Lab94实例实例Image&Vision Lab95频率域伪彩色增强频率域
33、伪彩色增强p频率域伪彩色增强的方法是：u把黑白图像经傅立叶变换到频率域，在频率域内用三个不同传递特性的滤波器分离成三个独立分量；u然后对它们进行逆傅立叶变换，便得到三幅代表不同频率分量的单色图像，接着对这三幅图像作进一步的处理（如直方图均衡化）；u最后将它们作为三基色分量分别加到彩色显示器的红、绿、蓝显示通道，得到一幅彩色图像。Image&Vision Lab96非局域方法去除彩色图像噪声非局域方法去除彩色图像噪声(Nonlocal Denoising)p以马可夫随机场模型以及后验概率等理论为基础，根据欧几里德距离公式计算图片中所有点与当前处理点的相似性。p公式：u其中(x,y)代表像素点，u
34、(x)是指当前处理的像素点的邻域像素点组成的向量；u(y)指图像上其他像素点的邻域向量；指高斯窗口宽度控制参数，根据图像不同调整。u 越大，说明y与当前像素点x越相似，贡献越大。22()()exp()2*u xuyiixyImage&Vision Lab97示例示例1Image&Vision Lab98示例示例2Image&Vision Lab99示例示例3Image&Vision Lab100兴趣阅读兴趣阅读p章毓晋 图像工程(上册)p冈萨雷斯 数字图像处理pAntoni Buades,Bartomeu Coll,“A non-local algorithm for image denoising”,In IEEE international conference on computer vision and pattern recognitionpMatlab教程p浏览IVL实验室英文网站：http:/www.ivlab.org，下载SCI论文文献。
