第5章图像复原数字图像处理清华刘直芳课件.ppt

1、5.1 概述和分类图像退化图像退化:图像采集过程中的失真、传输中信图像采集过程中的失真、传输中信息丢失、噪声统称为图像退化。息丢失、噪声统称为图像退化。图像复原又称为图像恢复图像复原又称为图像恢复图像增强与图像增强相似都要得到在某种意义上改进的图像增强与图像增强相似都要得到在某种意义上改进的图像，或者说，希望要改进输入图像的视觉质量。图像，或者说，希望要改进输入图像的视觉质量。不同之处图像增强技术是将退化的图像按照需求进行处不同之处图像增强技术是将退化的图像按照需求进行处理，更偏向于人的主观判断，而图像复原则认为图像是在理，更偏向于人的主观判断，而图像复原则认为图像是在某种情况下退化或恶化了某

2、种情况下退化或恶化了(图像品质下降了图像品质下降了)，先根据先验，先根据先验知识建立降质模型，再针对降质过程恢复或重建原来的图知识建立降质模型，再针对降质过程恢复或重建原来的图像。像。图像恢复技术是根据退化原因，建立相应的数学模型，从图像恢复技术是根据退化原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需要的信息，沿着使图被污染或畸变的图像信号中提取所需要的信息，沿着使图像降质的逆过程恢复图形本来面貌。像降质的逆过程恢复图形本来面貌。复原过程：设计一个滤波器，使其能从降质图像复原过程：设计一个滤波器，使其能从降质图像gx,y中计算得到真实图像的估计值中计算得到真实图像的估计值 ，使其

3、，使其预先规定的误差准则，最大程度地接近真实图像预先规定的误差准则，最大程度地接近真实图像fx,y。广义上讲，图像复原是一个求逆问题，逆问题经常广义上讲，图像复原是一个求逆问题，逆问题经常存在非唯一解，甚至无解。为了得到逆问题的有用存在非唯一解，甚至无解。为了得到逆问题的有用解，需要有先验知识以及对解附加约束条件。解，需要有先验知识以及对解附加约束条件。图图5-1),(yxf5.2 图像的退化模型为了给出图像退化的数学模型，首先应清楚图像降质的原因，及成像的数学过程。5.2.1 图像降质因素图像降质因素由于镜头聚焦不好引起的模糊由于镜头聚焦不好引起的模糊（1）成像系统的像差、畸变、带宽等造成的

4、）成像系统的像差、畸变、带宽等造成的图像失真图像失真由于镜头聚焦不好引起的模糊图像的几何失真图像的几何失真（2）由于成像器件拍摄姿态和扫描非线性引起的）由于成像器件拍摄姿态和扫描非线性引起的图像几何失真图像几何失真由于运动产生的模糊由于运动产生的模糊（3）成像传感器与被拍摄景物间的相对运动造成的运动模糊）成像传感器与被拍摄景物间的相对运动造成的运动模糊（4）由于光学系统或成像传感器本身特性不均匀引起的）由于光学系统或成像传感器本身特性不均匀引起的图像灰图像灰度失真度失真灰度失真灰度失真图像偏黄图像偏黄维纳滤波器应用a)受大气湍流的严重影响的图像 b)用维纳滤波器恢复出来的图像（5）由于场景能量

5、传输通道中介质特性如大气湍流效应、大气）由于场景能量传输通道中介质特性如大气湍流效应、大气成分变化引起的成分变化引起的图像辐射失真图像辐射失真用巴特沃思带阻滤波器复原受正弦噪声干扰的图像a)被正弦噪声干扰的图像 b)滤波效果图（6）图像在成像、数字化采集和处理过程中引入的）图像在成像、数字化采集和处理过程中引入的噪声噪声等等噪声 产生图像降质的一个复杂的因素是随机噪声问题。我们在考虑有噪声情况下的图形复原问题，就必须知道噪声的统计特性以及噪声和图像的相关情况，这是非常复杂的。在实际中，往往假设噪声是白噪声，即它的频谱密度为常数并且与图像不相关。在这种理想情况下，只要在噪声带宽比图像带宽大得多的

6、情况下，此假设是可行和方便的模型。同时，应注意不同的复原技术需要不同的有关噪声的先验知识。5.2.2 常见具体退化模型常见具体退化模型确定性确定性线性线性摄影时摄影时曝光和曝光和感光密感光密度的非度的非线性线性非线性非线性光学成像系光学成像系统，由于孔统，由于孔径衍射产生径衍射产生的退化的退化目标旋转目标旋转运动造成运动造成的模糊退的模糊退化化模糊模糊退化退化随机噪声迭随机噪声迭加，随机性加，随机性的退化的退化fx,y:原始图像原始图像gx,y:降质图像降质图像nx,y:加性噪声加性噪声降质模型可表示为降质模型可表示为 gx,y=Hfx,y+nx,yH :系统或操作，即为设计的滤波器。系统或操

7、作，即为设计的滤波器。简单的通用退化简单的通用退化模型模型 线性：线性：Hk1f1+k2f2=k1Hf1+k2Hf2可加性：令可加性：令 k1=k2=1，则则 Hf1+f2=Hf1+Hf2齐次性：令齐次性：令 f2=0，则则 Hk1f1=k1Hf1 位置（空间）不变性：位置（空间）不变性：Hfx-a a,y-b b =gx-a a,y-b b假设假设nx,y:=0，H多具有的性质多具有的性质2幅图像幅图像常数常数 图像任意位置的响应只与在该位置的输入值有关，而与图像任意位置的响应只与在该位置的输入值有关，而与位置本身无关。位置本身无关。退化模型的计算退化模型的计算假设对假设对2个函数个函数f(

8、x)和和h(x)进行均匀采样，其结果进行均匀采样，其结果放到尺寸为放到尺寸为A和和B地地2个数组。个数组。对对f(x)，x的取值范围是的取值范围是0,1,2A-1；对对h(x)，x的取值范围是的取值范围是0,1,2,.B-1。利用卷积计算利用卷积计算g(x)。为了避免卷积的各个周期重叠，取为了避免卷积的各个周期重叠，取MA+B-1，并并将函数用将函数用0扩展补齐扩展补齐fe(x)和和he(x)表示扩展函数，卷积为表示扩展函数，卷积为ge(x)=fe(m)he(x-m)x=0,1,M-1矩阵表示矩阵表示g=Hfg和和f是是M维列矢量：维列矢量：fT=f0,f1,fM-1 gT=g0,g1,gM-

9、1 H称为称为MM循环矩阵循环矩阵012.1101.2210.3.123.0hh Mh Mhhhh Mhhhhhh Mh Mh MhH=g=Hf+n (1)考虑噪声考虑噪声如果直接对式如果直接对式(1)进行计算求解进行计算求解f，计算量达，如计算量达，如M=N=512,则则H的尺寸为的尺寸为262144262144，可以，可以通过对角化通过对角化H来简化来简化当当k=0,1M-1时，循环矩阵时，循环矩阵H(设为设为MM)的特征矢的特征矢量和特征值分别为量和特征值分别为)1(2exp()1()2exp()1()0()()1(2exp()2exp(1)(kMMjhkMjMhhkkMMjkMjkwT

10、循环矩阵对角化循环矩阵对角化将将H的的M个特征矢量组成个特征矢量组成1个个MM的矩阵的矩阵W5.3 图像的代数复原法图像的代数复原法图像复原的主要目的是当给定退化的图像图像复原的主要目的是当给定退化的图像g以及以及H和和n的某种假设，估计出原始图像的某种假设，估计出原始图像f代数复原方法的中心点是寻找一个估计的代数复原方法的中心点是寻找一个估计的f，它使事先确定的某种优度准则为最小它使事先确定的某种优度准则为最小代数复原算法是由Andrews 和 Hunt 等人提出的，它是基于离散退化系统模型的复原方法。离散退化系统模型 g=Hf+n代数复原算法分为无约束和有约束两种5.3.1 无约束复原方法

11、无约束复原方法由退化模型由退化模型 g=Hf+n 可知，其噪声项为：可知，其噪声项为：n=g-Hf在在n=0 或并不知道或并不知道n的情况下，可以采用最小二乘的情况下，可以采用最小二乘法来解决复原问题。法来解决复原问题。令令e(f)为估计量为估计量f和降质图像和降质图像g 间的差值，则间的差值，则g=Hf=Hf+e(f)或或 e(f)=g-Hf等式两边取范数平方得等式两边取范数平方得 或或实际上是求实际上是求的极小值问题，除了要求的极小值问题，除了要求为最小外，为最小外，不受任何其它条件约束，因此称为无约束复原不受任何其它条件约束，因此称为无约束复原.即即M=N时，则有时，则有(5-20)5.

12、3.1 无约束复原方法无约束复原方法(5-21)5.3.2 约束复原方法约束复原方法考虑退化模型考虑退化模型 g=Hf+n，H为系统矩阵，包含了图像为系统矩阵，包含了图像传感器中光学和电子学的影响。如果抛开噪声，得传感器中光学和电子学的影响。如果抛开噪声，得 g=Hf。则：。则：f=H-1g因此，只要求出因此，只要求出H-1，即可得到，即可得到f。但是实际中常常存。但是实际中常常存在以下问题：在以下问题：模糊图像模糊图像g中的扰动。中的扰动。H-1g+=f+,其中其中，而而常不可避免。常不可避免。噪声的随机性使模糊图像噪声的随机性使模糊图像g有无限可能，而使有无限可能，而使f存在存在病态。病态

13、。H-1不存在。不存在。因此，在最小二乘法复原处理中，常常需要附加某种因此，在最小二乘法复原处理中，常常需要附加某种约束条件，从而在一组可能的结果中选择一种，这约束条件，从而在一组可能的结果中选择一种，这就是有约束条件的复原方法。就是有约束条件的复原方法。5.3.2 约束复原方法约束复原方法如令如令Q为为f的线性算子，最小二乘复原问的线性算子，最小二乘复原问题可看成是使形式为题可看成是使形式为|Qf|2函数，服从约函数，服从约束条件束条件|g Hf|2=|n|2 的最小问题，这种带的最小问题，这种带有附件条件的极值问题可用拉格朗日乘有附件条件的极值问题可用拉格朗日乘数法处理。数法处理。处理过程

14、处理过程寻找一个寻找一个f，使下述准则函数为最小使下述准则函数为最小 拉格朗日系数拉格朗日系数),(),(),(),(),(),(),(),(),(),(1vuHvuNvuHvuGyxfvuHvuNvuHvuGvuFF 假定退化图象遵从以下模型不考虑噪声写成),(),(*),(),(yxnyxhyxfyxg),(),(),(),(vuNvuHvuFvuG),(),(),(),(),(),(1vuHvuGyxfvuHvuGvuFF5.4 图像的频域复原法图像的频域复原法基本原理基本原理5.4.1 逆滤波逆滤波逆滤波法复原的基本原理：H(u,v)可以理解为成像系统的“滤波”传递函数，在频域中系统的

15、传递函数与原图像信号相乘实现“正向滤波”，这里,G(u,v)除以H(u,v)起到了“反向滤波”的作用，这意味着，如果已知退化图像的傅立叶变换和“滤波”传递函数，则可以求得原始图像的傅立叶变换，经反傅立叶变换就可求得原始图像f(x，y)。),(),(),(1vuHvuGyxfF难点难点从上式可以看出，在进行复原处理时可能会发生下列情况：从上式可以看出，在进行复原处理时可能会发生下列情况：(1)H(u,v)=0或或H(u,v)非常小，在这种情况下，即使无非常小，在这种情况下，即使无噪声，也无法精确恢复噪声，也无法精确恢复f(x,y)(2)在有噪声存在时，在在有噪声存在时，在H(u,v)的邻域内，的

16、邻域内，H(u,v)的值可的值可能比能比N(u,v)的值小的多，由上式得到的噪声项可能会的值小的多，由上式得到的噪声项可能会非常大，不能使非常大，不能使f(x,y)正确恢复正确恢复),(),(),(),(),(1vuHvuNvuHvuGyxfF),(),(),(1vuHvuGyxfF一般说，逆滤波不能正确估计一般说，逆滤波不能正确估计H(u,v)的零点的零点实际中，不用实际中，不用1/H(u,v)，而用另外一个关于而用另外一个关于u,v的函数的函数M(u,v)处理框图为：处理框图为：f(x,y)H(u,v)M(u,v)G(u,v)N(u,v)F(u,v)M(u,v)=1/H(u,v)u2+v2

17、w201 u2+v2 w20解决办法解决办法例子例子原始原始图像图像散焦散焦模糊模糊利用原始利用原始图像的一图像的一个邻域光个邻域光谱面恢复谱面恢复利用大利用大的邻域的邻域进行恢进行恢复复5.4.2 最小二乘方滤波最小二乘方滤波最小二乘滤波也就是维纳滤波，它是使最小二乘滤波也就是维纳滤波，它是使原始图像原始图像f(x,y)及其恢复图像及其恢复图像f(x,y)之之间的均方误差最小的复原方法间的均方误差最小的复原方法具体的数学公式推导过程忽具体的数学公式推导过程忽略，直接给出公式略，直接给出公式2H(u,v)1F(u,v)=G(u,v)S(u,v)H(u,v)2H(u,v)+S(u,v)f讨论一下

18、上式的几种情况讨论一下上式的几种情况（1）如果）如果=1，方括号中的项就是维纳滤波器方括号中的项就是维纳滤波器（2）如果）如果是变量，就称为参数维纳滤波器是变量，就称为参数维纳滤波器（3）当没有噪声时，）当没有噪声时，Sn(u,v)=0，维纳滤波器就退维纳滤波器就退化为理想的逆滤波器化为理想的逆滤波器（4）当）当Sn(u,v)和和Sf(u,v)未知时，用常数未知时，用常数K可代替可代替逆滤波和维纳滤波恢复比较逆滤波和维纳滤波恢复比较110100SNR退化图像退化图像 傅立叶功率普傅立叶功率普 逆滤波恢复逆滤波恢复 维纳滤波恢复维纳滤波恢复 光谱图光谱图原始图像原始图像逆滤波逆滤波恢复恢复模糊和

19、增模糊和增加噪声加噪声约束的最约束的最小二乘滤小二乘滤波波5.5 交互式恢复交互式恢复前面讨论都是自动解析的恢复方法，在具前面讨论都是自动解析的恢复方法，在具体恢复工作中，常常需要人机结合，由人体恢复工作中，常常需要人机结合，由人来控制恢复过程，以达到一些特殊的效果来控制恢复过程，以达到一些特殊的效果实际中，有时图像会被实际中，有时图像会被1种种2-D的正弦干扰模式的正弦干扰模式(也叫相关噪也叫相关噪声声)覆盖。令覆盖。令n(x,y)代表幅度为代表幅度为A，频率分量为频率分量为(u0,v0)的正弦的正弦干扰模式，即：干扰模式，即：n(x,y)=Asin(u0 x+v0y)傅立叶变换为：傅立叶变

20、换为：N(u,v)=-jA(u-u0/(2),v-v0/v(2)-(u+u0/(2),v+v0/(2)假设这里的退化仅由噪声造成，所以有：假设这里的退化仅由噪声造成，所以有：G(u,v)=F(u,v)+N(u,v)利用利用带阻滤波器带阻滤波器可以去掉正弦干扰的影响可以去掉正弦干扰的影响正弦正弦干扰干扰傅立叶傅立叶光谱光谱恢复恢复图像图像带阻滤波带阻滤波器器带阻滤波器带阻滤波器阻止一定频率范围 （允许其它频率范围）01D0u,v()Hu,v()DW例子例子周期干扰退化图像周期干扰退化图像傅立叶谱傅立叶谱干涉模式干涉模式处理后图像处理后图像5.5.2 几何畸变校正几何畸变校正空间复原技术空间复原技

21、术在图像的获取或显示过程中，产生几何失真，在图像的获取或显示过程中，产生几何失真，如成像系统有一定的几何非线性，因此会造成如成像系统有一定的几何非线性，因此会造成如图所示的枕形失真或桶形失真，另外，由于如图所示的枕形失真或桶形失真，另外，由于地球表面呈球形，摄取的平面图像也将会有较地球表面呈球形，摄取的平面图像也将会有较大的几何失真。对这些图像必须加以校正，以大的几何失真。对这些图像必须加以校正，以免影响分析精度免影响分析精度原始原始图像图像枕形枕形失真失真桶形桶形失真失真校正方法有两种：1.预畸变法：采用与畸变相反的非线性扫描偏转法，用来抵消预计的图像畸变。2.后验校正法：用多项式曲线在水平

22、和垂直方向取拟合每一畸变的网线，然后求反变化得到校正函数。用这个校正函数即可校正畸变的图像。校正过程校正过程实际空实际空间畸变间畸变理想图像理想图像观测图像观测图像空间变空间变形校正形校正已校正图像已校正图像*+观测图像和校正观测图像和校正图像之间对应点图像之间对应点校正步骤：校正步骤：空间变换：对图像平面上的像素进行重空间变换：对图像平面上的像素进行重新排序以恢复原空间关系；新排序以恢复原空间关系；灰度插值：对空间变换后的像素赋予相灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值。应的灰度值以恢复原位置的灰度值。设原图为设原图为f(x,y)，受到几何形变得影响变成受到几何形变

23、得影响变成g(x,y)，这里这里(x,y)表示失真图像的坐标表示失真图像的坐标x=s(x,y)y=t(x,y)线性失真线性失真s(x,y)=k1x+k2y+k3t(x,y)=k4x+k5y+k6非线性失真非线性失真s(x,y)=k1+k2x+k3y+k4x2+k5xy+k6y2t(x,y)=k7+k8x+k9y+k10 x2+k11xy+k12y2如果已知如果已知s(x,y)和和t(x,y)的解析表达，可以通过反的解析表达，可以通过反变换来恢复图像变换来恢复图像1.空间变换空间变换在实际中，通常不知道解析表达，需要在恢复过程中的在实际中，通常不知道解析表达，需要在恢复过程中的输入图象输入图象(失真图失真图)和输出图和输出图(校正图校正图)上找一些其位置确上找一些其位置确切知道的点切知道的点(称为约束对应点称为约束对应点)，然后利用这些点建立，然后利用这些点建立2幅图像间其它象素空间位置的对应关系幅图像间其它象素空间位置的对应关系2.灰度插值灰度插值精品课件精品课件！精品课件精品课件！实例实例