1、第五章：图像复原2022-12-161本章主要内容：本章主要内容：n1.概述n2.图像的退化模型n3.退化参数的估计n4.图像滤波复原法n5.图像代数复原法第五章：图像复原2022-12-1621.概述 n 什么是图像退化 图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等n 图像退化的处理方法 无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等；如果我们对退化的类型、机制和过程都十分清楚，那么就可以利用其反过程来复原图像。第五章：图像复原2022
2、-12-1631.概述 n 典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。第五章：图像复原2022-12-1642.图像的退化模型 f(i,j)：原始图像g(i,j)：降质图像T()：成像系统的作用，则：),(),(yxfTyxg设T是线性的。一幅连续的图像f(x,y)可以用抽样函数的二维卷积表示：ddyxfyxf),(),(),(因此，ddyxTfyxg),(),(),(),(),;,(yxTyxh，则有：ddyxhfyxg),;,(),(),(第五章：图像复原2022-12-165
3、2.图像的退化模型 ),;,(yxh为点扩散函数(PSF)或系统冲击响应。多数情况下它表现为时不变的，反映在图像中为位移不变的，则),;,(yxh可以表示为),(yxh),(),(),(),(),(yxhyxfddyxhfyxg 其中*表示卷积运算。如果T()是一个h可分离系统，即n 称),(),(),;,(21yhxhyxh则二维运算可以分解为列和行两次一维运算来代替。n 在加法噪声情况下，图像退化模型可以表示为),(),(),(),(yxnyxhyxfyxg其中n(x,y)为噪声图像第五章：图像复原2022-12-1662.图像的退化模型 ),(),(),(),(yxnyxhyxfyxg线
4、性位移不变的图像退化模型则表示为：f(x,y)H n(x,y)g(x,y)第五章：图像复原2022-12-1672.图像的退化模型离散图像退化模型 对于图像降质过场进行数学建模f(i,j)：原始图像y(i,j)：降质图像h(i,j;k,l)：点扩散函数图像为MN维MkNljinlkflkjihjiy11),(),(),;,(),(假设为空间不移变h(i,j;k,l)，则：),(),(),(),(),(),(),(11jinjifjihjinlkfljkihjiyMkNl第五章：图像复原2022-12-1682.图像的退化模型离散图像退化模型 用矩阵形式表示上式：nHfyy、f和n分别表示MN的
5、函数矩阵y(i,j)、f(i,j)和n(i,j)的各行或各列前后相连而成的维矢量。如果假设原始图像是NN维矩阵，则H是N 2N 2模糊矩阵：)0()2()1()2()0()1()1()1()0(HHHHHHHHHHNNNH是一个分块循环矩阵：每一个子矩阵H(i)自身也是循环矩阵：)0,()2,()1,()2,()0,()1,()1,()1,()0,()(iNiNiiiiiNiiihhhhhhhhhH第五章：图像复原2022-12-1692.图像的退化模型线性不变降质算子 n 运动模糊 通常在拍摄过程中，相机或物体移动造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示 其他 ,022,1)(
6、LiLifLihn 大气扰动模糊 这种模糊经常出现在遥感和航空摄影中，由于曝光时间过长引起的模糊可用高斯点扩散函数来表示：)2exp(),(222jiKjih式中K是一个归一化常数，保证模糊的大小为单位值，2可以决定模糊的程度。第五章：图像复原2022-12-16102.图像的退化模型线性不变降质算子 n 均匀不聚焦模糊 这是由于相机聚焦不准确引起的，虽然不聚焦由许多参数决定，如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等，但在研究中为了简单起见，我们用下列函数表示聚焦不准引起的模糊其他 ,0,1),(222RjiifRjihn 均匀二维模糊 这是最常见的一种模糊，可以用来近似聚焦不
7、准引起的模糊。其他 ,02,2,1),(2LjiLifLjih其中L是奇数。第五章：图像复原2022-12-16112.图像的退化模型线性不变降质算子 通常模糊算子相当于一个低通滤波器，因此当模糊算子作用于原始图像时，会引起图像中边缘和轮廓的模糊。77均匀二维模糊算子作用于图像Camera的结果如下图所示 原始图像 77均匀二维模糊算子作用后的结果 第五章：图像复原2022-12-16123.退化参数的估计噪声模型n数字图像中的噪声主要来源于图像的获取与传输过程n白噪声（White noise）白噪声的傅立叶频谱为常数假定白噪声与空间坐标系相互独立假定白噪声与图像像素之间相互独立n周期噪声噪声
8、分布与空间坐标系相关大多数周期性噪声可通过频域滤波基本消除第五章：图像复原2022-12-16133.退化参数的估计噪声模型n主要噪声的概率密度函数高斯噪声22()21()2zp ze22第五章：图像复原2022-12-16143.退化参数的估计噪声模型n主要噪声的概率密度函数瑞利噪声2()()()0z abaza ep zbzaza4ba2(4)4b第五章：图像复原2022-12-16153.退化参数的估计噪声模型n主要噪声的概率密度函数爱尔兰（伽马）噪声1()(1)!0bbaza zep zbzazaba22ba第五章：图像复原2022-12-16163.退化参数的估计噪声模型n主要噪声的
9、概率密度函数指数分布噪声()0azaep zzaza1a221a第五章：图像复原2022-12-16173.退化参数的估计噪声模型n主要噪声的概率密度函数均匀分布噪声1()0p zbaazbotherwise2ab22()12ba第五章：图像复原2022-12-16183.退化参数的估计噪声模型n主要噪声的概率密度函数脉冲噪声（椒盐噪声）()0abPp zPza0zb第五章：图像复原2022-12-16193.退化参数的估计噪声模型n噪声对于图像的影响第五章：图像复原2022-12-16203.退化参数的估计噪声参数的估计n所需参数()iiizsz p z22()()iiizszp zn通过传
10、感器特性进行估计分析传感器成像器件特性（温度、光谱响应、电子电路特性、。）使传感器针对均匀灰度图像成像n从图像本身进行估计在图像中截取具有恒定灰度值区域进行计算直方图 第五章：图像复原2022-12-16213.退化参数的估计噪声参数的估计利用小的条带法计算直方图（右）：均匀噪声（中）：瑞利噪声（左）：高斯噪声第五章：图像复原2022-12-16223.退化参数的估计图像恢复的相关指标n 模糊信噪比(BSNR,the Blurred Signal-to-Noise Ratio)的期望值是的方差叠加噪声),()(),(),(),(),(),(),(),(1log10BSNR22,210jiggE
11、jigjinjiyjigjinjigjigMNnnji表示由模糊和叠加噪声引起的降质程度 第五章：图像复原2022-12-16233.退化参数的估计图像恢复的相关指标n ISNR（the Improvement in SNR）恢复图像降质图像原始图像),(),(),(),(),(),(),(log10ISNR,2,210jifjiyjifjifjifjiyjifjijiISNR只是评价图像恢复算法好坏的一个客观指标，ISNR高并不一定主观视觉效果好。第五章：图像复原2022-12-16244.图像滤波复原法n 逆滤波),(),(),(),(yxnyxhyxfyxg对于图像退化模型 两边取傅立叶
12、变换 H(u,v)又称为系统的转移函数(或滤波函数)，它使图像退化。),(),(),(),(vuNvuHvuFvuG在无噪声的情况下，上式可以简化为：),(/),(),(),(),(),(vuHvuGvuFvuHvuFvuGv 这种1/H(u,v)的形式称为逆滤波。再进行傅立叶逆变换就可以得到f(x,y)。第五章：图像复原2022-12-16254.图像滤波复原法实际情况中，噪声是不可避免的，因而只能求F(u,v)的估计值：),(),(),(),(),(vuHvuNvuHvuGvuFn 如果H(u,v)有许多零点，必然使得复原的结果受到极大影响。n 或者如果H(u,v)不为零但是有非常小的值，
13、也即病态条件，也会使复原效果受到影响。解决这个问题的方法是避开H(u,v)的零点。n 幸好一般的H(u,v)在低频附近的有限区域内不为零。v 因此逆滤波可以在原点附近进行，相当于在频域乘上一低通窗口函数W(u,v)。第五章：图像复原2022-12-16264.图像滤波复原法在理想无噪声的理想情况下，等效于在空域f(x,y)和w(x,y)的卷积。逆滤波会使原图像变模糊。只引入少量模糊，方法简单，因而受重视。逆滤波的应用条件：退化图像g(x,y)是信噪比较高的图像。第五章：图像复原2022-12-16274.图像滤波复原法维纳滤波器维纳滤波器 逆滤波复原方法对噪声极为敏感，要求信噪比较高，通常不满
14、足该条件。因此希望找到一种方法，在有噪声条件下，从退化图像g(x,y)复原出f(x,y)的估计值，该估计值符合一定的准则。用向量f,g,n来表示f(x,y),g(x,y),n(x,y)，Q为对f的线性算子，在约束条件nHfng下求Qf的最小化而得到f的最佳估计。n 基本原理第五章：图像复原2022-12-16284.图像滤波复原法用拉格朗日法求222)(minnfHgQffJ1)()(22)(1其中gHQQHHf0HfgHfQQffTTTTJ微分，可以用来调节以满足约束条件。第五章：图像复原2022-12-16294.图像滤波复原法设Rf和Rn为f和n的相关矩阵：TTEEnnRffRnf它们是
15、对称矩阵。对于大多数图像而言，相邻象素之间相关性很强，在20个象素之外，趋于零。在此条件下，Rf和Rn可以近似为分块循环矩阵：11WBWRWAWRnf其中A和B为对角阵，W为酋阵。若QTQ用Rf1Rn来代替gHRRHHfnfTT11)(第五章：图像复原2022-12-16304.图像滤波复原法当D为对角阵，分块循环矩阵11WWDHWDWH*T因此：gWDBADDfW1111)(*写成频域形式为：),(),(/),(),(),(),(2*vuGvuSvuSvuHvuHvuFffnn其中Sff(u,v),Snn(u,v)分别是f(x,y)和n(x,y)的谱密度。器时，称为参数维纳滤波称为维纳滤波器
16、时，1),(1vuF第五章：图像复原2022-12-16314.图像滤波复原法卡尔曼滤波卡尔曼滤波 维纳滤波是对图像为平稳过程且已知相关函数情况下再假定为白噪声条件下的最有线性滤波。维纳滤波提供了一种频域滤波，显然用频域方法时，计算机的存储量、计算量大而且不能向非平稳过程推广。为了克服维纳滤波的上述不足，卡尔曼等人在20世纪60年代初提出了一种递归滤波算法，即卡尔曼滤波。n 由于空间技术的需要推动了卡尔曼滤波的发展。它虽然也是根据随机过程统计的观点，但它可以在时域进行。n 卡尔曼滤波的另一个优点是它用递归滤波的方法，节约了存储量，减少了计算量。卡尔曼滤波也是求最小方差意义上的最优解，但它可以从
17、某一点为起点去观测，用递归方法计算，有利于计算机实时求解。第五章：图像复原2022-12-16324.图像滤波复原法卡尔曼离散状态方程和观测方程卡尔曼离散状态方程和观测方程n 卡尔曼离散滤波的两个方程为状态方程和观测方程状态方程111,kkkkkWxx观测方程kkkkVxHY维时刻的观测噪声向量，：维的随机向量，白噪声时刻状态的随机干扰：维时刻观测矩阵，：维：状态转移矩阵，维向量：观测到的信号的维状态向量：信号的11)(11111,mtntnmtnnmnkkkkkkkkkkVWHYx设Wk和观测噪声Vk为两两互不相关的零均值正态白噪声系列第五章：图像复原2022-12-16334.图像滤波复原
18、法n 根据Y1,Y2,Yk去估计xk称为卡尔曼滤波卡尔曼滤波，根据Y1,Y2,Yk去估计xk1称为卡尔曼预测或外推卡尔曼预测或外推。问题：。已知，求和已知，系统已确定，kkkkkkxHYYx1,1011,kkkkxx无偏估计值：观测数据的估值：11,kkkkkkkxHxHY以下差称为新息，包含了从tk-1到tk时刻的随机干扰的影响：kkkYYY新息可以乘以一个增益系数矩阵Kk，来修正对xk的预测)(11,kkkkkkkYYKxx即为tk时刻的最佳线性估计。第五章：图像复原2022-12-16344.图像滤波复原法在均方误差最小的准则下，我们可以求出Kk的值。kkkkkkkkkkkkkkkkkk
19、kkkkkkkkkkkkkkkkkkVKWHKxHKxHKIxHVxHKxxHYKxx111,11,11,11,11,11,)(估计误差kkkkkkkkkkkkkkkkkxVKWxxHKIxWxxx111,111,可求误差的协方差阵TkkkTkkkTkkkkkkkkkkkTkkkEEKRKHKIQPHKIxxxxxxP)()()(11,11,再看xk和它的无偏估计值的误差协方差阵11,11,)(kTkkkkkkkkkkEQPxxxxP第五章：图像复原2022-12-16354.图像滤波复原法上述两协方差矩阵之间的关系为：TkkTkkkkTkTkkkkkkkKRHPHKKHPPHKPP)(Tkk
20、kTkkkEE111WWQVVR上面各式中为求误差的协方差阵Pk最小，令0kkKP解之，得1kkkkkTkkkTkkkPHKIPRHPHHPK第五章：图像复原2022-12-16364.图像滤波复原法总结以上，共得四式：111,11,11,11,)(kkkkkTkkkTkkkkTkkkkkkkkkkkkkkkkPHKIPRHPHHPKQPPxHYKxx (a)原始图像 (b)15水平运动 (c)卡尔曼滤波恢复的结果 模糊算子作用后 的结果 （高斯白噪声BSNR=40dB）（ISNR=0.006）第五章：图像复原2022-12-16375.图像代数复原法几何畸变的复原几何畸变的复原 在不同条件下
21、拍摄的图像，一个物体的图像常会发生几何畸变，出现歪斜变形的现象。n 从太空中宇航器拍摄的地球上的等距平行线，其图像会变为歪斜或不等距；n 用光学和电子扫描仪摄取的图像常会有桶形畸变和枕形畸变；n 用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。以一副图像为基准，去校正另一种方式摄入的图像，以期校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。第五章：图像复原2022-12-16385.图像代数复原法几何畸变的描述几何畸变的描述 f(x,y)g(x,y)几何基准图像的坐标系统用(x,y)来表示需要校正的图像的坐标系统用(x,y)表示设两个图像坐标系统之间的关系
22、用解析式表示10101010NiNjjiijNiNjjiijyxbyyxax通常h1(x,y)和h2(x,y)用多项式来表示：),(),(21yxhyyxhx第五章：图像复原2022-12-16395.图像代数复原法n 通常用线性畸变来近似较小的几何畸变ybxbbyyaxaax210210n 更精确一些可以用二次型来近似2542321025423210ybxybxbybxbbyyaxyaxayaxaaxn 若基准图像为f(x,y)，畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则),(),(yxgyxf第五章：图像复原2022-12-16405.图像代数复原法n 已知h1(x,
23、y)和h2(x,y)通常用线性畸变来近似较小的几何畸变),(),(),(002001yxhyxh 零级内插点最近的),(是离),(),(),(000000畸变变图像上的网yxyxgyxf 双线性插值网格点中)1,1(),1,(),1(),(落在),(00000000yxyxyxyx则：000000000000)1,1()1,()1(),1)(1(),()1)(1(),(yxyxyxyxyxgyxf第五章：图像复原2022-12-16415.图像代数复原法n h1(x,y)和h2(x,y)未知通常用已知的多对对应点来确定系数a,b 线性畸变可由基准图找出三个点(r1,s1),(r2,s2),(r
24、3,s3)与畸变图像上三个点(u1,v1),(u2,v2),(u3,v3)一一对应。ybxbbyyaxaax210210210332211321210332211321111111bbbsrsrsrvvvaaasrsrsruuu将对应点代入，有：解联立方程组，得出6个系数。第五章：图像复原2022-12-16425.图像代数复原法这时 二次型畸变2542321025423210ybxybxbybxbbyyaxyaxayaxaax有12个未知量，需要6对已知对应点),(),(),(),(),(),(),(),(),(),(),(),(665544332211665544332211yxyxyxy
25、xyxyxyxyxyxyxyxyx代入上式520266626662222222221112111621111aaayyxxyxyyxxyxyyxxyxxxx记做向量矩阵形式Aax 同样有解方程组，得到ai,bi.12个系数。Aby 第五章：图像复原2022-12-16435.图像代数复原法n 通常实际应用中，会取多余的对应点对，这时A不是方阵而是高矩阵，这时矩阵的逆用广义逆矩阵来求解。高矩阵的广义逆矩阵为TTHHHH1)(在广告制作和计算机动画中常常要使物体变形。n 内插方法除了零级内插和双线性内插外，还有B样条插值和sinc插值函数内插wwwcsin)(sinn 几何畸变复原的一套方法也可以用于使图像畸变的工作中。第五章：图像复原2022-12-16445.图像代数复原法n 思考问题已知：3),(2),(21yyxhyxyxhx对下图进行几何畸变校正(分别用零级内插和双线性内插)0000000000000000111000011100001110000000000000000
