1、图像超分辨率重建文献综述2012-12-19武汉大学图像处理与智能系统实验室2报告内容n超分辨重建（SRR）的概念n研究背景和意义n超分辨重建的分类n超分辨重建的方法n人脸超分辨率重建n下一步的研究计划2012-12-19武汉大学图像处理与智能系统实验室3超分辨率重建n由一幅低分辨率图像或图像序列得到高分辨率图像2012-12-19武汉大学图像处理与智能系统实验室4研究背景和意义n图像获取的过程中受到几种典型因素的制约:相机和摄影机的空间分辨率受成像光学系统和传感器制造工艺及成本的限制；图像成像过程受到大气模糊、光学模糊、运动模糊、传感器模糊、干扰噪声、光学透镜扭曲变形、不满足奈奎斯特采样条件
2、引起的频谱混叠等因素的影响；图像在进行A/D转换和D/A转换时，不可避免地会带来失真和不同程度的退化。这些限制条件和影响因素导致获取的图像质量较差、分辨率不高。通过改造成像系统来提高系统的信息获取能力，受到工艺水平和硬件成本因素的限制，在实际应用中受到制约。n图像超分辨率重建方法在保留现有硬件设备的基础上通过软件的方法达到提高图像分辨率的目的，是一种经济实用并且切实可行的方案，具有重要的应用价值和广阔的应用前景。2012-12-19武汉大学图像处理与智能系统实验室5SRR分类Generic SingleFramesImage ClassImage NumberMethodDomainSpeci
3、ficInterpolationbased Learningbased MultiFrame Reconstructionbased Spatial domainFrequency DomainFace SRR 2012-12-19武汉大学图像处理与智能系统实验室6超分辨重建（SRR）的方法n观测模型nSRR方法q基于重建的方法q基于学习的方法2012-12-19武汉大学图像处理与智能系统实验室7图像失真模型2012-12-19武汉大学图像处理与智能系统实验室8图像失真的数学描述移动模糊降采样观测模型（退化模型）2012-12-19武汉大学图像处理与智能系统实验室9超分辨率重建的方法n超分辨率
4、的概念，最早于上个世纪60年代由Harris提出用于单张影像的复原，并奠定了超分辨率的数学基础。 1984年，Tsai和Huang首次提出了利用多帧低分辨率退化图像进行超分辨率重建的问题，随后许多学者对图像超分辨率重建进行了研究，不仅在理论上说明了超分辨率重建的可能性，而且还提出和发展了很多具有实用价值的方法。从目前的研究和应用成果来看，超分辨率重建算法主要分为频域方法、传统空域重建方法、基于学习（leaning-Based）的方法。早期的研究工作主要集中在频域中进行，但考虑到更一般的退化模型，后期的研究工作几乎都集中在空域中进行。基于学习的超分辨率重建方法是最近十年发展起来的，不仅克服了基于
5、重建的方法在分辨率提高倍数方面的局限性，而且可以实现单幅图像的超分辨率重建。n基于重建的方法n基于学习的方法2012-12-19武汉大学图像处理与智能系统实验室10基于重建的方法n频域方法n非均匀插值法n迭代方向投影(IBP)n凸集投影(POCS)法n基于概率的方法n正则化方法n自适应滤波方法n盲超分辨率重建2012-12-19武汉大学图像处理与智能系统实验室11频域法n1984年，Tsai 和Huang首次提出了序列图像的超分辨率重建问题，并给出了基于频域逼近的图像重建的方法，其观测模型是基于傅立叶变换的移位特性。该类方法主要是通过频域消混叠重建来恢复图像的高频分量。频域法的优点是理论简单，
6、可并行处理。然而运动模型只考虑到全局运动，局限性大，并且很难引入图像的先验知识来进行高分辨率图像的重建。2012-12-19武汉大学图像处理与智能系统实验室12非均匀插值法2012-12-19武汉大学图像处理与智能系统实验室13处理流程图像运动估计图像合并像素映射到高分辨率格点进一步的去噪、抗糊化处理非均匀插值方法的计算负荷较小，需要假定所有低分辨率图像的噪声和模糊特征都是相同的，而且在图像复原阶段忽略了插值阶段的误差，因此重建效果不佳 2012-12-19武汉大学图像处理与智能系统实验室14迭代方向投影法（IBP）n迭代反向投影算法由Irani和Peleg于1991年提出，其基本思想是：将退
7、化模型生成的低分辨率图像 与输入的低分辨率图像 之间的差值反向投影到高分辨率图像上, 随着误差收敛, 可以得到相应的超分辨率重建图像。nIBP 算法可以用如下公式来表示：kgkgn+ 1 nkBPkf x , y = f x , y + g m, n - g m, n H m, n; x , y该方法的特点是：直观、简单、收敛快；但没有惟一的解，难以利用先验知识，而且选择投影算子HBP是困难的 2012-12-19武汉大学图像处理与智能系统实验室15凸集投影算法( POCS ) 凸集投影法是解决超分辨率问题的一类典型算法。Stark和Oskoui首次（1989）将POCS应用于超分辨率重建，但
8、其采用的运动模型却假定图像获取时仅存在整体平移，且没有考虑运动模糊的效果。Patti 等人（1997）提出了同时考虑混叠、传感器模糊、运动模糊和加性噪声的POCS 方法。 POCS方法中，超分辨率解空间中可行解的每一个限制条件（如非负性、能量有界性、观测数据一致性、局部光滑性等），都被定义为一个约束凸集，通过对代表高分辨率图像性质的约束集求交，即可迭代解得解空间。 POCS 的优点是可以方便地加入先验信息， 可以很好地保持高分辨率图像上的边缘和细节。缺点是解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高POCS算法收敛的稳定性， 可以采用松弛投影算子，但松弛投影算子不利于保持图像
9、的边缘和细节。2012-12-19武汉大学图像处理与智能系统实验室16凸集映射符合条件2所有可能重构结果集合重构结果落在符合各个条件的集合交集符合条件1所有可能重构结果集合符合条件3所有可能重构结果集合凸集凸集对应的映射算子2012-12-19武汉大学图像处理与智能系统实验室17基于概率的方法n包括最大后验概率估计法(MAP)和最大似然估计法(ML)nSchultz和Stevenson（1994）提出的MAP方法是典型的概率论方法，他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。根据MAP准则：n使用条件概率对上式进行变形、取负对数并舍弃常数项，可得n其中， 高分辨率图像的先
10、验模型可以由图像的先验知识确定，通常采用的MRF模型使图像的局部在光滑性和边缘保持上同时获得了比较好的效果，条件概率密度 则由系统的噪声统计量确定 MAP方法的优点在于有惟一解，如果有合理的先验假设可以获得非常好的图像边缘效果。但是其显著的缺点就在于计算量相对比较大。)|Pr(maxargyxxxmap)Pr(log)|Pr(logargxxymixxxmap)(xPr)|(xyPr2012-12-19武汉大学图像处理与智能系统实验室18基于概率的方法nSchulz 和Stevenson（1994）使用了具有边缘保持能力的Huber-Markov 先验来完成超分辨率的MAP估计。而Hardie
11、等人（1997）首先考虑了图像配准参数和HR图像的联合MAP估计问题。ML方法可以看作没有先验知识的特殊MAP估计，但由于SR 问题本身是病态的，通常应优先选择MAP估计。Tom 和Katsaggelos （1995）提出了同时估计LR图像的亚像素位移、噪声方差和HR图像的ML方法，并通过EM算法求解。nSchultz和Stevenson（1995）最早将MAP优化与投影约束相结合。Elad和Feuer（1997）提出了一种通用的最大似然估计凸集投影（ML/POCS）超分辨率方法等。混合方法结合了各自的优点，能够充分利用先验知识，并且收敛的稳定性也有改善。2012-12-19武汉大学图像处理与
12、智能系统实验室19正则化方法 n超分辨率重建本质上是一个病态的反问题，正则化方法利用先验信息对其进行约束，使超分辨率病态问题变成良态问题。n确定性正则化方法最常见的是约束最小二乘法, 它的基本思路就是寻找一个X来最小化拉格朗日算子, 并且使得这个X 尽可能接近原始高分辨率图像。其表达式如下：221argmin| KkkXkXYW XCX正则化算法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外，该算法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨率图像的细节容易被平滑掉。2012-12-19武汉大学图像处理与智能系统实验
13、室20正则化方法 代表性的正则化超分辨率方法包括Hong等（1997）最早提出的基于Tikhonov正则化的超分辨率重建方法。Nguyen 等人（2001）运用广义交叉有效算法更新正则化参数。Park 等人（2004）把正则化方法用于基于DCT 变换的压缩图像的超分辨率的重建。He等人（2007）同步进行图像配准和图像的超分辨率重建，引入基于总变分的正则化方法来解决高分辨率图像重建问题。 Capel等（2000）提出基于连续全变差模型(Total Variation；TV)的文本序列图像SRR算法。 Farsiu 等人（2004）提出了一种结合Bilateral滤波和TV正则化的改进BTV正则
14、化算子。此外，Kim等（2003）提出一种基于扩散张量的边缘增强和各向异性扩散变分SRR算法。2012-12-19武汉大学图像处理与智能系统实验室21Elad等（1999）首先提出了基于递归最陡下降法（R-SD）和递归最小均方法（R-LMS）的空域自适应滤波法的方法实现超分辨率重建。Alam等（2000）针对维纳滤波进行改进，采用了一种加权最近邻域结合维纳滤波的超分辨率方法。Hardie （2007）提出了基于自适应维纳滤波的方法, 使用相邻的低分辨率图像像素的加权和来获得高分辨率图像。Callico等（2005）则实现了一种基于Philips多格式编解码平台的实时超分辨率重建方案，对内存要求
15、很低。自适应滤波方法 自适应滤波方法的缺点是最优滤波方法不能包含先验知识, 而且该方法不能包含非线性先验知识。2012-12-19武汉大学图像处理与智能系统实验室22盲超分辨率重建 目前大部分超分辨率算法是假设已知模糊过程，然而在很多情况下，模糊过程至少是部分未知的。一个实用的超分辨率系统应该把模糊辨识融入到重建过程中，即盲超分辨率重建。 Harikumar 和Bresler（1999）在不考虑噪声的情况下, 引入基于子空间和似然估计的方法求得模糊方程及其大小, 最后通过盲去卷积方法重建原始高分辨率图像。Nguyen 等人（2001）提出了基于GCV（Generalized Cross-val
16、idation）和高斯积分的参数化模糊辨识和规整化方法。但是，将模糊函数假定为单参数的高斯函数不符合应用中的实际情况。乔建萍（2008）对盲超分辨率图像复原分别提出了基于矢量量化的模糊参数辨识方法以及基于支持向量机的方法。2012-12-19武汉大学图像处理与智能系统实验室23基于学习的方法nNN算法nK-NN算法（Example-based方法）n流形学习方法n基于稀疏表示的方法n幻想脸方法n图像类推方法n其他方法2012-12-19武汉大学图像处理与智能系统实验室24基于学习的超分辨率模型n基于学习的超分辨重建方法的主旨思想是通过一定数量的训练样本图像，研究低分辨率图像和高分辨率图像之间的
17、统计关系，并把它运用到从低分辨率图像到高分辨率图像的重建过程中。 n典型的基于学习的超分辨率模型可定义为：从高低分辨率样本图像中提取图像块 作为训练样本库，其中 是图像块的向量表示。超分辨率重建过程中，从输入低分辨率图像提取图像块 ，根据训练样本库 ，估计其高分辨率图像块 。1,hlNiiipp,hliippljy1,hlNiiipphjx2012-12-19武汉大学图像处理与智能系统实验室25NN算法n最近邻（Nearest Neighboring，简称 NN）搜索是最简单的算法，其基本思路是从样本库中穷举找出与输入低分辨率图像块 最相似的图像块 ，并将其对应的 作为 的高频分量，这种方法相
18、当于最大似然估计（Maximum-Likelihood，简称 ML）问题，假设图像块满足正态分布， ， 则从低分辨率输入图像中提取的图像块 ，其最大似然估计 可表示为下列目标函数的最小化问题：n （1）n这种方法简单、直接，但只考虑到样本图像块本身的局部特征信息，稳定性很差。2()(,)llP yN u2(|)(,)lhhP yxN uljljy1,*argmin|lljiiNllljjjpyljyliphipljy2012-12-19武汉大学图像处理与智能系统实验室26K-NN算法（Example-based方法） 为提高 NN 算法的鲁棒性，Freeman 等(2002)提出一种马尔可夫网
19、络（MarkovNetwork）模型，采用马尔可夫网络学习样本库中低分辨率图像块与高分辨图像块的对应关系，再利用学习到的关系估计图像的细节信息，该方法开创了基于学习的超分辨率重建研究的先河。 该算法将图像块作为马尔可夫网络上的一个节点，并假定节点间在统计量上相互独立，生成训练库，最终应用传播算法求解马尔可夫网络问题，这种模型相当于最大后验概率问题，在公式(1)基础上加入先验约束，加强相邻图像块间匹配约束，其目标函数为： （2） 1,*22argmin|()| lljiiNmllhhjjjjjpy其中 表示图像块 与其相邻快的重叠区域 ()hjhj2012-12-19武汉大学图像处理与智能系统实
20、验室27K-NN算法（Example-based方法） Example-based方法是较早提出使用学习的方法实现超分辨率，相对于之前的基于插值和基于重建的方法，这种方法可以获取丰富的高频信息，在放大4倍时，仍能获得较高的图像质量。但缺点也比较明显，训练样本的选择要求比较高，并且对于图像中的噪声极为敏感。 2012-12-19武汉大学图像处理与智能系统实验室28流形学习（邻域嵌入）方法n相对NN算法，K-NN提高了最终估计值的鲁棒性，但它只是从 K 个样本中选取一个作为最终估计值 。nChang 等人(2004)对此进行了改进，将 K个优选结果 进行加权组合： 并采用局部线性嵌入（Local
21、Linear Embedding，简称LLE）的流形学习（Manifold Learning）算法对加权系数 进行估计，假设图像中频分量 m 和高频分量 h 有相同的局部相关性，高频图像块的估计可以从低分辨率图像块估计的加权系数进行计算：n加权系数的优化问题可表示为：n （3）lkp*1Klljkkkw pkw*1Khhjkkkx p*22argmin|jlljwjjjwyPW当考虑重建误差时，公式(3)的估计结果并不是最优的；同时LLE算法性能受K个优选样本质量的影响，并且没有充分利用其它样本中所包含的先验信息。相对于K-NN的方法，邻域嵌入的方法需要较少的训练样本，并且对于噪声的敏感度不是
22、非常强，重建结果具有块效应。2012-12-19武汉大学图像处理与智能系统实验室29基于稀疏表示的方法n根据稀疏信号表示理论，设 是 一个包含K个原子的过完备字典，信号 可表示为基于字典D的稀疏线性组合，记作 ，其中，矢量 是一个列向量，仅含有少数（ ）非零元素。n这种方法克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基的个数将同时通过线性规划求解得到。然而，目前该方法的缺陷就在于过完备词典的选择，随机的选择只能实现特定领域的图像的超分辨率，对于通用图像的超分辨率效果较差。DxRn KDnRnRx0Dx 0KR noutput hi
23、gh-reslution patchhigh-resolution dictionaryfor some withD nhDR0hDx 0nR 00|n d nlhLDRDThe input low-resolution patch satisfiesdyR0hlyLxLD xD2012-12-19武汉大学图像处理与智能系统实验室30幻想脸方法n在人脸超分辨率重建方面，知名学者Baker 和Kanade(1999)第一次提出幻想脸（Face Hallucination）的思想，通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验概率的框架下完成超分辨率重建。由于重建过程是逐像素进行
24、的，因此容易缺失一些人脸的全局性约束，如对称性和亮度的一致性等。2012-12-19武汉大学图像处理与智能系统实验室31图像类推方法nHertzmann等人(2001)提出了一种图像类推(image analogies)的超分辨率算法，该方法分为两个阶段：在“设计”阶段需要提供一个图像对作为训练数据，其中一幅被看作另一幅的滤波版本；在“应用”阶段，从设计阶段中学习到的滤波器被运用到新的图像上，从而得到一个相似的滤波结果。图像类推实际上是基于一个多尺度自回归模型的。( )Af AA A B B:A AB Bn 程倩倩等（2011）提出了一种自类推的单幅图像超分辨重建方法，摆脱了一般方法对训练集合
25、的依赖性。2012-12-19武汉大学图像处理与智能系统实验室32其他方法nKarl等（2007）和Nguyen（2010）提出支持向量回归（Support Vector Regression，简称SVR）的超分辨率方法。他们通过加入一些额外的约束条件把kernel学习由半正定规划问题转化为二次规划问题求解。对于测试数据，则先对图像patch进行内容分类，再在其所属的类中做支持向量回归，得到高分辨率patch。SVR方法可实现对样本的自动选择，训练集较小，并且该算法在频域中同样适用。但是从实验结果来看，图像的对比度有所下降。nKim等（2010）将稀疏回归（Sparse Regression）模型应用于单帧图像的超分辨率重建，结合稀疏编码和核岭回归（Kernel RidgeRegression，简称KRR）的方法，更好地对高、低分辨率图像样本进行组织，取得了比较好的效果。
