1、SR in DL 综述sina：CD_555问题描述 距距离离设设备备模模糊糊降降采采样样任务描述 LRLR=HRHR基于重建基于重建配准对齐+求解LR-HR参数基于学习基于学习获得高频信息低频信息的映射关系浅层学习浅层学习样本（特征）库构建+学习（搜索）+重建深度学习深度学习基于深度学习的方法 state-of-art讲过啦加深、加深、残差学习、残差学习、训练训练trick、改进改进deconv、前馈系列SRCNN（2015cvpr） 香港中文大学 Dong 等率先率先将卷积神经网络引入到SR问题中 方法的主要思想: 以深度学习与传统稀疏编码与传统稀疏编码之间的关系作为依据依据, 将网络分为
2、 图像块提取图像块提取、 非线性映射非线性映射、图像重建图像重建 三个阶段; 三个阶段统一到一个深度卷积神经网络框架中（端到端学习） 重建结果比 SCSR (Sparse coding based superresolution) 方法的结果有较大提高. 细节： 几天 training dataset：ImageNet 输入：HR-LR(HR down sample)VDSRvery deep（2016） 在在 SRCNN 的基础上的基础上，VDSR借鉴VGG网络结构，设计了含有 20 个权值层的深度网络 提高lr，用clipping解决随之而来的梯度爆炸 细节： input：sub-imag
3、es without overlap；batchsize = 64；multiscale x2 x3 x4 conv_pad = same loss = mse high lr=0.1，每20 epoch x0.1 ；共80epoch；geadient clip to /lr, /lr 4h training on Titan Z dataset：291张图（BSD 200张+别的91张）+ 数据增广FSRCNNfast SRCNN（2016.8） 在在 SRCNN 的基础上的基础上，FSRCNN采用瓶颈结构，加速训练，比test state SRCNN快41倍 针对不同scaleing fa
4、ctorx2 x3 x4，只重训练“deconv” 细节： loss：MSE dataset：91快速+自备100张bmp图微调+数据增广 lr：conv 1e-3、 deconv 1e-4；微调时减半ESPCNEfficient Sub-Pixel（2016.9） 主要思想：关注如何放大的过程 1.上采样+卷积： 其实上采样的kernel（bicubic）不是学来的，所以并没有额外有用信息 而且先上采样的话，卷积计算量更大了 2.deconv： 被证明1只是2的特殊形式 （比起3计算了很多0 3.sub-pixel ： 比1快r2 比2快log_2(r2) ps：资料显示1比2的效果要好，因
5、为2在多数情况下会有棋盘效应（http:/distill.pub/2016/deconv-checkerboard/）3比2更有效率（https:/ 反馈系列DRCNDeeply-Recursive（2016cvpr） VDSR 有有 20 层深层网络层深层网络, 缺乏层间信息反馈及上下文信息关联缺乏层间信息反馈及上下文信息关联, Kim等提出了深度递归卷积网络的 SR 方法 (DRCN). 网络结构: 嵌入网络（图-feat）,推理网络（干活）,重建（恢复大小）网络三部分. 其中推理网络含多个递归层。若展开来看（20层）, 相同的滤波器递归地应用, 没有增加新的权值参数. 在连接方式上, 所
6、有递归层共享一个重建层, 可通过跳跃连接来构建递归层与重建层的联系. 细节：loss：L1：单层MSE; L2: D层加权MSE为了缓和循环时的梯度积累（消失/爆炸），采用加权循环层的形式先把L1占比调高，之后慢慢降低，对循环层来说更好收敛dataset: 91图lr：0.01，每 5 epoch后 val err不下降则再x0.1，b如果共享conv参数：a=cFDfast deconv 步骤：初始上采样、快速反卷积（ 含梯度先验计算）： 首先, 采用双三次插值初始化低分辨率图像到合适的分辨率 由快速反卷积估计恢复到高分辨率图像 为了把高频当做先验，且同时加速卷积，先进行快速傅里叶变换, 在
7、傅里叶变换域进行卷积更加有效; 最后, 经傅里叶逆变换得到重建图像 重建图像主观质量较好, 且算法速度进一步提升. ps：感觉这里说的反卷积是指“解卷积”DEGREEDeep edge guided recurrent residual 将图像信号分解到不同的频带分别重建分解到不同的频带分别重建再进行组合组合的方式可保留图像重要的细节信息. 主要思想: LR的边缘作为先验信息, 为特征映射学习提供指导 为避免忽略不同频带间的固有性质 (高频边缘和纹理细节信息), 通过递归残差网络将图像信号分解为边缘、 纹理等多个成分, 各部分独立重建; 最后, 不同频带信息组合得到最终的重建图像. 网络结构:
8、 LR 边缘提取层; 递归残差网络; HR 边缘预测层; 残差子带融合层. 训练策略: loss: 边缘损失+重建损失+总损失. 均衡了边缘重建与最终重建图像间的损失, 进一步利用了图像的边缘信息. 华丽系列SRGAN 主要思想： deep+residual+skip connection sub-pixel GAN perceptual loss（来自style transfer） 细节： dataset：ImageNet input：固定scale factor=4 的 HR-LR pair；batchsize：16 random crop 96x96 lr：1e-4 for 1e5 it
9、er，然后剩下1e5 iter 用 1e-5 GAN难训练，所以是先训练没有D的G版本，作为SRGAN的G初始化值 再深的结构就很难搞了（高频artifact现象）SRGAN SRGAN LapSR 主要思想： 非L2 loss：解决过于平滑的问题 层级训练：粗到细；一次前馈多个尺度 训练高频残差：边缘恢复的质量更好 ps：也可以像SRGAN那样轻易扩展成对抗结构哦 细节： 端到端训练，所以是multi-loss batchsize：ramdon 64 patch 128x128 dataset：291 images + 增广（scale rotate flip） lr：1e-5 =每50ep
10、och= x0.5 Reference 基于深度学习的图像超分辨率复原研究进展 【SRGAN】Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial 【LapSRN】Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution 【SRCNN】Image Super-Resolution Using Deep Convolutional Networks 【DRCN】Deeply-Recursive Convolutio
11、nal Network for Image Super-Resolution 【VDSR】Accurate Image Super-Resolution Using Very Deep Convolutional Network 【FSRCNN】Accelerating the Super-Resolution Convolutional Neural Network 【ESPCN】Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network Pixel Recursive Super Resolution
