基于深度学习（DL）的图像复原（IR）论文总结

基于深度学习（DL）的图像复原（IR）论文总结

SRCNN(深度学习用在超分辨率重建上的开山之作)

题目：Image Super-Resolution Using Deep Convolutional Networks (PAMI,FEBRUARY 2016 )

论文下载：

代码下载：http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html.

介绍：

超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution (SISR)。

SR方法主要可以分为四种模型：基于边缘，基于图像统计，基于样本（基于补丁）的方法。本文的SRCNN网络结构非常简单，仅仅只有三层网络就是实现了SR。

网络结构：

基准(Ground Truth)高分辨率图像：X

网络输入：低分辨率图像(Low-resolution image)

                  注意：本文中的低分辨率图像实际上指的是经双三次插值后（上采样）得到的预处理后的图像Y

主要分为三个步骤：

Step1 图像块的提取和特征表示，利用卷积网络的性质提取图像块的特征。公式：

Step2 非线性映射。将第一步的n1维特征映射到n2维。公式：

           每一个输出的向量相当于将用于图像复原的一个高分辨率的图像块。

Step3 重构。再做一次卷积进行重构，类似于传统方法的平均处理。公式：

与稀疏编码的关系：

局限：

1.SRCNN 很难训练，对超参数的变化非常敏感

2.图像预处理未包含在网络中

VDSR

题目：Accurate Image Super-Resolution Using Very Deep Convolutional Networks(arXiv, Nov 2016 )

论文下载：

代码下载：https://github.com/huangzehao/caffe-vdsr

介绍：

SRCNN存在三个问题需要进行改进：

1. 依赖于小图像区域的内容

2. 训练收敛太慢

3. 网络只对于某一个尺度有效

针对以上问题，VDSR模型提出以下改进方法：

1. 增大了感受野，在处理大图像上有优势，由SRCNN的13*13变为41*41

2. 采用残差图像和极高学习率进行训练，收敛速度变快，因为残差图像更加稀疏，更加容易收敛（换种理解就是lr携带者低频信息，这些信息依然被训练到hr图像，然而hr图像和lr图像的低频信息相近，这部分花费了大量时间进行训练）

3. 考虑多个尺度，一个卷积网络可以处理多尺度问题

网络结构：

训练策略：

1. 采用残差的方式进行训练，避免训练过长的时间

2. 使用大的学习率进行训练

3. 自适应梯度裁剪，将梯度限制在某一个范围。本文采用自适应梯度方法，将梯度限制在 ，其中是学习率。4. 多尺度，多种尺度样本一起训练可以提高大尺度的准确率。

对于边界问题，由于卷积的操作导致图像变小的问题，本文作者提出一个新的策略，就是每次卷积后，图像的size变小，但是，在下一次卷积前，对图像进行补0操作，恢复到原来大小，这样不仅解决了网络深度的问题，同时，实验证明对边界像素的预测结果也得到了提升。

Iter CNN

题目：Learning Fully Convolutional Networks for Iterative Non-blind Deconvolution (arXiv,Nov 2016 )

论文下载：

代码下载：

介绍：

本文利用半正定分割法(Half-quadratic splitting)，将非盲解卷积问题分解为梯度域上的图像去噪问题和图像解卷积问题。

传统的图像复原模型：

利用半正定分割法，上式可变为：

其中，zl是一个辅助变量。

半正定优化就是交替求解以下2个子问题：

其中，第一个式子相当于图像去噪，如果可以求解出zl，则x可以按下式求解：

网络结构：

输入：模糊图像+相应模糊核

输出：清晰的图像

分为两部分：

Part1 FCNN 去噪

Part2 解卷积

IRCNN

题目：Learning Deep CNN Denoiser Prior for Image Restoration (arXiv, Apr 2017)

论文下载：

代码下载：https://github.com/cszn/ircnn

介绍：

图像退化模型：

从贝叶斯角度来看，上式的解可以通过求解一个MAP问题得到：

上式又可写为：

通常，有2种方法来求解上式。

法1 基于模型的优化方法

优：可灵活处理多种逆问题

缺：耗时

法2 判别式学习方法

优：速度快

缺：通常被限制只能求解特殊问题（因为参数的学习需要特定的训练数据）

目标函数为：

为了利用两者的优点，本文将其结合，同样基于半正定分割算法，利用CNN学习快速有效的denoisers并将其集成到基于模型的优化方法中，来求解各种逆问题。

网络结构：

1. 共7层，包含3种不同类型的模块：

    (1) 第1层：“Dilated Convolution（膨胀卷积）+ReLU”

    (2) 第2-6层：five “Dilated Convolution+BatchNormalization+ReLU”

    (3) 第7层：“DilatedConvolution”

2. 各层膨胀因子分别设为：

1, 2, 3, 4, 3, 2 and 1

3. 中间层的 feature maps 个数皆设为64

网络设计和训练技巧：

1. 利用膨胀卷积扩大感受野

2. 利用批归一化(Batch Normalization)和残差学习(Residual Learning)来加速训练

3. 使用小尺寸训练样本来避免Boundary Artifacts

4. 利用小间隔噪声水平来训练去噪模型

实验结果：

性能优于SRCNN and VDSR