深度卷积网络与图像超分辨率

用深度卷积网络实现图像超分辨率

主要是用caffe实现论文中（SRCNN）所叙述的深度卷积网络,该网络可以用于实现图像的超分辨率。超分辨率图像重建有单帧和多帧之分，文章中作者描述的是通过一张低分辨率图像得到一张高分辨率图像。超分辨率有一个基本的问题，低分辨率图像和高分辨率图像含有的信息量不同。如果单纯通过插值方法不会提升低分辨率图像的信息量，但是这样做人的视觉上看上去图像也会变清晰。提升信息量有其他的方法，系统学习大量低分辨率到高分辨率的映射，这些映射也会作为一部分信息参与到高分辨率图像的重建。也就是说，高分辨率图像不仅具有低分辨率图像的信息，同时还具有训练时大量图像的信息，因此这种情况下高分辨率图像的信息量有所提升。SRCNN是稀疏编码方法进行超分辨率的一种改良。在这之前的超分辨率方法中，人们将注意力放在学习和优化低分辨率和高分辩率字典中，或者以其他方法对其进行建模。SRCNN将整个步骤融合成了一个深度卷积网络，这个网络直接将低分辨率图像转换为高分辨率图像，在训练过程中并不直接学习低分辨率和高分辩率字典，而是将整个网络作为一个整体进行训练，整个过程中只需要少许预处理。SRCNN的运作方式如下：网络预先设定好上采样率upscale,然后输入一个低分辨率图像x。首先进行预处理，将低分辨率图像进行插值upscale倍得到图像y,然后输入网络之中，目标是从Y中得到图像f(y),f是srcnn的映射，要求f(y)尽可能接近原始图像x的真实高分辨率版本。因此srcnn的关键是学习这个映射方式f，f包含三个步骤：