Google发布RAISR

效果：

Rapid andAccurate Super Image Resolution快速、精确的超级图像分辨率技术。将低分辨率图片转化为高清版本。

方法：

RAISR采用了机器学习，用一对低品质和高分辨率图片进行训练的系统，因此它知道如何重建应用于低分辨率图片中的每个像素的过滤器，生成媲美原始图片的细节。RAISR选择最佳方式来增强低分辨率照片中的每个“像素邻域”，以创建更多的分辨率。

用一对低分辨率、高分辨率图片训练该程序，以找出能选择性应用于低分辨图片中每个像素的过滤器，这样能生成媲美原始图片的细节。

RAISR: Rapid and Accurate Image Super Resolution

Yaniv Romano,John Isidoro, Peyman Milanfar

(Submitted on 3Jun 2016 (v1), last revised 4 Oct 2016 (this version, v3))

Given an image,we wish to produce an image of larger size with significantly more pixels andhigher image quality. This is generally known as the Single Image Super-Resolution(SISR) problem. The idea is that with sufficient training data (correspondingpairs of low and high resolution images) we can learn set of filters (i.e. amapping) that when applied to given image that is not in the training set, willproduce a higher resolution version of it, where the learning is preferably lowcomplexity. In our proposed approach, the run-time is more than one to twoorders of magnitude faster than the best competing methods currently available,while producing results comparable or better than state-of-the-art.

A closelyrelated topic is image sharpening and contrast enhancement, i.e., improving thevisual quality of a blurry image by amplifying the underlying details (a widerange of frequencies). Our approach additionally includes an extremelyefficient way to produce an image that is significantly sharper than the inputblurry one, without introducing artifacts such as halos and noiseamplification. We illustrate how this effective sharpening algorithm, inaddition to being of independent interest, can be used as a pre-processing stepto induce the learning of more effective upscaling filters with built-insharpening and contrast enhancement effect.

细节:

RAISR  的过滤器是根据图像的边缘特征训练的：亮度和色彩梯度，平实和纹理区域等等。这又受到方向（direction，边缘角度），强度（strength，更锐利的边缘强度更高）和黏性 （coherence，一项量化边缘方向性的指标）的影响。以下是一组 RAISR 过滤器，从一万对高、低分辨率图片中学习得到 （低分辨率图片经过升采样）。该训练过程耗费约一小时。

注：3 倍超分辨率学习，获得的11x11 过滤器集合。过滤器可以从多种超分辨率因素中学习获得，包括部分超分辨率。注意当图中边缘角度变化时，过滤器角度也跟着旋转。相似的，当强度提高时，过滤器的锐利度也跟着提高；黏性提高时，过滤器的非均相性（anisotropy）也提高。

从左至右，学习得到的过滤器与处理后的边缘方向有选择性的呼应。举例来说，最底一行中间的过滤器最适合强水平边缘（90 度梯度角），并具有高粘性（直线的而非弯曲的边缘）。如果这个水平边缘是低对比度的，那么如同图中最上一行，另一个过滤器就被选择。

实际使用中，RAISR 会在已经学习到的过滤器列表中选择最合适的过滤器， 应用于低分辨率图片的每一个像素周围。当这些过滤器被应用于更低画质的图像时，它们会重建出相当于原始分辨率的细节，这大幅优于线性、双三（bicubic）、兰索斯（Lancos）解析方式。

上：RAISR 算法运行示例 下：原始图像 （左），2 倍双三解析 （中），RAISR 效果 （右）

一些运用RAISR进行图片增强的示例：

上：原始图片 下：RAISR 2 倍超分辨率效果

左：原始图片 右：RAISR 3 倍超分辨率效果

超分辨率技术更复杂的地方在于如何避免混叠效应，例如龟纹 （Moirepatterns）和高频率内容在低分辨率下渲染产生的锯齿（对图像人为降级的情形）。这些混叠效应的产物会因对应部分的形状不同而变化，并且很难消除。

左：正常图像 右：右下角有龟纹（混叠效应）的图像

线性方法很难恢复图像结构，但是 RAISR可以。下面是一个例子，左边是低分辨率的原始图片，左 3 和左 5 有很明显的空间频率混淆（aliased spatial frequencies），而右侧的 RAISR 图像恢复了其原始结构。RAISR 的过滤器学习方法还有一项重要的优点：用户可以把消除噪音以及各类压缩算法的产物作为训练的一部分。当 RAISR 被提供相应的范例后，它可以在图片锐化之外学会消除这些效果，并把这些功能加入过滤器。

左：有强混叠效应的原始图片 右：RAISR 处理后效果

超分辨率技术利用不同的方法已经有了不少喜人的进展。如今，通过把机器学习与多年来不断发展的成像技术相结合，图像处理技术有了长足的进步，并带来许多好处。举例来说，除了放大手机上的图片，用户还可以在低分辨率和超高清下捕捉、存储、传输图像，使用更少的移动网络数据和存储空间，而且不会产生肉眼能观察到的画质降低。

Link：

http://www.infoq.com/cn/news/2017/01/Google-RAISR

https://research.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html

https://arxiv.org/abs/1606.01299