Skoltech联合牛津发布「深度图像先验」：使用随机初始化神经网络实现图片去噪、超分辨率和修补

原文来源：mitryulyanov.github、sites.skoltech.ru

作者：Dmitry Ulyanov、Andrea Vedaldi、Victor Lempitsky

「雷克世界」编译：嗯~阿童木呀、哆啦A亮

关于若干图像恢复问题的示例结果。我们使用深度神经网络，但并不使用数据集对其进行训练或预训练。我们将它们用作结构化图像先验。

 

摘要

 

深度卷积网络已经成为图像生成和恢复的通用工具。一般来说，它们的出色性能归功于它们从大量样本图像中学习真实图像先验（image prior）的能力。而在本文中，相反的是，我们证明生成器网络的结构足以将大量的低等级图像统计先验捕获到任意学习中。为了做到这一点，我们展示了一个随机初始化的神经网络可以用作一个手动先验，并且可以在诸如去噪、超分辨率和修补等标准可逆问题上获取很好的性能表现。此外，同样的先验可以用来反演深度神经表征从而对其进行诊断，并且可以对基于“闪光—无闪光”输入对的图像进行恢复。

 

除了多样化的应用之外，我们的方法突出了标准生成器网络架构所捕获的归纳偏差（inductive bias）。它还弥补了两种通用的图像恢复方法之间的鸿沟：即使用深度卷积网络的基于学习的方法和基于手动图像先验（如自相似性）的无学习方法。

 

主要内容

 

在图像恢复问题中，目标是把受损图像x0恢复到原始图像x。这样的问题常常被描述为一个优化任务：

 

 

其中，E(x;x0)是数据项，R(x)是图像先验。数据项E(x; x0)通常很容易设计成用于各种各样的问题中，如超分辨率、去噪、修复，而图像先验R(x)是一个具有挑战性的问题。现在的趋势是通过使用大量的样本对卷积神经网络进行训练，从而用其捕获先验R(x)。

 

我们首先注意到，对于一个满射g:θ↦x，理论上下面的过程等同于（1）：

 

在实际应用中，g显著地改变了如何利用最优化方法搜索图像空间。除此之外，通过选择一个“好的”（可能是内射的）映射g，我们可以去除先验项。我们将g(θ)定义为fθ(z)，其中f是深度卷积神经网络，参数θ和z是一个固定的输入，从而生成公式：

  

在这里，网络fθ被随机初始化，输入z被噪声填充并被固定。

 

换句话说，我们不是在图像空间中寻找答案，而是在神经网络的参数空间中寻找答案。我们强调，我们从不使用预训练网络或图像数据库。在恢复过程中只使用损坏的图像x0。

 

有关详细信息，请参阅论文（https://sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf）和补充资料（https://box.skoltech.ru/index.php/s/ib52BOoV58ztuPM）。

 

恢复过程的可视化

方法比较

·W. Lai，J. Huang，N. Ahuja和M. Yang，“用于快速和精准的超分辨率的深度拉普拉斯金字塔网络(https://arxiv.org/abs/1704.03915)”CVPR，2017

·C. Ledig，L. Theis，F. Huszar，J. Caballero，A. Cunningham，A. Acosta，A. Aitken，A. Tejani，J. Totz，Z. Wang and W. Shi，“使用生成对抗网络的照片级真实感的单一图像超分辨率(https://arxiv.org/abs/1609.04802)”CVPR，2017

·J. Huang，A. Singh和N. Ahuja，“转换后的自我示范的单幅图像超分辨率(https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Huang_Single_Image_Super-Resolution_2015_CVPR_paper.pdf)”CVPR，2015

·D. Glasner，S. Bagon和M. Irani，“从单一图像到超分辨率(https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Huang_Single_Image_Super-Resolution_2015_CVPR_paper.pdf)”ICCV，2009

·V. Papyan，Y. Romano，J. Sulam和M. Elad，“通过本地处理进行卷积词典学习(https://arxiv.org/abs/1705.03239)”，ICCV，2017

·K. Dabov，A. Foi，V. Katkovnik和K. Egiazarian，“通过稀疏三维变换域协同过滤给图像去噪(https://www.cs.tut.fi/~foi/GCF-BM3D/BM3D_TIP_2007.pdf)”TIP，2007

·A. Buades，B. Coll和J. M. Morel，“用于图像去噪的非局部算法(http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.374.7899&rep=rep1&type=pdf)”，CVPR，2005

·J. Ren，L. Xu，Q. Yan和W. Sun，“Shepard卷积神经网络(https://papers.nips.cc/paper/5774-shepard-convolutional-neural-networks.pdf)”NIPS，2015

  

 

有关论文总结

 

在论文中，我们研究了卷积网络体系结构在当前基于ConvNet的图像恢复方法取得的成功中所扮演的角色。在这个过程中，我们提出了一种简单的方法，将随机初始化的ConvNets拟合到损坏的图像中从而作为修复问题的“瑞士刀（Swiss knife）”。使用这种“瑞士刀”不需要对这种降解（degradation）或预训练过程进行建模。无可否认的是，这种方法需要承载很大的计算量（对于512x512图像需要若干分钟的GPU计算）。

 

文章前部分所描述的：与当前两种修补方法所进行的比较。顶部：与Shepard网络进行的文本修复样本的比较。底部：与卷积稀疏编码（convolutional sparse coding）进行的修复50％缺失像素的比较。在这两种情况下，我们的方法在相关论文中使用的图像上表现较好。

 

从很多方面来说，我们的研究结果与一般的结论所有相悖，即认为最近基于深度学习的方法在成像技术中所取得的成功，主要归因于从使用手动先验到从数据中学习所有东西的转变。而事实证明，大部分的成功也可能是归因于从糟糕的手动先验转变为更好的手动先验（隐藏在可学习的深度卷积神经网络中）。而这也证明了开发新的深度学习架构的重要性。

 

论文下载：https://sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf

代码：https://github.com/DmitryUlyanov/deep-image-prior

 欢迎个人分享，媒体转载请后台回复「转载」获得授权，微信搜索「BOBO_AI」关注公众号

中国人工智能产业创新联盟于2017年6月21日成立，超200家成员共推AI发展，相关动态：

中新网：中国人工智能产业创新联盟成立

ChinaDaily：China forms 1st AI alliance

证券时报：中国人工智能产业创新联盟成立 启动四大工程搭建产业生态“梁柱”

工信部网站：中国人工智能产业创新联盟与贵阳市政府、英特尔签署战略合作备忘录

点击下图加入联盟

下载中国人工智能产业创新联盟入盟申请表

关注“雷克世界”后不要忘记置顶哟

我们还在搜狐新闻、雷克世界官网、腾讯新闻、网易新闻、一点资讯、天天快报、今日头条、雪球财经……

↓↓↓点击阅读原文查看中国人工智能产业创新联盟手册