Perceptual Losses for Real-Time Style Transfer and Super-Resolution论文翻译理解

图像快速风格迁移的感知损失和超分辨率

摘要
考虑图像风格转换问题，也就是将输入图像转换为目标输出图像。近期，一些解决此问题的经典方法是通过每一个像素点的损失（输出和源）训练前馈卷积神经网络。另一工作表明，从预先训练的神经网络中提取高级特征来定义和优化感知损失函数，可以生成高质量的图像。我们结合两种方法的优点，提出利用感知损失函数训练前馈网络进行图像转换任务。我们展示了图像风格迁移的结果，是训练了一个前馈神经网络去快速解决由Gatys的优化问题。与基于优化的方法相比，我们的网络给出了类似的定性结果，但速度快了三个数量级。我们还试验了单一像素的超分辨率，用感知损失代替了每一个像素的损失，并在视觉上得到了另人满意的结果。

1. 介绍
   许多经典问题可以被构造成图像转化任务，也就是一个系统接受输入并将其转换成目标输出图像。图像处理的例子包括去噪，超分辨率和彩色化，而那些输入的图像是退化的（有噪声的，低分辨率，灰度的），输出是高质量的彩色图像。计算机视觉的例子包括语义分割和深度估计，其中输入为彩色图像，输出图像编码语义或几何信息。
   一个解决图像风格转换任务的方法是以监督方式来训练一个前馈卷积神经网络，使用单一像素损失去衡量输出和源的差异。这一方法已经被用于超分辨率，彩色化，分割和深度与表面预测。这些方法在测试是有效地，只需要一个经过训练的前向传播网络。
   然而，这些方法所使用的单个像素损失并不能捕捉输出和源的感知差异。//举个例子，考虑两个相同的图像的像素点的补偿；无论感知多么相似但通过单个像素衡量是非常不同的。
   同时期，最近的一个任务展示了高质量的图像可由感知损失函数生成，不是基于像素之间的差异，而是基于从预先训练的卷积神经网络中提取的高级别图像特征表示之间的差异。图像是通过最小化损失函数生成的。该理论用于特征反演，特征可视化和风格迁移和纹理生成。这些方法产生的高质量的图像。但是由于推理解决优化问题嘛所以速度很慢。
   在本文中，我们结合了这两种方法的优点。我们为图像风格迁移任务训练前馈转换网络，而不是仅仅依靠低层次的像素信息来使用每个像素的损失函数，我们使用依赖于预先训练的损失网络的高级特征的感知损失函数来训练我们的网络。在训练过程中，感知损失比每个像素损失更有力，在测试时，转换网络高效快速运行。
   我们对两项任务进行了实验：风格转换盒单一图像的超分辨率。两者都是天生有缺陷的，对于风格转换来说没有一个正确输出，对于超分辨率来说有许多高分辨率的生成了同样的低分辨率的输入。两项任务的成功都需要对输入图像进行语义推理。对于风格迁移，输出必须与输入语义相似，尽管颜色和纹理发生了剧烈的变化。对于超分辨率细节，必须从视觉模糊的低分辨率输入中推断出来。原则上，对任一任务进行训练的高容量神经网络可以隐式地学习有关语义的推理。然而在实践中我们不需要从头学习：使用感知损失函数允许将语义知识从损失网络转移到转换网络。为了实现风格迁移，我们训练了前馈网络来解决优化问题;我们的结果与在质量上和目标函数值上都近似，但生成的速度要快3个数量级。对于超分辨率,我们表明可以取代单像素损失与感知损失同样给予视觉上赏心悦目的结果×4×8超分辨率。