A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer论文理解

A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer论文理解

现有的网络有两个主要问题：

1.用于训练前向网络的style图片的分辨率都是固定的，这样会导致不同的分辨率出来的艺术效果差别比较大，容易匹配错误尺寸的风格图。

2.当前的网络捕获不到小的、复杂的纹理，容易在大的分辨率上得不上好的效果。

之前的justin等的前向网络在抽象、大尺度纹理、容易辨别的笔触的风格图效果都不错。对其它的一些风格可能效果并不是很好。

论文创新点：

      提出了一个多模的卷积神经网络。首先这个卷积网络是分层的，不同层级的style尺寸是不一致的。其次这个卷积神经网络同时考虑颜色和亮度。这个分层的风格转移网络能够更好获取粗糙或者细小的纹理。

分辨率大：纹理扭曲不明显，笔触扭曲的不明显

分辨率小：纹理细节丢失，纹理会比较小。

网络结构：

      网络中包含2个部分：一个前向多模转换网络和一个损耗网络。

      前向多模转换网络是一个分层的深度残差卷积网络。这个网络由3个子网络构成：style subnet,enhance subnet和 refine subnet。这个网络输入是一张内容图，输出是逐渐变大的多个尺寸转换图。

网络流程：

      输入图片首先是通过一个线性下采样层缩放成256的大小，然后通过style subnet进行风格化；之后是用style subnet的结果作为输入上采样成512，然后经过enhance subnet转换输出另一个风格化结果；最后被缩放成1024，refine subnet解决局部像素伪像以及进一步优化结果。enhance subnet和refine subnet之间的上采样层仅仅在测试时采用，在训练时不进行上采样，即refine subnet的输入仍然是512的大小。

Style Subnet

      这个子网络中利用了颜色和亮度两种通道，因为通常对亮度比颜色更敏感。亮度信息可以是直接从RGB图像中分离获取出来，这个子网络由3个块RGB块、亮度块和卷积块。RGB和亮度这两个独立的块学习各自的特征，然后沿深度方向联合在一起，紧接着一个卷积块。

      RGB 块包括3个步长卷积层（9*9，3*3，3*3）和3个残差块，卷积层后两个是用来下采样。

      L-Block和RGB block结构类似除了卷积的深度不一致。

      卷积块由3个残差块、2个调整-卷积层进行上采样和一个3*3的卷积层输出最后结果。

       所有非残差卷积层之后紧接着是IN层和非线性Relu。调整-卷积层是一个最近邻差值上采样和一个卷积层，使用这个代替转置卷积为了避免生成图像的棋盘伪像。

Enhance Subnet

      输入图比较大时，很难通过Style Subnet网络调整风格和内容的权重得到比较扭曲的风格化结果，一般得到的会保存大量风格图的内容。

网络结构和Style Subnet类似，唯一的区别就是这个网络中多一个下采样的卷积层和一个上采样的调整-卷积层，这样增加了接受区域大小，因为enhance subnet 的输入大小是style subnet的两倍。

Refine Subnet

      这个子网络由3个卷积层、3个残差块、2个调整-卷积层和一个卷积层。

损耗函数：

       前向多模转换网络中的每个输出图像单独进行计算损耗函数，整个网络的损耗函数是所有MT网络的损耗的权重和。

传播计算：

      由于风格损失是基于整个网络不同层的输出计算，所以整个损耗（单个子网络损耗加权求和）不能通过直接传播更新参数的方式。这里采用了并行准则，对不同层的范围使用不同的风格损失进行反向传播更改权重。

      每个子网络训练的目标都是使通过后面网络的输出计算出的风格损失最小。每个前面的子网络都有助于最小化后面子网络的损耗。

论文实验结果：

      

      可以实现如下效果：输出图有一个内容图和多个风格图构成，即最后图可能是输入图的内容，一张风格图的粗纹理扭曲、另一张风格图的笔触。

      可以多尺度学习艺术风格的颜色、粗纹理结构、复杂精细的笔触信息。