Inverting Convolutional Networks with Convolutional Networks 论文理解

Inverting Convolutional Networks with Convolutional Networks 

论文创新点：

（1）提出了一个前向生成图像网络（上卷积网络）。相比于之前的梯度下降优化方式提高了速度，基本能达到实时。

（2）提出了新的损耗计算方式。图像之间的距离损耗。之前是采用最小化特征的距离，这种损耗会有这样的弊端：不同的图像映射的feature却比较接近。

论文研究实验结论：

（1）网络的所有层（卷积层和全连接层）都准确保留了图像中对象的颜色。feature maps中包含了颜色信息。

（2）所有层保留了图像物体的位置信息:卷积层达到了像素精度，全连接层精度稍差些。

（3）越高的层，包含在非零的激活中关于图像的几乎所有信息越是不精确。

（4）在fc8层，图像中物体的信息大部分是包含在概率小的类中，而不是top-5的预测类中。（AlexNet网络中fc8是softmax预测类别的）

（5）重建网络优先学习自然图像，能够通过随机的一些特征向量生成看起来很自然的图像。

AlexNet网络、重建网络

loss：输入图像与重建图像的像素欧式距离。

AlexNet不同层进行图像重建：

（1）随着特征层数越来越高，重建出的图像丢失的细节信息也越来越多，尤其是conv5到fc6，很明显能够看到细节信息丢失很多。

（2）不论是从conv还是从fc层的进行重新生成图像，得到的图像的颜色和图像中对象的位置都是正确的。

（3）即使是fc7和fc8重构出来的图像都和输入图像很像，只是模糊了。

自编码：

（1）自编码的重建图像的误差比AlexNet反向网络重建的误差要小，同时图像也更清晰更接近。

（2）即使从conv5重建出来的图像也是比较精确。

（3）从全连接层重建出来的图像也变得模糊，由于特征信息被压缩了，但是相比于固定的AlexNet反向的要好很多。

自编码与alexNet：

（1）自编码重建出来的出来效果很高，误差更小。

（2）比较两个网络可以估算由于AlexNet训练目标而丢失的图像信息量。AlexNet训练目标不是为了重建图像的，而是为了图像分类。

颜色：

（1）网络最高的层中包含颜色特征信息

（2）颜色信息影响图像分类（对分类很重要），网络特征对颜色很敏感

（3）图像的颜色可以重建出来即使是从fc8。

（4）重建图像的质量效果不是只与最大分类的有关，与小概率的分类也有关。small probabilities of non-predicted classes carry more information than the prediction itself

位置 ：重建

从下图中可以看出：

（1）Fc6 保留位置很准确；Fc8能够明显反映了物体在运动，即使图像很模糊。

（2）越来越高的层图像越来越向水平对称的趋势发展。

参考资料：

https://theberkeleyview.wordpress.com/2015/11/19/berkeleyview-on-inverting-convolutional-networks-with-convolutional-networks/

论文

https://arxiv.org/pdf/1506.02753.pdf