【论文阅读笔记】Makeup-Go: Blind Reversion of Portrait Edit

        这是一篇很有新意的文章，实现一键卸妆，是一个让男性爱女性恨的文章，本文由香港中文大学和腾讯优图实验室专家撰写，发布在ICCV2017上。

        文章链接：http://openaccess.thecvf.com/content_ICCV_2017/papers/Chen_Makeup-Go_Blind_Reversion_ICCV_2017_paper.pdf

        文章提出Component Regression Network (CRN)，在不知道美颜具体操作的情况下将美颜后的照片进行还原。以往对图片还原的研究假设图片处理操作是已知的线性的，本文面对的是非线性的美颜操作，而且操作未知。以往的方法在细节还原上效果不佳，如下图1。

              

        以往类似的方法使用Euclidean loss function，而由于该损失函数受大的PCA特征值影响较大，在做回归时，小的特征值被忽略，而这些小的特征值可能影响面部细节的表现，使得图片还原效果变差，这就是所谓的Component Dominanteffect。

 

           本文提出的网络架构：为了简化问题，本文处理的图片有两个前提：在美图后的照片中仍然具有可以推断图片处理操作的线索，不针对经过脸部变形等几何变换的图片。符号定义如下：input andunedited ground truth image as IX and IY , and the network output as IZ. We compute thediscrepancy maps as Ie = IY − IX  and Iˆe = IY − IZ on collected 107 patches where each patch is with size 11 × 11. These patchesare vectorized where PCA coefficients U = {u1, u2, · · · , um2} are extracted fromthem in adescendingorder。

          从上图可以看出对原图Iy和差异Ie进行PCA后取第一个主成分可以看出，The first principal component of IY is moredominating than that of Ie，更容易导致Component Dominanteffect，所以本文采用Ie进行分析。

        

           本文提出的Component-Specific-Learning如上图，思路比较新颖。对Iy-Ix的差异进行PCA，然后通过对每个主成分分别进入各个子网络回归训练，最后再将各个子网络的回归结果进行合并，规避了之前的Component Dominant effect。子网络的个数对于整体还原性能影响较大，将子网络个数设为与主成分个数一样效果最好但是从计算成本上看不可行，从图三中可以看出，排名靠后的主成分对网络的影响小，因此本文实际采用的方式为：使用7个子网络对Top-7的Component进行回归，额外加一个share subnetwork对余下的Component进行回归。为了避免higher-rank Component对训练梯度的影响过大，先对所有的特征值进行归一化，即每个主成分先除于他的标准差进行缩放。

          本文实验使用Caffe，学习率为0.01，使用了Gradient clipping避免gradientexplosion。效果评估没有采用Peak Signal-to-Noise ratio(PSNR) 和 structural similarity (SSIM)，使用的是Accumulated Relative Improvement (ARI) measure，定义如下：

         

        本文待改进的问题：1.文章未考虑图片发生几何变换的情况 2.如果原图被进行了过多的局部细节美图，网络要还原图片需要的训练数据量很大。3.子网络是基于回归的，所以在处理图片风格改变或任务被过度化妆的情况无能为力。