《DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data》论文笔记

简介

 论文的主要内容是：GAN一般要基于大量数据训练才能抓取到数据多样性，而本文提一种基于少量数据就能训练出能产生多样性结果的GAN模型，并提出了一种衡量多样性 “modified inception score” 。当数据量有限时，通过加大模型的深度提升效果基本不可行，因此增强先验分布多样性来增加多样性是一个可选的方法。DeLiGAN主要通过reparameterise（One-liners method）隐变量空间（Mixture-of-Gaussians, supposed uniform distribute）形成一种混合模型，而本方法可以做为一个“插件”结合到很多 GAN 模型中，模型在 MNIST、CIFAR 10、Freehand Sketches 三个数据集中试验取得了比较好的结果。

创新点

 论文的主要贡献有三点：

• 1.提出了DeLiGAN模型：一个基于GAN网络的，适合数据比较少而且多样的场景下的新颖模型。

• 2.实验证明了DiLiGAN模型在数据量有限的条件下，能够生成一系列多样化的图片。并且在实验中针对特定形式构建特定模型，最终在手写数字、图像目标和手绘素描场景下得到了结果。

• 3.为了定量衡量产生的文本内在多样性，论文设计了一种“inception score”的修改版本，这是一种与人为对产生的样本进行评估有联系的测量方法。

总结

 论文针对样本较少且差异性比较大的情况，提出增加先验分布的多样性，具体来说，就是将原本G网络输入是单一分布的噪声调整为N种高斯分布的噪声，对模型的训练过程，参数的调整除了对G网络原本参数的调整，也包括了对输入噪声的均值和方差的改变，从而可以让输入模型的数据多样性更强。我的理解是类似于自己造数据，不过数据是随机数据。