【深度学习】生成对抗网络Generative Adversarial Nets

来源：互联网发布：csol由于网络设定问题编辑：程序博客网时间：2024/05/24 05:24

Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in Neural Information Processing Systems. 2014.

理念

本文是Ian Goodfellow在2014年的经典之作，在许多tutorial中作为非监督深度学习的代表作给予推广。
本文解决了非监督学习中的著名问题：给定一批样本，训练一个系统，能够生成(generate)类似的新样本。

作者给出了基于Pylearn21的源码（戳这里）。不过本文的结果稍显平凡，以理解思想为主，代码仅做参考。
CIFAR-10上的结果

忆苦思甜

在本文之前，大家是怎样做非监督学习的呢？

直白的想法是，根据训练集估计样本分布p(x)。之后对p(x)进行采样，可以生成“和训练集类似”的新样本。

对于低维样本，可以使用简单的，只有少量参数的概率模型（例如高斯）拟合p(x)，但高维样本（例如图像）就不好办了。

一个经典方法是使用RBM(Restricted Boltzmann Machine)构造一个无向图，图的能量和节点取值的概率有指数关系。利用训练集设定图中节点和边的系数，用来表述x中单个元素和相连元素的关系。这个方法推导繁琐2，计算复杂，采样时马尔科夫链的混合速度慢。

还有一种方法是DBN(Deep Belief Networks)，用单个RBM和若干有向层构成网络。一样存在计算复杂的问题。

这两种方法在本次DL热潮早期(2010年之前)，曾经和CNN并驾齐驱，但如今在图像领域已经鲜有应用。CNN虽然在分类、分割等监督学习方面立竿见影，但如何进行非监督学习一直是个难题。

对抗网络

本文采取的方法如下，使用两个网络互相竞争，称之为对抗式(adversarial)结构。
这里写图片描述
生成器(Generator)和鉴别器(Discriminator)都是常见的卷积+全连网络。前者从随机向量生成一个样本，后者鉴别生成的样本以及训练集样本究竟谁真谁假。
两者同时训练。在训练鉴别器时，最小化鉴别误差；在训练生成器时，最大化鉴别误差。两个目的均可以通过反向传播方法实现。