Conditional adversarial networks

GAN网络在训练生成模型受到了广泛的青睐，文章介绍一个具有条件限制的GAN网络，通过简单的添加额外输入数据，来构建我们所需要的条件化的生成器和判别器。文章表明，该模型可以用于学习多模态模型，通过提供了图像标记应用程序的初步示例，演示了该方法如何生成不属于训练标签的描述性标签。
生成式对抗网络近期作为训练生成模型的替代框架，以回避近似许多棘手概率计算问题的困难。
对抗网络的优点是不需要马可夫链，只需要反向传播用于获得梯度，并且在学习过程中不需要推理，也可以容易地将多种因素及其相互作用纳入模型中，还可以产生优的对数似然估计和现实样本。
非条件的GAN模型，对正在生成的数据没有控制，通过加入附加信息来调节模型，可以指导数据生成过程。这些额外的信息可以来自类别标签，也可以来自用于修复的部分数据，甚至可以来自不同的模态。
图像标签中的多模态学习：
一、尽管监督神经网络（特别是卷积网络）最近取得了许多成功，但是将这些模型缩放以适应极大数量的预测输出类别仍然具有挑战性。
二、迄今为止的大部分工作都集中在学习从输入到输出的一对一映射。 然而，许多有趣的问题大都是一对多的映射（例如，对于一张图片，可以有多套标注标准，每个人采取的标准不一）。
针对第一个问题，可以从其他模态中权衡额外的信息。如通过使用自然语言语料库来学习向量表示，其几何表示具有一定的语义意义。当我们在空间中进行预测时可以自然地对在训练期间没有看到的标签进行预测性概括。即使从图像特征空间到单词表示空间的简单线性映射也能够提高分类性能。
解决第二个问题的一种方法是使用条件概率生成模型，将输入视为条件变量，并将一对多映射实例化为条件预测分布。
生成对抗网络：
GAN包含两个对抗的模型：用于捕获数据分布的生成模型G和估计样本来自训练数据而不是G的概率的判别模型D。模型D和G都可以是非线性的映射函数（如多层感知机）。为了学习在真实数据集x上的生成分布Pg，生成模型G构建一个从先验噪声分布 Pz (z)到数据空间的映射函数 G(z; θg );判别模型DD(x; θd )的输入是真实图像或者生成图像，输出一个标量，表示输入样本来自训练样本（而非生成样本）的概率。
模型G和D的训练是同时进行的：固定判别模型D，通过使得log(1 − D(G(z))期望最小化来调整G的参数;固定生成模型G，通过使得logD(X) + log(1 − D(G(z)))的期望最大化来调整D的参数。这个过程遵循“二元极小极大博弈(two-player minimax game)”

条件对抗网络：
通过对生成器和判别器增加额外信息y左为条件，GAN可以扩展条件生成式对抗网络（cGAN）。y可以是任何类型的信息，比如类别标签或者来自其他模态的数据信息。通过将额外信息y作为输入层的一部分输送给判别模型和生成模型，来实现条件GAN。
在生成模型中,将先验输入噪声p(z)和条件信息y组成联合隐层表征。对抗训练框架在隐层表征的组成方式方面相当灵活;
在判别模型中，x和y一起作为输入，并输送到判别函数中(主题由MLP组成)。
条件对抗网络的目标函数也可归结为如下的“二元极小极大博弈(two-player minimax game)”问题：

条件对抗网络的框架如下：