《Generative Adversarial Text to Image Synthesis》阅读理解

1.简介

 从文本描述自动合成真实的图像，也就是把人类所写的一句描述性文本翻译成一系列像素点。例如，“this small bird has a short, pointy orange beak and white belly” 或者 ”the petals of this flower are pink and the anther are yellow”。下图是一个从文本描述生成图像的例子。

 目标：学习一个映射直接把单词和字符转换成图像像素。两步走：首先，捕获重要的视觉细节用来学习一个文本的特征表示；其次，使用这些特征去合成一个人类难分真假的图像。
 贡献：设计了一个简单有效的生成对抗网络(GAN)框架，并制定了一个训练策略能够用描述性的文本去合成关于花鸟的图像。
 数据集： Caltech-UCSD Birds dataset（鸟）；Oxford-102 Flowers dataset（花）；甚至MS COCO dataset（普通图像）。
 注：每张图片都对应有五个描述文本。

2.背景

生成对抗网络

 生成对抗网络包括一个生成器（G）以及一个判别器（D），它们进行一个二元极大极小博弈：判别器尽可能从合成图像中分辨真实的训练图像；生成器尽可能去愚弄判别器。具体而言，G和D博弈表示形式如下：

minGmaxDV(D,G)=Ex∼pdata(x)[log(D(x))]+Ex∼pz(z)[log(1−D(G(z)))]

Deep symmetric structured joint embedding

**略**

3.深度卷积生成对抗网络（DC-GAN）

定义：
 生成器网络G:RZ×RT→RD，判别器网络D:RD×RT→{0,1}。其中，T是文本描述向量的维度，D是图像的维度，Z是生成器G的噪声输入维度。网络框架如下图,

在生成器G中， - 噪声先验：从标准正态分布抽样得到，即z∈RZ∼N(0,1) ； - 使用文本编码器φ对文本t进行编码； 文本编码φ(t)先经过一个低维全连接层，再经过leaky-ReLU，然后和噪声向量z拼接在一起，之后进行正常的反卷积网络，一张合成图像x^通过x^←G(z,φ(t))生成。图像生成对应于在查询文本和噪声样本条件下的生成器G中的前馈推断。在判别器D中，- 如上图，将图像经过步长为2的卷积层（batch-norm;leaky-ReLU），在经过全连接层进行整形得到图像特征向量，- 使用全连接层对文本编码φ(t)进行整形，- 当判别器D的空间维度为4×4时，将图像特征向量和文本编码拼接，再经过1×1和4×4的卷积层。

Matching-aware discriminator (GAN-CLS)

 对于判别器D，应该要区分两种错误：不真实的图片（携带任何描述文本）以及真实图片（携带不匹配描述文本）。因而在训练过程中，为判别器加入了第三类输入：真实图片（携带不匹配描述文本），对这类输入判别器应判别输出假值。
 算法1总结了训练过程：

Learning with manifold interpolation (GAN-INT)

 对训练文本编码进行简单插值，从而能产生大量的文本编码（虽然这些编码不对应任何真实文本），这样就不需要额外的标记开销。对于生成器优化目标函数，就是加入了一个额外项，如下：

 其中，z是从噪声分布中抽样得到的噪声先验，βt1+(1−β)t2表示利用系数β在t1和t2上插值得到的新文本编码。

Inverting the generator for style transfer

逆转生成器用于风格转换

4.实验

• CUB数据集包含11788张鸟图片，属于200个类；
• Oxford-102数据集包含8189张花图片，属于102个类。

图片合成

 GAN和GAN-CLS获得的颜色信息正确，但图像看起来不真实；GAN-INT和GAN-INT-CLS生成的图片更合理，且符合部分甚至全部注释文本。如下图，

风格转换

 风格转换过程如下，也就是输入一张图片x和描述文本t，得到一张合成图片x^（s就是用于合成的风格）：

s←S(x)，x^←G(s,φ(t))

 实验结果如下：


后续实验

 本篇论文还通过插值文本编码φ(t)和噪声z实现前景渐变和背景渐变，如下图左右两边，

 除了做花鸟实验，还在其他自然生活图像上实验，如下图，