生成式对抗网络generative adversarial nets

GAN模型采用了两个独立的神经网络结构：生成器“generator”和判别器“discriminatory”，核心的idea是生成器生成对抗样本，让判别器来辨真伪，当生成器生成的对抗样本越趋近于真实分布，判别器越几乎无法分辨真假的时候，此时效果最佳。论文中举了一个很好的例子，生成器是造假团伙，判别器是侦探，当造假团伙的水平很高，造出几乎真实的货币，这时候侦探几乎无法判别到底是真是假的时候，这时候生成的样本最优。

“In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere”为什么这里判别器的概率会最终等于1/2呢？我想到模糊集理论一种很好的解释方法，回想一下信息熵的定义：

信息熵是衡量随机变量取值的不确定性的度量，熵值越大，不确定性就越高。举个例子来说，比如抛硬币，A情况：如果硬币正反两面质地不均匀，正面质地高于反面，假设正面向上概率0.8, 反面向上0.2；B情况：硬币质地均匀，正反都是0.5，此时，A情况的确定性要比B情况的确定性高，因为A情况正反概率不平等，我们能有80%的把握A硬币正面向上，GAN中如果判别器能有80%的把握能鉴别真伪，那么能够说明此时的生成器的造假水平不够，水平有待提高。B情况实际上是不确定性最高的，因为正反概率都是 0.5，你能说到底是正还是反嘛？！只能随机猜想，此时的情况是最模糊的，这就是GAN最终目标，造假出“真”币让侦探无法鉴别，好像是真，亦好像是假，最模糊的时候最优，此时概率为1/2。

插播一下在probability inference 中的生成模型和判别模型：
1，判别模型，更像是二分类问题。直接学习决策函数Y=f(x)或条件概率分布p(Ylx)作为预测模型，直接在样本数据中生成预测模型，比如像K邻近，SVM，决策树（if-then）;
2，生成模型，学习目标特征，与搜索目标进行模型匹配。由样本数据中学习联合概率密度分布p(x,y)，定义先验概率p(y)，用贝叶斯公式求p(Ylx)作为预测结果。

GAN旨在最小最大化两层博弈，这里有两层意义：训练判别模型，最大化能够分类正确概率（最大化鉴别真伪能力）；训练生成模型，最小化差异概率（生成与真实样本最接近的伪样本），D(x)是最大化概率，1-D(x)就是最小化啦~

---

参考资源链接：
[1]GAN论文：https://arxiv.org/abs/1406.2661
[2]博客1：http://blog.csdn.net/luoyun614/article/details/52202348
[3]博客2：http://blog.csdn.net/diligent_321/article/details/55224631
[4]知乎：https://zhuanlan.zhihu.com/p/25201511
[5]GAN presentation: https://pan.baidu.com/s/1mikKxrM
[6]VALSE 2017大会 GAN研究年度进展评述：
http://mac.xmu.edu.cn/valse2017/programs.html