WGAN

生成式对抗模型的本质是什么？这是很简单的问题。其本质是让两个分布尽可能的接近，让生成数据的分布尽可能接近原始数据分布~

因此很重要的一个问题就是，如何度量两个分布的相似性，或者说两个分布的距离呢？

1.Earth-Mover(EM) distance or 1st Wasserstein metric

EMD 和欧式距离一样，他们都是一种距离度量的定义，EMD可以用来测量两个分布之间的距离。也称为推土机距离：如果两个分布被看作在D区域上两种不同方式堆积的等量数量的土堆，那么EMD就是把一堆变成另一堆所需要移动的单位土堆和该单位土堆移动的距离的积分的最小距离。

注：WGAN里x,y是图像，两个图像的L1距离的期望。（x,y)服从联合分布，取下界就是EMD距离

2.f-divergence f 散度中的Hellinger distance 

        

和total variation distance  的联系

               

3.Bhattacharyya distance

                                      

4.JSD,KL,TV等等

最新的WGAN就是基于EMD提出的改进版GAN