生成对抗网络GAN(一) 简介和变种
来源:互联网 发布:mac系统自动重装系统 编辑:程序博客网 时间:2024/05/22 14:38
基本概念[1]
目标函数
零和游戏(zero-sum game)
纳什均衡
minimax算法
GAN借鉴了零和游戏的思想,引入生成网络和辨别网络,让两个网络互相博弈,当辨别网络不能辨别数据来自于真实分布还是生成网络的时候,此时的生成网络可以当做一个数据分布到另一个数据分布的转化器。
假设生成网络
目标函数:
max: 最大化辨别网络的辨别能力
min: 相当于最大化把
训练流程
实际参数更新如下图
优缺点
优点:
- 不需要马尔科夫链
- 不需要对隐变量做推断
缺点:
-
-
GAN种类
DCGAN[2]
DCGAN(deep convolutional generative adversarial networks)主要的贡献是成功的将CNN用到GAN,然后可以使用训练好的GAN当做监督学习的特征提取器。
对CNN结构的主要调整包括:
- 不再使用pooling,discriminator和generator分别使用strided convolution和fractional-strided convolution
- generator和discriminator使用batchnorm,对于训练深层的generator非常关键,generator的输出层和discriminator的输入层不使用batchnorm
- 删除深层网络中的全连接层
- generator的所有层的激活函数(最后一层使用Tanh)使用ReLU
- discriminator所有层的激活函数使用LeakyReLU
LS-GAN[3]
LS-GAN使用least squares作为loss function:
a是fake data的label,b是real data的label
相比于原始GAN的sigmoid的交叉熵,有两个优势:
- 得到的分布更接近真实分布,效果更好(不仅考虑分类正确,还对距离远的施加惩罚)
- 训练过程稳定,减弱了vanishing gradient的影响(对比两个函数曲线可知)
两组参数
a=-1, b=1, c=0
a=0, b=1, c=1
参考文献
[1].Generative Adversarial Nets
[2].Unsupervised representation learning with deep convolutional generative adversarial networks.
[3].Least Squares Generative Adversarial Networks
- 生成对抗网络GAN(一) 简介和变种
- 生成对抗网络(GAN)
- 生成式对抗网络GAN研究进展(一)
- 学习记录--生成对抗网络GAN研究进展(一)
- 生成对抗网络GAN
- GAN生成对抗网络
- 生成对抗网络-GAN
- Gan 生成对抗网络
- [生成对抗网络] GAN
- 生成对抗网络(GAN)
- 生成式对抗网络(GAN)资源
- 贝叶斯生成对抗网络(GAN)
- 生成对抗网络(GAN)初探
- 7 什么是GAN(生成对抗网络)?
- GAN生成对抗神经网络原理(一)
- 不要怂,就是GAN (生成式对抗网络) (四):训练和测试 GAN
- 不要怂,就是GAN (生成式对抗网络) (四):训练和测试 GAN
- 不要怂,就是GAN (生成式对抗网络) (四):训练和测试 GAN
- 算法导论-第七章快速排序
- PhotoShop CC 2017软件工具面板使用---索套工具
- 2. Add Two Numbers
- Vue学习总结(一)
- Java的流程控制
- 生成对抗网络GAN(一) 简介和变种
- Mysql| limit限制结果范围(LIMIT,OFFSET )
- 2.数组a[N]中,随机存放了1至N-1的数,再加入一个数,这个数和之前的n-1其中某个数重复。写一个函数,找出被重复的数字.时间复杂度必须为o(N
- React通过父组件传递类名给子组件的方法
- DLL的创建与使用
- Could not read JSON: Can not deserialize instance of out of START_ARRAY token
- 中介者模式
- 如何隐藏盒子
- Visual Studio当前不会命中断点,还没有为该文档加载任何符号解决方法