(Dual learning)对偶学习——视频笔记

来源:互联网 发布:数据管控体系 编辑:程序博客网 时间:2024/06/02 01:58

Dual Learning解决的问题: 带标签的训练数据少且高昂的成本,尽可能的利用无标签数据

Dual Learning 思想
这里写图片描述

Dual Learning在NMT中的应用
1.算法思想
这里写图片描述
2.负例
这里写图片描述
3.正例
这里写图片描述
4.实验设置(需要先预训练)
这里写图片描述

Dual Learning的扩展(可以扩展到多个有联系的模型)
这里写图片描述

自编码中Dual Learning的思想
这里写图片描述

GAN中Dual Learning的思想:
这里写图片描述
有标签的数据训练运用Dual Learning的两种运用方法:
(1)两个model同时做训练
这里写图片描述
(2)通过bayes公式转化
这里写图片描述

Dual Learning的提高原因(可大致将其作为一种loss的正则,使模型更加一般化)
这里写图片描述

0 0