Image-to-Image Translation with Conditional Adversarial Networks论文学习

来源:互联网 发布:数据挖掘 情报研究 编辑:程序博客网 时间:2024/05/20 00:50

论文地址:
image-to-image translation with conditional adversarial networks
https://arxiv.org/abs/1611.07004

这里写图片描述

image translation:
1. labels to street scene
2. labels to facade
3. BW to Color
4. Aerial to map
5. day to night
6. edges to photo

既然分割结果都能还原成场景图,那么是不是图像翻译直接可以做语义分割??
在传统CNN-based的网络结构中,我们需要定义最后的损失函数比如sigmoid, softmax, L1L2,然而我们并不能确定用哪个损失函数的好坏。这个地方我有个疑问:

这里写图片描述

文中提到,不需要硬编码图像翻译时的映射函数,也不需要硬编码损失函数。
在论文模型中,首先利用条件GAN生成图片到图片的mapping function, 得到fake图片;然后,输入判别器的是input+ground truth和input+fake图片对;loss是由正常的GAN loss和fake与ground truth之间的L1 loss组成。实际上L1 loss还是需要硬编码的! loss这个地方是怎么处理的,需要仔细看代码!

这里写图片描述

这里写图片描述

阅读全文
0 0