Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
来源:互联网 发布:好友生日提醒软件 编辑:程序博客网 时间:2024/06/05 18:35
Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
介绍
论文提出了一种新的两张图片直接进行视觉属性迁移的方法。该方法针对的是两张具有不同内容却有相似语义的图像,比如两张图的主体是同一种类别的物体,并利用高层抽象特征建立起了两张图的内容的语义对应关系。
这种图像视觉属性迁移方法可以在结构上基本保留两张图中内容图的内容及结构,同时融入参考图的视觉属性。和之前的算法不同的是,这种方法甚至适用于输入是真实照片,输出也希望是真实照片的任务,即可以达到像素级别的迁移。
核心贡献
提出了一种深度图像类比的方法deep image analogy
该方法在不同的图像领域(如style/texture transfer, color/style swap, sketch/painting to photo,and time lapse)的视觉属性迁移(visual attribute transfer)任务中均有不错的表现,此前的多数风格迁移方法多局限于特定领域。
把PatchMatch和reconstruction从图像领域扩展到了特征(feature)领域
这可以有效的指导语义级的视觉属性迁移
分析
关于算法实现的个人理解:
输入是两张图
输出有两类:
映射关系:
图像:内容基于A同时风格上参考了
为了描述简单,下面只说得到
在重建
论文中设置了一个权重参数
这里的
以上就是整个算法的大致思路,具体细节(如数学公式和一些技巧)可以参考论文原文和代码实现。
需要注意的是,在photo2photo的应用场景下,在上述流程后还加入了一个refine的环节,将
局限
对语义上不相干的图不适用
如人像图和乡村风景图之间做迁移。
对于几何形状有较大差异的图不适用
包括形状、尺寸、旋转,如一个三角形的小蛋糕和一个圆形的大蛋糕。
应用
Photo to Style
Style to Style
Style to Photo
Photo to Photo
- Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
- 论文阅读笔记:Image Super-Resolution Using Deep Convolutional Networks
- 【论文笔记】Deep Visual-Semantic Alignments for Generating Image Description
- 论文笔记:Deep Image Matting
- Deep Photo Style Transfer 论文笔记
- 论文阅读:《Deep Image Matting》CVPR 2017
- [深度学习论文笔记][Image to Sentence Generation] Deep Visual-Semantic Alignments for Generating Image Descri
- 论文阅读笔记 Picking Deep Filter Responses for Fine-grained Image Recognition
- 论文笔记 [1] Deep Image Prior
- 【论文阅读笔记】Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- 精致的像素级别的风格转换 ----- Deep Image Analogy
- Deep&Wide Learning论文阅读笔记
- Machine Learning & Deep Learning 论文阅读笔记
- 论文阅读:《Natural Image Matting Using Deep CNN》ECCV 2016
- 《image Style Transfer Using Convolutional Neural Networks》论文笔记
- 论文阅读:Neural Image Caption Generation with Visual Attention
- 【论文笔记】Image Classification with Deep Convolutional Neural Network
- 论文笔记 | Deep Residual Learning for Image Recognition
- Androidimageslider只显示圆点使用
- unittest 单元测试框架 web测试
- Linux自动备份mysql脚本
- CentOS7.4安装部署环境出现问题总结
- android跨类跨界面传递数据EaseMessage
- Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
- Linux 配置静态IP
- git删除submodule
- [two-pointer ST表] HDU5289: Assignment
- 字符串最长回文算法
- Ajax data向URL 后台传参
- Altium快速批量修改Comment使之与Value相同
- 【Oracle 集群】ORACLE DATABASE 11G RAC 知识图文详细教程之集群概念介绍
- bzoj 2109: [Noi2010]Plane 航空管制