反卷积与棋盘效应
来源:互联网 发布:最好用的知天气 编辑:程序博客网 时间:2024/05/10 23:15
来自 Google Brain 的 Augustus Odena 等人的文章“Deconvolution and Checkerboard Artifacts“的部分内容 1。
1. 更好的上采样
图像生成网络的上采样部分通常用反卷积网络,不合理的卷积核大小和步长会使反卷积操作产生棋盘效应 (checkerboard artifacts)。
为避免棋盘效应,有两种方法可替换常规的反卷积(卷积的转置)。与反卷积不同,上采样方法本身不应有棋盘效应。理想的方法将会更远离棋盘效应。
直观地看,假设生成的图像中包含1只黑猫。黑猫身体部分的像素颜色应平滑过渡,或极端地说,该部分应全为黑色。实际生成的图像中该部分却有深深浅浅的近黑方块组成,很像棋盘的网格,即棋盘效应。
第一种方法是用到的反卷积核的大小可被步长整除,从而避免重叠效应。与最近成功用于图像超分辨率的技术“子像素卷积”(sub-pixel convolution)等价。
另一种方法是从卷积操作中分离出对卷积后更高分辨率的特征图上采样来计算特征。例如,可以先缩放图像(最近邻插值或双线性插值),再卷积。貌似是个自然的方法。
反卷积与不同缩放卷积方法都是线性操作,并可用矩阵去解释。对于每个输出窗口,反卷积操作的输入唯一,缩放卷积会以阻碍高频棋盘效应的方式来隐式地集中权重(weight-tying)。
后面为猜测部分。
2. 反卷积
从反卷积矩阵
3. 缩放卷积
缩放卷积为线性操作:假设原图像为
C 为卷积操作的卷积核。此时为上采样,理解为反卷积操作中的卷积核。
(1) 最近邻缩放卷积
发现,插值增量图像表示的矩阵为原图像表示的矩阵下移1行。可将原图像矩阵看成环形队列(队列最后1行的输出送入队列的第1行)。
(2) 双线性缩放卷积
发现,插值增量图像可细分为原图像表示的矩阵下移1行后乘以
4. 注意
(?)部分的元素为原文中的矩阵的缺失部分。所以,可能仍未理解 Augustus Odena 的本意。有误导之嫌,仅供娱乐~ Σ(⊙▽⊙”a
- 反卷积与棋盘效应
- 卷积与反卷积
- 卷积与反卷积
- 卷积与反卷积
- 卷积与反卷积
- 卷积与反卷积动图
- 卷积与反卷积的理解
- 深度学习中的卷积与反卷积
- 深度学习中的卷积与反卷积
- 深度学习中的卷积与反卷积
- 反卷积与语义分割
- 反卷积与语义分割
- 【神经网络与深度学习】卷积与反卷积
- Matlab卷积与反傅里叶变换的问题
- 反卷积
- 反卷积
- 背反效应
- CNN-卷积反卷积
- 八爪鱼采集器︱爬取外网数据(twitter、facebook)
- excel一列几万行数据进行赋值
- Docker初探
- 开启/屏蔽Android 4.0系统及以上底部虚拟按键
- iOS-Swift3常用语法
- 反卷积与棋盘效应
- ajaxFileUpload.js 实现异步文件上传
- Jedis操作Redis
- Android学习之路:活动的四种启动方式
- bzoj3631 松鼠的新家[LCA][树上差分]
- 102. Binary Tree Level Order Traversal
- webView 和Js的交互
- libevent的bufferevent剖析
- 链栈