[Tensorflow]2.转置卷积(Transposed Convolution)
来源:互联网 发布:php smtp发送邮件 编辑:程序博客网 时间:2024/06/06 04:54
一.写在前面
在GAN(Generative Adversarial Nets, 直译为生成式对抗网络)中,生成器G利用随机噪声Z,生成数据。那么,在DCGAN中,这部分是如何实现呢?这里就利用到了Transposed Convolution(直译为转置卷积),也称为Fractional Strided Convolution。那么,接下来,从初学者的角度,用最简单的方式介绍什么是转置卷积,以及在Tensorflow中如何实现转置卷积。
二.卷积与矩阵相乘
考虑如下卷积层运算,其参数为(i=4,k=3,s=1,p=0),输出o=2。
输入:4 × 4 --> 16 × 1
输入矩阵的大小为4×4,将矩阵按照从左到右,从上到下的方式,变形为长度为16的一维向量。
示意图:
a00a01a02a03a10a11a12a13a20a21a22a23a30a31a32a33=>a00a01a02a03a10a11a12a13a20a21a22a23a30a31a32a33卷积核:3 × 3 --> 4 × 16
按照卷积操作的原理,将3 × 3的矩阵,变形为4 × 16 的矩阵。
示意图:
w00w01w02w10w11w21w20w21w22=>w00w01w020w10w11w120w20w21w22000000w00w01w020w10w11w120w20w21w2200000000w00w01w020w10w11w120w20w21w22000000w00w01w020w10w11w120w20w21w22
输出:Y = CX, (4×16) × (16×1) = (4×1),则是一个[4,1]的输出特征矩阵,把它重新排列为2×2的输出特征矩阵,就可以得到最终的结果。
因此,卷积层的计算可以转换为矩阵之间相乘。对于同一个卷积核,卷积操作是Y=C × X,那么转置卷积操作可以理解为Y=Transposed(C) × T。
输入:2 × 2 --> 4 × 1
矩阵C的转置:16 × 4
输出: Y = CX, (16×4) × (4×1) = (16×1),则是一个[16,1]的输出特征矩阵,把它重新排列为4×4的输出特征矩阵,就可以达到转置卷积的效果。
三.直观理解
下面只考虑No zero padding, unit strides的情况。
举例,输入图像大小为2×2,想得到输出图像大小为4×4。
思维模式1:假设输入图像大小为4×4,输出图像大小为2×2。在正向卷积中,卷积核的高度和宽度均为3,步长s=1,边距p=0。将该卷积过程转置即可。
思维模式2:直接卷积。输入图像大小为2×2,卷积核的大小为3×3,步长s=1,边距p=2。
示意图如下:
此时,卷积核和步长均没有变化。只有边距变为2。
如何理解边距p=2?
可以通过卷积操作中输入与输出图像的联系来理解。例如,输出图像的左上角的像素只与输入图像的左上角的像素有关,输出图像的右下角的像素只与输入图像的右下角的像素有关。因此,卷积核在做卷积时,要输出最右最上角的一个像素,只会利用输入图像的最右最上角的一个像素,其他区域均会填充0。因此,边距p的大小为(卷积核的大小-1)。
本文只用于快速理解转置卷积,其他情况的理解,可参考http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html
四.在Tensorflow中实现转置卷积
[API]:
conv2d_transpose(value,
filter,
output_shape,
strides,
padding="SAME",
data_format="NHWC",
name=None)
filter,
output_shape,
strides,
padding="SAME",
data_format="NHWC",
name=None)
Args:
value: 四维tensor,类型为float,默认shape为[batch, height, width, in_channels]。`NHWC`格式,shape为[batch, height, width, in_channels];`NCHW` 格式,shape为[batch, in_channels, height, width]。
value: 四维tensor,类型为float,默认shape为[batch, height, width, in_channels]。`NHWC`格式,shape为[batch, height, width, in_channels];`NCHW` 格式,shape为[batch, in_channels, height, width]。
filter: 四维tensor,类型与value相同,shape为[height, width, output_channels, in_channels]。in_channels必须与value中的in_channels相同。
output_shape: 一维tensor,表示转置卷积操作输出的shape。取值为,[batch, height, width, in_channels]。
strides:步长。
padding:`'VALID'` 或者`'SAME'`.
output_shape: 一维tensor,表示转置卷积操作输出的shape。取值为,[batch, height, width, in_channels]。
strides:步长。
padding:`'VALID'` 或者`'SAME'`.
令W为输入的size,F为filter的size, S为步长,⌈⌉为向上取整符号。
对于‘VALID’,输出的形状计算如下:
new_height=new_width=⌈(W–F+1)S⌉
对于‘SAME’,输出的形状计算如下:
new_height=new_width=⌈WS⌉
举例,当步长为2时,余下的窗口只有一列。此时,’VALID‘会将剩余的列进行舍弃,’SAME‘会用0将不够的列进行填充。
data_format: 'NHWC'或者 'NCHW'。
name: 返回的tensor的名称(可选)。
Returns:
转置卷积操作的输出结果,与value具有相同类型的tensor。
需要注意的是:
data_format: 'NHWC'或者 'NCHW'。
name: 返回的tensor的名称(可选)。
Returns:
转置卷积操作的输出结果,与value具有相同类型的tensor。
需要注意的是:
1.output的shape不能随意指定,需要是可以经过filter,strides,padding可以得到的shape。
2.tf.nn.conv2d中的filter参数为[filter_height, filter_width, in_channels, out_channels],与tf.nn.conv2d_transpose中的filter的参数顺序不同。
3.conv2d_transpose会计算output_shape能否通过给定的filter,strides,padding计算出inputs的维度,如果不能,则报错。
也就是说,conv2d_transpose中的filter,strides,padding参数,与反过程中的conv2d的参数相同。
举例:
# coding:utf-8import tensorflow as tfdef main(_): # 输入4×4的单通道图像 input_ = tf.constant(1., shape = [1,4,4,1]) # 卷积核的大小为3×3×1,个数为1 w = tf.constant(1., shape = [3,3,1,1]) # 卷积:输出2×2的单通道图像 result= tf.nn.conv2d(input_, w, strides=[1, 1, 1, 1], padding='VALID') # 转置卷积:输出4×4的单通道图像 result2= tf.nn.conv2d_transpose(result, w, output_shape=[1,4,4,1], strides=[1, 1, 1, 1], padding='VALID') with tf.Session() as sess: init = tf.global_variables_initializer() sess.run(init) print '输入4×4的单通道图像' print sess.run(input_) print '卷积:输出2×2的单通道图像' print sess.run(result) print '转置卷积:输出4×4的单通道图像' print sess.run(result2) if __name__ == '__main__': tf.app.run()运行结果:
先卷积,再进行转置卷积,得到的结果和输入不一样,但是shape是一样的,说明了卷积和转置卷积并不是完全对称的两个过程。这也是现在不使用deconvolution这个概念的原因。
五.总结
这是对于转置卷积的基本理解。
阅读全文
0 0
- [Tensorflow]2.转置卷积(Transposed Convolution)
- 转置卷积 Transposed convolution
- 反卷积(Transposed Convolution, Fractionally Strided Convolution or Deconvolution)
- 【深度学习】反卷积(transposed convolution)介绍
- [Tensorflow] convolution卷积 && pooling池化
- 深度学习卷积网络中反卷积/转置卷积的理解 transposed conv/deconv
- Deconvolution/Transposed convolution
- Transposed Convolution, Fractionally Strided Convolution or Deconvolution
- convolution卷积
- 图像处理 卷积 Convolution
- 模板卷积Template Convolution
- 理解卷积 Convolution
- convolution nn+图像卷积
- 深度学习: convolution (卷积)
- Deeplearning-吴恩达-卷积神经网络-第一周作业02-Convolution Networks(tensorflow)
- python 卷积Convolution Operator 介绍
- 圆周卷积(circular convolution)
- Tensorflow 卷积
- 文章标题
- 20个非常有用的Java程序片段
- 深度学习中常见的过拟合方法
- 我整理的Java开源项目
- docker入门相关参考
- [Tensorflow]2.转置卷积(Transposed Convolution)
- Objective-C 理解之方括号[ ]的使用
- 循环结构
- 两个时间段时间间隔换算
- css选择器的认识
- Unity 安卓wifi强度
- Java序列化的作用和反序列化
- selenium python 鼠标事件 右键、双击、拖动、鼠标悬浮
- Eclipse的快捷键