Tensorflow - Tutorial (5) : 降噪自动编码器(Denoising Autoencoder)
来源:互联网 发布:mac鼠标握法 编辑:程序博客网 时间:2024/05/20 19:30
1. Denoising Autoencoder
在神经网络模型训练阶段开始前,通过Autoencoder对模型进行预训练可确定编码器
在介绍Denoising Autoencoder(降噪自动编码器)之前,我们先来回顾一下机器学习中的过拟合的问题,如下图所示,其展示了训练数据量和噪音数量对模型过拟合问题的影响。图中红色区域表示模型过拟合,蓝色区域表示欠拟合,绿色区域是我们希望得到的模型。从图中可以看出,当训练数据越少,数据噪音越多时,模型越容易过拟合。
在模型的复杂度和数据量都已经确定的前提下,防止过拟合的一种办法是减少数据中的噪音数量,即对训练集数据做清洗操作。然而,如果我们无法检测并删除掉数据中的噪音。另一种防止过拟合的办法就是给数据中增加噪音,这看似与之前的结论矛盾,但却是增强模型鲁棒性的一种有效方式,我们以手写数字识别为例,Autoencoder所做的操作是首先对输入图片编码,经过隐含层后解码重构原始图片中的数字信息。假如现在我们输入的是一副含有一定噪音的图片,例如图片中有污点,图片中的数字倾斜等,并且我们仍然希望解码后的图片是一副干净正确的图片,这就需要编码器不仅有编码功能,还得有去噪音的作用,通过这种方式训练出的模型具有更强的鲁棒性。
Denoising Autoencoder(降噪自动编码器)就是在Autoencoder的基础之上,为了防止过拟合问题而对输入的数据(网络的输入层)加入噪音,使学习得到的编码器
- Extracting and composing robust features with denoising autoencoders.
论文中关于Denoising Autoencoder的示意图如下,其中
Bengio对Denoising Autoencoder作出了以下直观的解释:
- Denoising Autoencoder与人的感知机理类似,比如人眼看物体时,如果物体某一小部分被遮住了,人依然能够将其识别出来。
- 人在接收到多模态信息时(比如声音,图像等),少了其中某些模态的信息有时也不会造成太大影响。
- Autoencoder的本质是学习一个相等函数,即网络的输入和重构后的输出相等,这种相等函数的表示有个缺点就是当测试样本和训练样本不符合同一分布,即相差较大时,效果不好,而Denoising Autoencoder在这方面的处理有所进步。
实验代码
MNIST数据集的格式与数据预处理代码input_data.py的讲解请参考 :Tutorial (2)
实验代码如下:
import tensorflow as tfimport numpy as npimport input_datamnist_width = 28n_visible = mnist_width * mnist_widthn_hidden = 500corruption_level = 0.3# 输入的一张图片用28x28=784的向量表示.X = tf.placeholder("float", [None, n_visible], name='X')# 用于将部分输入数据置为0mask = tf.placeholder("float", [None, n_visible], name='mask')# create nodes for hidden variablesW_init_max = 4 * np.sqrt(6. / (n_visible + n_hidden))W_init = tf.random_uniform(shape=[n_visible, n_hidden], minval=-W_init_max, maxval=W_init_max)# 编码器W = tf.Variable(W_init, name='W')#shape:784x500b = tf.Variable(tf.zeros([n_hidden]), name='b')#隐含层的偏置#解码器W_prime = tf.transpose(W) b_prime = tf.Variable(tf.zeros([n_visible]), name='b_prime')def model(X, mask, W, b, W_prime, b_prime): tilde_X = mask * X # corrupted X Y = tf.nn.sigmoid(tf.matmul(tilde_X, W) + b) # hidden state Z = tf.nn.sigmoid(tf.matmul(Y, W_prime) + b_prime) # reconstructed input return Z# build model graphZ = model(X, mask, W, b, W_prime, b_prime)# create cost functioncost = tf.reduce_sum(tf.pow(X - Z, 2)) # minimize squared errortrain_op = tf.train.GradientDescentOptimizer(0.02).minimize(cost) # construct an optimizer# load MNIST datamnist = input_data.read_data_sets("MNIST_data/", one_hot=True)trX, trY, teX, teY = mnist.train.images, mnist.train.labels, mnist.test.images, mnist.test.labels# Launch the graph in a sessionwith tf.Session() as sess: # you need to initialize all variables tf.initialize_all_variables().run() for i in range(100): for start, end in zip(range(0, len(trX), 128), range(128, len(trX)+1, 128)): input_ = trX[start:end] mask_np = np.random.binomial(1, 1 - corruption_level, input_.shape) sess.run(train_op, feed_dict={X: input_, mask: mask_np}) mask_np = np.random.binomial(1, 1 - corruption_level, teX.shape) print(i, sess.run(cost, feed_dict={X: teX, mask: mask_np}))
- Tensorflow - Tutorial (5) : 降噪自动编码器(Denoising Autoencoder)
- Tensorflow Day19 Denoising Autoencoder
- 降噪自动编码机(Denoising Autoencoder)
- 降噪自动编码机(Denoising Autoencoder)
- tensorflow 实现基本AutoEncoder,降噪自编码器
- tensorflow tutorials(十):用tensorflow实现降噪自编码器(Denoising Auto-Encoder)
- tensorflow自编码器autoencoder
- tensorflow降噪自动编码器
- autoencoder自动编码器
- 自动编码器(Autoencoder)
- AutoEncoder(自动编码器)
- AutoEncoder自动编码器
- AutoEncoder自动编码器
- 自动编码器AutoEncoder学习总结
- TensorFlow 实现深度神经网络 —— Denoising Autoencoder
- 1TensorFlow实现自编码器-1.2TensorFlow实现降噪自动编码器设计计算图
- 1TensorFlow实现自编码器-1.3 TensorFlow实现降噪自动编码器--计算图美化
- 1TensorFlow实现自编码器-1.4 TensorFlow实现降噪自动编码器--运行会话,训练模型
- nand flash坏块管理OOB,BBT,ECC
- 在OCR文字识别软件中安装和启动 OCR文字识别软件 Hot Folder的方法
- matlab读取视频文件的图像数据
- react生命周期
- 第三章 类与对象
- Tensorflow - Tutorial (5) : 降噪自动编码器(Denoising Autoencoder)
- hdu 2126 Buy the souvenirs(01背包求最大容量方法数)
- Lombok 安装、入门 - 消除冗长的 java 代码
- android viewPager 左右滑动时的错位视差
- 确定两串乱序同构
- C++11中的std::function
- java中I/O流,输入与输出
- Eclipse EGit插件安装使用记录
- 使用 Google Guava 美化你的 Java 代码:1~4