TensorFlow的自编码网络实现(MNIST无监督学习)
来源:互联网 发布:js涂料 编辑:程序博客网 时间:2024/06/05 10:15
自编码网络
1、自编码网络的作用
自编码网络的作用就是将输入样本压缩到隐藏层,然后解压,在输出端重建样本,最终输出层神经元数量等于输入层神经元的数量。
2、这里主要有两个过程,压缩和解压。
3、压缩原理
压缩依靠的是输入数据(图像、文字、声音)本身存在不同成都的冗余信息,自动编码网络学习去掉这些冗余信息,把有用的特征输入到隐藏层中。
4、多个隐藏层的主要作用
多个隐藏层的主要作用是,如果输入的数据是图像,第一层会学习如何识别边,第二层会学习如何组合边,从而构成轮廓、角等,更高层学习如何去组合更有意义的特征。
5、下面我们还以MINST数据集为例,讲解一下自编码器的运用
第一步 加载数据
先导入必要的库
from __future__ import division, print_function, absolute_importimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt# Import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data", one_hot=False)
第二部 构建模型
设置训练的参数,包括学习率、训练的轮数(全部数据训练完一遍成为一轮)、每次训练的而数据多少、每隔多少轮显示一次训练结果:
# Parameterslearning_rate = 0.01training_epochs = 5batch_size = 256display_step = 1examples_to_show = 10
初始化权重与定义网络结构,我们设计这个自动编码网络还有两个隐藏层,第一个隐藏层神经元为256个,第二个隐藏层神经元为128个,定义网络参数如下:
# Network Parametersn_input = 784 # MNIST data input (img shape: 28*28)# tf Graph input (only pictures)X = tf.placeholder("float", [None, n_input])# hidden layer settingsn_hidden_1 = 256 # 1st layer num featuresn_hidden_2 = 128 # 2nd layer num features
初始化每一层的权重和偏置如下:
# Building the encoderdef encoder(x): # Encoder Hidden layer with sigmoid activation #1 layer_1 = tf.nn.sigmoid(tf.add(tf.matmul(x, weights['encoder_h1']), biases['encoder_b1'])) # Decoder Hidden layer with sigmoid activation #2 layer_2 = tf.nn.sigmoid(tf.add(tf.matmul(layer_1, weights['encoder_h2']), biases['encoder_b2'])) return layer_2# Building the decoderdef decoder(x): # Encoder Hidden layer with sigmoid activation #1 layer_1 = tf.nn.sigmoid(tf.add(tf.matmul(x, weights['decoder_h1']), biases['decoder_b1'])) # Decoder Hidden layer with sigmoid activation #2 layer_2 = tf.nn.sigmoid(tf.add(tf.matmul(layer_1, weights['decoder_h2']), biases['decoder_b2'])) return layer_2
构建模型
# Construct modelencoder_op = encoder(X)decoder_op = decoder(encoder_op)
构建损失函数和优化器,这里的损失函数用“最小二乘法”对原始数据集和输出的数据集进行平方差并取均值运算,优化器采用RMSPropOptimizer
# Predictiony_pred = decoder_op# Targets (Labels) are the input data.y_true = X# Define loss and optimizer, minimize the squared errorcost = tf.reduce_mean(tf.pow(y_true - y_pred, 2))optimizer = tf.train.AdamOptimizer(learning_rate).minimize(cost)
第三部 训练数据及评估模型
在回话中启动图,开始训练和评估:
# Launch the graphwith tf.Session() as sess: # tf.initialize_all_variables() no long valid from # 2017-03-02 if using tensorflow >= 0.12 if int((tf.__version__).split('.')[1]) < 12 and int((tf.__version__).split('.')[0]) < 1: init = tf.initialize_all_variables() else: init = tf.global_variables_initializer() sess.run(init) total_batch = int(mnist.train.num_examples/batch_size) # Training cycle for epoch in range(training_epochs): # Loop over all batches for i in range(total_batch): batch_xs, batch_ys = mnist.train.next_batch(batch_size) # max(x) = 1, min(x) = 0 # Run optimization op (backprop) and cost op (to get loss value) _, c = sess.run([optimizer, cost], feed_dict={X: batch_xs}) # Display logs per epoch step if epoch % display_step == 0: print("Epoch:", '%04d' % (epoch+1), "cost=", "{:.9f}".format(c)) print("Optimization Finished!") # # Applying encode and decode over test set encode_decode = sess.run( y_pred, feed_dict={X: mnist.test.images[:examples_to_show]}) # Compare original images with their reconstructions f, a = plt.subplots(2, 10, figsize=(10, 2)) for i in range(examples_to_show): a[0][i].imshow(np.reshape(mnist.test.images[i], (28, 28))) a[1][i].imshow(np.reshape(encode_decode[i], (28, 28))) plt.show() # encoder_result = sess.run(encoder_op, feed_dict={X: mnist.test.images}) # plt.scatter(encoder_result[:, 0], encoder_result[:, 1], c=mnist.test.labels) # plt.colorbar() # plt.show()
阅读全文
0 0
- TensorFlow的自编码网络实现(MNIST无监督学习)
- TensorFlow在MNIST中的应用-无监督学习-自编码器(autoencoder)和encoder
- 基于无监督学习的自编码器实现
- 学习笔记TF057:TensorFlow MNIST,卷积神经网络、循环神经网络、无监督学习
- TensorFlow学习笔记(1)对多层卷积网络识别MNIST(MNIST进阶)的理解
- tensorflow 的MNIST实现
- TensorFlow实现自编码
- Tensorflow 实现自编码
- 无监督学习(unsupervised learning) 4.自编码器
- 【Scikit-Learn 中文文档】二十七:经网络模型(无监督)- 无监督学习
- TensorFlow学习笔记(4)----完整的工程示例:全连接前馈网络识别MNIST
- Tensorflow实现Mnist的Tensorboard
- 深度学习框架TensorFlow学习(二)----简单实现Mnist
- 一文纵览无监督学习研究现状:从自编码器到生成对抗网络
- Tensorflow入门(MNIST学习)
- 什么是无监督学习(监督学习,半监督学习,无监督聚类)?
- 深度学习笔记——TensorFlow学习笔记(三)使用TensorFlow实现的神经网络进行MNIST手写体数字识别
- 无监督学习与GAN网络
- angularJs中$http获取后台数据实例
- OpenGL纹理设置
- Linux--shell知识点
- BlockChain
- Exception in thread "ContainerBackgroundProcessor[StandardEngine[Catalina]]" java.lang.OutOfMemoryEr
- TensorFlow的自编码网络实现(MNIST无监督学习)
- 毕业杂谈
- 函数模版、重载和特化的匹配规则
- 【故障】旧版本的Docker Toolbox 无法正常运行的解决办法
- Kotlin学习过程 一 Kotlin插件安装和第一个Kotlin app
- Kotlin从入门到“放弃”(一)
- 机器学习相关模块笔记
- iframe是什么意思?是文档中的文档,即一个html文档中,包含另一个html文档
- UICollectionView的简单布局