tensorflow实战1:lstm实现mnist分类
来源:互联网 发布:淘宝买的鞋子味道很大 编辑:程序博客网 时间:2024/05/19 20:19
版本:tensorflow1.0.0
1、数据格式
lstm输入维度(batchsize,timestep,input_size)
则将mnist维度转换(-1,28,28),这里面意思就是每一行输入28个数据进入神经网络。当输入到第28次时更新label。
import tensorflow as tfimport numpy as npfrom tensorflow.contrib import rnnfrom tensorflow.examples.tutorials.mnist import input_datalr = 1e-3input_size = 28 # 每个时刻的输入特征是28维的,就是每个时刻输入一行,一行有 28 个像素timestep_size = 28 # 时序持续长度为28,即每做一次预测,需要先输入28行hidden_size = 256 # 隐含层的数量layer_num = 2 # LSTM layer 的层数class_num = 10 # 最后输出分类类别数量,如果是回归预测的话应该是 1_X = tf.placeholder(tf.float32, [None, 784])y = tf.placeholder(tf.float32, [None, class_num])# 在训练和测试的时候,我们想用不同的 batch_size.所以采用占位符的方式batch_size = tf.placeholder(tf.int32, []) # 注意类型必须为 tf.int32, batch_size = 128keep_prob = tf.placeholder(tf.float32, [])mnist = input_data.read_data_sets('MNIST_data', one_hot=True)print(mnist.train.images.shape)##################################################################### **步骤1:RNN 的输入shape = (batch_size, timestep_size, input_size) X = tf.reshape(_X, [-1, 28, 28])
2网络内部结构
设置隐藏层的神经元数量,hidden_size= 256,这个是非常重要的,因为每次循环的output跟state的维度都将是256
# # **步骤2:定义一层 LSTM_cell,只需要说明 hidden_size, 它会自动匹配输入的 X 的维度lstm_cell = rnn.BasicLSTMCell(num_units=hidden_size, forget_bias=1.0, state_is_tuple=True)# **步骤3:添加 dropout layer, 一般只设置 output_keep_problstm_cell = rnn.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob)# **步骤4:调用 MultiRNNCell 来实现多层 LSTMmlstm_cell = rnn.MultiRNNCell([lstm_cell] * layer_num, state_is_tuple=True)# # **步骤5:用全零来初始化stateinit_state = mlstm_cell.zero_state(batch_size, dtype=tf.float32)# ** 可以取 h_state = state[-1][1] 作为最后输出# ** 最后输出维度是 [batch_size, hidden_size]outputs, state = tf.nn.dynamic_rnn(mlstm_cell, inputs=X,initial_state=init_state)h_state = state[-1][1]
3、输出层
以上则是lstm层的构建情况,关键是如何输出呢?
当我们已经有了h_state时,则可以对其做一次softmax以做到分类
# 开始训练和测试W = tf.Variable(tf.truncated_normal([hidden_size, class_num], stddev=0.1), dtype=tf.float32)bias = tf.Variable(tf.constant(0.1,shape=[class_num]), dtype=tf.float32)y_pre = tf.nn.softmax(tf.matmul(h_state, W) + bias)# 损失和评估函数cross_entropy = -tf.reduce_mean(y * tf.log(y_pre))train_op = tf.train.AdamOptimizer(lr).minimize(cross_entropy)correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(y,1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))sess.run(tf.global_variables_initializer())for i in range(2000): _batch_size = 128 batch = mnist.train.next_batch(_batch_size) if (i+1)%200 == 0: train_accuracy = sess.run(accuracy, feed_dict={_X:batch[0], y: batch[1], keep_prob: 1.0, batch_size: _batch_size}) # 已经迭代完成的 epoch 数: mnist.train.epochs_completed print ("Iter%d, step %d, training accuracy %g" % ( mnist.train.epochs_completed, (i+1), train_accuracy)) sess.run(train_op, feed_dict={_X: batch[0], y: batch[1], keep_prob: 0.5, batch_size: _batch_size}) break# 计算测试数据的准确率print ("test accuracy %g"% sess.run(accuracy, feed_dict={_X: mnist.test.images, y: mnist.test.labels, keep_prob: 1.0, batch_size:mnist.test.images.shape[0]}))
阅读全文
0 0
- tensorflow实战1:lstm实现mnist分类
- TensorFlow 实现多层 LSTM 的 MNIST 分类 + 可视化
- TensorFlow实现 mnist分类
- tensorflow实战2:实现mnist 单层cnn分类
- TensorFlow MNIST RNN LSTM
- Tensorflow学习: RNN-LSTM应用于MNIST数据分类
- Tensorflow学习笔记--MNIST LSTM分类器代码
- TensorFlow实战5:利用卷积神经网络对图像分类(初阶:MNIST手写数字)代码实现
- tensorflow实现线性分类之MNIST
- RNN实践一:LSTM实现MNIST数字分类
- 《tensorflow实战》学习5——双向LSTM分类器
- Tensorflow LSTM分类问题
- Tensorflow-rnn(mnist分类)
- Tensorflow实战(一)(MNIST手写字体识别TensorFlow实现)
- Tensorflow实战1:利用AlexNet训练MNIST
- tensorflow实现基于LSTM的文本分类方法
- 如何用 TensorFlow 实现基于 LSTM 的文本分类
- Tensorflow实现基于LSTM的文本分类方法
- Android开发之网络操作(下)
- Kali Linux渗透测试(苑房弘)w3af
- [log]logstash添加字段.geoip展示
- 9.11~9.16训练----重要!动规dp
- linux下mysql的root密码忘记解决方
- tensorflow实战1:lstm实现mnist分类
- wind and sun
- Kotlin一步一个脚印学习基础二
- LAN、WAN、WLAN、wifi、VLAN、VPN、以太网(即ethernet)、Internet、万维网(即www)的意思,和区别
- 仿某直播平台的点赞效果
- COMMON SPRING BOOT PROPERTIES
- LeetCode 287. Find the Duplicate Number
- 安装配置 W3AF
- 算法与数据结构-DP算法及简单实例