菜鸟角度的mnist_softmax代码详解

mnist_softmax代码详解

文章是我分析该代码的记录，修改了一点点代码

• 尝试两种初始化权重以及偏置的方式（发觉对模型准确度无提升）
• 使用指数学习率：train.exponential_decay
• 增加了一层for循环，每训练100次打印一下准确度
• 尝试增加一层隐藏层（准确度提升）
• 继续增加模型复杂度，看一看过拟合的情况。再用Dropout减少过拟合看看结果

首先给出该教程的官网页面与中文翻译之后的页面（建议两者结合起来看)

官网（需要梯子）
中文翻译（非极客）

---

正文：

• 导入的内容：

from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport argparseimport sysfrom tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tf

• 这里假设你已经下载了数据集，如果没有，应该先执行：
  from tensorflow.examples.tutorials.mnist import input_data
  mnist = input_data.read_data_sets(“MNIST_data/”, one_hot=True)
  下载数据集，下载之后的文件夹为MNIST_data，共4个压缩包 *

• read_data_sets方法在 tensorflow.contrib.learn.python.learn.datasets.mnist中
  我们将标签称为“one-hot vectors”。一个one-hot是一个大多数维 度上为0，一个维度上为1的向量。

 mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

• x_: 是我们接下来在会话（session）中会feed的图像数据（batch_xs）。设置为浮点型，[None,784]中：
  None表示我们可以输入任意数量的Minist的图像；784指的是每一张图展平成784维的向量——28×28 = 784
  W是权重矩阵，因为共有10种分类，所以是784x10的矩阵；b是偏置；y是x_与W的矩阵之积， 也就是当前在权重和偏置之下所计算出来的得分（之后会由softmax转化关于10个数字类的概率分布）
  y_是之后要feed的标签数据

  x_ = tf.placeholder(tf.float32, [None, 784])  # y_与y的关系：y（在softmax_cross_entropy_with_logits方法中会自动用softmax计算）和y_（真实标签）  # 必须具有相同的[batch_size，num_classes]和相同的dtype（float32或float64）。  y_ = tf.placeholder(tf.float32, [None, 10])

• 1.尝试用0初始化（跳过2 3 的代码）

  W = tf.Variable(tf.zeros([784, 10]))  b = tf.Variable(tf.zeros([10]))  y = tf.matmul(x_, W) + b

• 2.尝试非0初始化，但是没有起到增加准确度的作用（跳过1 3 的代码）

  W = tf.Variable(tf.truncated_normal([784,10],stddev=0.1))  b = tf.Variable(tf.zeros([10])+0.1)  y = tf.matmul(x_, W) + b

• 3.增加一隐藏层，并增加神经元个数（跳过1 2 的代码）

    W1 = tf.Variable(tf.truncated_normal([784,1000],stddev=0.1))    b1 = tf.Variable(tf.zeros([1000])+0.1)    L1 = tf.nn.tanh(tf.matmul(x_,W1)+b1)    W2 = tf.Variable(tf.truncated_normal([1000,10],stddev=0.1))    b2 = tf.Variable(tf.zeros([10])+0.1)    y = tf.matmul(L1, W2) + b2

cross_entropy = tf.reduce_mean(  ''' 对下面的函数的理解：这个函数的作用就是计算softmax层的交叉熵，只不过tensorflow把   softmax计算与交叉熵计算放到一起了，用一个函数来实现，以前的方法can be numerically unstable   具体的解释看下文末尾：http://blog.csdn.net/behamcheung/article/details/71911133'''      tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))  # 设置学习率——1：直接设置  train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)  # 设置学习率——2：使用指数学习率  global_step = tf.Variable(0, trainable=False)  starter_learning_rate = 0.5  learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step,                                           100000, 0.97)

• 优化器Optimizer（大家还可以尝试更多的优化器，比如：
  
  AdadeltaOptimizer比较快，但是相同迭代次数准确度不一定比随机梯度高）

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(cross_entropy，global_step=global_step)  sess = tf.InteractiveSession()  # 初始化W和b  tf.global_variables_initializer().run()  # Train  for times in range(20): # python3.x 中取消了xrange();print也必须加括号：print（）        for _ in range(100):            batch_xs, batch_ys = mnist.train.next_batch(100)            sess.run(train_step, feed_dict={x_: batch_xs, y_: batch_ys})    # Test trained model        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))        #这里我将train数据集也带进去了，如果两次的准确率变化情况差距很小很小，说明模型没有出现过拟合以及欠拟合        print("Iter ："+str(times)+"- 训练集准确度为：",sess.run(accuracy, feed_dict={x_: mnist.train.images,y_: mnist.train.labels}))        print("Iter ："+str(times)+"- 测试集准确度为：",sess.run(accuracy, feed_dict={x_: mnist.test.images,y_: mnist.test.labels}))

• 测试模型

  # argmax(input, axis=None, name=None, dimension=None)axis：0表示按列，1表示按行。返回最大值的下标  # equal操作返回一个布尔值列表。这里是[True, False, True, True....]的转置  correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))  # tf.cast(x, dtype, name=None)：将x转换为dtype，便于计算概率  accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))  #这里我将train数据集也带进去了，如果两次的准确率变化情况差距很小，说明模型没有出现过拟合以及欠拟合  print("训练 ："+str(times)+"- 准确度为：",sess.run(accuracy, feed_dict={x_: mnist.train.images,y_: mnist.train.labels}))  print("    测试 ："+str(times)+"- 准确度为：",sess.run(accuracy, feed_dict={x_: mnist.test.images,y_: mnist.test.labels}))

以上的next_batch、mnist.test.images、mnist.test.images都在下面文件中定义：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/learn/python/learn/datasets/mnist.py

if __name__ == '__main__':  parser = argparse.ArgumentParser()  parser.add_argument('--data_dir', type=str, default='/tmp/tensorflow/mnist/input_data',                      help='Directory for storing input data')  FLAGS, unparsed = parser.parse_known_args()  tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

以下是我的一些测试结果：

1.

2.