Tensorflow

　　在神经网络中加入CNN会大幅度 提升代码的准确率。在之前的博客中有提到过分类，但那当时测试的最终得到的概率并不理想，这次我们换掉那个神经网络，使用CNN劵积神经网络，再跑一次分类看看效率如何。
　　这次使用的劵积结构是 卷积层和最大池化层 相互交替 然后在最末端连接几层全连接层，看下图。

　　话不多说，上代码：

# coding:utf-8import tensorflow as tf import input_datamnist = input_data.read_data_sets('MNIST_data', one_hot=True)'''这个demo 展示 在CNN 代码中怎么定义 Convolutional 的层和怎样进行 pooling.实现一个基于MNIST数据集的例子. 提升代码的准确率。'''#定义Weight变量，输入shape，返回变量的参数。使用tf.truncted_normal产生随机变量来进行初始化def weight_variable(shape):     initial = tf.truncated_normal(shape, stddev=0.1)    return tf.Variable(initial)#定义biase变量，输入shape ,返回变量的一些参数。使用tf.constant常量函数来进行初始化def bias_variable(shape):     initial=tf.constant(0.1,shape=shape)     return tf.Variable(initial)#定义卷积 x是图片的所有参数，W是此卷积层的权重def conv2d(x,W):    #tf.nn.conv2d函数是tensoflow里面的二维的卷积函数    #定义步长strides=[1,1,1,1]值，strides[0]和strides[3]的两个1是默认值，    #中间两个1代表padding时在x方向运动一步，y方向运动一步，padding采用的方式是SAME    return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME') #定义池化def max_pool_2x2(x):    #采用的是最大值池化tf.max_pool()。池化的核函数大小为2x2，因此ksize=[1,2,2,1]，步长为2，因此strides=[1,2,2,1]    return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')#定义概率def compute_accuracy(v_xs, v_ys):    global prediction    y_pre = sess.run(prediction, feed_dict={xs: v_xs, keep_drop: 1})#概率    correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(v_ys,1))#预测概率最大值和真实数据的差别    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))#计算这组数据有多少对的多少错的    result = sess.run(accuracy, feed_dict={xs: v_xs, ys: v_ys, keep_drop: 1})#输出 百分比    return result#定义输入和过拟合xs = tf.placeholder(tf.float32,[None,784]) #28*28ys= tf.placeholder(tf.float32,[None,10])keep_drop = tf.placeholder(tf.float32)#处理 xs，把xs的形状变成[-1,28,28,1]#-1代表先不考虑输入的图片例子多少这个维度，后面的1是channel的数量，因为我们输入的图片是黑白的，因此channel是1，#如果是RGB图像，那么channel就是3。x_image=tf.reshape(xs,[-1,28,28,1])#建立劵积层##-----------------第一层劵积 start----------------###定义第一层卷积的Weight#本层的卷积核patch的大小是5x5，因为黑白图片channel是1所以输入是1，输出是32个featuremapW_conv1=weight_variable([5,5,1,32])#定义本测层的bias bias的大小是32个长度，因此我们传入它的shape为[32]b_conv1=bias_variable([32])#定义卷积神经网络的第一个卷积层 h_conv1#对h_conv1进行激活函数来处理，这里用的是tf.nn.relu（修正线性单元）来处理。#因为采用了SAME的padding方式，输出图片的大小没有变化依然是28x28，只是厚度变厚了，因此现在的输出大小就变成了h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1) #输出28x28x32#进行pooling处理h_pool1=max_pool_2x2(h_conv1) #输出14x14x32##-----------------第二层劵积 start----------------###定义第二层劵积 Weight bias#本层的输入就是上一层的输出，本层我们的卷积核patch的大小是5x5，有32个featuremap所以输入就是32，输出设定为64 W_conv2=weight_variable([5,5,32,64])b_conv2=bias_variable([64])#定义卷积神经网络的第二个卷积层#h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2) #输出 14×14×64h_pool2=max_pool_2x2(h_conv2)#输出 7×7×64##-----------------全链接层 + dropout ---------------###将输出值从一个三维的变为一维的数据，-1表示先不考虑输入图片例子维度, 将上一个输出结果展平.h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])  # [n_samples,7,7,64] >>[n_samples,7*7*64]# weight_variable的shape输入就是第二个卷积层展平了的输出大小W_fc1=weight_variable([7*7*64,1024]) b_fc1=bias_variable([1024])#将展平后的h_pool2_flat与本层的W_fc1相乘h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)#处理过拟合h_fc1_drop=tf.nn.dropout(h_fc1,keep_drop)##-----------------全链接层2 + prediction----------------###进行最后一层的构建  输入是1024，最后的输出是10个[0-9]十个类W_fc2=weight_variable([1024,10])b_fc2=bias_variable([10])#用softmax分类器 对输出进行分类prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)# ---------------------------------------#使用交叉熵损失函数 定义损失cross_entropy=tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction),reduction_indices=[1]))# 用tf.train.AdamOptimizer()作为优化器进行优化，使cross_entropy最小train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)#初始化init = tf.global_variables_initializer()with tf.Session() as sess:    sess.run(init)    for i in range(1000):        batch_xs, batch_ys = mnist.train.next_batch(100)        sess.run(train_step, feed_dict={xs: batch_xs, ys: batch_ys, keep_drop: 0.5})        if i % 50 == 0:            print(compute_accuracy(mnist.test.images[:1000], mnist.test.labels[:1000]))

运行测试

上面两个对比图，左边是使用了CNN的神经网络，右边是普通的神经网络，可以看出，准确率明显提升了，但是二者的耗时差距很大，因为我是在CPU上跑的，要提升速度，如果有GPU，建议使用GPU。