TensorBoard使用

Tensorboard使用方法

Tensorboard的使用可大体归结为如下几步：

　　1) 在构建graph的过程中，记录你想要追踪的Tensor

　　2) Session会话运行上一步骤中的记录

　　3) 查看可视化效果

一个用三层神经网络实现回归问题的小例子。

import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltdef add_layer(inputs, in_size, out_size, n_layer, activation_function = None):    # add one more layer and return the output of this layer    layer_name = 'layer%s' % n_layer    with tf.name_scope('layer'):        with tf.name_scope('weights'):            Weights = tf.Variable(tf.random_normal([in_size, out_size]), name = 'W')            tf.summary.histogram(layer_name + '/weights', Weights)        with tf.name_scope('biases'):            biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name = 'b')            tf.summary.histogram(layer_name + '/biases', biases)        with tf.name_scope('Wx_plus_b'):            Wx_plus_b = tf.add(tf.matmul(inputs, Weights), biases, name = 'Wpb')        if activation_function is None:            outputs = Wx_plus_b        else:            outputs = activation_function(Wx_plus_b)        tf.summary.histogram(layer_name + '/outputs', outputs)        return outputs#define placeholder for inputswith tf.name_scope('inputs'):    xs = tf.placeholder(tf.float32, [None, 1], name = 'x_input')    ys = tf.placeholder(tf.float32, [None, 1], name = 'y_input')# make up some real datax_data = np.linspace(-1.0, 1.0, 300, dtype = np.float32)[:,np.newaxis]noise = np.random.normal(0.0, 0.05, x_data.shape)y_data = np.square(x_data) + 0.5 + noise# add hidden layer and output layerl1 = add_layer(xs, 1, 10, n_layer = 1, activation_function = tf.nn.relu)prediction = add_layer(l1, 10, 1, n_layer = 2, activation_function = None)# the error between prediction and real datawith tf.name_scope('loss'):    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction), reduction_indices = [1]), name = 'L')    tf.summary.scalar('loss', loss)with tf.name_scope('train'):    train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)init = tf.initialize_all_variables()with tf.Session() as sess:    sess.run(init)    fig = plt.figure()    ax = fig.add_subplot(1,1,1)    ax.scatter(x_data, y_data)    plt.show(block = False)    merged =tf.summary.merge_all()    writer = tf.summary.FileWriter('/tmp/tensorlogs/ex5', sess.graph)    for i in range(1000):        sess.run(train_step, feed_dict = {xs : x_data, ys : y_data})        if i % 50 == 0:            # print(i, sess.run(loss, feed_dict = {xs : x_data, ys : y_data}))            try:                ax.lines.remove(lines[0])            except Exception:                pass            result, prediction_value = sess.run([merged, prediction], feed_dict = {xs : x_data, ys : y_data})            lines = ax.plot(x_data, prediction_value, 'r-', lw = 5)            plt.pause(0.1)            writer.add_summary(result, i)

下面具体分解上述的3个步骤

　　1) 在上述示例中用了tf.summary.histogram()和tf.summary.scalar()记录要追踪的Tensor，前者可汇总和记录标量数据，如41行的loss；后者可汇总和记录变量为直方图，如11行的Weights。此外，tf.summary还可汇总记录图片(images)，音频(Audio)等内容。

　　2) 在Session中运行之前，要将上述所有汇总记录做一个合并，以便统一运行，如52行的merged所示，还要指定运行后存放数据记录的日志文件的位置，如53行的writer所示。接下来，就可以通过运行获取数据记录了，如62行的result所示，这里为了简洁，将result和prediction_value放在了一起运行，也可以拆成两行执行。程序要进行多次训练，如54行的for所示，每隔50次记录下追踪数据，如56行if所示，每次记录通过writer.add_summary()添加到日志文件中。

　　3) 程序运行结束后，打开终端，输入tensorboard –logdir=’path’，其中的path为指定的日志文件存放路径，如53行’/tmp/tensorlogs/ex5’，运行后会看到下图所示：
　　
在浏览器的地址栏中输入上图中所示的地址http: //DESKTOP- :6006，即可。

关于TensorBoard的函数

Summary：所有需要在TensorBoard上展示的统计结果。

tf.name_scope()：为Graph中的Tensor添加层级，TensorBoard会按照代码指定的层级进行展示，初始状态下只绘制最高层级的效果，点击后可展开层级看到下一层的细节。

tf.summary.scalar()：添加标量统计结果。

tf.summary.histogram()：添加任意shape的Tensor，统计这个Tensor的取值分布。

tf.summary.merge_all()：添加一个操作，代表执行所有summary操作，这样可以避免人工执行每一个summary op。

tf.summary.FileWriter：用于将Summary写入磁盘，需要制定存储路径logdir，如果传递了Graph对象，则在Graph Visualization会显示Tensor Shape Information。执行summary op后，将返回结果传递给add_summary()方法即可。

TensorFlow的一些问题

终端输入命令：tensorboard –logdir=’logs/’ ，提示tensorboard:command not found。

其实这个错误的原因不是tensorboard没有安装，因为我用的tensorflow-gpu-1.2.1的版本，也就是说安装tensorflow的同时已经将tensorboard安装了。

解决方法（既然tensorboard命令无效，那么采用最原始的方法）：
step 1：查找tensorboard的安装路径
使用pip show tensorflow-gpu 查看tensorflow的安装信息，得到其安装路径。
step2 ：使用tensorboard.py 启动tensorboard
使用如下命令:
python /your path/tensorflow/lib/python2.7/site-ckages/tensorflow/tensorboard/tensorboard.py –logdir=/your path/logs/

上面这条命令是网上百度的，他们说tensorboard.py在tensorflow文件夹下的tensorboard文件夹下，而且是tensorboard.py文件，压根找不到这个文件，原来：

1. tensorboard文件夹不在tensorflow文件下下面，也就是说tensorboard不是tensorflow的子文件夹，两个文件夹是平级结构，都在site-packages文件夹下
2. tensorboard文件下的的文件是main.py不是tensorboard.py

【上面原始的命令跑完一次后，再跑tensorboard –logdir=’logs/’ ，居然跑通了】