Tensorflow中可视化好助手Tensorboard（二）

Tensorflow中可视化好助手Tensorboard(一)中，已经讲过如何可视化TensorBoard整个神经网络结构的过程。其实TensorBoard还可以可视化训练过程（weights、biase和outputs变化过程）。本篇文章，讲解一下可视化训练过程的图片如何产生。

首先，看效果图：

我们实现的神经网络还是《用Tensorflow构建一个神经网络》中的神经网络。

图1：神经网络中weights、biases、outputs每训练50次参数的变化折现图

第一层：是输入层到隐藏层的参数。因为此隐藏层有10个神经元，所以有10个biase、10个weight、10个output。

第二层：是隐藏层到输出层的参数。有10个weight、1个biase。

图2：在histograms中每层参数的变化

图3：在SCALARS中整个训练过程中误差值的变化

（1）制作输入源

由于我们观察训练过程中神经网络的变化，所以首先要添加一些模拟数据。Python的numpy工具包可以帮助我们制造一些模拟的数据。所以我们先导入这个工具包：

# 导入本次需要的模块
import tensorflow as tf
import numpy as np

然后，借助np中的np.linespace()产生随机的数字，同时为了模拟更加真实我们添加了一些噪声，这些噪声是通过np.random.normal()随机产生的。

#################导入数据##################################
# 构建所需要的数据。这里的x_data和y_data并不是严格的一元二次函数的关系，
# 因为我们多加了一个noise,这样看起来会更像真实情况。
x_data = np.linspace(-1,1,300)[:,np.newaxis]
noise = np.random.normal(0,0.05,x_data.shape)
y_data = np.square(x_data) - 0.5 + noise

（2）制作Weights和biases的变化图表。

我们希望可以做到图1所示的图表，那么首先从Layer1中开始吧！

在layer中为Weights、biases设置变化图表。

通过图1 我们观察到每个layer后面有一个数字：layer1和layer2。于是我们在add_layer（）方法中添加一个参数n_layer,用来标识层数，并且用变量layer_name代表其每层的名称，代码如下：

def add_layer(inputs,in_size,out_size,n_layer,activation_function=None):
    layer_name = "layer%s"%n_layer
    with tf.name_scope(layer_name):
    ## and so on

接下来，我们层中的Weights设置变化图，tensorflow提供了tf.summary.histogram()方法，用来绘制图片，第一个参数是图表的名称，第二个参数是图表要记录的变量。

def add_layer(inputs, in_size, out_size, n_layer, activation_function=None):
    ## add one more layer and return the output of this layer
    layer_name='layer%s'%n_layer
    with tf.name_scope(layer_name):
         with tf.name_scope('weights'):
              Weights= tf.Variable(tf.random_normal([in_size, out_size]),name='W')
              # tf.histogram_summary(layer_name+'/weights',Weights)   # tensorflow 0.12 以下版的
              tf.summary.histogram(layer_name + '/weights', Weights) # tensorflow >= 0.12
    ##and so no ……

同样的方法，我们对biases进行绘制图标：

with tf.name_scope('biases'):
    biases = tf.Variable(tf.zeros([1,out_size])+0.1, name='b')
    # tf.histogram_summary(layer_name+'/biase',biases)   # tensorflow 0.12 以下版的
    tf.summary.histogram(layer_name + '/biases', biases)  # Tensorflow >= 0.12

我们对output使用同样的方法：

# tf.histogram_summary(layer_name+'/outputs',outputs) # tensorflow 0.12 以下版本
tf.summary.histogram(layer_name + '/outputs', outputs) # Tensorflow >= 0.12

最终，经过我们的修改，addlayer()方法如下：

# 构造添加一个神经层的函数
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None):
    layer_name = "layer%s"%n_layer
    with tf.name_scope(layer_name):
        with tf.name_scope("weights"):
            # 定义weights为一个in_size行，out_size列的随机变量矩阵
            Weights = tf.Variable(tf.random_normal([in_size,out_size]),name="W")
            tf.summary.histogram(layer_name + "/weights",Weights)
        with tf.name_scope("biases"):
            biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name="b")
            tf.summary.histogram(layer_name + "/biases", biases)
        with tf.name_scope("Wx_plus_b"):
            Wx_plus_b = tf.add(tf.matmul(inputs,Weights),biases)
        if activation_function is None:
            outputs = Wx_plus_b
        else:
            outputs = activation_function(Wx_plus_b,)
            tf.summary.histogram(layer_name + "/outputs", outputs)
        return outputs

由于，我们对addlayer添加了一个参数，所以修改之前调用addlayer()函数的地方。对此进行修改：

# 输入层只有一个属性，所以我们就只有一个输入。
# 我设置隐藏层有10个神经元
# 输出层也只有一层
l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu)
prediction = add_layer(l1,10,1,n_layer=2,activation_function=None)

（3）设置loss的变化图

Loss的变化图和之前设置的方法略有不同，loss是在tensorBoard的SCALARS下面的，这是由于我们使用的是tf.summary.scalar()方法。具体效果如图3所示。

观看Loss的变化比较重要。当你的loss呈下降的趋势，说明你的神经网络训练是有效果的。代码如下：

with tf.name_scope('loss'):
     loss= tf.reduce_mean(tf.reduce_sum(
              tf.square(ys- prediction), reduction_indices=[1]))
     # tf.scalar_summary('loss',loss) # tensorflow < 0.12
     tf.summary.scalar('loss', loss) # tensorflow >= 0.12

（4）给所有训练图进行合并

接下来，我们开始合并打包。tf.summary.merge_all()方法会对我们所有的summaries合并到一起。因此在原有的代码片段中添加：

sess= tf.Session()

# merged= tf.merge_all_summaries()    # tensorflow < 0.12
merged = tf.summary.merge_all() # tensorflow >= 0.12

# writer = tf.train.SummaryWriter('logs/', sess.graph)    # tensorflow < 0.12
writer = tf.summary.FileWriter("logs/", sess.graph) # tensorflow >=0.12

# sess.run(tf.initialize_all_variables()) # tf.initialize_all_variables() # tf 马上就要废弃这种写法
sess.run(tf.global_variables_initializer())  # 替换成这样就好

（5）训练数据

假定给出了x_data，y_data并且训练1000次。

for i in range(1000):
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})

以上的代码仅仅会绘制出训练的图表，但是不会记录训练的数据。为了较为直观的显示训练过程中每个参数的变化，我们每隔上50次就记录一次结果。同时我们也应该注意，merged也是需要run才能发挥作用的，所以在for循环中写下：

    if i % 50 ==0:
        result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
        writer.add_summary(result, i)

最后，总体的代码如下：

for i in range(1000):
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    if i % 50 ==0:
        result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
        writer.add_summary(result, i)

好了！终于把代码部分搞定了！下面，运行你的程序。

程序完成之后，你会在你的程序目录中找到产生的logs文件夹和文件夹里放的文件。

（6）在tensorboard中查看效果

在你的终端中，使用命令进入到test目录，然后输入tensorboard --logdir logs，然后终端中会产生一个网址，把这个网址复制到浏览器中，便可以看到神经网络中参数的变化了。

可能遇到的问题：

（1）与Tensorflow兼容的浏览器是“Google Chrome”。使用其他的浏览器不保证所有的内容都能正常显示。

（2）请确保你的Tensorboard指令是在你的logs文件根目录中执行的。如果在其他目录执行，可能不会成功看到图。

给出完整的代码：

#coding:utf-8
# 导入本次需要的模块
import tensorflow as tf
import numpy as np

'''
inputs：输入值
in_size：输入的大小
out_size：输出的大小
activation_function：**函数
'''
# 构造添加一个神经层的函数
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None):
    layer_name = "layer%s"%n_layer
    with tf.name_scope(layer_name):
        with tf.name_scope("weights"):
            # 定义weights为一个in_size行，out_size列的随机变量矩阵
            Weights = tf.Variable(tf.random_normal([in_size,out_size]),name="W")
            tf.summary.histogram(layer_name + "/weights",Weights)
        with tf.name_scope("biases"):
            biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name="b")
            tf.summary.histogram(layer_name + "/biases", biases)
        with tf.name_scope("Wx_plus_b"):
            Wx_plus_b = tf.add(tf.matmul(inputs,Weights),biases)
        if activation_function is None:
            outputs = Wx_plus_b
        else:
            outputs = activation_function(Wx_plus_b,)
            tf.summary.histogram(layer_name + "/outputs", outputs)
        return outputs

#################导入数据##################################
# 构建所需要的数据。这里的x_data和y_data并不是严格的一元二次函数的关系，
# 因为我们多加了一个noise,这样看起来会更像真实情况。
x_data = np.linspace(-1,1,300)[:,np.newaxis]
noise = np.random.normal(0,0.05,x_data.shape)
y_data = np.square(x_data) - 0.5 + noise

# 利用占位符定义我们所需要的神经网络的输入。
# None代表无论输入有多少样本都可以。因为输入只有一个特征，所以这里是1。
with tf.name_scope("inputs"):
    xs = tf.placeholder(tf.float32,[None,1], name="x_input")
    ys = tf.placeholder(tf.float32,[None,1], name="y_input")
#################导入数据##################################

#################搭建神经网络##################################
# 输入层只有一个属性，所以我们就只有一个输入。
# 我设置隐藏层有10个神经元
# 输出层也只有一层
l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu)
prediction = add_layer(l1,10,1,n_layer=2,activation_function=None)

# 定义损失函数
with tf.name_scope("loss"):
    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction),reduction_indices=[1]))
    tf.summary.scalar("loss",loss)
# 让神经网络通过梯度下降法来训练，这里的0.1是学习率
with tf.name_scope("train"):
    train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

# 使用变量时，都要对变量进行初始化
init = tf.initialize_all_variables()
# 定义Session,并用Session来执行init初始化步骤
sess = tf.Session()
merged = tf.summary.merge_all()
writer = tf.summary.FileWriter("logs/",sess.graph)
sess.run(init)
#################搭建神经网络##################################

for i in range(1000):
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    if i % 50 ==0:
        result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
        writer.add_summary(result, i)

观看视频笔记：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/4-2-tensorboard2/