Caffe读取训练和测试日志

用Caffe训练模型时，我们常常想保存训练和测试过程中数据一便于进一步分析。一种方法是在python中调用caffe的API训练并自己写代码读取layer中的数据保存结果，但这种方法毕竟比较繁琐。其实在用命令行训练的时候，caffe已经提供了保存训练日志并解析训练和测试数据的功能。只要在训练的命令上加一行命令即可。如下：

#!/usr/bin/env shset -eCAFFEROOT=/home/meringue/Softwares/caffe-masterCIFAR10PY=/home/meringue/Documents/CaffePy/cifar10pyMODEL=$CIFAR10PY/cifar10_caffemodels/model_Alex_STTOOLS=$CAFFEROOT/build/toolsecho 'start training...'GLOG_logtostderr=0 GLOG_log_dir=$MODEL/LOG/ \ # save log file$TOOLS/caffe train \  --solver=$MODEL/cifar10_quick_solver.prototxt $@ 

这样就会在GLOG__log_dir路径下生成一份日志文件，打开看一下，里面其实就是你在执行训练脚本时生成的一大堆东西。但我们需要的是里面准确率和误差等有用的信息，这时候需要用到caffe-master/tools/extra/路径下的extract_seconds.py，parse_log.sh和plot_training_log.py三个文件，把这三个文件复制一份到你自己定义的LOG文件夹下，先把之前的LOG日志重命名成以.log后缀的文件，如model.log，在当前文件夹下用parse_log.sh model.log命令可以解析出model.log.train和model.log.test两个文件，打开可以看到类似下图的内容：

可以发现，我们需要的数据已经被解析出来了，这个时候可以用这些数据来画图了。当然Caffe也提供了画图功能，用的就是plot_training_log.py，可以设置不同的参数来画你所需要的图，这力里就不再展开了，因为代码里关于参数的说明写的很详细，自己看看就懂了。
其实，既然已经有了这些数据，我们完全可以自己写一个python函数来读取这些数据并画图，下面是我自己写的函数，可以用来读取上面两个日志文件中数据，代码中一些细节都加了注释。

## read log file of training process created by Caffeclass ReadLogFile(object):    def __init__(self,_LogFilePath):        """        get log file path from LogFilePath        """        self.LogFilePath = _LogFilePath    def read_trainLog(self,LogName):        """        get iterations and training loss from training log file named LogName        """        LogPath = self.LogFilePath+LogName        # load all training data        with open(LogPath) as f:            data = f.readlines()            data = data[1:] # remove the first row (title)             data_len = len(data)        Iters = []        TrainLoss = []        for row in range(data_len):            data_row = data[row].split(' ') # splitted by ' '            while '' in data_row: # remove 'None'                data_row.remove('')            Iters.append(int(data_row[0]))            TrainLoss.append(float(data_row[2]))                   return Iters, TrainLoss        def read_testLog(self,LogName):        """        get iterations, test accuracy and test loss from test log file named LogName        """        LogPath = self.LogFilePath+LogName        with open(LogPath) as f:            data = f.readlines()            data = data[1:]            data_len = len(data)        Iters = []        TestAccuracy = []        TestLoss = []        for row in range(data_len):            data_row = data[row].split(' ')            while '' in data_row:                data_row.remove('')            Iters.append(int(data_row[0]))            TestAccuracy.append(float(data_row[2]))            TestLoss.append(float(data_row[3]))             return Iters, TestAccuracy, TestLoss