如何使用GIST+LIBLINEAR分类器提取CIFAR-10 dataset数据集中图像特征，并用测试数据进行实验

上学期开了多媒体的课程，把其中一个课程设计实现的过程与大家分享。

 

转载请注明出处，谢谢。

最近整理文件的时候，发现了我以前写的文档和源码，附上github的下载地址

https://github.com/bigfishman/Gist-LIBLINEAR-CIFAR-10   

喜欢的朋友可以fork

这个课程设计是为了实现图像分类的整个过程，通过完成整个的工作过程，更好的理解图像分类这一概念，提高自己的理论与实践结合的能力。整个项目分为四大步：导入数据、特征提取部分、分类器训练部分、标签预测部分。根据课程，我们选择的数据集为CIFAR-10，特征提取采用的是GIST特征提取方法，分类方法我们使用的是LIBLINEAR中自带的Train和Predict程序。到最后得出结果，进行结果分析。

工具及设计方案详细介绍

CIFAR-10 dataset

CIFAR-10数据集包括60000个32x32彩色图像，分布在在10类,每个类有6000幅图像。这60000幅图片中分别包括50000幅训练图像和10000幅测试图像。　　

数据集被分成了五个训练文件和一个测试文件，每一个文件都有10000张图片。测试文件中随机的包含了每个类的1000幅图片，但是每个训练批次中的图像是随机的，其中包含的图像并不是固定一样的。所以一些培训批次可能某一个类包含更多的图像。而五个训练文件，每个类的总数为5000个，这样就保证了样本的概率平衡。

还需要注意的是，从CIFAR-10中加载的内容中的data数据是整数，需要我们转换成图片，在网站上面我们可以看到也给出了相应的解释。每一个文件中有一个10000x3072N数组。数组的每一行存储一个32x32的彩色图像。前1024项代表的红色，中间1024个代表的是绿色，和最后1024代表的是蓝色。图像存储是按行主序，使数组的前32项是图像的第一排红色通道值。

GIST特征提取

根据项目提供的网站，我们可以大致知道，GIST特征提取是提出一个识别现实世界的计算模型，这个模型绕过个别对象或区域的分割和处理。用一个五维的感知维度来代表一个场景的主要内容，包括自然性、开放性、粗糙度、扩张性和坚固性。这些维度能够可靠的估计使用的光谱和粗定位信息，虽有可用这些维度来代表一个场景图片。

LIBLINEAR分类器

LIBLINEAR是一个用于大规模数据分类的线性分类器，支持逻辑回归和向量机。同时，LIBLINEAR还为开发者提供了好用的命令行和库接口。不管是开发者还是深层次的使用者，LIBLINEAR都有对应的文档供其查阅。实验证明，LIBLINEAR对于大规模数据分析十分有效。

从上面的数据集我们可以知道，数据的数量为60000，而相应的类却仅仅为10，数据数量远远大于数据类别。所以我们使用LIBLINEAR分类器，

具体设计方案

从相应网站下载相应软件。这里CIFAR-10我们下载MATLAB版，解压数据得到训练和测试数据，可以在MATLAB中用LOAD加载，只是现在的数据是整数类型，我们需要将其转换成图片，然后对转换后的图片进行特征提取，将相应的结果保存下来，保存的格式非常重要，我们可以将从LIBLINEAR中下载的数据中的heart-scale打开，记住相应的格式为：labelID：feartures。重复将所有的图片都做一遍，然后将所有的结果保存到一个特定的地方（Feartures.txt），就相当于特征已经提取出来，接下来要做的只是运用LIBLINEAR分类器将所得的特征进行分类（Train），然后用相应的数据进行测试然后进行标签预测（Predict）。从而完成整个图片分类过程。

实践操作

导入数据

实践部分我们根据上面的具体设计来进行

图一：下载的CIFAR-10数据集包

将下载的数据在MATLAB中load后如下图所示：

图二：MATLAB中加载数据集

从上图我们可以看到，data中的数据是以二维数组的形式存储的图片信息，每一行有3072个数据，刚好包括了红、绿、蓝三色，每一色的大小为1024即32*32大小，每一行则代表一幅图片。

下面进行二维数组到图片的转换。

RGB图片的每一个色由32*32的矩阵表示

所以我们可以设置变量Red，Green，Blue三个数组来用于读取相应的颜色，然后将相应的颜色值存进Image里面，这时Image就表示一幅图片了

过程如下：

图三：将data数据转换成图片

用Imshow(Image)结果如下：

图四：CIFAR-10第一幅图片

对着一幅图片进行特征提取，利用从网站下载下来的LMgist文件，可以得到如下的结果：

图五：GIST特征提取效果图

下面我们要对整个的数据进行收集，有50000个图片信息要进行处理。分别load加载，可以得到相应的数据我们设为data1、data2、data3、data4、data5，然后用一个新的data合并这五个数据data=[data1;data2;data3;data4;data5]。这样我们就得到一个50000*3072大小的矩阵了，这样整个的数据就都导出来了。方法如下：

图六：导入所有训练数据

这样数组sumdata中的数据就包含所以训练数据了，sumdata1中的数据就是每一幅图片的label了，表明每幅图片属于哪个类。

特征提取

这里我们使用的是Gist特征提取，下载的gistdescriptor包中已经有了一个Gist函数，我们只要进行调用就可以，如下：

[gist1,param] = LMgist(Image,'',param);

这里的Image就是数据导入的Image图片，直接放入LMgist当中，可以返回一个gist1数组，

我们每导入一幅图片的内容就进行相应的特征提取，用一个1：50000的循环，将每一幅图片都提取特征。

过程如下：

图七：调用LMgist进行特征提取

将提取的特征保存到相应的文件当中：

fid= fopen('E:/Feartrues.txt','w');

fprintf(fid,'%d',sumdata1(t));

fprintf(fid,'%d:%g', ii, gist1(1, ii));

fprintf(fid,'\n');

上面代码将会在E盘Feartures.txt文件中保存提取的特征，格式是按照前面提到的heart_scale文件中的格式的，labelID：Feartures。其中Feartures用一个512的向量进行保存。

分类器训练

在前面我们介绍到，下载的数据包为Liblinear-1.94，我们找到其中一个文件heart_scale，已经介绍了，相应的数据格式，在第二步中已有详细介绍。

将特征提取的Feartures.txt文件作为训练数据的输入，即Train Feartures.tx 我们可以得到一个Feartures.model，这个model就是由训练得出的分类器模型。其中在windows环境下，我们可以直接使用已经编译连接好的可执行文件，该文件在解压后windows目录下。

Train的格式为：

train[options] training_set_file [model_file]；其中train_set_file为我们要测试的文件，就是上面的Feartures.txt，model_file为输出文件。

Options的一些操作，如multiclassclassification：

-stype :对于多分类，指定使用的分类器（默认是1）：

0-- L2-regularized logistic regression(primal)

1-- L2-regularized L2-loss support vectorclassification (dual)

2-- L2-regularized L2-loss support vectorclassification (primal)

3-- L2-regularized L1-loss support vectorclassification (dual)

4-- support vector classification by Crammerand Singer

5-- L1-regularized L2-loss support vectorclassification

6-- L1-regularized logistic regression

7-- L2-regularized logistic regression (dual)

我们可以在训练的时候使用multiclassclassification。

标签预测

我使用的是下载包中自带的Predict程序，在下载包中windows目录下面可以找到。然后用上面生成的Feartures.txt.model文件作为一个输入，然后从CIFAR-10中提出test_batch.mat文件作为测试数据，然后output.txt为输出文件。

Predict用法：

predict[options] test_file model_file output_file

options:

-bprobability_estimates:是否输出概率估计。默认是0，不输出。只对logistic回归有用

-q:安静模式（无输出信息）

需要注意的是-b只在预测阶段用到。这个和LIBSVM不同。

结果及其分析

实验结果

特征提取的结果：】

图八：特征提取结果

从上面可以看出，总共50000幅图片，特征提取的时间为55.808367分钟，电脑CPU是OCRE-i5，执行速度还是相对较快的。特征提取完之后，在E盘下面生成了一个Feartures.txt文件，打开要花点时间，有300多MB。

图九：Feartures.txt内容

文件中的格式，跟我们设计的是一样的，总共50000行，每一行有512个特征值，第一个数字为label，符合项目要求。

按照前面训练数据提取特征的方法，将test_batch.mat测试文件中的数据也进行特征提取，存进Test_data.txt中，然后就可以当作Predict程序的一个输入了。

图十：提取测试数据

下表是Train的不同方法所用的时间和相应Predict的结果：

Train–S type Feartures.txt默认为1

表一：训练和预测结果表

-Stypemulticlass classification

Train

时间

Predict时间

Predict结果

Accuracy

-S0L2-regularizedlogistic regression(primal)

91s

4.6s

58.23%(5823/10000)

-S1L2-regularizedL2-loss support vectorclassification (dual)

48s

7.9s

58.23%(5823/10000)

-S2L2-regularizedL2-loss support vectorclassification (primal)

75s

3.8s

58.2%(5820/10000)

-S3L2-regularizedL1-loss support vectorclassification (dual)

39s

3.6s

56.08%(5608/10000)

-S4supportvector classification by Crammerand Singer

45s

3.9s

57.84%(5784/10000)

-S5L1-regularizedL2-loss support vectorclassification

591s

2.6s

58.2%(5820/10000)

-S6L1-regularizedlogistic regression

46s

3.9s

57.98%(5798/10000)

-S7L2-regularizedlogistic regression (dual)

28.2s

3.4s

58.23%(5823/10000)

结果分析

从表中可以看出不同模式下面的Train时间和Predict时间有所差距，但是差距都不是特别大，其中和其他有较大差距的-S5的Train时间，是其他的十倍左右。Predict时间集中模式都差不多，predict结果Accuracy都在60%以下，其中有几项数据一样，比如-S0、-S1、-S7都为58.23%，-S2和-S5都是58.2%，其中-S7的train时间和Predict时间和结果综合起来是这8种模式中最好的。