Classifying traffic scenes using the GIST image descriptor

1.论文介绍

1.使用GIST特征对于在开车的过程当中遇到的图片进行分类。
2.对于这些非常适合GIST特征原始含意的图片，GIST特征会表现的非常好
3.对于分类任务，首先使用PCA对于提取到的GIST特征进行降维，然后使用k-means进行聚类，最后使用SVM对于得到的特征进行分类。
4.实验表明使用GIST特征对于高速公路上遇到的场景进行分类，具有很好的表现。
5.此外作者还有引入了一个新的数据集：FM1，包含八个不同类别的5000多张图片。

2.GIST特征

特征的五个主要特性：
naturalness:自然度，度的水平和垂直线,然景象具有纹理区域和起伏的轮廓.
openness:开放度，空间包络是否是封闭（或围绕）的
roughness:粗糙度，主要构成成分的颗粒大小
expansion:膨胀度，平行线收敛，给出了空间梯度的深度特点
ruggedness:险峻度，相对于水平线的偏移
GIST特征本来是对于自然风景图像提出来的相对于其他图像的特征，而在这个任务当中，汽车上所能看到的图像，和自然风景图像类似。所以作者提出使用GIST特征，来对汽车行驶过程当中看到的图像进行分类。
可以认为：自然度可以区分城市内和开放的公路环境，开放度可以区分公路中的隧道和其他的封闭环境。

GIST512的计算方法：
1.32Gabor 滤波在4个尺度，8个方向上进行卷积，得到32个feature map 大小和输入图像一致。
2.把每个feature map 分成4*4=16的区域，计算每个区域内的均值。
3.计算16*32个均值的结果就获得了，512维的GIST特征。
不同维度的GIST特征在于Gabor滤波器的个数，确切的说是滤波器方向和尺度的不同。

3.FM1 数据集

FM1数据集从交通工具上录制的视频进行解码提取关键帧，来构成的图像集合。视频为30帧/秒，分辨率在640*480，所有的视频都是在晴天并且光线良好的情况下拍摄的，相机的位置并没有变化。数据集的更详细信息见下面的表格：

对于获取到的数据集进行，提出GIST特征，然后使用PCA对数据集进行降维，从下图可以看出来，主要得两个成分：

使用聚类的到的结果就是三个聚类中心，如图中所示：
第一个中心：大约右3300个点，90%是open highway场景
第二个中心：大约右1400个点，70%是open highway场景，20%是其他类型的开放公路场景
第三个中心：大约右820个点，35%是open highway场景，45%是隧道场景
通过降维并进行聚类，可以得到一个简单的分类结果。

对于使用聚类方式：所确定的聚类中心的个数不同，简单分类的结果也不同。
实验表明：k=5的时候，一个聚类中心包含了绝大多数的隧道，toll booth 场景，第二个聚类中心包含了含有大量交通工具的场景，但是很少包含open hightway的场景，这里和上面的区别？
当增加K的时候，所分出来的类别会越来越多，也会越来越细，所花费的时间也越来越多。但是随着类别越来越多，也与作者的任务没有关系了，所以选择恰当的聚类中心的个数。选择聚类可以得到更为好分的数据，对于后来使用SVM分类器有所帮助。作者提出来，如果数据集增加，那么也可以选择层次聚类来对数据集进行分析。
每个类别所代表的含意：

下面是作者给出来的所使用到的类别：

作者对于视频所产生的类别进行了统计，每个视频所包含的属于某一个类别图片的个数，统计的结果如下：

可以看出来，大部分的图片还是高速公路的场景。

4.实验部分

1.使用数据挖掘工具Weka训练多个不同的类型的分类器，并使用grid Search 方法来找到最有的参数，其中对于SVM最优的参数是C=512,RBF核的参数γ=0.125
2.最终的识别率可以达到97.3%，具体的可以参考下面的表格。

对于除了overpass这个类别达到的准确率比较低48.5%其他的几个类别分类准确率都是很高的，其中对于highway这个分类类别准确率尤为高，达到99.4%
对于overpass，作者也给出分析，可能是这个类别的数据集较少导致的。
下面的是highway分类错误的情况:

highway和平常的路很容易混淆。

5.结论和展望

1.实验的结果表明：GIST对于这种交通场景图片分类特别合适，作者提出来的方法对于改进目前汽车上面具有的fleet管理系统是可行的。
2.后续作者打算扩大数据集，并增加类别进行实验。