显著检测学习总结2



显著检测——Spectral Residual

本篇对侯晓迪于2007年在CVPR上提出的谱残差方法做一简单的回顾，这个方法截止写这篇总结时在google学术上的引用次数已经达到了911次，确实有点恐怖。谱残差方法突破了空域的限制，转而从频域来寻找显著性的度量方式。

这种方法简单易行，需要调节的参数很少，计算效率也很高，且很多算法从它派生而来，在显著检测的领域有着很大的影响力。但同时谱残差方法也受到诸多质疑和挑战，甚至被认为是一种趋近于边缘检测的方法。无论如何，在未知的领域中它开辟了一条道路，进行了积极的探索，对于后来的显著检测产生了很大的影响。

谱残差的理论依据：

1.从信息论的角度来看，可以将图像的信息分为有用信息和冗余信息两部分。如果要进行压缩编码，则需要将冗余部分进行压缩以提高效率。本文中将有用信息对应的部分作为显著，而对于冗余信息对应的部分作为非显著部分。

2.自然图像的平均傅里叶谱服从1/f law，log-log尺度上自然图像方位向平均后的幅度谱表现为一条直线。这种自然图像中的统计信息代表了每一幅图像所具有的潜在冗余部分，被认为是不会引起我们的注意。

3.平均幅度谱代表了一种局部线性关系，可以用对数幅度谱的局部平滑结果来逼近第2条中所提出的统计特性。

作者通过大量的统计实验来验证1/f law的成立性，从而构建起了计算显著性的方法。在图像傅里叶变换的对数幅度域中，将局部平滑后的对数幅度谱作为冗余部分，并在原对数幅度谱中减去，从而将剩余的部分看做是显著部分在频域的信息。

具体计算过程如下：

实验结果示例

可以看出，谱残差方法在特定的场景中可以取得满意的检测性能，但是并不是总是会这样。和大多数方法一样谱残差也无法克服对数据的依赖性，还有自身存在的低分辨特性。结合其他人对于谱残差的分析可知，这种方法实质上是一种高通滤波器，至于滤波器要过滤的是什么信息难有具体的描述。在一些实验结果中，甚至被认为是一种很接近边缘检测的方法。

最后值得一说的是侯晓迪在他的个人主页上也申明自己所提出的谱残差方法是错误的，并且在2012年的PAMI上提出了有着扎实理论支撑的新方法来揭示显著性。不管怎么样，必须要承认谱残差方法在特定问题上是奏效的，而且理论基于信息论和大量的统计结果，有合理的模型构建过程和具体实施方案。

具体参见：X. Hou and L. Zhang, “Saliency detection: A spectral residualapproach,” in IEEE Conf. Computer Vision and Pattern Recognition,2007