关于图像显著性

来源：互联网发布：日文原版漫画软件编辑：程序博客网时间：2024/04/28 10:33

转载：http://blog.youtueye.com/work/image-saliency-map.html

Itti提出的显著图模型是一种模拟生物体视觉注意机制的选择性注意模型，比较适合处理自然图像。这里的显著值是像素点在颜色、亮度、方向方面与周边背景的对比，所有点的显著值构成一张显著图，算法流程如下：

特征的提取：先把输入图像表示成9层的高斯金字塔。其中第0层是输入图像，1到8层分别是用5*5的高斯滤波器对输入图像进行滤波和采样形成的，大小分别的输入图像的1/2到1/256.。然后对金字塔每一层分别提取各种特征:亮度、红色、绿色、蓝色、黄色、方向，形成特征金字塔。Itti算法为了模拟感受野的中心—外周拮抗的结构，对各种特征分别在特征金字塔的不同尺度间作差。作差得到的是中心（尺度c）和外周（尺度s）的特征的对比表示中心和外周的局部方向特征的对比。
显著图生成：把每一个上述得到的特征图归一化到区间[01]，以消除和特征相关的幅度差别。为了消除干扰噪声突出显著部分，对每个特征图M分别用二维高斯差函数进行卷积，并把卷积结果叠加回原特征图，使同种特征以侧抑制的方式在空间上竞争。卷积和迭代过程进行多次，这样可以让少数几个最显著的点均匀分布在整个特征图上，从而每个特征图上只保留少数的几个显著点，在叠加多个特征图时能把多种显著特征的点突现出来。接下来分别把每一类（亮度、色度、方向）归一化后的特征图逐点求和（采样到第4尺度），得到对应于每一类特征的显著图,综合所有特征的显著性，就得到对应于输入图像的显著图S.

有点晕吧，其实也没那么复杂，就好比白茫茫的雪地上出现一只黑猫，那么这团黑色的东西相对人的视觉是显著的，当然这是在颜色上的显著性，还有诸如边缘、纹理的差异造成的显著性，比如在Zhang[5]的文章中的示意图：

继Itti之后，新的图像显著性算法不断产生，以下是笔者收集到的一些资源：

【1】. L. Itti, C. Koch, and E. Niebur. A model of saliency-basedvisual attention for rapid scene analysis. PAMI1998. SaliencyToolbox(MatlabCode)|Bottom-UpVisual Attention Home Page

【2】.瑞士洛桑理工学院（epfl）的帅哥Achanta 相继在ICVS2008，CVPR 2009，ICIP 2010都有关于Saliency的文章。

Salient region detection and segmentation (ICVS 2008)(Matlabcode & win-exe)
Frequency-tuned Salient Region Detection (CVPR 2009)(Matlab& c++ code & Image Dataset & 博客园的一篇改进)
Saliency Detection using Maximum Symmetric Surround (ICIP2010)(Matlab&C++ code)

【3】.J. Harel, C. Koch, and P.Perona. Graph-basedvisual saliency. NIPS, 2007.MatlabCode | PDF
【4】.S. Goferman, L. Zelnik-Manor, and A.Tal. Context-awaresaliency detection. In CVPR,2010. MatlabCode | PDF
【5】.X. Hou and L. Zhang. Saliencydetection: A spectral residual approach.CVPR,2007. MatlabCode | PDF | 博客园的一篇实现

【6】.TieLiu, Jian Sun, Nan-Ning Zheng, Xiaoou Tang and Heung-YeungShum. Learningto Detect A Salient Object. In Proc.IEEE Cont. on Computer Vision and pattern Recognition (CVPR),Minneapolis, Minnesota, 2007. Project.

【7】.T. Judd and K. Ehinger and F. Durand and A.Torralba, Learningto Predict Where Humans Look, ICCV,2009. Project

【8】.M.-M. Cheng, G.-X. Zhang, N. J. Mitra, X. Huang, S.-M.Hu. GlobalContrast based Salient RegionDetection. CVPR 2011. Projects (TSU的M.M同学的Sketch2Photo在我之前的文章中有介绍)
【9】.D. Gao and N. Vasconcelos, DiscriminantSaliency for Visual Recognition from ClutteredScenes, NIPS,2004. MatlabCode | PDF
【10】.N. Bruce and J. Tsotsos. Saliencybased on information maximization.In NIPS,2005. MatlabCode | PDF
【11】.E. Rahtu, J. Kannala, M. Salo, and J.Heikkila. Segmentingsalient objects from images andvideos. CVPR,2010. MatlabCode | PDF
【12】.L. Zhang, M. Tong, T. Marks, H. Shan, and G.Cottrell. Sun:A bayesian framework for saliency using naturalstatistics. Journalof Vision, 2008. MatlabCode | PDF

大家如此热衷地研究图像显著性算法，那么它到底有那些应用呢，总不会只是借以证明“男人是视觉动物”这一公理吧，下面是列举的一些应用：

图像缩放：传统的图像缩放算法会使得图片中的某些目标变形，加入显著值做为能量约束可避免这一缺点，此种缩放又称为“ 液态缩放 ”。
A. R. Achanta and S.Süsstrunk, SaliencyDetection for Content-aware Image Resizing,IEEEInternational Conference on Image Processing, 2009.
视频编码：同上述的图片缩放，当16:9的视频画面转为4：3的画面时，可保持画面中对象的清晰，又称为“基于内容感知的视频缩放”。
图像分割：结合graphcut/grabcut，将图片中的目标抠出。
Saliency-Seeded Region Merging: Automatic ObjectSegmentation.ACPR'11

关于图像显著性就介绍到这里，转载请说明出处。

P.S.

1.本文开篇应用的图片上的显著区域并不是由后面的显著性算法得到的，而是通过眼部跟踪技术统计不同人群的眼睛在各时间、区域的停留时间给出的(如：国外社交网站个人首页的眼动研究情况 | 运用眼动研究，优化页面布局)，而图像的显著性算法是不关注图像观察者的年龄、性别等差异的。

0 0