Salient Motion Detection in Compressed Domain

Salient Motion Detection in Compressed Domain

Last Edit 2014/1/3

这篇文献是从另一个方面来检测视频中的显著区域--压缩后的视频，MPEG2。以前接触的视频显著性检测多从未压缩的相邻图像中通过某种操作，基本是从像素级或者从区域级，利用center-surround来做显著性检测。至于从压缩后的视频中来做显著性检测的优势在于：压缩时已经考虑了相关的运动信息，能够从相关的系数中直接提取出来，同时MPEG4等已经从图像中物体对象方面（ROI）编码，而不是从块，宏块角度，所以其压缩信息时自然包含了帧内主要物体对象的信息。（个人的一点理解）

文献信息：

K. Muthuswamy, and D.Rajan, “Salient Motion Detection in Compressed Domain,”Signal ProcessingLetters, IEEE, vol. 20, no. 10, pp. 996-999, 2013.

文献的主要内容：

从MPEG-2的视频中的DCT系数及运动向量中提取特征来检测显著的物体运动，根据检测出来的运动区域，再利用区域的特征来（从DCT系数中获得的亮度与色度信息）计算spatial saliency，简单来说，就是用运动信息来测量Spatial saliency。同时，在这篇文献还考虑了摄像头的运动，及镜头跟随物体运动的情况产生的跟踪视频（tracking video）。

Detection of Salient Motion

这部分分成两个部分，一个是检测出Motion Saliency Map，然后是Similarity Map

作者一开始就引用了某文献中的一个结论：视频中的显著性主要是由于运动引起的，尽管视频帧的颜色，强度也起着重要作用。

在MPEG中有I帧，P帧，B帧之分。它们各自的区别与扮演的角色，简单来说，I帧的压缩比不是很大，属于帧内压缩编码，同时呢也可以这样认为I帧不包括运动信息要通过P帧，B帧要构造（P帧，B帧是以I帧也参考帧，包含运动信息 （Motion Vector））。具体介绍可参考：http://blog.csdn.net/jxlijunhao/article/details/17736847

block           大小是8*8

macro block大小是16*16

1）Motion Saliency Map

MPEG 中颜色空间采用的是YCrCb(Y是亮度，Cb和Cr是两个色度通道).DCT系数又有DC系数和AC系数之分，DC系数主要是表示平均能量，AC系数表示频率信息，可以用来表示图像的纹理特性。

计算出Spatial Saliency 记为S

然后利用：最终求出spatial saliency

实验结果：

2) Similarity Map

这个部分主要是针对镜头在运动的情况。

用信息熵来衡量一个Block的相似性:

最后求是Importance Map:

总的来说，这篇文献提供的全新视频显著性检测思路。但是本文是一篇Letter对于具体的实现过程没有做过多的介绍，同是针对的是MPEG2，对于现今主要的压缩方式没有提更多的内容。不过下一篇相关MPEG4的文献还是很详细的，还在学习中~~