CV | 智能缩放：浅谈Seam Carving算法 (1)

最近整合任务有点重，所以现在才更= =。之前做过一个图像智能缩放（retargeting）算法的报告，其中主要学习的是Shai于07年提出的Seam Carving，今天在这里复习一下，这个方法已经提出快10年了，所以后续也有很多优秀的算法，欢迎大家一起讨论分享。

   1. 传统的图像缩放技术

首先介绍算法提出的背景，图像是当代信息传播的重要媒介，然而多种多样的显示设备和应用对图像尺寸的要求各有不同，传统的缩放技术已经不能满足用户的需求。其中，传统的缩放技术比较常见的两种：

1）比例缩放（image scaling）：常见缩小方法有下采样（subsample）或降采样（downsample），放大的方法有上采样（upsampling）或图像差值（interpolating），对图像的缩放操作并不能带来更多关于该图像的信息，因此图像的质量将不可避免地受到影响。不过现在有很多平滑和锐化的算法可以对缩放效果进行优化，所以也有缩放后的图像质量超过原图质量的。

2）图像裁剪（cropping）：效果相当于手动剪裁原图至目标尺寸，主要结合内容识别算法（content-aware）实现自动和批量裁剪。

显然，传统的方法存在很多明显不足，比例缩放直接将图像整体缩放为目标尺寸，这样做通常会破坏图像内容的比例关系，因为会出现目标长宽比与源图像长宽比不一的情况，图像内容因此会发生变形（如上图），因而图像质量受到损失，另一方面如果目标尺寸较小，而源图像的重要信息区域占整幅图像比例不大，这种情况下进行等比例缩放的结果是，图像信息同样会损失严重。裁剪图像的问题在于，往往只对缩小图像有效，当源图像尺寸较大时，往往不能将重要的图像内容都保留，因此也会损失相当一部分图像质量。

   2.图像智能缩放（Image Retargeting）

为了弥补传统缩放方法的不足，图像智能缩放算法就诞生了。智能缩放的智能体现在，不同于以往直接对图像进行缩放的思路，智能缩放考虑了图像内容的重要性差异，根据前提——重要的图像内容应该尽可能保留，而相较不重要的内容可以去掉或复制，将源图像缩放为目标尺寸。

那么缩放问题就转化为：

1）衡量图像内容重要性的方法；

2）尽可能减弱缩放痕迹的缩放策略。

其中，衡量图像内容的重要性的主要方法是计算图中像素的能量值，比较经典的能量计算依据有梯度值（Seam Carving），图像的显著性（显著性大的地方比较容易受人眼的关注）和网格形变量（Robust Image Retargeting，推荐学习）等。

利用下图具体说明智能缩放的目标效果，图片引用自Shai[1]的Seam Carving。

最左图是原图，图像内容的重要性体现在，当我们看一张图片时，人眼最会关注的地方就最重要，

这幅图里相信大家的眼睛最终会停留在那座建筑上，那么那座建筑的重要性就很大。

最右列的上下效果图分别是Seam Carving和比例放大的效果图，可以明显看到区别，

智能缩放（上图）中建筑没有发生明显形变，图片连贯性和完整性都比较自然；

而传统放大技术（下图）将原图直接拉大，图像内容发生严重变形。智能缩放的优点不言而喻。

而图示中间那一列即为Seam Carving算法的中间能量示意图，Seam Carving使用图像的梯度特征进行能量计算。

而缩放策略方面，这里介绍一下Seam Carving方法使用的策略，

每次针对能量最小的缝（Seam）进行移除或复制操作，具体细节后面再介绍。

该方法中还提出，缩放过程中需要考虑图像相邻像素的连续性和单调性，以减弱人为处理的痕迹。

连续性指的是上下（左右）相邻像素不能在横坐标（纵坐标）方向相差太远，

上图中红色的线即为算法检测出的一条缝（Seam），明显可以看到该缝是连续的。

单调性是为了保证图像始终为矩形形状，每次移除或者复制缝（Seam），

每行每列只能操作一个像素点，单调性体现在缝的方向是垂直或水平的，不会出现回路形式的缝（Seam）。

Seam Carving提出针对像素缝的操作在智能缩放中非常经典。

另外，Robust Image Retargeting[2]中提出对图像网格进行缩放操作，因为后面这篇文章还没学习，

之后再整理分享。欢迎大家一起讨论和分享！

今天先对智能缩放进行大致介绍，明天我再对Seam Carving进行总结介绍！

文章链接之后和代码一起再贴上来。

[1] Shai Avidan, Mitsubishi Electric Research Labs, Seam Carving for Content-Aware Image Resizing, 2007

论文链接：http://download.csdn.net/detail/ilovejohnny/9576342

[2] O Weber, Robust Image Retargeting via Axis - Aligned Deformation D Panozzo, 2012 （推荐阅读）

论文链接：http://download.csdn.net/detail/ilovejohnny/9576352

Expecting The V.I.P M.A.D.E World Tour in Tomorrow ! ^_______________^*