OpenCV图像金字塔：高斯金字塔、拉普拉斯金字塔总结

来源：互联网发布：unity3d gui 编辑：程序博客网时间：2024/05/16 15:14

我们经常会将某种尺寸的图像转换为其他尺寸的图像，如果放大或者缩小图片的尺寸，笼统来说的话，可以使用OpenCV为我们提供的如下两种方式：

<1> resize函数。这是最直接的方式，

<2> pyrUp( )、pyrDown( )函数。即图像金字塔相关的两个函数，对图像进行向上采样，向下采样的操作。

pyrUp、pyrDown其实和专门用作放大缩小图像尺寸的resize在功能上差不多，披着图像金字塔的皮，说白了还是在对图像进行放大和缩小操作。另外需要指出的是，pyrUp、pyrDown在OpenCV的imgproc模块中的Image Filtering子模块里。而resize在imgproc 模块的Geometric Image Transformations子模块里。

通常采样指的是下采样，也就是对信号的抽取。连续-〉离散

上采样是下采样的逆过程，也称增取样（Upsampling）或内插（Interpolating）。离散-〉连续或加密！

缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。

下采样原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值：

上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

插值算法分类

对插值算法分类比较混乱，各人有各人的分类算法。文献《图像插值技术综述》中简略的将插值算法分为传统插值、基于边缘的插值和基于区域的插值3类，作为初学者入门明晰插值算法还是有帮助。

1.传统差值原理和评价

在传统图像插值算法中，邻插值较简单，容易实现，早期的时候应用比较普遍。但是，该方法会在新图像中产生明显的锯齿边缘和马赛克现象。双线性插值法具有平滑功能，能有效地克服邻法的不足，但会退化图像的高频部分，使图像细节变模糊。在放大倍数比较高时，高阶插值，如双三次和三次样条插值等比低阶插值效果好。这些插值算法可以使插值生成的像素灰度值延续原图像灰度变化的连续性，从而使放大图像浓淡变化自然平滑。但是在图像中，有些像素与相邻像素间灰度值存在突变，即存在灰度不连续性。这些具有灰度值突变的像素就是图像中描述对象的轮廓或纹理图像的边缘像素。在图像放大中，对这些具有不连续灰度特性的像素，如果采用常规的插值算法生成新增加的像素，势必会使放大图像的轮廓和纹理模糊，降低图像质量。

2.基于边缘的图像插值算法

为了克服传统方法的不足，提出了许多边缘保护的插值方法，对插值图像的边缘有一定的增强，使得图像的视觉效果更好，边缘保护的插值方法可以分为两类：基于原始低分辨图像边缘的方法和基于插值后高分辨率图像边缘的方法。基于原始低分辨率图像边缘的方法:( 1)首先检测低分辨率图像的边缘，然后根据检测的边缘将像素分类处理，对于平坦区域的像素，采用传统方法插值；对于边缘区域的像素，设计特殊插值方法，以达到保持边缘细节的目的。(2)基于插值后高分辨率图像边缘的方法这类插值方法:首先采用传统方法插值低分辨率图像，然后检测高分辨率图像的边缘，最后对边缘及附近像素进行特殊处理，以去除模糊，增强图像的边缘。

3.基于区域的图像插值算法

首先将原始低分辨率图像分割成不同区域，然后将插值点映射到低分辨率图像，判断其所属区域，最后根据插值点的邻域像素设计不同的插值公式，计算插值点的值。

金字塔图像分割函数 - cvPyrSegmentation()

1 void cvPyrSegmentation(2 IplImage* src, 　　　　　　 // 输入图像3 IplImage* dst, 　　　　　　// 输出图像4 CvMemStorage* storage, 　// 这个参数和下个参数用来管理关于分割结果的一些细致信息5 CvSeq** comp,6 int level, 　　　　　 // 金字塔等级7 double threshold1, 　　　// 建立连接的错误阈值 8 double threshold2 　　 // 分割簇的错误阈值9 );一、引言

我们经常会将某种尺寸的图像转换为其他尺寸的图像，如果放大或者缩小图片的尺寸，笼统来说的话，可以使用OpenCV为我们提供的如下两种方式：

<1>resize函数。这是最直接的方式，

<2>pyrUp( )、pyrDown( )函数。即图像金字塔相关的两个函数，对图像进行向上采样，向下采样的操作。

关于图像金字塔

图像金字塔是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。

图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。

金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。

我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

一般情况下有两种类型的图像金字塔常常出现在文献和以及实际运用中。他们分别是:

高斯金字塔(Gaussianpyramid): 用来向下采样，主要的图像金字塔
拉普拉斯金字塔(Laplacianpyramid): 用来从金字塔低层图像重建上层未采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。

两者的简要区别：高斯金字塔用来向下降采样图像，而拉普拉斯金字塔则用来从金字塔底层图像中向上采样重建一个图像。

要从金字塔第i层生成第i+1层（我们表示第i+1层为G_i+1），我们先要用高斯核对G_1进行卷积，然后删除所有偶数行和偶数列。当然的是，新得到图像面积会变为源图像的四分之一。按上述过程对输入图像G_0执行操作就可产生出整个金字塔。

当图像向金字塔的上层移动时，尺寸和分辨率就降低。OpenCV中，从金字塔中上一级图像生成下一级图像的可以用PryDown。而通过PryUp将现有的图像在每个维度都放大两遍。

图像金字塔中的向上和向下采样分别通过OpenCV函数 pyrUp 和 pyrDown 实现。

概括起来就是：

对图像向上采样：pyrUp函数
对图像向下采样：pyrDown函数

这里的向下与向上采样，是对图像的尺寸而言的（和金字塔的方向相反），向上就是图像尺寸加倍，向下就是图像尺寸减半。而如果我们按上图中演示的金字塔方向来理解，金字塔向上图像其实在缩小，这样刚好是反过来了。

但需要注意的是，PryUp和PryDown不是互逆的，即PryUp不是降采样的逆操作。这种情况下，图像首先在每个维度上扩大为原来的两倍，新增的行（偶数行）以0填充。然后给指定的滤波器进行卷积（实际上是一个在每个维度都扩大为原来两倍的过滤器）去估计“丢失”像素的近似值。

PryDown( )是一个会丢失信息的函数。为了恢复原来更高的分辨率的图像，我们要获得由降采样操作丢失的信息，这些数据就和拉普拉斯金字塔有关系了。

2.1 高斯金字塔

高斯金字塔是通过高斯平滑和亚采样获得一些列下采样图像，也就是说第K层高斯金字塔通过平滑、亚采样就可以获得K+1层高斯图像，高斯金字塔包含了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐增加，所以高斯金字塔可以跨越很大的频率范围。金字塔的图像如下：

另外，每一层都按从下到上的次序编号，层级 G_i+1 (表示为 G_i+1尺寸小于第i层G_i)。

2.1.1 对图像的向下取样

为了获取层级为 G_i+1 的金字塔图像，我们采用如下方法:

<1>对图像G_i进行高斯内核卷积

<2>将所有偶数行和列去除

得到的图像即为G_i+1的图像，显而易见，结果图像只有原图的四分之一。通过对输入图像G_i(原始图像)不停迭代以上步骤就会得到整个金字塔。同时我们也可以看到，向下取样会逐渐丢失图像的信息。

以上就是对图像的向下取样操作，即缩小图像。

2.1.2 对图像的向上取样

如果想放大图像，则需要通过向上取样操作得到，具体做法如下：

<1>将图像在每个方向扩大为原来的两倍，新增的行和列以0填充

<2>使用先前同样的内核(乘以4)与放大后的图像卷积，获得 “新增像素”的近似值

得到的图像即为放大后的图像，但是与原来的图像相比会发觉比较模糊，因为在缩放的过程中已经丢失了一些信息，如果想在缩小和放大整个过程中减少信息的丢失，这些数据形成了拉普拉斯金字塔。

那么，我们接下来一起看一看拉普拉斯金字塔的概念吧。

2.2 拉普拉斯金字塔

下式是拉普拉斯金字塔第i层的数学定义：

式中的表示第i层的图像。而UP（）操作是将源图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，即在进行向上取样。符号表示卷积，为5x5的高斯内核。

我们下文将要介绍的pryUp，就是在进行上面这个式子的运算。

因此，我们可以直接用OpenCV进行拉普拉斯运算：

也就是说，拉普拉斯金字塔是通过源图像减去先缩小后再放大的图像的一系列图像构成的。

整个拉普拉斯金字塔运算过程可以通过下图来概括：

所以，我们可以将拉普拉斯金字塔理解为高斯金字塔的逆形式。

另外再提一点，关于图像金字塔非常重要的一个应用就是实现图像分割。图像分割的话，先要建立一个图像金字塔，然后在G_i和G_i+1的像素直接依照对应的关系，建立起”父与子“关系。而快速初始分割可以先在金字塔高层的低分辨率图像上完成，然后逐层对分割加以优化。

三、resize( )函数剖析

resize( )为OpenCV中专职调整图像大小的函数。

此函数将源图像精确地转换为指定尺寸的目标图像。如果源图像中设置了ROI（Region Of Interest ，感兴趣区域），那么resize( )函数会对源图像的ROI区域进行调整图像尺寸的操作，来输出到目标图像中。若目标图像中已经设置ROI区域，不难理解resize( )将会对源图像进行尺寸调整并填充到目标图像的ROI中。

很多时候，我们并不用考虑第二个参数dst的初始图像尺寸和类型（即直接定义一个Mat类型，不用对其初始化），因为其尺寸和类型可以由src,dsize,fx和fy这其他的几个参数来确定。

看一下它的函数原型：

C++: void resize(InputArray src,OutputArray dst, Size dsize, double fx=0, double fy=0, int interpolation=INTER_LINEAR )

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。
第二个参数，OutputArray类型的dst，输出图像，当其非零时，有着dsize（第三个参数）的尺寸，或者由src.size()计算出来。
第三个参数，Size类型的dsize，输出图像的大小;如果它等于零，由下式进行计算：

其中，dsize，fx，fy都不能为0。

第四个参数，double类型的fx，沿水平轴的缩放系数，有默认值0，且当其等于0时，由下式进行计算：

第五个参数，double类型的fy，沿垂直轴的缩放系数，有默认值0，且当其等于0时，由下式进行计算：

第六个参数，int类型的interpolation，用于指定插值方式，默认为INTER_LINEAR（线性插值）。

可选的插值方式如下：

INTER_NEAREST - 最近邻插值
INTER_LINEAR - 线性插值（默认值）
INTER_AREA - 区域插值（利用像素区域关系的重采样插值）
INTER_CUBIC –三次样条插值（超过4×4像素邻域内的双三次插值）
INTER_LANCZOS4 -Lanczos插值（超过8×8像素邻域的Lanczos插值）

若要缩小图像，一般情况下最好用CV_INTER_AREA来插值，

而若要放大图像，一般情况下最好用CV_INTER_CUBIC（效率不高，慢，不推荐使用）或CV_INTER_LINEAR（效率较高，速度较快，推荐使用）。

关于插值，我们看几张图就能更好地理解。先看原图：

当进行6次图像缩小接着6次图像放大操作后，两种不同的插值方式得到的效果图：

效果很明显，第一张全是一个个的像素，非常影响美观。另外一张却有雾化的朦胧美感，所以插值方式的选择，对经过多次放大缩小的图片最终得到的效果是有很大影响的。

接着我们来看两种resize的调用范例。

方式一，调用范例：

Mat dst=Mat::zeros(512 ,512, CV_8UC3 );//新建一张512x512尺寸的图片
Mat src=imread(“1.jpg”);
//显式指定dsize=dst.size（）,那么fx和fy会其计算出来，不用额外指定。
resize(src, dst, dst.size());

方式二、调用范例：

Mat dst;
Mat src=imread(“1.jpg”)
//指定fx和fy，让函数计算出目标图像的大小。
resize(src, dst, Size(), 0.5, 0.5);

接着我们看看完整的示例程序：

//-----------------------------------【头文件包含部分】---------------------------------------
// 描述：包含程序所依赖的头文件
//----------------------------------------------------------------------------------------------
#include <opencv2/opencv.hpp>
#include <opencv2/imgproc/imgproc.hpp>
//-----------------------------------【命名空间声明部分】---------------------------------------
// 描述：包含程序所使用的命名空间
//-----------------------------------------------------------------------------------------------
using namespace cv;
//-----------------------------------【main( )函数】--------------------------------------------
// 描述：控制台应用程序的入口函数，我们的程序从这里开始
//-----------------------------------------------------------------------------------------------
int main( )
{
//载入原始图
Mat srcImage = imread("1.jpg"); //工程目录下应该有一张名为1.jpg的素材图
Mat tmpImage,dstImage1,dstImage2;//临时变量和目标图的定义
tmpImage=srcImage;//将原始图赋给临时变量
//显示原始图
imshow("【原始图】", srcImage);
//进行尺寸调整操作
resize(tmpImage,dstImage1,Size( tmpImage.cols/2, tmpImage.rows/2 ),(0,0),(0,0),3);
resize(tmpImage,dstImage2,Size( tmpImage.cols*2, tmpImage.rows*2 ),(0,0),(0,0),3);
//显示效果图
imshow("【效果图】之一", dstImage1);
imshow("【效果图】之二", dstImage2);
waitKey(0);
return 0;
}

程序运行截图：

四、pyrUp()函数剖析

pyrUp( )函数的作用是向上采样并模糊一张图像，说白了就是放大一张图片。

C++: void pyrUp(InputArray src, OutputArraydst, const Size& dstsize=Size(), int borderType=BORDER_DEFAULT )

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。
第二个参数，OutputArray类型的dst，输出图像，和源图片有一样的尺寸和类型。
第三个参数，const Size&类型的dstsize，输出图像的大小;有默认值Size()，即默认情况下，由Size（src.cols*2，src.rows*2）来进行计算，且一直需要满足下列条件：

第四个参数，int类型的borderType，又来了，边界模式，一般我们不用去管它。

pyrUp函数执行高斯金字塔的采样操作，其实它也可以用于拉普拉斯金字塔的。

首先，它通过插入可为零的行与列，对源图像进行向上取样操作，然后将结果与pyrDown（）乘以4的内核做卷积，就是这样。

直接看完整的示例程序：

#include <opencv2/opencv.hpp>
#include <opencv2/imgproc/imgproc.hpp>
using namespace cv;
int main( )
{
//载入原始图
Mat srcImage = imread("1.jpg"); //工程目录下应该有一张名为1.jpg的素材图
Mat tmpImage,dstImage;//临时变量和目标图的定义
tmpImage=srcImage;//将原始图赋给临时变量
//显示原始图
imshow("【原始图】", srcImage);
//进行向上取样操作
pyrUp( tmpImage, dstImage, Size( tmpImage.cols*2, tmpImage.rows*2 ) );
//显示效果图
imshow("【效果图】", dstImage);
waitKey(0);
return 0;
}

程序运行截图：

五、pyrDown()函数剖析

pyrDown( )函数的作用是向下采样并模糊一张图片，说白了就是缩小一张图片。

C++: void pyrDown(InputArray src,OutputArray dst, const Size& dstsize=Size(), int borderType=BORDER_DEFAULT)

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。
第二个参数，OutputArray类型的dst，输出图像，和源图片有一样的尺寸和类型。
第三个参数，const Size&类型的dstsize，输出图像的大小;有默认值Size()，即默认情况下，由Size Size((src.cols+1)/2, (src.rows+1)/2)来进行计算，且一直需要满足下列条件：

该pyrDown函数执行了高斯金字塔建造的向下采样的步骤。首先，它将源图像与如下内核做卷积运算：

接着，它便通过对图像的偶数行和列做插值来进行向下采样操作。

依然是看看完整的示例程序：

#include <opencv2/opencv.hpp>
#include <opencv2/imgproc/imgproc.hpp>
using namespace cv;
int main( )
{
//载入原始图
Mat srcImage = imread("1.jpg"); //工程目录下应该有一张名为1.jpg的素材图
Mat tmpImage,dstImage;//临时变量和目标图的定义
tmpImage=srcImage;//将原始图赋给临时变量
//显示原始图
imshow("【原始图】", srcImage);
//进行向下取样操作
pyrDown( tmpImage, dstImage, Size( tmpImage.cols/2, tmpImage.rows/2 ) );
//显示效果图
imshow("【效果图】", dstImage);
waitKey(0);
return 0;
}

程序运行截图：

六、综合示例篇——在实战中熟稔

依然是每篇文章都会配给大家的一个详细注释的博文配套示例程序，把这篇文章中介绍的知识点以代码为载体，展现给大家。

这个示例程序中，分别演示了用resize，pryUp，pryDown来让源图像进行放大缩小的操作，分别用键盘按键1、2、3、4、A、D、W、S来控制图片的放大与缩小：

OK，上详细注释的代码吧：

#include <opencv2/opencv.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
//-----------------------------------【宏定义部分】--------------------------------------------
#define WINDOW_NAME "【程序窗口】" //为窗口标题定义的宏
using namespace std;
using namespace cv;
Mat g_srcImage, g_dstImage, g_tmpImage;
static void ShowHelpText();
//-----------------------------------【ShowHelpText( )函数】----------------------------------
// 描述：输出一些帮助信息
//----------------------------------------------------------------------------------------------
static void ShowHelpText()
{
//输出一些帮助信息
printf("\n\n\n\t欢迎来到OpenCV图像金字塔和resize示例程序~\n\n");
printf( "\n\n\t按键操作说明: \n\n"
"\t\t键盘按键【ESC】或者【Q】- 退出程序\n"
"\t\t键盘按键【1】或者【W】- 进行基于【resize】函数的图片放大\n"
"\t\t键盘按键【2】或者【S】- 进行基于【resize】函数的图片缩小\n"
"\t\t键盘按键【3】或者【A】- 进行基于【pyrUp】函数的图片放大\n"
"\t\t键盘按键【4】或者【D】- 进行基于【pyrDown】函数的图片缩小\n"
"\n\n\t\t\t\t\t\t\t\t by浅墨\n\n\n"
);
}
int main( )
{
//改变console字体颜色
system("color 2F");
//显示帮助文字
ShowHelpText();
//载入原图
g_srcImage = imread("1.jpg");//工程目录下需要有一张名为1.jpg的测试图像，且其尺寸需被2的N次方整除，N为可以缩放的次数
if( !g_srcImage.data ) { printf("Oh，no，读取srcImage错误~！ \n"); return false; }
// 创建显示窗口
namedWindow( WINDOW_NAME, CV_WINDOW_AUTOSIZE );
imshow(WINDOW_NAME, g_srcImage);
//参数赋值
g_tmpImage = g_srcImage;
g_dstImage = g_tmpImage;
int key =0;
//轮询获取按键信息
while(1)
{
key=waitKey(9) ;//读取键值到key变量中
//根据key变量的值，进行不同的操作
switch(key)
{
//======================【程序退出相关键值处理】=======================
case 27://按键ESC
return 0;
break;
case 'q'://按键Q
return 0;
break;
//======================【图片放大相关键值处理】=======================
case 'a'://按键A按下，调用pyrUp函数
pyrUp( g_tmpImage, g_dstImage, Size( g_tmpImage.cols*2, g_tmpImage.rows*2 ) );
printf( ">检测到按键【A】被按下，开始进行基于【pyrUp】函数的图片放大：图片尺寸×2 \n" );
break;
case 'w'://按键W按下，调用resize函数
resize(g_tmpImage,g_dstImage,Size( g_tmpImage.cols*2, g_tmpImage.rows*2 ));
printf( ">检测到按键【W】被按下，开始进行基于【resize】函数的图片放大：图片尺寸×2 \n" );
break;
case '1'://按键1按下，调用resize函数
resize(g_tmpImage,g_dstImage,Size( g_tmpImage.cols*2, g_tmpImage.rows*2 ));
printf( ">检测到按键【1】被按下，开始进行基于【resize】函数的图片放大：图片尺寸×2 \n" );
break;
case '3': //按键3按下，调用pyrUp函数
pyrUp( g_tmpImage, g_dstImage, Size( g_tmpImage.cols*2, g_tmpImage.rows*2 ));
printf( ">检测到按键【3】被按下，开始进行基于【pyrUp】函数的图片放大：图片尺寸×2 \n" );
break;
//======================【图片缩小相关键值处理】=======================
case 'd': //按键D按下，调用pyrDown函数
pyrDown( g_tmpImage, g_dstImage, Size( g_tmpImage.cols/2, g_tmpImage.rows/2 ));
printf( ">检测到按键【D】被按下，开始进行基于【pyrDown】函数的图片缩小：图片尺寸/2\n" );
break;
case 's' : //按键S按下，调用resize函数
resize(g_tmpImage,g_dstImage,Size( g_tmpImage.cols/2, g_tmpImage.rows/2 ));
printf( ">检测到按键【S】被按下，开始进行基于【resize】函数的图片缩小：图片尺寸/2\n" );
break;
case '2'://按键2按下，调用resize函数
resize(g_tmpImage,g_dstImage,Size( g_tmpImage.cols/2, g_tmpImage.rows/2 ),(0,0),(0,0),2);
printf( ">检测到按键【2】被按下，开始进行基于【resize】函数的图片缩小：图片尺寸/2\n" );
break;
case '4': //按键4按下，调用pyrDown函数
pyrDown( g_tmpImage, g_dstImage, Size( g_tmpImage.cols/2, g_tmpImage.rows/2 ) );
printf( ">检测到按键【4】被按下，开始进行基于【pyrDown】函数的图片缩小：图片尺寸/2\n" );
break;
}
//经过操作后，显示变化后的图
imshow( WINDOW_NAME, g_dstImage );
//将g_dstImage赋给g_tmpImage，方便下一次循环
g_tmpImage = g_dstImage;
}
return 0;
}

放一些程序运行截图。

原始图：

经过多次按键后的效果图：

另外，还可以放大图像到很大的尺寸，上图的话会很凶残而且不美观。所以就不放出超过原图尺寸的截图了。

好的，就放出这些效果图，具体更多的运行效果大家就自己下载示例程序回去玩~

本篇文章的配套源代码请点击这里下载：

【浅墨OpenCV入门教程之十三】配套源代码下载

OK，今天的内容大概就是这些，我们下篇文章见：）

0 0