opencv 图像去噪要点总结

opencv 图像去噪要点总结

一 图像平滑

图像平滑与图像模糊是同一概念，主要用于图像的去噪。平滑要使用滤波器，为不改变图像的相位信息，一般使用线性滤波器。不同的核函数代表不同的滤波器，有不同的用途。

常见的滤波器包括：归一化滤波器，也是均值滤波器，用输出像素点核窗口内的像素均值代替输出点像素值。
高斯滤波器，实际中最常用的滤波器，高斯滤波是将输入数组的每一个像素点与 高斯内核 卷积将卷积和当作输出像素值。
中值滤波器，中值滤波将图像的每个像素用邻域(以当前像素为中心的正方形区域)像素的中值代替。对椒盐噪声最有效，去除跳变点非常有效。
双边滤波器，为避免滤波器平滑图像去噪的同时使边缘也模糊，这种情况下使用双边滤波器。

四种滤波方法分别使用到4个OpenCV函数，这些函数的前2个参数都是原图像和滤波后图像。
归一化滤波器blur的第3个参数为滤波核窗口的大小，Size(i,i)表示ixi大小的窗口。
高斯滤波器GaussianBlur第3个参数也是滤波核窗口的大小，第4、第5个参数分辨表示x方向和y方向的δ。
中值滤波器medianBlur第3个参数是滤波器的长度，该滤波器的窗口为正方形。

双边滤波器的函数原型如下：
//! smooths the image using bilateral filter
CV_EXPORTS_W void bilateralFilter( InputArray src, OutputArray dst, int d,
                             double sigmaColor, double sigmaSpace,
                             int borderType=BORDER_DEFAULT );

二 图像代数运算 - 平均值去噪，减去背景

代数运算，就是对两幅图像的点之间进行加、减、乘、除的运算。
代数运算中比较常用的是图像相加和相减。图像相加常用来求平均值去除addtive噪声或者实现二次曝光。
图像相减用于减去背景或周期噪声，污染等。

图像相加
OpenCV中提供了相加的函数
void cvAcc(   
           const CvArr* image,//输入图像  
           CvArr* sum,  //累积图像   
           const CvArr* mask=NULL//可选的运算  
 );  

还需要用到一个线性变换转换函数来对相加的结果求平均
void cvConvertScale(   
        const CvArr* src, //输入数组  
        CvArr* dst,//输出数组  
        double scale=1,//比例  
        double shift=0 //缩放比例，可选  
);  

曝光和去噪是一样的，也是对几幅图像求平均。

图像相减
OpenCV中用cvAbsDiff函数计算两数组的差的绝对值

void cvAbsDiff(   
        const CvArr* src1,//第一个输入数组  
        const CvArr* src2,//第二个输入数组  
        CvArr* dst//输出数组  
);  

减去背景是通过两幅图像代数相减，可以判断出前景区域和运动区域，这是最简单（很多时候也是效果很好的）运动检测方法。

三 线性滤波 - 方框滤波、均值滤波与高斯滤波

一、理论

1.平滑处理
“平滑处理“（smoothing）也称“模糊处理”（bluring）。平滑处理的用途，最常见的是用来减少图像上的噪点或者失真。在涉及到降低图像分辨率时，平滑处理是非常好用的方法。

2.滤波与滤波器
滤波是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。
而滤波器就是建立的一个数学模型，通过这个模型来将图像数据进行能量转化，能量低的就排除掉，噪声就是属于低能量部分。

一种形象的比喻法是：我们可以把滤波器想象成一个包含加权系数的窗口，当使用这个滤波器平滑处理图像时，就把这个窗口放到图像之上，透过这个窗口来看我们得到的图像。

在新版本的OpenCV中，提供了如下五种常用的图像平滑处理操作方法，且他们分别被封装在单独的函数中，

方框滤波——boxblur函数
均值滤波——blur函数
高斯滤波——GaussianBlur函数
中值滤波——medianBlur函数
双边滤波——bilateralFilter函数

3.线性滤波器
线性滤波器：线性滤波器经常用于剔除输入信号中不想要的频率或者从许多频率中选择一个想要的频率。

几种常见的线性滤波器：
允许低频率通过的 低通滤波器 。
允许高频率通过的 高通滤波器 。
允许一定范围频率通过的 带通滤波器 。
阻止一定范围频率通过并且允许其它频率通过的 带阻滤波器 。
允许所有频率通过、仅仅改变相位关系的 全通滤波器 。
阻止一个狭窄频率范围通过的特殊 带阻滤波器 ， 陷波滤波器 （Band-stop filter）。

4.关于滤波和模糊
滤波是将信号中特定波段频率滤除的操作。

高斯滤波是指用高斯函数作为滤波函数的滤波操作 ，至于是不是模糊，要看是高斯低通还是高斯高通，低通就是模糊，高通就是锐化。

5.线性滤波
线性滤波是一种常用的邻域算子，像素的输出值取决于输入像素的加权和。

6.方框滤波（box Filter）
void boxFilter(InputArray src,OutputArray dst, int ddepth, Size ksize, Point 
anchor=Point(-1,-1), boolnormalize=true, int borderType=BORDER_DEFAULT )

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。该函数对通道是独立处
理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, 
CV_32F 以及 CV_64F之一。
第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
第三个参数，int类型的ddepth，输出图像的深度，-1代表使用原图深度，即src.depth()。
第四个参数，Size类型（对Size类型稍后有讲解）的ksize，内核的大小。一般这样写Size( w,h )来表示
内核的大小( 其中，w 为像素宽度， h为像素高度)。Size（3,3）就表示3x3的核大小，Size（5,5）就表
示5x5的核大小
第五个参数，Point类型的anchor，表示锚点（即被平滑的那个点），注意他有默认值Point(-1,-1)。如
果这个点坐标是负值的话，就表示取核的中心为锚点，所以默认值Point(-1,-1)表示这个锚点在核的中心
。
第六个参数，bool类型的normalize，默认值为true，一个标识符，表示内核是否被其区域归一化
（normalized）了。
第七个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT
，一般不去管它。

均值滤波是方框滤波归一化（normalized）后的特殊情况。其中，归一化就是把要处
理的量都缩放到一个范围内,比如(0,1)，以便统一处理和直观量化。

而非归一化（Unnormalized）的方框滤波用于计算每个像素邻域内的积分特性，比如密集光流算法
（dense optical flow algorithms）中用到的图像倒数的协方差矩阵（covariance matrices of image 
derivatives）

如果我们要在可变的窗口中计算像素总和，可以使用integral()函数。

7.均值滤波
均值滤波，是最简单的一种滤波操作，输出图像的每一个像素是核窗口内输入图像对应像素的像素的平均
值( 所有像素加权系数相等)，其实说白了它就是归一化后的方框滤波。

均值滤波是典型的线性滤波算法，主要方法为邻域平均法，即用一片图像区域的各个像素的均值来代替原
图像中的各个像素值。一般需要在图像上对目标像素给出一个模板（内核），该模板包括了其周围的临近
像素（比如以目标像素为中心的周围8（3x3-1）个像素，构成一个滤波模板，即去掉目标像素本身）。再
用模板中的全体像素的平均值来代替原来像素值。即对待处理的当前像素点（x，y），选择一个模板，该
模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处
理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y） ，其中m为该模板中包含当前像
素在内的像素总个数。

均值滤波的缺陷
它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

blur 函数的原型：
void blur(InputArray src, OutputArraydst, Size ksize, Point anchor=Point(-1,-1), int 
borderType=BORDER_DEFAULT )

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。该函数对通道是独立处
理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, 
CV_32F 以及 CV_64F之一。
第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。比如可以用
Mat::Clone，以源图片为模板，来初始化得到如假包换的目标图。
第三个参数，Size类型（对Size类型稍后有讲解）的ksize，内核的大小。一般这样写Size( w,h )来表示
内核的大小( 其中，w 为像素宽度， h为像素高度)。Size（3,3）就表示3x3的核大小，Size（5,5）就表
示5x5的核大小
第四个参数，Point类型的anchor，表示锚点（即被平滑的那个点），注意他有默认值Point(-1,-1)。如
果这个点坐标是负值的话，就表示取核的中心为锚点，所以默认值Point(-1,-1)表示这个锚点在核的中心
。
第五个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT
，一般不去管它。

8.高斯滤波
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波就是对
整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加
权平均后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模
板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

高斯模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散
景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图
像在不同比例大小下的图像效果（参见尺度空间表示以及尺度空间实现）。从数学的角度来看，图像的高
斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。
图像与圆形方框模糊做卷积将会生成更加精确的焦外成像效果。由于高斯函数的傅立叶变换是另外一个高
斯函数，所以高斯模糊对于图像来说就是一个低通滤波操作。

  高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对于抑制服从正
态分布的噪声非常有效。
对于图像处理来说，常用二维零均值离散高斯函数作平滑滤波器。

void GaussianBlur(InputArray src,OutputArray dst, Size ksize, double sigmaX, double 
sigmaY=0, intborderType=BORDER_DEFAULT )

第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。它可以是单独的任意通
道数的图片，但需要注意，图片深度应该为CV_8U,CV_16U, CV_16S, CV_32F 以及 CV_64F之一。
第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。比如可以用
Mat::Clone，以源图片为模板，来初始化得到如假包换的目标图。
第三个参数，Size类型的ksize高斯内核的大小。其中ksize.width和ksize.height可以不同，但他们都必
须为正数和奇数。或者，它们可以是零的，它们都是由sigma计算而来。
第四个参数，double类型的sigmaX，表示高斯核函数在X方向的的标准偏差。
第五个参数，double类型的sigmaY，表示高斯核函数在Y方向的的标准偏差。若sigmaY为零，就将它设为
sigmaX，如果sigmaX和sigmaY都是0，那么就由ksize.width和ksize.height计算出来。
为了结果的正确性着想，最好是把第三个参数Size，第四个参数sigmaX和第五个参数sigmaY全部指定到。
第六个参数， int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT
，一般不去管它。

二、相关OpenCV源码流程

OpenCV中线性滤波函数——boxFilter，blur和GaussianBlur函数以及涉及到的源码的流程。

1 OpenCV中boxFilter函数

OpenCV的安装路径的\sources\modules\imgproc\src下的smooth.cpp源文件

boxFilter（）函数
代码作用：进行box Filter滤波操作的函数
OpenCV源代码版本：2.4.8
源码路径：…\opencv\sources\modules\imgproc\src\smooth.cpp

流程
拷贝源图的形参Mat数据到临时变量，用于稍后的操作
定义int型临时变量，代表源图深度的sdepth，源图通道的引用cn
处理ddepth小于零的情况
初始化目标图
拷贝目标图的形参Mat数据到临时变量，用于稍后的操作
处理 borderType不为 BORDER_CONSTANT 且normalize为真的情况
若之前有过HAVE_TEGRA_OPTIMIZATION优化选项的定义，则执行宏体中的tegra优化版函数并返回
调用FilterEngine滤波引擎，正式开始滤波操作

其中的Ptr是用来动态分配的对象的智能指针模板类。可以发现，函数的内部代码思路是很清晰的，先拷贝源图的形参Mat数据到临时变量，定义一些临时变量，在处理ddepth小于零的情况，接着处理 
borderType不为 BORDER_CONSTANT 且normalize为真的情况，最终调用FilterEngine滤波引擎创建一个
BoxFilter，正式开始滤波操作。

这里的FilterEngine是OpenCV图像滤波功能的核心引擎。

2 FilterEngine 类 - OpenCV图像滤波核心引擎

各种滤波函数比如blur， GaussianBlur，到头来其实是就是在函数末尾处定义了一个Ptr<FilterEngine>类型的f，然后f->apply( src, dst )了一下而已。
这个类可以把几乎是所有的滤波操作施加到图像上。它包含了所有必要的中间缓存器。有很多和滤波相关
的create系函数的返回值直接就是Ptr<FilterEngine>。

其中的Ptr是用来动态分配的对象的智能指针模板类，而上面的尖括号里面的模板参数就是FilterEngine。

使用FilterEngine类可以分块处理大量的图像，构建复杂的管线，其中就包含一些进行滤波阶段。如果我
们需要使用预先定义好的的滤波操作，cv::filter2D(), cv::erode(),以及cv::dilate()，可以选择，他
们不依赖于FilterEngine，在自己函数体内部就实现了FilterEngine提供的功能。不像其他的诸如blur系列函数，依赖于FilterEngine引擎。

FilterEngine类源代码流程
代码作用：FilterEngine类，OpenCV图像滤波功能的核心引擎
OpenCV源代码版本：2.4.8
源码路径：…\opencv\sources\modules\imgproc\include\opencv2\imgproc\imgproc.hpp
 
默认构造函数
完整的构造函数
默认析构函数
重新初始化引擎。释放之前滤波器申请的内存。
开始对指定了ROI区域和尺寸的图片进行滤波操作
开始对指定了ROI区域的图片进行滤波操作
处理图像的下一个srcCount行（函数的第三个参数）
对图像指定的ROI区域进行滤波操作，若srcRoi=(0,0,-1,-1)，则对整个图像进行滤波操作
如果滤波器可分离，则返回true
返回输入和输出行数
一些成员参数定义

3 OpenCV中size类型剖析

……\opencv\sources\modules\core\include\opencv2\core\core.hpp路径下

原型声明
typedef Size_<int> Size2i;
typedef Size2i Size;

Size_ 是个模板类，在这里Size_<int>表示其类体内部的模板所代表的类型为int。
首先给已知的数据类型Size_<int>起个新名字，叫Size2i。
然后又给已知的数据类型Size2i起个新名字，叫Size。
连起来就是，Size_<int>、Size2i、Size这三个类型名等价。

Size_模板类的定义：
OpenCV源代码版本：2.4.8
源码路径：…\opencv\sources\modules\core\include\opencv2\core\core.hpp

不同的构造函数定义
区域(width*height)
转化另一种数据类型。
转换为旧式的OpenCV类型.
宽度和高度，常用属性

可以看到Size_模板类的内部又是重载了一些构造函数以满足我们的需要，其中，我们用得最多的是如下
这个构造函数：
Size_(_Tp _width, _Tp _height);

另外，代码末尾定义了模板类型的宽度和高度：
_Tp width, height; //宽度和高度
于是我们可以用XXX. width和XXX.height来分别表示其宽度和高度。

一个示例，方便理解：
Size(5, 5)；//构造出的Size宽度和高度都为5，即XXX.width和XXX.height都为5

4 OpenCV中blur函数源码剖析

blur
代码作用：进行blur均值滤波操作的函数
OpenCV源代码版本：2.4.8
源码路径：…\opencv\sources\modules\imgproc\src\smooth.cpp

流程
调用boxFilter函数进行处理

可以看到在blur函数内部就是调用了一个boxFilter函数，且第六个参数为true，即上文所说的
normalize=true，即均值滤波是均一化后的方框滤波。

5 GaussianBlur函数源码流程

代码作用：封装高斯滤波的GaussianBlur（）函数
OpenCV源代码版本：2.4.8
源码路径：…\opencv\sources\modules\imgproc\src\smooth.cpp

流程：
拷贝形参Mat数据到临时变量，用于稍后的操作
处理边界选项不为BORDER_CONSTANT时的情况
若ksize长宽都为1，将源图拷贝给目标图
若之前有过HAVE_TEGRA_OPTIMIZATION优化选项的定义，则执行宏体中的tegra优化版函数并返回
如果HAVE_IPP&& (IPP_VERSION_MAJOR >= 7为真，则执行宏体中语句
调动滤波引擎，正式进行高斯滤波操作

三、线性滤波函数调用示例

1 boxFilter函数——方框滤波

调用代码示范：

       //载入原图
       Matimage=imread("2.jpg");
       //进行均值滤波操作
       Matout;
       boxFilter(image, out, -1,Size(5, 5));

2 blur函数——均值滤波
调用代码示范：

       //载入原图
       Matimage=imread("1.jpg");
       //进行均值滤波操作
       Matout;
       blur(image, out, Size(7, 7));

3 GaussianBlur函数——高斯滤波
调用示例：

//载入原图
       Matimage=imread("1.jpg");
       //进行滤波操作
       Matout;
       blur(image, out, Size(5, 5));

四、图像线性滤波综合示例

示例程序中用轨迹条来控制三种线性滤波的核参数值，通过滑动滚动条，控制图像在三种
线性滤波下的模糊度。

主要代码如下；

......
//全局变量声明
Matg_srcImage,g_dstImage1,g_dstImage2,g_dstImage3;//存储图片的Mat类型
int g_nBoxFilterValue=3;  //方框滤波参数值
int g_nMeanBlurValue=3;  //均值滤波参数值
int g_nGaussianBlurValue=3;  //高斯滤波参数值

......
//全局函数声明
//四个轨迹条的回调函数
static void on_BoxFilter(int, void *);     //均值滤波
static void on_MeanBlur(int, void *);    //均值滤波
static void on_GaussianBlur(int, void *);      //高斯滤波
 
//改变console字体颜色
system("color5E"); 

//载入原图
g_srcImage= imread( "1.jpg", 1 );
if(!g_srcImage.data ) { printf("Oh，no，读取srcImage错误~！\n"); return false; }
 
//克隆原图到三个Mat类型中
g_dstImage1= g_srcImage.clone( );
g_dstImage2= g_srcImage.clone( );
g_dstImage3= g_srcImage.clone( );
 
//显示原图
namedWindow("<0>原图窗口", 1);
imshow("<0>原图窗口",g_srcImage);
 
//方框滤波
namedWindow("<1>方框滤波", 1);
//创建轨迹条
createTrackbar("内核值：", "<1>方框滤波",&g_nBoxFilterValue, 40,on_BoxFilter );
on_MeanBlur(g_nBoxFilterValue,0);
imshow("<1>方框滤波", g_dstImage1);

//均值滤波
namedWindow("<2>均值滤波", 1);
createTrackbar("内核值：", "<2>均值滤波",&g_nMeanBlurValue, 40,on_MeanBlur );
on_MeanBlur(g_nMeanBlurValue,0);

//高斯滤波
namedWindow("<3>高斯滤波", 1);
createTrackbar("内核值：", "<3>高斯滤波",&g_nGaussianBlurValue, 40,on_GaussianBlur );

on_GaussianBlur(g_nGaussianBlurValue,0);

......

//方框滤波操作的回调函数

static void on_BoxFilter(int, void *)
{
  //方框滤波操作
  boxFilter(g_srcImage, g_dstImage1, -1,Size( g_nBoxFilterValue+1, g_nBoxFilterValue+1));
  //显示窗口
  imshow("<1>方框滤波", g_dstImage1);
}
 
//均值滤波操作的回调函数
static void on_MeanBlur(int, void *)
{
  //均值滤波操作
  blur(g_srcImage, g_dstImage2, Size( g_nMeanBlurValue+1, g_nMeanBlurValue+1),Point(-1,-1));
  //显示窗口
  imshow("<2>均值滤波", g_dstImage2);
}
  
//高斯滤波操作的回调函数
static void on_GaussianBlur(int, void *)
{
  //高斯滤波操作
  GaussianBlur(g_srcImage, g_dstImage3, Size( 
g_nGaussianBlurValue*2+1,g_nGaussianBlurValue*2+1 ), 0, 0);
  //显示窗口
  imshow("<3>高斯滤波", g_dstImage3);
}