模糊图像退化与去模糊的数学模型

一 图像退化模型
建立图像的退化模型即是将图像的降质的机理用数学的方式描述出来，这也是图像去模糊成功的重要因素。通常来说，图像的退化可以概括为初始的输入图像f(x,y)，经过退化函数k(x,y)作用后，再附加上随机噪声n(x,y)，最后输出为模糊图像g(x,y)。
用数学形式描述为：

g(x,y)=k(x,y)⨂f(x,y)+n(x,y)

在上述退化模型确定以后，使用该模型去模糊的过程就是在模糊图像的基础g(x,y)上，通过一定方法寻求合理的退化函数k(x,y),然后利用一定的策略求解退化的逆问题，进而获得真实图像f(x,y)的尽可能高程度的近似版本。
若忽略噪声的干扰，即令n(x,y)=0,假设退化函数是空间不变的，模型简化为：

g(x,y)=k⨂f(x,y)

图像连续退化模型，根据傅里叶变换原理转换到频域：

G(u,v)=K(u,v)F(u,v)+N(u,v)

二 图像去模糊的概率模型
通常去模糊算法的一个自然的出发点就是首先从概率的角度出发建立去模糊问题对应的方程。假设我们已经获知降质过程中干扰图像的噪声类型，我们就能够很容易的写出模糊图像的似然p(g|f,k),即g关于f,k的条件概率密度。根据概率知识，我们可以从最大化该条件概率出发，寻求最为合适的f,k,但是因图像退化时引起信息损失进而导致去模糊问题的严重不适定性，如果仅仅最大化这个似然模型则容易导致结果中包含较多的振铃效应，并且噪声也被进一步放大。
人们通常会在去模糊过程中加如一些约束。利用一些关于清晰图的先验知识，根据贝叶斯理论，我们能够构建出关于未知量的后验分布:

p(f,k|g)∝p(g|f,k)p(k)p(f)

如果模糊核已知条件下：

p(f|g,k)∝p(g|f,k))p(f)

其中关于未知量的先验知识p(x)和p(f)是人工定义的或者从样本数据学习得到的。把关于未知量的先验知识结合到图像去模糊模型中能够克服单从模糊图像的似然估计f和k时的不稳定性，改善未知量估计的质量。
最大后验(MAP)方法
如果模糊核提前获知，则求解出的清晰图像为：

f^=argmaxfp(f|g,k)

模糊核未知条件下，需要在反求清晰图像的过程中求解模糊核：

{f^,k^}=argmaxf,kp(f,k|g)

处理上式中模型的典型手段是首先将求取概率的最大转变成求取能的最小，将后验分布改写为吉布斯分布的形式：

p(f,k|g)=1Zexp(−1TU(f,k))

其中是一个U由g决定的能量方程，z为归一化常数由此可知，能够最大化后验概率的图像f和核k同时也是使得式的值达到最小的变量。根据U(f,k)∝−logp(f,k|g)+C,C代表任意常数，于是我们可以得出后验分布对MAP应的问题:

minf,kF(g;k,f)+αρf(f)+βρk(k)

其中方程F对应着似然项的负对数，用于惩罚清晰图像和模糊核卷积结果与观察数据之间的差异，我们称之为数据项。而方程ρf和ρk对应着先验项的负对数，分别用于惩罚清晰图像和模糊核以使它们服从先验知识，我们称之为正则项。
由于图像中通常包含很多像素点，于是求解整幅图像的MAP问题将有一个非常大的解空间，这也是MAP方法遇到的要问题,能量方程可能是个非凸的问题，在这种情况下一般不可能达到全局最优解；受校糊图像中未知噪声的影响，人们通常要谨慎的选择正则项的权重。
噪声模型有高斯噪声，泊松噪声，均匀分布噪声等。

自然图像的先验知识
早期文献关注自然图像的振幅谱，认为自然图像振幅谱在一定条件下近似服从一个能量定律；也有人则指出清晰图像的熵高于模糊图像。

近几年来的工作主耍关注清晰图像对滤波算子响应结果的分布情况
假设清晰图像中所有像素点的导数之间彼此扣独立并服从一种零平均的高斯尺度混合型(GSM),也有人提出梯度符合超拉普拉斯分布(看另外一篇博客)

模糊核先验知识
首先图像的形成过程就是光子在传感器上不断累积的过程，因此模糊核中的所有元素都是非负的，即其次，更为重要的一点是模糊核通常是稀疏的，也即包含相对少量的非零元素。模糊核的这种非负稀疏特点被之前的图像去模糊方法广泛地使用。

三 单幅图像去模糊
传统的从单幅图像出发盲去除模糊的算法一般以f和k的后验分布为出发点：

p(f,k|g)∝p(g|f,k)p(k)p(f)

通常假设噪声为均勾的高斯噪声于是其中的似然项描述为：

p(g|f,k)∝∏iexp(−((f⨂k)i−gi)22σ2)

其中σ是噪声的标准差，p(f)和p(k)分别对应着清晰图像和校糊核的先验约束。
模糊核估计
Cho[1]为了更新模糊核，和首先对当前估计的清晰图像进行滤波处理以预测阶梯边界。通过双边滤波滤除大部分的噪声，接着采用冲击滤波来增强锐利的边缘，得到图像，紧接着求得该图像x,y方向的导数，最后根据一定标准舍弃其中较小的值以获得稀疏的梯度图px和py。
在从清晰图像预测和保留显著边缘以后，结合稀疏的导数图像的更高阶信息形成新的集合{pq={px,py,dx⨂px,12(dx⨂py+dy⨂px),dy⨂py}
用来估计模糊核：

mink∑qwq||k⨂pq−dq⨂g||22+β||k||22

其中dq∈{dx,dy,dxx,dxy,dyy},β为正则项的权重，wq分别对应着不同的偏导数。这是一个简单的线性最小二乘问题，容易在频域求得其解：

k^=F−1(∑qwqF(pq)¯¯¯¯¯¯¯¯F(gq)∑qwqF(pq)¯¯¯¯¯¯¯¯F(pq)+β)

在获得模糊核k^之后，对其进行阈值化处理，即将其中值小于最大元素值1/20的的元素置为0。这就保证了其中所有元素之为非负，且加强了模糊核的稀疏性。
jia[2].增加了滤波处理步骤。
shan[3]相对于前两中方法 ，不对图像进行任何滤波处理，直接使用l1范数代替正则项。

mink∑qwq||k⨂pq−dq⨂g||22+β||k||1

清晰图像估计
在清晰图像估计阶段，使用当前得到的k^来对模糊图像执行去除模糊操作以更新当前的清晰图像。[1]使用的去卷积模型为：

minf∑qwq||k^⨂dq⨂f−dq⨂g||22+α||dx⨂f||22+α||dy⨂f||22

中为正则项的权重，而此时的偏导数包括了零阶导在内：dq∈{dx,dy,dxx,dxy,dyy}观察可知，在这个问题中，数据项中包括了图像的高阶导数，而正则项中则没有，我们可以在频域里求得其标准解。
[2]选择增加l2正则项来促进清晰图像的梯度接近于前次迭代中预测的稀疏导数图

minf∑qwq||k^⨂dq⨂f−dq⨂g||22+α||dx⨂f−px||22+α||dy⨂f−py||22

由于本校型促使锐化边缘出现在{pq}中对应的位置,因而降低了由于使用l2正则项而带来的过平滑问题，同时本模型也同样可以在频域范围内得到标准解。

利用噪声模糊图像盲去模糊
yuan[4]提出了一种新的盲去模糊方法，该方法使用了观察的模糊图像和同一场景中的一幅锐化但是包含噪声的图像。模糊图像是在弱光照条件下长时间光的情况下出现的，而如果在此时给定一个高的设置而同时减少曝光时间则可以获得同一场景的锐化但是包含噪声的图像。虽然得到的噪声图像可能退化的比较严重，以至于不能通过直接的去噪理得到一幅清晰的图像，但是可以将其作为清晰图像的初始值来估计模糊核。除此之外，如果得到模糊核以后，同样能够利用噪声图像来指导最终的非盲去模糊操作，在此阶段文中采用了一种改进R−L的算法，并使用噪声图像fN来抑制结果中的振铃效应。

[1].Cho S, Lee S. Fast motion deblurring[C]//ACM Transactions on Graphics (TOG). ACM, 2009, 28(5): 145.
[2].Xu L, Jia J. Two-phase kernel estimation for robust motion deblurring[C]//European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2010: 157-170.
[3].Shan Q, Jia J, Agarwala A. High-quality motion deblurring from a single image[C]//Acm transactions on graphics (tog). ACM, 2008, 27(3): 73.
[4].Yuan L, Sun J, Quan L, et al. Image deblurring with blurred/noisy image pairs[C]//ACM Transactions on Graphics (TOG). ACM, 2007, 26(3): 1.

本文节选自《单幅运动模糊图像的盲去卷积》李新刚 本博客仅为阅读方便，权利归原作者所有。