Non-Local Image Dehazing_CVPR2016 理解

Understanding of Non-Local Image Dehazing_CVPR2016:

Abstract

1. haze限制了可见性，减小了户外图像的对比度。每个像素的恶化是不同的，取决于场景点到相机的距离，这种独立性由传输系数transmission来表达。
2. 算法依赖于这样一个假设：haze-free图像的颜色能够由几百个严格的颜色很好地估计，即在RGB空间里形成紧密的clusters。
3. Non-local 是指每个cluster里的像素经常是非局部的，他们分布在整个图像平面，到相机有不同的距离。
4. 对于haze，不同的距离有不同的传输系数。这里的距离是指场点到相机的距离。
5. Haze-line:基于（4）的事实haze-free image里每一个紧密的cluster，在haze image 里变成了RGB空间里的线。用这些haze-line，我们的算法可以恢复the distance map和the haze-free image。

1. Introduction

1. haze与场景辐射无关，他在得到的图像the acquired image产生两个影响：衰减观测场里的信号，带来了加性分量环境光airlight，ambient light（场景点在无穷处的颜色）。
2. 由haze导致的图像恶化image degradation随着距离的增加而增强，这是由于场景辐射scene radiance减少而环境光airlight增加。这也是haze image model由来。
   
3. 算法的目标是恢复haze-free image（J(x)）和transmission（t(x)）。那么问题来了。。。。。。这是一个不适定问题。在确定系统下有三个方程但是却至少有四个未知数。这是haze和object radiance固有歧义性的inherent ambiguity。为了解决这样的不适定问题，我们需要增加先验。文章里引入先验知识即是haze-free图像的颜色能够由几百个严格的颜色很好地估计，即!在RGB空间里形成紧密的clusters。
4. 沿着同一根haze-line的像素对应的对象有相同的辐射颜色。这些对象可以来自距离相机不同的位置。
5. Patch-based methods

2. Previous Work

1. 单幅图像去雾方法假设只有输入图像可用并且依赖图像先验。Haze减小图像的对比度，不同的方法都依赖于这个观察来进行图像复原。
2. 最大化每一patch的对比度，保持全局相关图像（global coherent image）；从RGB通道之间的差异估计haze的量，随着雾的增加而减小。这种假设在灰度区域是有问题的；haze区域具有高亮度低饱和的特性。
3. 一些方法使用图像深度上的先验。
4. 一些方法假定传输系数和辐射是分段常数。
   The dark channel prior 假设在每一个小的图像patch里都是至少有一个带有dark channel的像素，并用这个最小值来估计当前的haze。（在明亮的地区这个先验靠不住）；
   color ellipsoids；
   color lines在RGB空间中每一patch中拟合的，寻找具有恒定传输系数的patch。这个先验是基于观察haze-free image里的像素在RGB空间里构成的color lines。这些线通过原点，并源自从对象内部的明暗变化；
   局部衰落效应。

3. Non-Local Colors in Hazy Images

3.1 Haze image model

传输系数t(x)和距离相关：

衰减系数β依赖于波长，因此，每一个颜色通道里的传输系数是不同的。为了减少未知量，假设这种依赖性忽略不计。对于每一个像素点x，有三个观测I(x)，却有四个未知量J(x)，t(x)(假设每个颜色通道里的传输系数是相同的)。

3.2 The prior
1. 我们的方法是基于这样的观察，图像中不同颜色的数量比像素的数量级小得多。我们使用K-means对图像的RGB像素值进行聚类，最大500个簇。然后用每个簇的中心来代替图像中的每一个像素。结果是依附图像中至多有500个RGB值（比图像大小小至少2个数量级）。
2. PSNR用来量化后图像的质量。
3. 在存在haze的情况下，属于相同颜色cluster的目标点最终获得不同的颜色，因为他们分布在整个图像上，到相机有不同的距离。

4. Haze Removal

4.1 finding haze-lines

文章中airlight A用先前的方法进行评估。在2017 ICCP中作者提出了一种新的估计方法。（3）将3D RGB坐标解释为以airlight为原点。

由（1），（3）得到（4）,并表示为球坐标系：

在球坐标系里我们定义，改变传输系数t，仅仅影响r(x)，不会影响角度。换句话说，在球坐标中具有相同角度[φ(x), θ(x)]的像素，他们在haze-free image具有相同的RGB值。

因此，如果角度[φ(x), θ(x)]相同，像素属于同一根haze-line。在每一根haze-line里的像素，以很大的概率在haze-free image具有相同的值。
应当注意的是，在color和haze for colors 具有歧义性：

这样会导致两种颜色簇被映射到同一haze-line上。
为了确定哪些像素是在同一haze-line上，像素应该根据角度分类。文章里说，2D 均匀采样，即对[φ(x), θ(x)]进行均匀采样不会产生一个球体的均匀采样。会导致极性稠密的问题（大量的采样点聚集在极性）。因此，我们均匀采样单位球体。每一个顶点对应一根haze-line。然后我们基于像素的角度进行分类，根据表面上最近的采样点。文章里用KD-tree的方法进行快速查询。
4.2 Estimating initial transmission
对于给定的haze-line，r(x)取决于目标距离，（5）的距离就是r(x)：

t= 1时，最大辐射候选：

(8)，(9)得到传输系数表达式：

现在的问题是怎样找到rmax 的估计r ˆmax：如果一根haze-line里包含一个haze-free的像素，那么

我们假设距离airlight最远的像素是haze-free的，这样的像素存在于每一根haze-line里。这种假设对于整张图片是靠不住的，因此需要正则化步骤来补偿。

4.3 Regularization
因为辐射J为正数，所以得到在传输系数上给定一个更低的边界条件：

文章采取这种边界条件：

上文说道（12）中的估计在整张图像上是靠不住的，其中的一个原因是（12）是对像素单独操作，没有利用空间域的相关性。这种估计会不精确，如果少量的像素背映射到一个特殊的haze-line上，或者在非常haze的区域，距离r(x)小到角度[φ(x), θ(x)]被噪声影响。平滑smooth可以增加空间域的相关性。
文章中说明传输系数映射transmission map应给被平滑smooth，除了深度的不连续性。文章找到了一种transmission map t ˆ(x) 和（14）相同，并且当输入是平滑的这种映射也是平滑的。即最小化下面的方程：

σ(x) 是t ˜LB的标准差，由每一条haze-line进行计算。他扮演着一个非常重要的角色，因为他使在像素上的估计变得可靠。当σ(x)很大时，初始化的估计变得不可靠。σ(x)随着在haze-line里的像素数量的减小而增加。当给定的haze-line radii 分布（半径上的分布）很小时，我们的haze-line也不可靠，因为我们观测不到带有不同haze的像素。这种情况下，σ(x)也是增加的。
4.4 Dehazing
当（15）计算出来transmission map t ˆ(x)，可以进行去雾化：

未完待续。。。。