超分辨率

 

1、  超分辨率重建

通过对获得的低分辨率图像进行处理以后，一方面能够对成像光学系统的点扩展函数进行反卷积，去除光学系统的影响;另一方面能够获得显示图像的像元总数增加，同时也希望在处理过程中去除相应的成像系统的噪声等。通过这些处理以后，图像的分辨率得到了改善，但获得的并不一定是真实的高分辨率图像，而是对真实高分辨率图像的某种估计，因而通常称所获得的图像为超分辨率图像，相应处理过程为超分辨率图像重建.  

2、  超分辨率重建技术应用

(1)    生物医学成像: 核磁共振成像等；

(2)    卫星成像：遥感、遥测、军事侦察等；

(3)    视频监控

(4)    视频格式转换

(5)    视频增强和复原：老旧电影的翻制等；

(6)    显微成像、虚拟现实等

3、  降质模型

   图像的超分辨率重建是建立在图像降质的数学模型基础上的，降质的数学模型反映图像降质的因素，才能用数学方法进行处理，重建图像。

(1)    位移—模糊模型

 

 

(2)    模糊—位移模型

 

 

4、  超分辨率涉及的两个问题：

a)      图像修复

   改良光照不均匀、噪声较多的图像，但是不改变图像大小

b)      图像插值

   改变图像大小，对单张图像进行差值并不属于超分辨率重建技术

 

5、  基于重建的超分辨率技术

(1)    频域方法

通过在频率域消除频谱而改善图像的空间分辨率。

基于傅里叶变换的移位特性； (Tsai and  Huang)

考虑光学系统的点扩展函数和噪声的影响；（Tekalp）

估计帧间整体平移参数的解算方法；(Kaltenbacker and Hardie)

用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。

由于频率域方法只能应用于全局平移和线性空间不变降质模型，并且它对空间域先验的能力不足，缺少灵活性，所以目前这类方法已经不再是研究的热点。

(2)    空域方法

非均匀样本内插法（Non-uniform interpolation）；

迭代反投影方法（Iterative Back Projection , IBP）;

凸影投影法（Projection onto Convex Set, POCS）;

最大后验概率估计（Maximum a Posteriori ,MAP）;

混合Map/POCS方法；

自适应滤波方法；

       基于重构的方法比较成熟，主要针对图像空间信息的增强和复原，但是仍存在很多问题：

(1)    实时性

(2)    鲁棒性

(3)    盲超分辨率

6、  基于学习的超分辨率技术

基于学习的概念首次由Freeman提出，基本思想是先学习低分辨率图像与高分辨率图像之间的关系，利用这种关系来指导对图像进行超分辨率。马尔可夫网络建模低分辨率和高分辨率图像块间的关系，学习因降质丢失的高频分量，然后与插值得到的初始估计相加恢复出高分辨率图像。

有效组织图像块数据库提高匹配效率；(Bishop)

Super-resolution enhaneementofvideo.IntemationalConfereneeonArtifieial Intelligenee and Statisties，2003.

通过主要轮廓先验增强图像质量；(Sun)

Image hallueination with Primal sketch Priors.IEEE Computer Society Conference Computer on Computer Vision and Pattern Recognition，2003，2:729-736

基于流形学习的方法；(Chang)

H.Chang，D.Y.Yeung，Y.Xiong. Super-resolution through neighbor embedding. IEEE Computer Society Conference on Computer Vision And Pattern Recognition，2004，l:275-282.

利用多尺度张量投票理论来估计位置的高分辨率图像(Tai)

Yu-Wing Tai，Wai-Shun Tong，Chi-Keung Tang. Perceptually-inspired an Edge-directed color image super-resolution .IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006，2:1948 -1955.

融合不同尺寸的图像进行分辨率增强（Joshi）

A learning-based method for image super-resolution from zoomed observation. IEEE Transactions on Systems, Man and Cybernetics,2005; 

7、  可能的研究方向

(1)     图像超分辨率重建是一个典型的逆问题，现有的研究绝大多数都是用仿真来模拟图像的降质，当处理具体问题时，一个很重要的问题就是图像降质模型的辨识，这个问题目前研究的人还不是很多，是需要深入研究的方向;

(2)     一些新的基于学习的方法也可以用于超分辨率重建领域;

(3)     图像超分辨率问题的特殊性使得对其算法性能的评判没有统一的标准;