【图像融合】自适应参考图像的可见光与热红外彩色图像融合算法

彩色图像融合技术

  可见光与红外热图像的彩色图像融合技术，主要用于夜视应用。基于人眼彩色视觉特性的彩色夜视技术充分利用微光和红外波段的夜视图像信息,可使观察者的目标识别速度和准确度提高30%~60%，当前已有基于双波段的彩色夜视的装备应用。

  目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法,彩色融合图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性。

---

已有技术

  颜色空间的色彩传递方法是目前常用的自然感彩色图像融合方法，2003 年荷兰TNO 研究所将其引入到了多波段夜视图像的彩色融合应用，获得了接近白天的自然感彩色夜视图像，但是存在大量的指数和对数运算,不利于实际成像系统的快速处理。

  2006 年北京理工大学提出基于YUV 空间的自然感彩色夜视图像融合算法，其处理时间降低了一半，并在DSP 和FPGA 处理平台上实现了双波段自然感彩色夜视融合的实时处理,成功实现装备应用。

---

基于YUV 空间色彩传递的自然感彩色图像融合

  YUV 颜色空间中，Y 为亮度信号,U 和V 分别为蓝色、红色与亮度的色差信号。

  算法的流产大致如下：

  在彩色初始化中,主要考虑将目标场景纹理信息较为丰富的微光/可见光图像送到Y 通道,将白热红外图像主要送到V 通道,将黑热红外图像(前者的负片)主要送到U 通道,使初始彩色图像基本保持具有传统视觉的暖冷色感规律。

  UV 通道均值反映图像的平均颜色,而UV 通道标准差则反映了场景细节的颜色变化程度。

  色彩传递实际上是将彩色参考图像在YUV空间的6 个全局灰度统计值(均值与标准差)传递给初始彩色源图像,因此,每幅彩色参考图像只需6 个统计值表征。

  1) Y 通道均值越大，融合图像的平均亮度越大;Y 通道标准差越大，融合图像的对比度越大。

  2) U 通道均值越大，融合图像总体上越偏蓝紫色,值越小越偏绿色；U 通道标准差越大，融合图像的蓝绿变化幅度越大。

  3) V 通道均值越大，融合图像越偏红色，值越小越偏黄绿；V 通道标准差越大，融合图像的红黄变化幅度越大。

---

自适应参考图像的可见光与热红外彩色图像融合算法

  提出了一种基于3 幅典型(绿地、城镇和海天)场景彩色参考图像的彩色参考图像线性组合方法。

1、彩色参考图像的线性组合

  可选取具有代表性的典型彩色参考图像作为“基本”图像,通过线性组合的方法重构组合彩色参考图像。“基本”参考图像即可选取已有的彩色自然场景图像,也可选择与实际参考图像无直接关系的6 个统计值。

2、自适应参考图像的参数选择

  首先确定待融合初始彩色图像与基本彩色参考图像均值和标准差的差值度量：

  由此进一步确定组合系数：

3、自适应参考图像的彩色图像融合算法

  自适应参考图像的可见光与热红外彩色图像融合算法的具体流程步骤如下:

  1) 首先将可见光和热红外双波段图像在YUV 颜色空间进行线性组合，生成初始彩色融合图像S，并求出其在YUV通道的均值和标准差。

  2) 根据S 图像与基本参考图像在U 和V 通道的均值和标准差，计算组合系数ri。

  3) 得到组合参考图像的6 个统计值,并在YUV 空间中按照式(3)进行色彩传递，得到YUV空间的自然感彩色融合图像。

  4)将YUV 彩色融合图像转换回RGB 空间进行显示、观察。

4、算法优点

  算法具有较常规基于单幅彩色参考图的全局色彩传递算法更好的环境适应性,融合图像的色彩自然感,且生成的自适应参考图像处理量小,基本不影响算法的硬件实时处理。

---

自适应参考图像的可见光与热红外彩色图像融合算法

摘要　
  可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一,该技术有效提高了人们对目标的探测和场景理解能力。目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法,彩色融合图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性。针对常规YUV 空间色彩传递彩色图像融合算法的环境适应性问题,通过对植物、城镇和海天三类典型场景的分类与统计,发现了典型场景在UV 通道的均值和标准差具有的较为明显的分类特性,由此提出了一种基于UV 通道均值和标准差的自适应参考图像构造方法,使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性,融合图像的色彩具有较好的自然感,且算法处理量较小,对现有实时硬件融合处理算法的运算速度影响不大,是一种环境适应性强的自然感彩色融合处理算法。

链接：http://d.wanfangdata.com.cn/Periodical/gpxygpfx201612017

[1] 刘佳妮,金伟其,李力等.自适应参考图像的可见光与热红外彩色图像融合算法[J].光谱学与光谱分析,2016,36(12):3907-3914.DOI:10.3964/j.issn.1000-0593(2016)12-3907-08.

---