在红外双波段探测系统中，双波段图像融合是目标识别的一个关键步骤。目标与背景的辐照特性体现在红外图像上，远距离复杂背景下，双波段图像中的弱小目标形成主要反映在2个方面。一方面，复杂背景下目标经过成像探测器后，在成像面只占几个像素，目标缺乏结构与轮廓信息；另一方面，远距离成像时，目标辐射经过大气衰减后到达成像探测器表面强度较弱，同时成像后目标较小，在视场中所占比例较小，导致在灰度图像中难以抗背景干扰。因此，需要双波段图像的分析与对比，对弱小目标图像进行融合。

当前，对于可见光与红外图像的融合算法较多，因为可见光图像可以充分反映整个场景的细节信息，红外图像可以反映场景的灰度信息，利用两者的互补性可以很好地识别图像中的热目标。而在红外双波段图像融合中，特别是针对复杂背景下远距离弱小目标时，面对红外图像对比度差，细节信息不丰富等缺陷，有必要选用合适的融合算法使图像纹理清晰同时提高目标识别率^[1]。

现阶段最常用的融合算法是多尺度变换、稀疏表示以及神经网络。多尺度变换是提取图像纹理细节的重要算法，它可以将原始图像分解成不同尺度的分量，其中每个分量代表每个尺度的子图像，这种算法可以使融合图像具有良好的视觉效果。比较常见的算法有金字塔变换、非下采样轮廓波变换^[2]、离散小波变换(DWT)^[3]、平稳小波变换(SWT)^[4]和非下采样剪切波变换(NSST)^[5]等。稀疏表示是一种用于表征人类视觉系统的有效工具，已成功应用于不同领域，如机器学习，图像分析和模式识别。稀疏表示图像融合算法旨在从大量高质量图像中学习过度完整的字典。然后，源图像可以由学习字典稀疏表示，从而增强稳定图像的表示。同时，基于稀疏表示的融合方法使用滑动窗口策略将源图像划分为若干重叠的补丁，从而可能减少视觉伪像并提高对错误配准的鲁棒性。神经网络通常由许多神经元组成，它可以模仿人脑的感知行为机制来处理神经元信息。神经元之间的相互作用表征神经元信息的传递和处理，神经网络具有很强的适应性和容错能力以及抗噪声能力。

虽然多尺度变换、稀疏表示和深度学习方法获得了良好的融合性能，但是对于红外双波段图像融合，红外图像不同于可见光图像，没有过多的纹理信息。红外技术是利用热辐射转换为红外波段信息，可以很好地识别热目标，探测距离远，但图像对比度差，细节信息不丰富。当前双波段红外图像融合算法中，Qu等^[6]提出了基于梯度金字塔分解的红外图像融合。该方法使用4个梯度算子，在水平、垂直和2个对角线方向上进行滤波，通过这种方式，可以很好地提取源图像的边缘信息，保持细节特征，但融合后图像的边缘轮廓不清晰。对于弱小目标图像融合，Sun等^[7]提出了基于双波段图像的弱小目标检测，利用小波变换分解源图像。在小波变换域高频部分，计算局部分形维数并建立相应融合规则。在低频部分采取加权求平均融合规则。最终通过小波逆变换重建图像。然而，融合后的图像中目标大小与背景噪声类似，导致无法辨认目标。

红外图像融合算法应用于弱小目标图像融合，融合后图像背景噪声放大，细节信息丢失。因此，有必要提出一种适应于弱小目标图像融合的新方法。最终使得融合后的图像信噪比提高，弱小目标辐射强度突出。

基于此，本文提出一种基于小波变换与特征提取的红外双波段图像融合算法。小波变换算法作为一种多分辨率的分析方法，有着较好的时域或空域局部特性，符合人眼视觉特征。该算法首先对双波段源图像进行多尺度二维分解，得到低频分量与高频分量，对低频分量采用加权求平均的融合方法，高频分量采用绝对值取大的融合方法，进而重构低频融合图像与高频融合图像。然后利用红外特征提取方法对双波段图像进行特征提取，得到红外特征图像。最后利用对比度调制方法对三通道图像融合，得到最终融合图像，从而抑制了图像中的背景信息，增加了目标亮度。

1 双波段弱小目标图像分析及处理

利用红外成像探测系统获取动态目标时，远距离时，由于目标在探测器平面上只占几个像素，从而形成了弱小目标，弱小目标在探测器平面上所占大小在1×1到6×6个像素之间。特别是当背景比较复杂造成了目标在探测器中难以识别。

本文利用双波段探测器(3~5 μm与8~14 μm)在同视场、同焦距、同帧频情况下采集远距离地物背景、天空背景以及海面背景，得到具有不同辐射特性的双波段纹理图像。

在采集图像过程中，由于受到探测器内部噪声等效温差以及电路的热效应影响，会产生随机噪声。因此需要滤除图像中的随机噪点，并且保留图像原有的纹理细节信息。本文选用中值滤波中的二维顺序统计量滤波函数去除图像中的噪点，因为统计量滤波函数是一种能有效抑制噪声的非线性平滑技术，可以有效地消除椒盐噪声，常用来保护边缘信息。滤波后的图像如图 1至3所示，图中圆圈内为弱小目标。

对比3类背景下的双波段图像，相同场景与相同积分时间下的弱小目标和背景都表现出不一样的辐射能量，利用这种差异性可以区分弱小目标与背景等不同红外辐射源^[8]。

图 1在复杂地物环境下，长波红外图像具有较强的层次感，场景内各物体温度不同，使得图像纹理分布呈现明暗差异的变化，不同物体之间区分较明显，人物目标辐射从图像背景中不容易区分出来。中波红外图像的层次感较差，各物体之间很难区分，而人物目标强度略高于地物背景强度，目标较容易从图像中区分。图 2在海面背景下，由于海面天际线的反射，对长波图像中舰船目标的辐射造成了干扰，导致舰船目标容易淹没在背景中。而中波图像中海面天际线的反射不强，舰船目标的热辐射使其很容易从背景中识别出来。图 3飞机目标在远距离天空背景下，云背景的辐射会对飞机目标的识别造成干扰。长波图像中云层的辐射没有那么明显，飞机目标的辐射可以显现在图像中。而中波图像中云层辐射较强，对飞机目标的辐射造成了较大的干扰。

2 基于小波变换与特征提取的融合算法研究

为了使融合图像中弱小目标与背景对比度增强同时清晰识别目标、目标能抗背景干扰，提出了小波变换与特征提取融合算法。小波变换在时域与频域具有较好的局部特性，可以将时间域和频率域的步调统一，同时能够将一个信号分解成具有不同空间分辨率的子信号，又不丢失原信号所包含的信息，并且可以找到正交基实现无冗余的信号分解^[9]。特征提取方法是采用红外图像信息减去背景信息获得目标特征。基于贝塞尔插值方法重建红外背景，通过插入一些已知的控制点来恢复大尺度矩阵，适用于在背景上采样适当的控制点来估计图像背景，进而提取红外目标特征。最终利用灰度对比度调制方法融合三通道图像，从而提高图像的对比度，使图像中弱小目标相对于背景灰度值更亮，易于分辨。因此选用小波变换与特征提取方法融合算法。

图像融合算法整体框架如图 4所示。

2.1 小波变换算法

对源图像采用多尺度二维分解，分解为低频分量与高频分量。低频分量包含了源图像的主要灰度，代表了源图像的纹理轮廓，体现了图像的视觉效果。在高频分量中，小波变换的系数相对于人眼比较敏感。

设A, B分别为中长波图像，T为最终融合后的图像，融合步骤如下。

低频分量采用局部能量的加权融合方法：

1) 对于A, B 2幅图像小波变换后提取低频部分的小波系数；

2) 分别计算A, B 2幅图像低频带内的局部区域Q的能量；

(1)

(2)

式中:w(q)表示权值；q点离p点越近, 权值越大；Q为p的一个邻域。同理可得E(B, p)。

3) 定义一个匹配函数

(3)

匹配函数中各点的值在0和1之间变化, 越接近1就表示相关程度越高。

4)定义阈值T_H(0.5 < T_H < 1)。若M(p) < T_H, 则

(4)

否则

(5)

式中

(6)

(7)

高频分量是基于绝对值取大的融合方法

(8)

D_A表示图像A的高频分量；D_B表示图像B的高频分量；D_F表示融合图像F的高频分量，最后重构低频分量与高频分量得到融合图像T。

2.2 红外特征提取

为了提取红外图像中的目标特征, 需要准确重建红外背景, 即从红外背景中尽可能多地采样多个控制点, 同时排除红外目标上的点。现有的控制点是逐像素的搜索控制点, 耗时且对噪声敏感。由于四叉树分解方法在排除对象点的同时对适当的背景点进行抽样, 可以快速准确地估计红外目标轮廓, 极大提高了控制点发现的概率^[10]，因此利用四叉树方法分解红外图像。步骤如下:

首先, 红外图像初始化为四叉树结构的根节点, 如果当前节点的最大灰度值减去最小灰度值大于预设阈值, 则进一步分解为4个较小的子节点, 直到没有进一步分割节点达到允许的最小尺寸。在四叉树分解过程中, 阈值T_quad和尺寸Z是2个重要的参数, T_quad用于确定是否应该进一步分解四叉树, 通常选择小阈值来抑制噪声像素对一个平滑块的波动。

其次, 从四叉树结构中的每个块均匀的采样16个控制点的位置, 不同控制点的灰度值被设置为相应位置的局部最小值。根据公式(9), 通过内插16个控制点相应的x坐标, y坐标和灰度值, 可以重建每个块的贝塞尔曲面。

(9)

(u, v)表示插值点坐标, 其大小由0和1之间的插值比表示。M表示常数插值系数矩阵。P表示由16个控制点组成的4×4矩阵。具体的U，V，M和P的定义如下

(10)

(11)

式中，0≤u≤1, 0≤v≤1。

(12)

(13)

式中, P_ij表示控制点ij特征(x坐标, y坐标和灰度值)的任何维度。

从每个方形块均匀的采样控制点, 通过在公式(9)中设置u和v的值, 可以重建每个块的贝塞尔曲面。然后组合四叉树结构中每个块的贝塞尔曲面, 重建图像的红外背景(I_B)。由于在组合每个块中使用的是不同控制点, 组合后的表面可能产生块效应, 因此可利用高斯滤波器对背景图像进行平滑。如(14)式所示

(14)

式中：γ和σ分别表示高斯滤波器的尺寸和标准差；通常利用高斯滤波会使红外背景I_B光滑；I_FB为滤波后的背景。

最终从红外源图像减去背景图像可提取到红外目标特征图像, 如图 5所示。

(15)

式中:I为源图像; I_T为红外目标特征图像。

2.3 对比度调制融合

将小波逆变换融合后的图像T(i, j)建立图像高斯分解, 然后对其进行二维滤波, 滤波窗口函数选用5×5模板, 依据对称性与归一化型, 得其模板如下

(16)

对于图像T(i, j), 使用矩阵w中的二维FIR滤波器对T(i, j)进行滤波, 通过二维互相关得到T₁(i, j), 即

(17)

利用灰度对比度公式对图像进行处理可得

(18)

用梯度算子提取对比度C(i, j), 并进行灰度级离散化, 得到新的灰度I(x, y)

(19)

上式图像灰度最大值, 最小值。

通过融合图像新的灰度I(x, y)分别与中波红外目标特征图像I_TM、长波红外目标特征图像I_TL卷积, 得到新的灰度等级图像I₁(x, y)和I₂(x, y)。

(20)

(21)

最终得到的三通道灰度等级图像为

(22)

进而用梯度算子对I₃(x, y)进行灰度离散化, 通过对比的方式增强其灰度值, 得到基于灰度对比度的融合图像D(x, y)

(23)

3 实验结果及分析

为了验证所提算法的有效性, 采集了地物背景、海面背景以及天空背景3组中长波红外图像进行对比。同时为了与其他方法进行比较, 对比了7种不同的融合算法:离散小波变换融合算法(DWT)^[11]、小波变换与灰度形态学滤波融合算法(WTGMF)^[12]、稀疏表示融合算法(SR)^[13]、非下采样轮廓波融合算法(NSCT)^[14]、非下采样剪切波融合算法(NSST)、卷积神经网络融合算法(CNN)^[15]、残差网络与零相位分量分析融合算法(ResNet-ZPCA)^[16]。

3.1 主观评价

图 6至8分别显示了3类场景的融合结果, 图 6a)至6h)分别为本文算法、DWT、WTGMF、SR、NSCT、NSST、CNN和ResNet-ZPCA融合结果。

通过比较3类场景下各算法融合结果可以明显看出, 使用本文提出的小波变换与特征提取融合算法具有明显的差异特性, 图像纹理轮廓清晰且弱小目标容易从复杂背景中识别出来。其他算法融合效果较差, 如地物背景下的DWT、SR算法所得结果边缘纹理模糊、图像对比度低, 不利于从复杂地物背景中区分出人物目标。海面背景下SR算法中整体图像质量偏差, 图像的纹理特征有所弱化。天空背景下DWT与SR算法融合结果显示的背景信息不明显, 导致图像的边缘轮廓清晰度降低。3类场景中WTGMF算法结果显示背景较暗, 目标隐现。NSCT、CNN与ResNet-ZPCA算法相比于其他算法在对比度、亮度、边缘保持度上都符合人眼视觉。

针对各个算法的耗时长短, 利用时间复杂度指标对8种融合算法进行比较, 从运算结果来看, 本文提出的算法时间复杂度在对比算法中是最优的。如表 1所示。

3.2 客观评价

针对不同背景红外图像中的弱小目标, 在图像融合识别中将出现以下问题。

1) 目标距探测器较远, 成像后在探测平面只占几个像素, 致使目标轮廓模糊不易区分;

2) 图像在采集过程中, 边缘轮廓较模糊;

3) 图像融合后背景噪声放大, 导致获得的信息失真。

因此, 为了客观定量的分析不同算法的融合结果, 选择了表达图像信息丰富程度的标准差与信息熵、衡量图像清晰程度的平均梯度、反映视觉观感质量的结构相似度、视觉信息保真度^[17]与峰值信噪比^[18]。

标准差体现了图像整体灰度相对于平均灰度的离散特性^[19]。表达式为

(23)

M×N为图像分辨率。

信息熵表示图像中信息的丰富程度, 图像信息越丰富则熵值越大。表达式为

(24)

平均梯度用来评价图像模糊的程度, 指标的大小反映出图像细节的好坏。

(25)

(26)

(27)

式中, (i, j)为像素点的位置索引, 图像I的分辨率为M×N。

结构相似度首先得到融合图像与双波段图像的相似度, 再计算2种相似度的均值得S_SIM^[20], 即

(28)

(29)

视觉信息保真度用来评估图像信息有无失真的概率, 保真度越高表明图像的质量越好^[21]。

峰值信噪比用来评价的质量好坏, 比值越高说明质量越好。

(30)

式中:R(m, n)与F(m, n)分别表示参考图像与融合图像; M与N表示图像尺寸; f_max表示融合图像中像素的最大灰度值。

表 2给出了3类场景下不同融合算法的评价指标，通过对比可以看出本文算法在地物背景与天空背景下获得的指标较高，说明融合结果对不同场景有一定的区分度。8种算法中DWT与SR算法在图像的清晰度方面比较差，没有达到增强图像对比度的效果。WTGMF算法增强了图像对比度，但图像中弱小目标没有显现出来。NSCT、NSST、CNN与ResNet-ZPCA算法获得了较高的信息熵，表示融合图像包含的信息丰富，性能较好。本文算法的信息熵、清晰度、结构相似度、视觉信息保真度与信噪比指标明显高于其他方法，说明融合后的图像中包含了更多的纹理信息，使得图像信息丰富，效果更好，方便了图像中弱小目标的识别。

4 结论

本文在分析红外与可见光图像融合算法基础上，针对性的研究了当前红外双波段弱小目标图像融合算法，为了使融合图像中弱小目标与背景对比度增强同时清晰识别目标，目标能抗背景干扰，提出了小波变换与特征提取融合算法。算法利用小波变换分解源图像为高频分量与低频分量，对高频分量采取绝对值取大融合，低频分量采取局部能量加权融合，进而重构图像，再利用红外特征提取方法提取中波与长波特征图像，最后对三通道图像信息进行对比度调制再融合得到最终图像。融合结果与其他7种算法进行对比，可以看出本文算法对增强弱小目标灰度、提高图像信噪比具有明显的效果，这为以后在双波段探测器上进行远距离识别目标，提高信号信噪比提供了理论依据。下一步的工作考虑对算法进行逐步改进，再进一步提高融合效果，使得目标与背景纹理清晰，融合后能识别目标的大致轮廓且目标抗背景干扰效果明显，为下一代红外制导探测系统的应用研究提供技术支撑。