2. 西北工业大学 电子信息学院, 陕西 西安 710129
红外系统在军事、消防、交通等领域有着广泛的应用。红外弱小目标检测技术已经成为近年来信息处理技术领域的研究热点和难点问题之一。
现有的红外目标检测方法主要有基于单帧图像的跟踪前检测方法(DBT)和基于序列图像的检测前跟踪算法(TBD)2大类。DBT方法首先对图像进行预处理以增强目标再通过阈值分割, 获得可能的弱小目标, 然后根据目标运动规律的先验知识和恢复分布形式或者能量信息对目标进行确认[1]。TBD方法充分利用了每个处理阶段的信息, 它根据目标运动规律的先验知识对序列图像进行搜索, 然后根据判定准则获取疑似目标运动轨迹, 最后根据新输入的序列图像通过判决处理进行真实目标运动轨迹确认[2]。
近年来, 视觉显著性蓬勃发展, 使得人类视觉系统成为研究的热门领域。在显著性计算模型中, 多是通过计算局部对比来得到显著图。Itti等人的经典模型模拟人类的视觉注意机制, 在灰度、颜色和方向通道上建立多尺度的高斯金字塔, 然后通过高斯差分计算中心周边的差值, 并对相关结果进行归一化和融合以得到显著图。Chen等[3]提出了一种基于局部对比度(LCM)来获得显著图的检测方法, 该方法利用了人类视觉系统(HVS)特性和衍生核模型(DK model), 通过扫描红外图像中的每个像素并且计算其局部对比度获得显著图, 然后再进行阈值分割得出弱小目标的位置, 取得了较好的检测效果。Han等[4]对LCM方法进行了一定改进, 采取数据分块策略, 增强了方法的鲁棒性。王晓阳等[5]也对LCM方法进行了改进, 提出了基于局部对比度结合区域显著性的目标检测方法。
然而, 进一步分析发现, LCM方法是在整个图像的每个像素点都进行局部对比度计算, 计算量大, 比较耗时。为此, 本文首先采用快速中值滤波和相似度分析, 并进行融合及连通域分析作为图像预处理, 然后再对图像进行LCM方法。预处理阶段去除了目标不可能存在的区域, 只保留了目标和部分噪声存在的显著性区域。检测阶段只在显著区域内部进行LCM方法, 减少了LCM运算所进行的像素点数和方法的运行时间, 提高了检测系统的效率。
1 基于人类视觉系统的红外弱小目标检测方法一个性能优良的红外弱小目标检测系统, 既要有较高的检测率和较低的虚警率, 又要满足系统实时性的要求。而红外成像条件通常是比较复杂的。既可能有云层遮挡, 又可能有烟雾诱饵等干扰, 还可能存在场景变化等。红外目标的背景通常也是多样的。既可能是天空, 又可能是陆地, 还可能是海平面。如何提升复杂环境下系统的检测性能与抗干扰能力, 则是红外目标检测系统的关键技术问题。为了提高系统的检测性能和增强系统的实时性, 本文采用融合局部对比度与区域显著性的红外弱小目标检测方法。在预处理阶段, 采用快速中值滤波和相似度分析所产生的二值图像进行融合得到显著区域图, 并对其内的显著区域进行连通域分析。在目标检测阶段, 对显著区域图进行局部对比度计算得到区域局部对比度图, 并对局部对比度图进行阈值分割, 得到弱小目标检测结果。原理框图如图 1所示。
1) 快速中值滤波
在检测前对图像进行滤波, 增强目标和抑制背景, 减少方法所需要处理的数据量, 在一定程度上增强整个方法的实时性。当前针对点目标应用比较广泛且成熟的滤波方法主要有Top-Hat形态学滤波法、中值滤波法、小波变换法、高通滤波法、管道滤波法等。其中, 中值滤波运算简单而且速度较快, 在滤除噪声的同时能较好地保护信号的细节信息。快速中值滤波使得每个窗口的方法复杂度从传统中值滤波的O(m2)降低到了O(m), 整幅图像的复杂度从原来的O(m2N2)降低到了O(mN2), 避免了大量的冗余操作, 提高了方法的性能。
快速中值滤波是通过计算滑窗里面的中值, 需要对像素进行比较和交换, 因此, 比较次数是影响方法性能的一个重要的因素。以3×3窗口为例, 定义窗口内部的9个像素为p0、p1、p2、p3、p4、p5、p6、p7、p8, 像素排列如图 2所示:
首先对窗口内的每一列分别计算最大值, 中值和最小值。这样就得到3组数据, 分别为最大组、中值组和最小组。计算过程表示如下:
可以看出, 最大值组中的最大值和最小值组中的最小值一定是9个像素中的最大值和最小值。中值组中的最大值至少大于本列中的最小值和其他2列的最小值和中值; 中值组中的最小值至少小于5个像素点, 本列中的最大值和其他2列的中值和最大值。同样, 最大值组中的中值至少大于5个像素, 最小组中的中值至少小于5个像素。记最大值组中的最小值为minmax, 中值组中的中值为medmed, 最小值组中的最大值为maxmin, 则滤波结果的输出像素值winmed应该为minmax、medmed、maxmin中的中值。这一计算过程表示如下:
该方法只做21次比较就可以得到窗口内的中值, 与传统中值滤波方法相比, 比较次数减少了近2倍, 提高了方法效率。基于快速中值滤波的显著性区域Ĥ(x, y)可用二值图像表示:
(1) |
2) 灰度合并方法
红外弱小目标成像中目标和背景的灰度级差别是非常小的, 而且, 由于非均匀性的影响, 使得有些背景杂波的灰度值更接近目标。为增大目标和背景的差异, 本文采用一种较快的灰度合并方法, 以达到在提升方法实时性的同时更方便检测目标的目的。在0~ΔX范围的灰度的像素灰度值将被设置为0, 同样在ΔX~2×ΔX的范围的像素将被设定为ΔX, 以此类推, 这个过程被称为灰度合并。
基于相似性分析的显著性区域Ŝ(x, y)可用二值图像表示, 如(2)式所示:
(2) |
3) 快速中值滤波和灰度合并方法的融合
将基于快速中值滤波生成的二值图像和基于相似性分析产生图像Ŝ(x, y)进行融合, 得到当前帧红外图像的视觉融合区域Ĥ(x, y)。融合规则如(3)式所示:
(3) |
即, 对于某一像素点, 当2个二值图像都表现为显著性时, 融合后的图像才表现为显著性, 其余情况则都为非显著性。
4) 连通域分析
融合后的图像中会存在特别小或者特别大的连通域, 这些连通域不可能是目标所在的区域, 为了使检测阶段更有效率, 使用连通域分析方法去除连通域区域特别大或者特别小的部分。本文采用bwlabel算法进行连通域分析, 主要过程有以下两部分:
a) 通过逐行或者逐列的扫描图像(本文采用逐行扫描的方式), 确定每一行连续像素区域的起点、终点以及行号等信息, 并把每一行中连续像素的集合称为一个团。除了第一行以外, 每一行在确定团标号的时候, 都要看与上一行有没有重合的地方, 如果只与上一行的一个团有重合, 则把该团的标号跟上一行的团标号设置成同样的标号, 假如跟上一行有2个或2个以上的重合区域, 那么则取与上一行重合的团中比较小的团标号为当前的团标号, 并且把上一行的团分别归为等价对, 说明这些团是连接在一起的, 即为一个连通域内部像素的集合。
b)等价对处理, 等价对处理是把相连接的团归类到一起的过程。将每个标号都看成图的结点, 而等价对(x, y)说明标号为x和y的团是连接在一起的, 也就是结点x与结点y之间是连通的, 而且形成的图是无向图, 即(x, y)其实包含了(y, x)。把所有的等价对构建成图。然后需要遍历图, 找出其中的所有连通区域。
一般来说, 红外弱小目标图像中弱小目标占的像素点数小于20, 噪声一般都是单独一个或几个像素出现的, 其他非均匀性的区域一般大于80个像素点。设定2个阈值分别为Thigh和Tlow, 当某个连通区域内的像素点数Areai > Thigh或者Areai < Tlow, 则该连通区域被去除。
5) 目标检测
对预处理后得到的显著区域图的显著区域所对应的原图区域计算其LCM得到区域对比度图, 对区域对比度图进行阈值分割得出弱小目标所在位置。
a) LCM方法
预处理阶段得到的二值图像中显著性区域即为小目标有可能存在的区域, 对每个显著性区域内部进行LCM方法。本文只在显著区域内部进行LCM方法, 大大减少了计算量, 提高了方法的实时性。其多窗口描述如图 3所示。
t表示目标区域, t、s之间的区域代表局部背景区域, w则表示一帧的整个图像。在这种情况下, s可以在w上移动, t, s之间的关系一般看作中间像素与其周围9个像素点, 中间像素点用“0”表示, 周围像素点用“1”到“8表示, 如图 4所示, 在此基础上计算显著区域内所有像素点和其局部领域内像素点的局部对比度得到局部对比度图。
b) 基于局部对比度的阈值分割
首先选取显著度值Smax最大的点作为第一潜在目标, 并将其提取出来, 然后依次选择次最大显著度值Sl对应的点, 并将其与Smax进行比较。若满足(4)式所示, 则可以认为Smax所在的点位于弱小目标位置。
(4) |
式中,0 < t < 1为调节常数。
2 实验结果分析为了验证本文方法的有效性, 采用了不同背景的3幅图像和传统Top-Hat方法以及原始LCM方法进行对比。Microsoft Windows7 64位旗舰版, PC机为Intel(R) Core(TM) i7-5930K CPU, 3.50GHz, 16GB内存, 使用matlab R2016a作为仿真软件。
1) 定性分析
如图 5所示, 场景是海空背景下的舰船图像, 背景亮度较低, 目标与背景的对比度很小, 图像分辨率为348×496(像素)。传统Top-Hat检测方法在海天线处存在虚警, 难以准确识别目标; 原始LCM方法在天空背景处存在虚警, 这是由于该位置的灰度值非常低, 在检测结果中表现为虚警, 这是LCM方法的固有缺陷; 本文方法则可以很好地检测出弱小目标的位置, 并且不存在误检。这是由于天空背景不属于显著性区域, 在方法第一步中该区域已经被排除, 避免了受到LCM固有缺陷的干扰。
2) 实时性分析
由于LCM是基于像素的计算, 很耗时间, 因此本文在预处理图像阶段利用快速中值滤波和灰度合并相融合以及连通域标记, 很大程度上过滤掉了目标不可能出现的区域, 大大减少了在目标检测阶段采用LCM计算的像素点数, 减少了方法的运行时间。本文所使用的方法和原始LCM以及王晓阳等[5]改进方法的运行时间如图 6所示。
可以看出, 本文方法保证了准确率以及检测性能的同时提高了实时性。
3 结语本文针对经典LCM方法实时性差, 计算复杂度高的问题, 提出了显著区域提取和局部对比度分析的红外弱小目标检测方法。显著区域提取融合了快速中值滤波和相似度分析以及连通域分析, 提高了连通域提取的精度, 并且中值滤波可以很好地保持了目标的边缘特征, 为后续目标检测和跟踪提供良好的保证。局部对比度分析的计算只在提取出的显著区域内部进行计算, 减少了方法的计算量, 提高了实时性。实验结果表明, 本文方法可以显著提高红外图像的信噪比; 与传统Top-Hat方法以及经典LCM相比, 本文方法不受复杂背景的影响, 检测结果虚警率低, 计算效率相比于经典LCM方法提高10倍以上, 适合于各种复杂背景下的目标检测。
[1] | Bai X, Zhou F. Analysis of New Top-Hat Transformation and the Application for Infrared Dim Small Target Detection[J]. Pattern Recognition, 2010, 43: 2145-2156. DOI:10.1016/j.patcog.2009.12.023 |
[2] |
孙继刚. 序列图像红外小目标检测与跟踪算法研究[D]. 长春: 中国科学院大学, 2014 Sun Jigang. Research on Algorithm of Infrared Small Target Detection and Tracking in Image Sequence[D]. Changchun, University of Chinese Academy of Sciences, 2014(in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-80139-1014263821.htm |
[3] | Chen Philip, Li Hong, Wei Yantao, et al. A Local Contrast Method for Small Infrared Target Detection[J]. IEEE Trans on Geoscience And Remote Sensing, 2014, 52(1): 574-581. DOI:10.1109/TGRS.2013.2242477 |
[4] | Han Jinhui, Ma Yong, Zhou Bo, et al. A Robust Infrared Small Target Detection Algorithm Based on Human Visual System[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172. DOI:10.1109/LGRS.2014.2323236 |
[5] |
王晓阳. 局部对比度结合区域显著性红外弱小目标检测[J]. 强激光与粒子束, 2015, 27(9): 091005.
Wang Xiaoyang. Infrared Small Dim Target Detection Based on Local Contrast Combined with Region Saliency[J]. High Power Laser and Particle Beams, 2015, 27(9): 091005. (in Chinese) |
2. Electronics and Information, Northwestern Polytechnical University, Xi'an 710129, China