现代海战中,反舰导弹是打击水面舰艇目标的主要武器,与舰炮、鱼雷等传统的反舰武器相比,具有射程远、命中率高和威力大等优点。在反舰导弹中,成像制导是一种主要的制导方式,它是通过在导弹飞行中获取被攻击目标的图像信息来指引弹体摧毁目标。其中,舰船目标检测是反舰制导中的关键技术,对反舰导弹智能化起着重要作用[1]。
在远距离平视情况下,舰船目标在海面成像一般分为3个区域:海面区域、海天线区域和天空区域。根据上述特点,当海天线确定后,那么可将海天线附近的区域确定为目标出没的区域,这样就可以排除海天线区域外的各种干扰,降低误警率和后续处理的难度。1981年,Mohanty通过行平均,在列方向上取梯度最大值位置作为海天线位置,该方法逻辑清晰,运算简单,但忽略了海杂波的干扰,也未考虑到海天线是倾斜的情况,鲁棒性不强。由于海天线接近直线,很多学者采用Hough变换的方法检测海天线。文献[2]先进行边缘检测,然后用改进的Hough变换来提取海天线。这样虽然降低了计算量,但在海杂波较强时,检测结果会偏向海洋。考虑到海面与天空为灰度强度不同且均匀分布的区域,很多学者采用Otsu阈值法对图像进行分割,然后通过形态学开闭运算去除图像中的孤立毛刺,对边界进行细化,最后采用Sobel边缘检测算子检测海天线[3]。这类方法在天空存在云层干扰的情况下,Otsu分割效果较差,往往导致海天线误检。近年来,不少学者利用小波变换提取边缘信息来进行海天线检测[4],但这类方法计算量大,工程实用性低。
由于成像干扰和噪声,目标边缘被大量复杂的噪声杂波所淹没,形状和结构信息不足,更增加了舰船弱小目标检测的难度。目前对于弱小目标检测使用较广泛的方法是基于中值滤波、高通滤波的背景抑制方法[5],这些方法在具有较大的灰度梯度的背景区域虚警率较高。文献[6]利用形态学Top-Hat滤波器和Canny算子来提取目标,这种方法虽然在抑制噪声方面存在优点,但结构元素的选择对检测结果影响较大,并且不能适用于低对比度图像。
复杂海天背景是指在可见光或者红外热图像中,天空中存在大面积云层干扰或者由于海杂波较强,在海面上存在大量白色噪点。远距离成像面积少于200像素,结构、形状信息不足,不能使用形状匹配或者训练神经网络等方法进行检测的目标被认为是弱小目标。针对复杂海天背景下舰船弱小目标的检测问题,本文提出一种有效的基于海天线检测的舰船弱小目标检测方法,该方法首先采用全卷积神经网络模型提取海天线,确定目标潜在区域;然后通过基于多向梯度的方法来检测舰船目标。实验表明:该方法可以精确地提取复杂海面背景下的海天线位置,从而有效检测出舰船弱小目标。
1 基于全卷积网络的海天线检测本文提出的基于全卷积网络的海天线检测方法如下:首先离线训练全卷积神经网络模型,接着用训练模型进行海天区域分割,然后利用Sobel边缘检测算子进行边缘检测,最后利用霍夫变换来提取海天线。
1.1 全卷积神经网络自从全卷积网络(fully convolutional networks, FCN)模型[7]在2015年被提出后,深度学习开始被用于图像分割中,语义分割的精度越来越高。与传统的卷积神经网络不同,FCN采用反卷积层对图像进行上采样, 使网络的输出恢复到输入图像相同的尺寸,从而进行逐像素分类。
本文使用的全卷积神经网络模型改自于英国剑桥大学提出的一种对称的编码-解码结构Segnet网络[8],网络结构如图 1所示。
前半部分网络网络结构与VGGNet-16分类网络类似,主要层次结构如表 1所示。
层类型 | 网络参数 |
卷积层 | 3, 64(2) |
最大池化层 | 2, 2 |
卷积层 | 3, 128(2) |
最大池化层 | 2, 2 |
卷积层 | 3, 256(3) |
最大池化层 | 2, 2 |
卷积层 | 3, 512(3) |
最大池化层 | 2, 2 |
卷积层 | 3, 512(3) |
最大池化层 | 2, 2 |
全连接层 | 4 096 |
全连接层 | 4 096 |
全连接层 | 1 000 |
Softmax分类层 | ~ |
表中卷积层后面第一个数字表示卷积核大小,第二个数字表示通道数,括号内数字表示相同卷积层的个数,在表中省略了ReLu激活层。最大池化层后第一个数字表示池化窗口大小,第二个数字表示池化步长值。去掉最后的3个全连接层[7],网络成为全卷积网络,可以接受任意尺寸的图片输入,同时也大大减少了训练参数。
后半部分网络结构与前部分网络结构对称, 通过卷积丰富图像细节信息, 卷积层参数与前面对应相同。池化时, 保存权值的相对位置, 在上采样时, 需要利用保存的位置信息, 如图 2所示。
在其他位置处填充零值。Softmax层计算图像中像素属于天空或者海洋背景的概率。
1.2 边缘检测本文使用Sobel算子对经过海天区域分割后的图像进行边缘检测, 它对像素位置的影响做了加权, 可以降低边缘模糊程度, 效果较好[9]。
对于1幅图像I, x和y方向的梯度计算如下, 其中*代表卷积操作:
(1) |
(1) |
(1) |
则G为求出的梯度图像。
1.3 霍夫变换在图像空间中, 所有经过点(x, y)的直线满足如下方程
(4) |
式中, (ρ, θ)定义了原点到直线上最近点的向量。霍夫变换把图像空间中直线的检测问题转换为参数空间中对点的检测问题, 其主要步骤如下:
1) 离散化极坐标空间;
2) 对图像任意边缘点进行坐标变换, 并将其参数离散化, 然后判断与哪个数组元素相对应, 并让该元素数组加一;
3) 比较参数数组元素累加结果, 最大值(ρi, θi)即为对应的直线即为检测的结果, 该直线对应的方程为
(5) |
本文的舰船弱小目标检测方法如下:首先检测海天线位置, 确定目标潜在区域, 接着利用目标的多梯度特性进行阈值分割, 然后利用数学形态学闭运算来填充分割后图像中的细小空洞, 最后, 利用目标区域的面积和方差特性进行筛选得到检测结果。
2.1 基于多向梯度的阈值分割由于远距离成像的舰船弱小目标在图像中往往与背景在各个方向上都存在较明显的灰度差, 云层、海浪等仅在特定方向上存在较为明显的灰度差, 其余背景相邻像素间梯度值较小, 因此可以利用这一特性进行舰船目标检测。理论上, 多向梯度是指像素点360°各个方向的梯度, 但为了减少计算量, 一般采用四向梯度或者八向梯度[10]。
本文采用四向梯度。图像(m, n)位置处垂直正方向、垂直负方向、水平正方向、水平负方向梯度f计算公式如下, 式中l代表步长, 与待检测的舰船目标大小有关:
(6) |
(7) |
(8) |
(9) |
则垂直和水平方向梯度值分别为:
(10) |
(11) |
根据梯度值的均值和标准差可以得到垂直和水平方向的灰度阈值如下:
(12) |
(13) |
式中, λx和λy为阈值系数, xmean, ymean和xstd, ystd分别为图像在垂直和水平方向上的梯度均值与标准差。对于图像中的任意一点, 如果该点的垂直方向的梯度值大于xth, 同时水平方向的梯度值大于yth, 则认为该点可能是潜在的目标区域, 置为白色, 否则认为该点属于背景, 置为黑色。
2.2 舰船目标提取本文对经过阈值分割后的二值图像进行形态学闭运算, 填充分割图像的细小空洞。对于图像I, 使用结构元素b对该图像进行闭运算:
(14) |
式中,·代表闭运算操作, ⊕代表形态学膨胀操作,
本机配置环境:CPU为i7-7700K, 4.2GHz*8, 内存为15.5 GB, 显卡为GTX1080。训练集为60张分辨率为480*360的复杂海天背景图片, 测试集为20张相同分辨率的图片, 训练参数如表 2所示:
迭代到3万次用时约5 h, 损失函数值降低为0.001 131, 准确率为0.99。该模型在测试集上损失函数值为0.002 339, 准确率为0.96。
在实例1中, 图 3a)是原图, 图 3b)是全卷积网络分割图, 图 3c)是Sobel算子检测到的边缘, 图 3d)是本文方法海天线检测结果, 图中直线即为霍夫变换检测到的海天线位置, 图 3e)是Otsu分割图, 图 3f)是基于Otsu的方法检测海天线的结果。由此看出, 在天空存在较强光线和大面积云层干扰的情况下, Otsu法由于不能准确地分割出海天区域从而导致海天线检测失败, 但本文的方法可以正确检测出海天线位置。
在实例2中, 图 4a)是原图, 图 4b)是全卷积网络分割图, 图 4c)是Sobel算子检测到的边缘, 图 4d)是本文方法海天线检测结果, 图中直线即为霍夫变换检测到的海天线位置, 图 4e)是原图的行均值梯度曲线, 图 4f)是基于行均值梯度法检测海天线的结果。由此看出, 海杂波较强的情况下, 海洋区域的行均值梯度值较大, 从而使得行均值梯度法检测到的海天线位置偏向于海洋, 但本文提出的方法可以正确地检测出海天线的位置。
从以上2个实例可以看出, 本文提出的基于全卷积网络的海天线检测方法可以适用于各种复杂情况, 鲁棒性强, 检测精度高。
3.2 舰船检测仿真实验根据本文的检测方法, 对20张复杂海天背景下的舰船弱小目标图像进行了实验, 实验结果如表 3所示。表中检测度是指检测结果中真实目标所占的比例, 召回率是指正确检测出的真实目标占实际目标总数的比例。可以看出, 本文检测方法有更高的检测度和召回率。
图 5为目标检测实验的一个实例。图 5a)是原图; 图 5b)是取原始图像海天线附近区域(高度为80像素)作为目标潜在区;图 5c)是基于四向梯度的分割结果,四向梯度垂直步长取2,水平步长取4,阈值系数取3;图 5d)是形态学闭运算结果,可以看出内部狭小空间得到了填充;图 5e)是去除了面积小于30的连通域,方框即为潜在区域;图 5f)是通过对潜在区域进行方差筛选得到最终的舰船检测结果,箭头所指位置方框即为本文的舰船检测结果。
4 结论本文提出了一种基于海天线的舰船弱小目标检测方法,通过仿真实验表明:
1) 本文提出的基于全卷积网络的海天线检测方法可以较为准确地对海天区域进行分割,从而检测出海天线的位置。在天空存在云层干扰时,OTSU由于分割效果不好导致海天线检测失败;在海杂波较强时,海面处行均值梯度值会超过海天线位置处,行均值梯度法检测的海天线偏向海洋,但本方法却可以适用于各种复杂的海天背景,鲁棒性更强。
2) 本文提出的基于四向梯度的舰船检测方法利用了目标的多梯度特性可以有效分割目标,并且利用目标区域的面积与方差特性进行筛选,从而降低了虚警率,本方法比基于中值滤波和Top-hat形态学的检测方法检测精度与召回率更高。
[1] |
刘世军.海空背景下红外舰船目标识别方法研究[D].成都: 电子科技大学, 2011 LIU Shijun. Research on Infrared Ship Target Detection[D]. Chengdu, University of Electronic Science and Technology of China, 2011 (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10614-1011192689.htm |
[2] |
安博文, 胡春暖, 刘杰, 等. 基于Hough变换的海天线检测算法研究[J]. 红外技术, 2015, 37(3): 196-199.
AN Bowen, Hu Chunnuan, Liu Jie, et al. Study of Sea-Sky-Line Detection Algorithm[J]. InfrareTechnology, 2015, 37(3): 196-199. (in Chinese) |
[3] |
李翠红.复杂海天背景红外舰船目标自动检测方法研究[D].湖南: 湖南师范大学, 2012 LI Cuihong. Automatic Detection Method of Infrared Ship Target under Complex Sea-Sky Background[D]. Hunan, Hunan Normal University, 2012 (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10542-1012438237.htm |
[4] |
邹瑞滨, 史彩成, 毛二可. 基于剪切波变换的复杂海面红外目标检测算法[J]. 仪器仪表学报, 2011, 32(5): 1104-1107.
ZOU Ruibin, SHI Caicheng, MAO Erke. Shearlet-Based Infrared Target Detection Algorithm on Complex Sea[J]. Chinese Journal of Scientific Instrument, 2011, 32(5): 1104-1107. (in Chinese) |
[5] |
侯旺, 孙晓亮, 尚洋, 等. 红外弱小目标检测技术研究现状与发展趋势[J]. 红外技术, 2015, 37(1): 1-10.
HOU Wang, SUN Xiaoliang, SHANG Yang, et al. Present State and Perspectives of Small Infrared Targets Detection Technology[J]. Infrared Technology, 2015, 37(1): 1-10. (in Chinese) |
[6] |
丁鹏, 张叶, 刘让, 等. 结合形态学和Canny算法的红外弱小目标检测[J]. 液晶与显示, 2016, 31(8): 793-800.
DING Peng, ZHANG Ye, LIU Rang, et al. Infrared Small Target Detection Based on Adaptive Canny Algorithm and Morphology[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(8): 793-800. (in Chinese) |
[7] | EVAN Shelhamer, JONATHAN Long, TREVOR Darrell. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651. DOI:10.1109/TPAMI.2016.2572683 |
[8] | VIJAY Badrinarayanan, ALEX Kendall, ROBERTO Cipolla. SegNet:a Deep Convolutional Encoder-Decoder Architecture for Image Segmentation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495. DOI:10.1109/TPAMI.2016.2644615 |
[9] |
李言俊, 张科. 景象匹配与目标识别技术[M]. 西安: 西北工业大学出版社, 2009.
LI Yanjun, ZHANG Ke. Scene Matching and Target Recognition Technology[M]. Xi'an: Northwestern Polytechnical University Press, 2009. (in Chinese) |
[10] |
刘帅, 魏贤智, 高晓梅. 基于中值滤波和多向梯度搜索的目标检测算法[J]. 电光与控制, 2011, 18(2): 81-84.
LIU Shuai, WEI Xianzhi, GAO Xiaomei. A Target Detection Method Based on Median Filter and Multi-Grad Search Algorithm[J]. Electronics Optics and Control, 2011, 18(2): 81-84. (in Chinese) DOI:10.3969/j.issn.1671-637X.2011.02.018 |