2. 哈尔滨工程大学 未来技术学院, 黑龙江 哈尔滨 150001;
3. 云南民族大学 电气信息工程学院, 云南 昆明 650504
近年来,各国对海洋探测重视程度的提高,掀起了对声呐图像处理研究的热潮[1]。水下声呐图像是由声波换能器发射声波信号,利用海水介质传播到达目标物体后,以回波的形式按原路径返回给接收换能器进行成像[2]。受水下环境的复杂性和成像设备本身固有的性能影响[3],声呐图像普遍存在分辨率低[4]、噪声污染严重[5]、目标存在阴影以及弱边界等问题,给声呐图像的目标检测带来了严峻的挑战[6]。因侧扫声呐图像在可见度较差的水域中也能提供高分辨率的海底图像,并且在各种军事和民用领域中已发挥了重要的作用[7],所以本文为了克服以上声呐图像中的不利因素,研究一种有效可行的侧扫声呐图像目标检测技术,这对我国开展科技兴海探海活动和海防建设等具有十分重要的意义。
图像的目标检测其实也是一种基于目标统计特征的图像分割。目前,国内外的学者大多借鉴了光学图像的处理方法,提出了许多基于声呐图像的目标分割技术。如2020年,Song等[8]提出了一种将简单线性迭代聚类和自适应强度约束结合到马尔可夫随机场中的声呐图像分割方法,有效地将声呐图像分割为目标亮点区、目标阴影区和背景混响区,对斑点噪声和灰度强度不均匀的声呐图像具有良好的分割效果。声阴影区域的产生是因为声呐接收换能器只能检测和接收按原路径返回的声波信号,受海底凸起的目标物体遮挡影响,物体后面区域缺乏声混响,从而形成了声阴影区域。由于声阴影区域的几何特征比较稳定,在大多数的研究中都利用海床上的物体在声呐图像中的声阴影对目标其进行分类和识别[9],而在目标分割的过程中声阴影区域则会对目标物体的准确分割带来不利的影响。同年,Wang等[10]在脉冲耦合神经网络(DB-PCNN)的计算过程中,利用声呐图像相邻空间的像素信息,进一步提升了声呐图像目标分割精度。Li等[11]提出了一种新的侧扫声呐图像分割的主动轮廓模型,能够对含有不同程度噪声的海底侧扫声呐图像得到较好的分割结果。2021年,Li等[12]利用海难目标的人造特征,提出了一种基于残差轮廓信息的沉船目标分割算法,达到了准确检测目标轮廓的效果。同年,Fan等[13]根据深度学习在图像处理方面表现出的优异性能,优化了区域卷积神经网络(RCNN)的特征提取网络模型,并在声呐图像目标检测方面取得了准确率较高的检测效果。
因无监督学习中的谱聚类[14]分割方法与其他聚类方法相比可以得到全局最优解,并能聚类任意形状和大小的数据集,对处理复杂的多维数据也有较强的分析能力,所以本文利用谱聚类的方法对复杂的侧扫声呐图像进行目标分割处理。但将单一的谱聚类方法应用在侧扫声呐图像的目标分割方面,除了分割出目标区域以外,还会对目标阴影区域和背景噪声区域进行不必要分割,导致目标检测的结果不够理想。为了解决以上问题,本文提出了一种谱聚类结合熵权法的多区域最优选择策略的侧扫声呐图像目标检测方法,通过仿真实验验证本文方法的可行性和有效性。
1 本文方法 1.1 基本结构本文方法的基本结构如图 1所示。
![]() |
图 1 基于多区域最优选择策略的目标检测结构图 |
该方法分为3个步骤:
step1 使用谱聚类理论对输入的原始图像进行聚类处理,将图像划分成多个具有不规则形状的独立区域;
step2 根据声呐图像目标区域的特点,对每个独立的区域进行提取亮度、对比度、信息熵和狭长度等具有平移、旋转和缩放不变性的特征,构建特征准则矩阵;
step3 将构建的特征准则矩阵进行标准化处理,再利用熵权法对标准化后的特征准则矩阵计算各特征指标的权重,最后得出每个区域的综合加权分数,即可实现最优目标区域的选择。
1.2 基于谱聚类的图像多区域划分基于谱聚类的图像分割是图论在图像分割中的一个重要分支,其原理是将相似度高的像素划分为一类,从而实现目标分割[15]。设图像为f={f1, f2, …, fn}, 聚类的最大分类数为c。基于谱聚类的图像多区域划分主要流程如下:
首先, 定义像素之间的相似度函数为
![]() |
(1) |
式中:i≠j, d为距离函数;σ为尺度参数, 则相似度矩阵A∈Rn×n。
定义度矩阵为
![]() |
(2) |
由此可得标准化的相似度矩阵
![]() |
(3) |
其次, 求相似度矩阵AN的特征向量, 其前k个特征向量组成的矩阵为
![]() |
(4) |
对其进行标准化处理, 计算公式如下
![]() |
(5) |
由此可得标准化特征矩阵Y∈Rn×k。
最后, 将标准化特征矩阵Y的每一行当作是Rk中的一点进行聚类处理, K-means算法是比较常用的方法。在矩阵Y中, 当第i行仅归为某一类时, 对应在图像中的fi也被归为此类, 并以此类推进行图像的多区域划分。
本文将谱聚类划分的多区域掩膜图像表示为l(i, j), 每个区域的区域标识表示为anum, 其中anum={1, 2, …, c}, num取值范围为[1, c]。
1.3 特征选择和构建特征准则矩阵对侧扫声呐图像而言, 目标在水下的相对距离、方位和姿态会发生变化, 所以特征选择时, 应该考虑选取的特征在平移、旋转和缩放等变换中具有不变性[16]。由于侧扫声呐图像的前景目标区域一般占据较高的灰度级[17], 且目标物体大多是人造目标, 所包含的信息要比背景区域更加复杂, 目标的形状较为规则, 所以本文在提取的平移、旋转和缩放的不变性特征中选取了亮度、对比度、信息熵和狭长度等不变性的特征, 用于构建多区域的特征准则矩阵。
根据谱聚类分割后的多区域掩膜图像l(i, j)中anum区域的位置坐标, 可对应原图中的各区域进行特征提取, 计算过程如下:
设原灰度图像为g(i, j), 图像的anum区域像素点横坐标为I, 纵坐标为J。若多区域掩膜图像l(i, j)中的值满足l(i, j)属于区域anum, 则原灰度图像anum区域的亮度为
![]() |
(6) |
式中,
原灰度图像anum区域的对比度为
![]() |
(7) |
原灰度图像anum区域的信息熵为
![]() |
(8) |
式中, p(k(I, J))是原灰度图像anum区域的像素值为k(I, J)的像素点个数占图像anum区域总像素点个数的概率。
原灰度图像anum区域的狭长度为
![]() |
(9) |
式中:L是原灰度图像anum区域的长轴;W是原灰度图像anum区域的短轴。
最后, 对原灰度图像中的所有区域构建特征准则矩阵
![]() |
(10) |
熵权法的基本思路是根据指标变异性的大小来确定准则指标的权重。一般来说, 若某个指标的熵越小, 表明指标值的变异程度越大, 则该指标对综合评价的影响(权重)就越大[18]。
本文利用熵权法实现最优目标区域的选择, 算法的步骤为:
step1 首先对公式(10)的特征准则矩阵数据进行标准化处理。设亮度、对比度、信息熵和狭长度4个特征准则的数据为X1, X2, X3, X4, 其中:
![]() |
(11) |
式中, c是谱聚类方法对图像划分的区域总数。
对各特征准则的数据标准化后的值为Y1, Y2, Y3, Y4, 其中
![]() |
(12) |
式中, m∈[1, c], t代表公式(11)中的4个特征角标, 即t∈[1, 4]。最大Ymt值和最小Ymt值通常定义为趋近于0和1的值, 本文将标准化后的最大Ymt值设置为0.996, 最小Ymt值设置为0.002。
step2 求各特征准则的熵值。根据信息熵的公式, 一组数据的熵值为
![]() |
(13) |
式中:
step3 确定各特征准则的权重。根据公式(13)计算出各特征准则的熵值为E1, E2, E3, E4, 通过熵值计算各特征准则的权重
![]() |
(14) |
式中, w1+w2+w3+w4=1。
step4 由各特征准则的权重即可得出每个区域的综合加权分数
![]() |
(15) |
step5 定义最优的目标区域ap为
![]() |
(16) |
本文实验图像选用了目标物体沉入海底且具有阴影区域的侧扫声呐图像, 如图 2所示。
![]() |
图 2 侧扫声呐图像 |
根据图 1的操作, 首先对图 2中的侧扫声呐图像利用谱聚类理论划分多个独立的区域, 其中谱聚类的最大聚类数的设置要根据先验知识来确定。根据选取的声呐图像大致由阴影区域、噪声混响区域和目标区域组成, 聚类数一般选取大于等于3的值[19], 具体的聚类数设置在实际使用中则通常要根据多次测试的最佳效果来确定。本文对聚类数的设置依次取3~10, 以图 2a)沉石1图像为例, 每次聚类的结果如图 3所示。其中, 划分的每个独立区域用红线围成的闭合区域表示。
![]() |
图 3 每次聚类的结果 |
从图 3每次聚类的结果可以看出, 当聚类数设置为3~7时, 由背景噪声和阴影区域带来的不利影响, 图像中的目标区域没有被完整地划分成独立的区域。这是因为声阴影区域的边界较为清晰、形状轮廓与目标区域相似, 所以在每次聚类的过程中会很容易先将声阴影区域作为目标区域单独划分出来, 导致真实的目标区域没有被完整地划分成独立的区域。当聚类数设置为8时, 目标区域被完整地划分为独立区域, 此时达到了较好的聚类效果, 但阴影区域和混响噪声区域也被划分成了独立的区域, 给目标的准确检测带来了干扰。图 2中所有实验图像选取的最佳聚类数和对应的聚类结果如图 4所示。
![]() |
图 4 对实验图像设置的最佳聚类数和对应的聚类结果 |
由图 4可以看出, 所有实验图像中的目标区域、阴影区域和噪声混响区域都被完整地划分成了独立的区域, 而在实际应用中, 往往只需要将目标区域检测出来而不需要检测出背景区域和阴影区域。因此, 本文利用熵权法将目标区域从聚类划分的多个待选区域中筛选出来。
因篇幅有限, 仍然以图 2a)沉石1的图像为例展开分析。沉石1图像经过聚类划分后的多区域掩膜图像如图 5所示。
![]() |
图 5 多区域掩膜图像 |
对图 5的多区域掩膜图像利用公式(6)~(9)分别提取每个独立区域中的亮度、对比度、信息熵和狭长度的特征值, 提取结果如表 1所示。
区域号 | 亮度 | 对比度 | 信息熵 | 狭长度 |
1 | 142.794 | 28.855 | 6.828 | 1.475 |
2 | 119.994 | 28.497 | 6.781 | 2.392 |
3 | 159.978 | 25.769 | 6.653 | 1.133 |
4 | 163.801 | 27.187 | 6.693 | 1.234 |
5 | 204.163 | 37.064 | 6.676 | 2.519 |
6 | 153.111 | 26.223 | 6.681 | 2.068 |
7 | 116.363 | 31.878 | 6.911 | 1.993 |
8 | 24.482 | 21.838 | 5.364 | 1.504 |
然后利用公式(10)对表 1提取的所有特征值构建特征准则矩阵, 并利用公式(11)和(12)进行标准化处理, 结果为
![]() |
对以上归一化后的特征准则矩阵利用熵权法公式(13)和(14)计算各特征指标的权重,结果如表 2所示。
由表 2的权重计算结果和熵权法的基本思路可知,若某个特征指标在所有区域中的数值变化差异越大,则该指标在影响最终决策结果中的重要性也越大,所以权重较大的特征与其他特征相比,可以更好地描述出目标物体的特点,且在区分目标区域和干扰区域方面具有更显著的作用。因此,狭长度特征在区分图 2a)沉石1图像中的目标区域和其他干扰区域方面发挥了更重要的作用。
对表 2的各特征指标的权重,利用公式(15)可以得到各区域综合分数,如图 6所示。
![]() |
图 6 各区域综合分数的结果 |
由图 6各区域综合分数的结果,最后利用公式(16)就可以得出最优的目标区域是区域5。同理,本文方法对图 2中的所有实验图像都能够实现准确提取最优目标区域的效果,最终的目标检测结果如图 7所示。
![]() |
图 7 本文方法实现的目标检测结果 |
由图 7的目标检测结果可以得出,本文方法能够有效地克服侧扫声呐图像中的阴影和噪声混响区域带来的干扰,实现了较为准确的目标检测效果,验证了本文方法的可行性和有效性。
3 结论本文提出了一种谱聚类结合熵权法的多区域最优选择策略的侧扫声呐图像目标检测方法。利用谱聚类理论将原始侧扫声呐图像的像素点划分成多个独立的区域;根据侧扫声呐图像中的目标区域特点,提取了各区域的亮度、对比度、信息熵和狭长度等具有不变性的特征,用于构建多区域的特征准则矩阵;利用熵权法对该特征准则矩阵计算各特征的权重以及每个待选区域的综合加权分数,即可得到最优的目标检测结果。通过仿真实验表明,所提方法不仅能够有效地克服侧扫声呐图像中的噪声和阴影区域带来的不利影响,而且可以在图像聚类后的多个区域中实现最优目标区域的选择,得到的目标检测结果也更加准确和完整,验证了所提方法的可行性和有效性。
另外,本文在目标检测的过程中,对谱聚类的聚类数设置是采用人工干预的方法,未能达到参数的自适应性效果,所以下一步研究工作是使参数达到良好的自适应性,实现改进本文方法的目的。
[1] | WANG H, GAO N, XIAO Y, et al. Image feature extraction based on improved FCN for UUV side-scan sonar[J]. Marine Geophysical Research, 2020, 41(4): 1-17. |
[2] |
赵建虎, 尚晓东, 张红梅. 水深数据约束下的声呐图像海底地形恢复方法[J]. 中国矿业大学学报, 2017, 46(2): 443-448.
ZHAO Jianhu, SHANG Xiaodong, ZHANG Hongmei. Recovering seabed topography from sonar image with constraint of sounding data[J]. Journal of China University of Mining & Technology, 2017, 46(2): 443-448. (in Chinese) DOI:10.13247/j.cnki.jcumt.000659 |
[3] |
罗俊杰, 迟骋, 张春华, 等. 时域压缩合成孔径超分辨水声成像算法[J]. 声学学报, 2021, 46(6): 1144-1152.
LUO Junjie, CHI Cheng, ZHANG Chunhua, et al. A time-domain compression synthetic aperture super-resolution underwater acoustic imaging algorithm[J]. Acta Acustica, 2021, 46(6): 1144-1152. (in Chinese) DOI:10.15949/j.cnki.0371-0025.2021.06.033 |
[4] | DIVAS K, HELGE R, DAVID S, et al. Object detection in sonar images[J]. Electronics, 2020, 9(7): 1180. DOI:10.3390/electronics9071180 |
[5] | GRABEK J, CYGANEK B. Speckle noise filtering in side-scan sonar images based on the tucker tensor decomposition[J]. Sensors, 2019, 19(13): 2903. DOI:10.3390/s19132903 |
[6] | ZHAO J, MAI D, ZHANG H, et al. Automatic detection and segmentation on gas plumes from multibeam water column images[J]. Remote Sensing, 2020, 12(18): 3085. DOI:10.3390/rs12183085 |
[7] | HUO G, WU Z, LI J. Underwater object classification in side-scan sonar images using deep transfer learning and semisynthetic training data[J]. IEEE Access, 2020, 8: 47407-47418. DOI:10.1109/ACCESS.2020.2978880 |
[8] | SONG Y, LIU P. Segmentation of sonar images with intensity inhomogeneity based on improved MRF[J]. Applied Acoustics, 2020, 158: 107051. DOI:10.1016/j.apacoust.2019.107051 |
[9] |
高山, 许坚, 张鹏. 声呐图像水雷目标自动识别[J]. 水雷战与舰船防护, 2006(1): 42-45.
GAO Shan, XU Jian, ZHANG Peng. Automatic recognition of mine targets in sonar images[J]. Mine Warfare and Ship Protection, 2006(1): 42-45. (in Chinese) |
[10] | WANG X, LI Q, YU Y, et al. Evaluation criterion of underwater object clustering segmentation with pulse-coupled neural network[J]. IET Image Processing, 2020, 14(16): 4076-4085. DOI:10.1049/iet-ipr.2019.1662 |
[11] | LI J, JIANG P, ZHU H. A local region-based level set method with Markov random field for side-scan sonar image multi-level segmentation[J]. IEEE Sensors Journal, 2020, 21(1): 510-519. |
[12] | LI K, LIU Z, LU J, et al. Detection algorithm of the shipwreck target based on residual contour information[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2021, 35(2): 2150006. DOI:10.1142/S0218001421500063 |
[13] | FAN Z, XIA W, LIU X, et al. Detection and segmentation of underwater objects from forward-looking sonar based on a modified mask RCNN[J]. Signal, Image and Video Processing, 2021, 15(6): 1135-1143. DOI:10.1007/s11760-020-01841-x |
[14] | WANG J, JIANG J. SA-net: a deep spectral analysis network for image clustering[J]. Neurocomputing, 2020, 383: 10-23. DOI:10.1016/j.neucom.2019.11.078 |
[15] | ZHANG C, ZHU G, LIAN B, et al. Image segmentation based on multiscale fast spectral clustering[J]. Multimedia Tools and Applications, 2021, 80(16): 24969-24994. DOI:10.1007/s11042-021-10831-1 |
[16] |
李鑫, 李哲民, 魏居辉, 等. 基于特征分离的跨域自适应学习模型[J]. 计算机研究与发展, 2022, 59(1): 105-117.
LI Xin, LI Zhemin, WEI Juhui, et al. Cross-domain adaptive learning model based on feature separation[J]. Journal of Computer Research and Development, 2022, 59(1): 105-117. (in Chinese) |
[17] | LIU P, SONG Y. Segmentation of sonar imagery using convolutional neural networks and Markov random field[J]. Multidimensional Systems and Signal Processing, 2020, 31(1): 1-27. |
[18] | LI D W, CHEN J B, QIU M L, et al. The evaluation and analysis of the entropy weight method and the fractional grey model study on the development level of modern agriculture in huizhou[J]. Mathematical Problems in Engineering, 2021, 2021(10): 1-8. |
[19] |
郭海涛, 田坦, 张春田. 基于模糊聚类的声呐图像多区域分割[J]. 海洋技术, 2004(3): 39-40.
GUO Haitao, TIAN Tan, ZHANG Chuntian. Multi-region segmentation of sonar image based on fuzzy clustering[J]. Marine Technology, 2004(3): 39-40. (in Chinese) |
2. School of Future Technology, Harbin Engineering University, Harbin 150001, China;
3. School of Electrical and Information Technology, Yunnan Minzu University, Kunming 650504, China