自动目标识别及其跟踪技术是军事领域研究的重要课题, 近年来, 基于各种理论的识别及其跟踪算法层出不穷。算法创新的瓶颈不再是缺乏理论的支撑, 而是如何客观准确地评价算法性能, 从而指导算法设计^[1]。在评价算法性能时, 研究人员使用不同图像数据集进行测试与分析, 但效果不太理想, 因为对一个图像数据集测试效果很好, 对其他数据集来说可能效果很差, 而且算法的性能测试只能限制在少数场景序列, 无法保障算法鲁棒性。因此, 迫切要求对输入图像的复杂度进行准确定量描述。

如何对输入图像的复杂度进行准确定量描述, 寻找图像复杂度与自动目标识别及其跟踪算法之间存在的联系, 国内外学者提出很多方法^[2-8]。主要基于信息熵度量图像复杂度，效果较差。

随着人们对图像内容理解的逐渐深入, 为了实现图像复杂度的精确度量, 必须将复杂度度量问题约束到某一具体范畴中——自动目标识别及其跟踪。因此, 图像复杂度度量不能完全独立于图像处理算法, 在度量指标构建过程中应对那些引起自动目标识别及其跟踪性能变化的因素进行考虑, 以此来刻画图像中目标识别和跟踪的难度。根据构建过程使用的具体特征的不同, 从统计、概率分布、边缘分布、纹理以及变换域特征等几个方面进行复杂度度量^[2]。

在分析引起自动目标识别及其跟踪算法性能变化的因素基础上, 将影响目标识别和跟踪因素进行综合。Harper等^[4]综合图像的分布、结构及背景色对比度构建图像复杂度度量方法; Corchs等^[5]提出了一种基于空间、频率和色彩3种属性的图像复杂度度量方法; Ciocca等在文献[6]中定义了颜色种类广义集和颜色空间分布广义集, 然后根据这两个广义集的分布函数计算出了图像复杂度; Zhou等在文献[7]中利用10个特征来衡量图像复杂度, 分别为灰度共生矩阵的对比度、灰度共生矩阵的同质性、边界密度、熵以及区域个数等, 结合一定数学方法构建复杂度度量方法; Mao等在文献[8]中以杂波引入虚警的能力和杂波遮隐目标的能力2个具体指标来度量复杂度。通过对国内外文献归纳总结发现, 图像复杂度主要是对单帧图像进行度量, 而针对图像序列复杂度的度量却很少, 主要是以序列相关度、帧间目标变化度为代表^[2]。李敏在文献[9]中通过计算相邻帧间的相关系数, 提出序列相关度指标, 但该指标没有考虑与目标相关的信息, 效果并不理想。刁卫鹤等在文献[10]中指出帧间目标特征变化是影响目标识别跟踪的主要因素, 提出帧间目标变化度指标, 取得一定效果。但该度量方法仅仅考虑了“帧间目标变化程度”, 而忽略了“帧内目标识别复杂度”的影响, 郑欣等^[2]在文献[10]的基础上进行进一步研究, 通过实验发现帧间目标特征变化可以归结为2个因素:帧间目标灰度信息变化和帧间目标运动信息变化, 效果有一定提升, 但依然忽略“帧内目标识别复杂度”的影响。

本文对影响帧内目标识别、帧间目标跟踪的因素进行综合考虑, 引入特征空间, 提出基于特征空间的目标混淆度和基于特征空间的目标遮隐度指标。为进一步优化特征空间, 使用灰色关联法进行特征选择, 使目标混淆度和目标遮隐度度量指标更加完善, 在此基础上, 结合识别与跟踪的具体问题, 选择合适的加权平均函数和非线性变换函数, 实现图像序列复杂度度量。最后验证该指标的有效性。

1 图像复杂度描述及其缺陷分析 1.1 图像复杂度描述

自动目标识别技术的发展要求对其性能进行客观度量。一些度量方法将识别成功率与输入的图像特性建立对应关系。特别地, 知道识别成功率如何随图像复杂程度的变化而变化是很有必要的。因此, 需要对图像进行复杂度度量。自动目标识别设计者根据被测图像的复杂程度来比较不同算法之间的性能优劣。

图像复杂度表示从图像中识别真实目标的难易程度。理想的图像复杂度是一个从所有图像集合到有限实区间的映射。区间的极值表示难度的极值。映射在概率上必须是单调的。

1.2 图像复杂度缺陷分析

图像复杂度都是基于单帧图像评价自动目标识别难易程度, 将他们直接用于图像序列的复杂度评价存在一定的缺陷, 主要表现在三方面:

1) 传统的图像复杂度度量都是针对单帧图像内部信息, 忽视了帧间目标信息的变化;

2) 传统的图像复杂度度量方法主要从目标识别难易程度出发来度量, 而图像序列复杂度还需要考虑跟踪难易程度;

3) 传统的图像复杂度度量没有关注复杂度过大造成的目标丢失情况, 只是简单认为图像序列复杂度是单帧图像复杂度的线性叠加。

传统的图像复杂度度量存在着固有缺陷, 序列相关度、帧间目标变化度等图像序列复杂度度量只片面考虑帧间目标特征变化, 忽视帧内“目标识别复杂度”的影响, 因此, 有必要提出一种针对图像序列特点的复杂度度量指标, 该指标综合考虑红外图像序列中对帧内目标识别、帧间目标跟踪造成干扰的因素。

2 红外图像序列复杂度

基于上述思想, 本文提出基于特征空间的目标混淆度和目标遮隐度并进行特征空间的优化, 实现红外图像序列复杂度度量。

目标混淆度是一个用于评价红外图像复杂度的性能指标, 描述了背景杂波与目标的相似程度, 相似度值越大, 表明杂波与目标越相似, 即引入虚警能力越强, 识别跟踪目标难度越大, 反之亦然。

同理, 目标遮隐度也可以定量评价红外图像复杂度, 描述了局部背景对目标的遮挡程度, 遮挡越严重, 表明提取到目标特征的难度就越大, 对目标进行识别跟踪的难度就越大, 反之亦然。

2.1 特征空间

在图像复杂度度量方面, 评价效果最好, 被大家普遍认可的指标主要分为图像目标特征和目标局部背景特征2大类^[11]。

图像目标特征分为3类, 分别是纹理特征, 统计特征以及形状特征。其中，纹理特征以能量为代表; 统计特征包括统计方差、灰度标准偏差及最高灰度; 形状特征包括长宽比、周长、面积、Hu矩。考虑到图像序列复杂度度量还需要考虑影响跟踪的因素——灰度信息的变化和运动信息的变化, 统称为帧间特征。因此, 针对图像序列复杂度度量的目标混淆度特征空间构建需要考虑这四类特征。

目标局部背景特征测量是对目标区域和有限的相邻区域的相对测量, 表示目标识别系统提取目标的能力。目标局部背景特征分为2类:目标局部背景对比度以及目标局部背景灰度分布统计差。其中目标局部背景对比度以目标背景对比度和目标干扰比为代表, 目标局部背景灰度分布统计差主要包括目标局部背景熵差和目标局部背景灰度相关。因此, 针对图像复杂度度量的目标遮隐度的特征空间构建需要综合考虑这两类特征。

图像序列复杂度度量特征空间构成要素如图 1所示。

2.2 灰色关联法原理

灰色关联法的基本原理是根据序列曲线变化趋势的相似程度, 来判断不同元素是否关联, 曲线越相似, 序列间关联度越大。采用灰色关联法计算不同元素之间的灰度相关矩阵, 灰色关联度计算如下:

设特征序列X_i=(x_i(1), x_i(2), x_i(3)…, x_i(n)), 其中i=1, 2, 3…, m, n代表特征序列的帧数, m代表特征个数。

将特征序列进行标准化变换得

(1)

则X_i对于X_j在第k点的灰色关联系数ε_ij(k)可定义为

(2)

X_i对于X_j灰色关联度, 设定阈值r=0.9, 当γ_ij≥r, X_i与X_j关联度很大, 可以聚为一类特征。

使用上述理论对500组随机抽取的不同场景下的图像序列提取目标特征及其目标局部背景特征, 计算500组图像序列中各特征序列相对其他特征序列的灰色关联度均值, 如表 1和表 2所示。

通过观察上表, 能量与平均灰度、长宽比与面积以及目标背景对比度与目标干扰比的关联度分别为0.924 1, 0.921 6和0.968 4满足γ_ij≥r(r=0.9)。以上数据是样本序列分析的结果, 为验证结果的合理性, 对所有图像序列计算特征关联度均值, 变化趋势仍然相同。因此, 目标混淆度的构建剔除能量与长宽比特征, 目标遮隐度剔除目标干扰比特征。

2.3 基于特征空间目标混淆度

基于特征空间的目标混淆度是图像背景杂波与目标区域相似度的度量, 混淆度越大, 表明背景与目标越相似, 识别和跟踪难度越大。该指标的构建需要综合考虑虚警目标与真实目标的特征相似程度以及虚警目标的数量, 在该指标的计算中利用归一化互相关法对目标区域与背景进行模板匹配, 选择虚警目标区域, 计算目标特征相似度, 获得目标混淆度。基于特征空间的目标混淆度是图像背景杂波与目标区域相似度的度量, 是对全局图像复杂度度量指标。其中真实目标模板是手动选取的, 目标混淆度可以自动获得。流程图见图 2所示。

计算目标混淆度的具体步骤:

1) 以目标模板对除去目标区域的整幅图像进行扫描, 扫描窗口为目标区域大小, 步进为1, 计算图像中目标区域与每一个扫描框归一化互相关值, 记为G_i, i为扫描序号, G_i≥0.5的扫描窗口个数为m, 作为疑似目标个数;

2) 计算各个疑似目标与目标模板的特征相似度f_char(o_j, c_j)(0≤f_char(o_j, c_j)≤1), 反映疑似目标o_j(j=1, 2, 3…, m)与真实目标的c_k(k=1, 2, 3…, 8)特征的相似程度

(3)

F_T(c_k)为目标的c_k特征, F_f(o_j, c_k)为疑似目标o_j的c_k特征, 目标混淆度的特征相似度计算涉及的特征包括平均灰度、灰度标准偏差、最高灰度、周长、面积、Hu矩、运动信息变化率和灰度信息变化率, 共计8个特征。

3) 计算疑似目标与目标区域的相似度f_o(o_j)

(4)

其中各特征的权值c_k=1/8, 说明特征重要程度是等效的;

4) 单帧图像中所有疑似目标与目标区域的相似度f_img

(5)

f_img的值域为[0, m], 对其进行归一化处理, 求得单帧图像的目标混淆度

(6)

通过(6)式, 可知

(7)

目标混淆度取值范围在[0, 1)区间。

2.4 基于特征空间目标遮隐度

基于特征空间的目标遮隐度是在图像局部背景区域中识别目标难易程度的度量, 遮隐度的值越大, 表明对目标进行识别的难度越大, 该指标的构建需要综合考虑目标局部背景各特征值。

本文对目标所在局部背景区域定义如下:

以目标S为中心、长宽尺寸为目标的倍矩形区域, 去除目标区域后剩余的部分。

基于特征空间的目标遮隐度是在图像局部背景区域中识别目标难易程度的度量, 是对局部图像复杂度度量指标。其中目标及其局部背景的特征空间是手动选取的, 而待评价目标及其局部背景是自动测度获得, 计算流程图如下:

基于特征空间目标遮隐度计算公式如下

(8)

式中，E_T为待评价图像中目标局部背景特征向量; 将局部背景区域B灰度值置0, 求得理想无遮隐情况下目标局部背景特征向量, 记为E_K; E_O为零向量; d(x, y)为特征向量x和y间的欧式距离。对于(8)式中大于1的特殊情况, 强制取1。由(8)式可知, 当待评价图像中特征向量E_T与理想情况下完全相同时, 此时d(E_T, E_K)为0, 相应的目标遮隐度为0;反之, 相应的目标遮隐度为1。

基于特征空间目标遮隐度的特征向量由目标背景对比度、目标局部背景熵差和目标局部背景灰度相关3个特征组成。

在获得单帧图像基于特征空间的目标混淆度和目标遮隐度的基础上, 建立单帧图像复杂度与二者之间的联系。引入统计学中F分数, 对2个指标进行合并, 在合并过程中该分数可以将两个指标权重同等对待。F分数表达式如下

(9)

式中, F₁, F₂代表需要衡量的2个指标。

得到单帧图像复杂度为

(10)

F_complex取值范围为[0, 1]。

2.5 红外图像序列复杂度度量

红外图像序列复杂度与目标跟踪算法密切相关。目标跟踪过程是一个跟踪误差的累积过程, 随着误差增大, 目标在视场中会有一定抖动, 当误差达到一定阈值, 很容易丢失目标。因此, 红外图像序列复杂度并不是单帧图像复杂度的简单叠加, 无背景干扰下的目标跟踪, 复杂度较低, 时间的增大对跟踪效果影响较小, 目标丢失情况往往出现在背景遮挡, 虚警过大时刻, 该时刻会有一个很大的误差积累, 对目标跟踪影响很大。在构建图像序列复杂度时, 引入神经网络Sigmoid函数, 强化高复杂度图像的权重, 弱化低复杂度图像的权重。

得到红外图像序列复杂度F_SC公式为

(11)

式中，N为红外图像序列帧数。红外图像序列复杂度F_SC取值范围为[0, 1]。

3 实验与分析

为了验证复杂度评价指标的性能, 对单帧图像复杂度度量指标和图像序列复杂度度量指标分别进行验证。实验中验证平台的硬件环境为:Intel(R) Core(TM) i7-7700K CPU@ 4.20GHz, 16.0GB内存的PC机, 软件开发工具为:Windows10操作系统。单帧图像复杂度度量指标以MATLAB2014为计算平台, 通过真实实验数据进行验证, 背景覆盖类型较广, 以天空类型为主, 还包括地面背景以及海杂波背景等, 共计5 000幅640*512像素大小的红外图像, 所有图像目标遮隐度计算耗时在10分钟之内, 目标混淆度计算耗时近三天, 单帧图像复杂度指标有效性主要通过与实际情况吻合程度进行说明。图像序列复杂度度量指标通过合成红外图像序列与真实图像序列分别进行验证, 合成红外图像序列主要是针对天空背景以及红外诱饵干扰等特定场景。仿真平台以Microsoft Visual Studio为开发环境, 使用通用建模软件建立场景模型, OSG完成最终渲染, 实验中仿真生成的空中目标红外诱饵图像序列共12 000组, 每组图像序列帧数为600~1 000不等, 每帧图像像素大小为512×512, 由于目标以及红外诱饵模型是已知的, 可以直接进行图像序列复杂度的计算, 对于生成的带有复杂度标注的图像序列, 结合已有的跟踪算法进行单调性验证。真实红外图像序列主要是在公共红外数据集the thermal infrares visual object tracking challenge 2016(VOT-TIR2016)进行验证, 共计25组数据, 验证真实红外图像序列复杂度与跟踪算法的单调性关系。

3.1 单帧复杂度指标有效性实验

为验证单帧复杂度指标有效性, 仅以4幅典型红外图像来说明, 见图 5。

利用本文提出的混淆度和遮隐度指标对影响目标识别因素进行定量描述, 进而对图像复杂度进行度量, 图像复杂度计算结果见表 3。

图 5a)~5b)的局部背景对目标有一定的遮隐程度, 但背景几乎不会在目标识别时引入虚警, 因而识别目标难度较小, 对应的图像复杂度也较小, 分别是0.096和0.217。图 5c)目标混淆度很高, 目标遮隐度较小, 在该图像中识别目标的困难在于存在大量的类似于目标的区域, 进而影响了对目标的正确定位, 对应的图像复杂度为0.391。图 5d)复杂度最大, 这是由于目标混淆度和目标遮隐度都很大, 这就意味着背景中不但存在大量的虚假目标, 而且背景对目标造成很大遮隐, 使得目标从局部背景中识别难度增加, 目标特征无法被完整提取, 造成误识别或目标丢失的现象, 对应的图像复杂度为0.778。依据图 5a)~5d), 基于特征空间的目标混淆度和目标遮隐度指标是有效的, 它明确了影响目标识别的具体原因, 图像复杂度与实际情况也是相吻合的。由于单帧图像帧间特征无法计算, 进行置0处理, 表中混淆度数值均略小于序列复杂度计算数值。

3.2 图像序列复杂度指标有效性实验

有效的红外图像序列复杂度评价指标与目标跟踪算法实际效果之间应依照概率呈现单调关系^[2]。因此, 为了评价图像序列复杂度的有效性, 本文分别利用仿真红外图像序列以及真实红外图像序列进行验证, 分析图像序列复杂度与跟踪算法实际跟踪效果的关系。图 6为1组仿真图像序列和1组真实红外图像序列，ATR中的目标跟踪算法主要包括2大基本框架:基于目标建模、定位和基于滤波、数据关联^[13]。本实验充分结合2种框架优势, 利用在线学习实现目标建模, 同时利用金字塔光流法进行相关匹配, 算法细节不在此详述^[6], 以此保证跟踪算法的普适性。

本文使用跟踪误差表征算法的实际跟踪效果。该指标仅当目标在视场内时才有意义, 可以通过目标记忆模型重新捕获目标继续跟踪。当目标跳出视场, 跟踪失败。在实验中, 首先定性的分析了目标跳出视场的原因; 然后, 对于有效跟踪序列, 定量地分析了序列复杂度与平均跟踪精度之间的关系, 平均跟踪误差计算公式:

(12)

式中，S为一组图像序列的平均跟踪精度, S_oi, S_ri表示第i帧的真实目标位置和算法获取的目标位置。

1) 仿真图像序列复杂度有效性验证

实验中仿真生成的空中目标红外诱饵图像序列共12 000组, 306组图像序列目标跳出视场, 跟踪失败, 记为S_F(i)(i=1, 2, 3…, 306), 11 694组目标稳定跟踪, 记为S_S(j)(j=1, 2, 3…, 11 694)。跟踪失败图像序列末时刻混淆度和遮隐度散点图及复杂度分布情况见图 7a)和图 7b)。稳定跟踪图像序列统计跟踪误差并进行归一化处理S_S^O (j)=S_S(j)/max(S_S(j)), 其中max(S_S(j))代表稳定跟踪图像序列跟踪误差最大值, 然后将进行归一化处理操作, 分成5个等级^[11]((0, 0.2], (0.2, 0.4], (0.4, 0.6], (0.6, 0.8], (0.8, 1]), 计算5个等级跟踪误差均值记为:S_S^(0-0.2], S_S^(0.2-0.4], S_S^(0.4-0.6], S_S^(0.6-0.8], S_S^(0.8-1], 图 7c)为目标稳定跟踪条件下5个等级跟踪误差均值与序列相关度之间的关系, 图 7d)为目标稳定跟踪条件下5个等级跟踪误差均值与帧间目标变化度之间的关系, 图 7e)为目标稳定跟踪条件下5个等级跟踪误差均值与本文序列复杂度之间的关系。

由图 7a)度量指标散点图可知, 306组图像序列中跳出时刻目标遮隐度和目标相似度聚类中心为(0.446, 0.448), 目标混淆度值都大于0.3, 且有一定遮隐度, 造成目标跟踪过程中, 无法准确识别目标, 跟踪虚假目标跳出视场。由图 7b)复杂度分布可知, 跳出时刻当帧复杂度值普遍较大, 均值为0.464。由实验可知, 目标跟踪失败主要是由于跳出时刻复杂度较大引起的, 而且目标相似度引入虚警的能力较大, 也有一定目标遮隐度, 该实验定性地分析了目标跳出视场的原因, 在一定程度上, 说明了在构建图像序列复杂度时, 引入神经网络Sigmoid函数的合理性。由图 7e)可知, 在实现有效跟踪的11 649组序列中, 5个等级平均跟踪误差与本文提出的序列复杂度基本呈现单调递增的关系, 在此基础上, 与序列相关度和帧间目标变化度进行对比, 如图 7c)和7d)所示, 本文序列复杂度指标单调性明显更好。该实验结果说明, 本文序列复杂度的评价结果优于已有的2种评价标准。

2) 真实红外图像序列复杂度有效性验证

为了进一步验证本文图像序列复杂度的有效性, 对真实图像序列进行深入的分析实验, 分析真实图像序列复杂度与跟踪算法实际跟踪效果关系。

在数据集VOT-TIR2016进行验证, 数据集共有25组红外图像序列, 其中有4组数据是关于街道、树木以及挖掘机的图像序列, 由于场景是静止的, 不能用于目标跟踪, 实验中只用到21组数据, 其中有7组图像序列目标跟踪失败, 14组目标稳定跟踪。跟踪失败图像序列末时刻混淆度和遮隐度散点图及复杂度分布情况见图 8a)和图 7b), 稳定跟踪图像序列统计跟踪误差并进行归一化处理, 图 8c)、8d)以及8e)分别为目标稳定跟踪条件下跟踪误差归一化值与序列相关度、帧间目标变化度以及本文提出的序列复杂度之间的关系。

由图 8a)度量指标散点图可知, 7组图像序列中丢失目标时刻目标遮隐度和目标相似度聚类中心为(0.714, 0.556), 且在该时刻目标混淆度或者目标遮隐度较大。由图 8b)复杂度分布可知, 丢失目标时刻当帧复杂度值普遍较大, 均值为0.539。该实验进一步对目标丢失的原因进行解释, 一定程度上说明度量算法的合理性。同时, 由图 8e)可知, 在实现有效跟踪的14组序列中, 目标稳定跟踪条件下跟踪误差归一化值与本文提出的序列复杂度基本呈现单调递增的关系, 效果优于序列相关度和帧间目标变化度, 如图 8c)和8d)所示, 本文序列复杂度指标单调性明显更好。

实验结果说明, 图像序列复杂度越大, 跟踪误差越大, 跟踪效果越不好, 丢失目标时刻复杂度对目标跟踪结果影响较大。本文提出的算法与目标跟踪误差之间呈现单调关系, 效果明显优于已有评价指标, 是一种有效的图像序列复杂度评价指标。

4 结论

针对自动目标识别中图像序列复杂度评价的问题, 本文对影响目标识别及其跟踪因素进行分析, 引入特征空间, 构建目标混淆度和目标遮隐度度量指标, 明确了背景对目标识别与跟踪产生影响的具体原因。在此基础上, 通过灰色关联法对特征空间进行特征选择, 剔除相关性较大的特征, 进一步优化特征空间。在单帧图像复杂度与图像序列复杂度构建过程中, 结合目标识别和跟踪的具体情况, 使用F分数和Sigmoid函数进行非线性处理。由实验及其结果看出, 本文提出的算法满足与目标跟踪算法实际效果之间概率呈单调关系, 效果明显优于已有评价指标, 是一种有效的图像序列复杂度评价指标。