近年来, 基于相关滤波器的跟踪算法受到广泛关注, 该类方法属于判别式跟踪, 其实质是将跟踪问题转化成一个分类问题，通过在线训练的分类器将前景和背景进行分离, 实现目标跟踪的任务。

文献[1]提出了一种基于相关滤波器最小输出均方误差和的视频跟踪算法。文献[2]设计了2个一致并且相对独立的相关滤波器, 分别实现了目标位置跟踪和尺度变换。文献[3]将检测建议框架与相关滤波跟踪器框架相结合, 并采用了特征集成、鲁棒更新与建议拒绝等优化方法, 保证了各部分的有效整合。通过全局搜索, 文献[4]找出了利用轮廓特征标记出的建议候选样本, 得到较优的正负样本和更强的检测器, 来完成分类器测试和更新, 有效减少了分类器搜索空间, 降低虚假目标干扰。为了克服相关滤波器跟踪算法对于形变和旋转鲁棒性较差的问题, 文献[5]通过融合特征响应图的形式, 将相关滤波器框架和颜色模型框架进行融合, 提高了跟踪算法的鲁棒性。但是在互补特征的选择以及响应图的融合方式上还有待进一步研究。

本文将物体性检测理论引入到相关滤波跟踪和颜色模型跟踪的框架中, 多互补模型的分类器框架能够有效地对目标和背景进行分离, 克服跟踪器易受光照、背景干扰的问题, 降低跟踪虚假目标的概率。并且本文通过衡量不同模型预测响应图的置信度来推理该模型对目标和背景的分辨能力, 从而确定合适的加权权重, 提升跟踪性能。

1 融合多互补特征的跟踪算法

Staple^[5-6]算法通过相关滤波模型和颜色模型同时对目标和背景进行分类, 提高了跟踪器的泛化能力。然而, 跟踪模型还是易受到环境、光照等因素的干扰。基于上述问题, 本文在Staple算法的基础上融入了物体性检测模型^[7], 充分利用样本信息多样化的特点。物体性检测模型基于物体边缘轮廓特征, 对光照、背景变换有良好的适应性。新算法通过结合3个互补模型分别对目标位置进行分类预测, 最后将得到的各个模型的预测响应图进行自适应加权融合来进一步提高跟踪器鲁棒性。算法整体框架如图 1所示。

在第t-1帧, 得到最佳目标为Π_t-1, 其中心位置矢量为p_t-1, 大小为w_t-1×h_t-1。在t帧, 依据文献[5]提取搜索图像块z_d, 中心位置矢量为p_t-1, 大小为(w_t-1+l)×(h_t-1+l), l=(w_t-1+h_t-1)/2, 并通过插值法将z_d等纵横比缩放为尺寸ψw₀×ψh₀的标准图像块z_d, 使得ψw₀×ψh₀为一固定值C。然后通过滑动采样的方式, 得到样本边界框集合Ω。由于本文算法将目标的位移估计和尺度估计相分离, 所以滑动采样中的边界框Π, Π∈Ω, 大小固定为b_w×b_h, 其中l=(w_t-1+h_t-1)/2, 即记尺寸为b_w×b_h。然后新算法通过滤波器模型、物体性检测模型以及颜色模型分别对Ω集合中的所有边界框Π进行打分。并通过自适应权重的方法计算所有边界框的综合得分

(1)

式中, w_t^c, w_t^o和w_t^f分别为对应模型的加权权重。最后选择得分最高的边界框的中心位置为最佳目标中心位置p_t, 此过程同样等同于对模型各个响应图进行加权, 后取加权后响应中响应幅值最大的响应点作为目标中心位置。

1.1 平移滤波器模型与其响应图计算

在训练过程中, 算法首先提取标准图像块z_d及相应的d(d=28)维方向梯度直方图特征(HOG)f^l, l∈(1, …, d)描述, 然后通过最小化目标函数, 训练一组d维滤波器h。目标函数公式为

(2)

式中，*表示循环相关, h^l为第l维特征对应的滤波器系数, g为回归响应函数, 本文选择高斯函数。第二项λ表示正则化项。通过在频域下利用帕塞瓦尔定理进行快速求解, 得到滤波器的频域形式为:

(3)

式中，G为高斯响应的DFT共轭项, A_t^l和B_t分别代表l维滤波器系数H^l的分子和分母项, F^k和F^k分别为k维特征图像块f^k对应的频域形式以及对应共轭项。滤波器系数的更新策略如下:

(4)

式中，l=1, 2, …d, η为学习因子。

当获取到一帧新的图像序列后, 在上一帧目标中心位置矢量p_t-1提取搜索图像块z_d, 并按上文方法归一化为分辨率为固定值C的标准图像块z_d, 然后提取z_d的d维方向梯度直方图特征(HOG)z_t^l, l=1, 2, …d, 并得到各维度特征块的频域形式Z_t^l, 最后与训练好的相关滤波器进行卷积得到滤波器的权重分数响应y_t^h

(5)

式中，A_t-1^l和B_t-1是上一帧训练得到的位置滤波器的分子项和分母项。

得到的滤波器响应图y_t^h可等效地表示在滤波器模型下, 预测得到的不同位置固定尺寸(w_t-1×h_t-1)边界框Π的权重分数S_f(Π)。

1.2 物体性检测模型预测

基于轮廓信息的物体性检测模型可以通过图像的轮廓信息对样本边界框集合Ω中所有边界框打分, 分数大小表示边界框内包含目标的概率。算法通过结构化边缘检测计算出标准检测图像块z_d中每一个像素点p对应的边缘幅值m_p和方向θ_p, 并将m_p>0.1的像素点记作边界点。将形成相干边界点组成的一条边或曲线定义为轮廓并将边界群定义为属于相邻轮廓的边界像素的集合。因此边界群内的相邻点不仅应该距离靠近, 梯度方向也应该接近, 而那些未连接或通过高曲率的轮廓相连的边界像素就不太会属于同一边界群。基于此依据, 文献[7]定义了2个边界群之间的相似度。设任意2个边界群s_i和s_j对应的平均中心位置分别为x_i和x_j, 平均梯度方向为θ_i和θ_j, θ_ij为θ_i和θ_j之间的夹角, 那么s_i和s_j的相似度a(s_i, s_j)表示为:

(6)

式中，γ用来调节相似度对方向的敏感程度。当2个边界群之间的距离大于2个像素时, 则两者的相似度就为0。

算法首先计算标准检测图像块z_d中所有的边界群, 对于位于z_d中任意位置的一个边界框样本Π, 文献[7]中计算出每一个边界群s_i完全位于Π的权重分数分ζ_i, ζ_i∈[0, 1], 边界框b的物体性权重分数S_o(Π)可表示为:

(7)

式中, b_w和b_h分别为边界框Π的宽和高。b_in代表边界框Π的中心区域, 尺寸为(b_w/2)×(b_h/2);r表示边界框内的任意一个边界像素, m_r为r的响应幅值, m_i为边界群s_i中所有边界像素幅值之和, ζ_i为边界群s_i完全位于b的权重分数, 边界像素响应幅值和ζ_i的计算方法可见文献[7], ζ_i越高表示s_i完全位于Π内的可能性就越大; k为对目标长、宽大小的惩罚系数。

因此, 可以通过物体性模型有效地计算出边界框样本集合Ω中任意位置边界框的物体性分数S_o(Π), 由于响应图中每个点对应Ω中一个样本, 其响应值对应Ω的得分, 因此可以得到整个物体性响应图y_t^o。

1.3 颜色模型预测

基于颜色模型的目标跟踪方法具有旋转、平移和尺度不变性的优点。文献[5]中颜色频率的计算和像素权重分数的计算都是在映射空间中完成的。训练阶段算法将训练图像块分割为目标区域和背景区域两部分, 并将所有RGB像素映射到bin空间下的索引像素, 并分别统计任意索引像素j在目标区域的频率ρ_t^j(O)和属于背景的频率值ρ_t^j(B), 且每一帧分别对频率信息进行更新。

(8)

式中，ρ_t(·)是由ρ_t^j(·), j=1, …M，组成的M维向量, 其中M=2 048。

在预测阶段, 搜索标准图像块z_d中的每一个像素点v属于目标的权重β_t^φ(v)和像素索引j=φ(v)出现在目标区域的频率值ρ_t^φ(v)(O)以及像素索引j出现在背景区域的频率值ρ_t^φ(v)(B)有关, β_t^φ(v)的计算表示为

(9)

式中, 任意的ρ_t^j(O)和ρ_t^j(B)已经在训练阶段计算得到, 所以ρ_t^φ(v)(O)和ρ_t^φ(v)(B)可通过查找表直接得到。λ用来保证分母非零。当计算出搜索图像块z_d中的每一个像素点v属于目标的权重β_t^φ(v)后, 就得到了与z_d尺寸相同的每个像素的分数响应图, 再通过计算滑动窗口产生的每一个边界框Π内所有像素权重平均值, 并用图像卷积进行加速计算。

(10)

式中，|Π|表示边界框Π的像素总数。最终可以得到边界框样本集合Ω中任意边界框的颜色权重分数S_c(Π), 进而同物体性检测模型相同, 可以得到颜色响应y_t^c。

1.4 基于响应图置信度的自适应融合算法

文献[5]对于2个响应图的融合采用了固定权重的融合方式, 然而, 目标跟踪过程中各个时刻跟踪器中各个模型受干扰程度往往不尽相同, 固定权重不能准确有效地利用各个模型的预测信息, 导致跟踪器对目标跟踪的鲁棒性不高。对于融合多通道的跟踪器来说, 若不能对受不同程度干扰的模型动态加入合适的权重系数, 跟踪的稳定性难以得到保证。为此, 本文通过有效地计算不同模型预测响应图的置信度, 进而自适应地对模型权重进行调整, 进一步提高跟踪算法的鲁棒性。

文献[6]中用不同模板对正负样本的分别能力来表示跟踪的置信度, 其计算过程需要一定数量有对应标签的目标样本。然而, 目标样本标签的得到一般是通过跟踪器历时帧的跟踪结果来确定的, 因此跟踪结果发生飘逸将会导致置信度的计算错误, 跟踪器陷入循环的错误计算中。而文献[6]通过将上述问题转换为半监督的部分标签问题, 首先计算一个可能的部分带有标签的图像块样本集合:

(11)

候选目标边界框集合的获得, 需要分别计算滤波器模型响应图、颜色模型响应图以及物体性检测模型响应中响应权重较大的目标边界框集合v₁, v₂和v₃, 并取其并集v=v₁∪v₂∪v₃, 得到总的候选边界框集合v。同时, 通过迭代合并相邻位置点使得到的任意2个边界框之间的重合度小于0.5, 保证集合中只有一个边界框为真目标边界框。最终得到的这些边界框集合是基于各个模型估计的属于目标可能性高的边界框, 对于这些边界框是否属于目标的进一步的分辨能力往往决定了其跟踪目标的性能。设最终的边界框集合为, 而对于集合中的每一个推荐目标框xⁱ都对应一个标记Sⁱ=(φⁱ, lⁱ), 其中, φⁱ表示候选边界框属于目标或者背景的二进制标签φⁱ∈{-, +}, lⁱ代表边界框的中心位置的坐标。所以可以得到边界框集合 …xⁿ}标签的所有边界框可能对应一个标签集合z={S₁, …S_n}, 而S_j=((φ_j¹, l_j¹), …, (φ_jⁿ, l_jⁿ))表示其中的一种标签组合, 并且仅有一个边界框的标签为真, 其他目标框的标签都为假, 即当i=j, 其他i≠j时φ_j^j=0, 标签集z={S₁, …S_n}, 的取值空间为y=({-, +}×Z²)ⁿ。得到具有标签的边界框集合后, 通过公式(12)计算出各个模型响应图的置信度。如公式(12)所示, 置信度l由2项组成, 第一项L为由响应图得到的最大似然概率, 第二项H为由响应图得到损失函数。同时ζ为两者的调节因子, 最终置信度计算公式表示为

(12)

最大似然概率L和损失熵H的计算公式分别为:

(13)

(14)

这里假设目标所在位置概率模型P(lⁱ|ϕⁱ)为高斯分布函数。并且假设P(lⁱ|ϕⁱ, xⁱ; θ)=P(lⁱ|ϕⁱ; θ)成立, 则条件概率可以表示为

(15)

同时令

(16)

式中，S′∈z时δ_z(S′)取1, 否则为0。详细过程可以参考文献[6]。得到复合特征响应图和滤波器响应图的置信度后, 就可以计算各个响应图的加权权重。

在预测结果的加权权重设计中, 本文通过考察不同模型对不同位置边界框是否属于目标的分辨能力强弱, 并结合模型对历史帧边界框分辨能力来决定该当前帧该模型预测结果的加权比重。在跟踪过程中, 当某一模型预测结果的置信度高时, 则保持该模型预测响应图加权权重不变, 当某一模型的预测结果置信度低时, 降低其预测响应图加权权重。模型预测结果置信度高低的判断方法如下:设y_t^*为t时刻不同模型的预测响应图, E_t^*为该模型的响应图, E_t^*为该模型响应图前Δ帧的平均置信度, E_t^*的计算公式分别为:

(17)

基于上述讨论, 本文提出通过从以下方式对HOG模型在t时刻的加权权重w_t^*进行自适应调整

(18)

式中, a^*表示不同模型预测响应图的初始加权权重, β为当模型响应图置信度低时响应图加权权重的衰减系数, ϑ为预先设定的模型在t时刻置信度应高出前Δ帧平均置信度值的对比系数。最终的响应图y_t的融合公式如下:

(19)

式中, w_t^f, w_t^c和w_t^o分别为滤波器响应图y_t^h、颜色响应图y_t^c和物体性响应图y_t^o的自适应加权权重。

1.5 尺度的计算和优化

当平移滤波器确定出目标中心坐标后, 引用文献[5]的方法, 用一维尺度滤波器计算目标当前尺度。尺度金字塔建立如下

(20)

式中, w_t-1, h_t-1分别为目标在上一帧的宽和高。ζ为尺度放缩因子, 本文选择1.02, ρ为尺度金字塔的层数, 本文选择33。具体计算可参考文献[5]。

1.6 算法实现

本文算法可分为4个主要组成部分:初始化、位置估计、尺度估计和模型训练。具体步骤如下:

1) 初始化

初始设置算法的初始参数, 以及第一帧序列中目标的位置和尺度状态。

2) 位置估计

a) 在t帧序列中以上一帧目标中心位置矢量为p_t-1和尺度(w_t-1×h_t-1)提取搜索图像块z_d, 大小为(w_t-1+l)×(h_t-1+l), 并插值得到尺寸归一化后的图像块z_d。

b) 提取z_d的28维特征, 并通过A_t^l、B_t和公式(5)计算出滤波器响应图y_t^h。

c) 分别计算z_d的边界响应和图像块中所有的边界群, 并通过公式(7)计算出物体性响应图。

d) 根据公式(9)计算出z_d的每个像素颜色响应图, 并通过积分图(公式(10))计算出颜色响应分数。

e) 根据公式(11)计算每个模型响应图置信度, 并通过公式(18)计算出每个响应图对应的自适应加权权重。最后通过(19)计算出最终的响应图y_t, 选择响应值最大的位置作为新的目标中心位置。

3) 尺度估计

根据尺度金子塔对目标尺度进行估计。

4) 模型训练

根据新的目标中心位置矢量p_t和尺度(w_t×h_t)提取训练图像块, 通过公式(4)更新滤波器系数, 利用公式(8)和(9)更新颜色模型的权重分数β_t^j。

2 实验结果

本文在计算机处理器为i7, 主频为3.5GHz CPU, 内存为8G RAM的硬件配置下通过MATLAB2016b软件对算法在OTB2015提供的100个视频序列上进行了实验评估。测试视频序列包含的干扰特征包括特征有:遮挡, 光照变化, 尺度变化, 运动模糊, 快速运动, 平面外旋转, 变形等。实验中的参数设置如表 1所示。

2.1 定性分析

如图 2所示, 本节选取了4个同时包含多种挑战因素的视频序列来对算法进行定性评估, 并列出了包括双线性支持向量机(DLSSVM)、具有通道和空间可靠性的判别相关滤波器(CSR-DCF)以及融合相关滤波器模板和颜色特征模板跟踪算法(Staple)以及本文算法在内的4种跟踪算法的跟踪结果。

Shaking序列中存在剧烈的光照变化, 并存在一定目标形变。如图 2a)所示, 由于CSR-DCF依赖颜色信息, 当第10帧时光照发生强烈变化时, CSR-DCF产生了严重的跟踪飘逸。在第64帧Staple算法已经跟踪失败, DLSSVM也已经产生了较大的跟踪误差。而本文算法能够较好地对目标进行跟踪。

Girl 2序列中存在着完全遮挡的干扰, 本文算法当目标出现后能及时捕获到目标, 同样在第1 384帧后目标又出现了完全遮挡的问题, 在第1 399帧, 本文算法依旧能够较准确地跟踪到目标。

Couple序列中存在着相似背景和运动模糊的干扰, 在第92帧和107帧时, Staple算法和CSR-DCF相继出现跟踪失败。而DLSSVM算法和本文算法能有效地提取正确的目标表观信息, 较好地适应目标表观变化, 完成目标跟踪的任务。

在Freeman 4序列中, 目标分辨率较低同时存在着一定的目标遮挡。如第207帧DLSSVM、CSR-DCF以及Staple算法都出现了跟踪飘逸, 在第271帧Staple和CSR-DCF算法甚至已经完全跟踪失败, 而本文算法能够较好地对目标跟踪进行跟踪。

2.2 定量分析

本节采用中心位置误差(CLE)和重叠率(OR)进行性能评估。一般来说, 较小的平均误差和较大的重叠率意味着更准确的跟踪结果。表 2和表 3分别表示不同算法在各个测试序列中的中心位置平均误差和边界框重叠率平均值的比较结果。表 4给出了各个算法在OTB2015中100序列中的平均跟踪帧率。表 2、表 3以及表 4中最优及次优的结果分别用1和2进行标注。

2.3 基于可视基准的评估

本文采用一次性评估实验OPE通过OTB2015提供的100个视频序列对Staple、DLSSVM、CSR-DCF、基于循环特征映射的跟踪算法(LMCF)、空间正则化滤波跟踪器(SRDCF)、滤波网络跟踪器(DCFNet)、全卷积网络跟踪器(SiamFC)、卷积神经网络支持向量机跟踪器(CNN-SVM)和本文算法在内的9种跟踪器进行整体性能测试和对比。如图 3所示, 本文算法由于在Staple算法的基础上, 融合了物体性检测模型, 充分利用了样本信息的多样化的特性, 并采用自适应权重的融合方式来调整各模型加权比重, 有效提升了跟踪算法的鲁棒性。新算法在和OTB2015序列集下得到的精度和成功率相比较于其他跟踪算法均取得了最好的性能。其次, 引入的置信度计算本身复杂度较低, 所以保证新算法依然能够保持较高的跟踪实时性。通过表 4可得, 新算法和Staple算法相比, 依然有着较高的跟踪实时性。

3 结论

为了提高跟踪算法适应复杂场景的能力, 本文在Staple算法的基础上融入了基于轮廓特征的物体性检测模型, 与原有基于HOG特征的滤波器模型和颜色模型结合形成一种融合多互补模型的跟踪算法。并针对该算法中对不同模型预测响应结果进行简单线性加权带来的跟踪性能不稳定的问题, 提出一种以最大似然概率和损失熵作为响应图置信度的自适应预测响应图加权权重计算方法。实验结果表明, 新算法在多种复杂场景中能有效地解决目标跟踪性能较低的问题, 并且实时性较强。