无人机(UAV)在战争中的应用和出色表现已经使其作为一种新型作战力量受到越来越多的关注，与有人驾驶飞机相比，无人机具有隐蔽性好、不惧伤亡、可进行大过载机动等诸多优势。无人机智能化执行任务可以让人员的精力从繁重的具体操控上解脱出来，转而进行态势判断和推理等高级思考，这样能真正发挥人和机各自的优势，提升综合作战效率，因此无人机的智能化是其未来的发展方向^[1-3]。无论军用还是民用领域，对运动目标实施跟踪是无人机的一个主要用途，实现跟踪自主化，能够在大幅降低操作强度的同时提高对目标信息探测的稳定性。本文试图对无人机跟踪目标的任务进行自主化设计，无人机周期地计算出行动策略，进而对飞行路径进行动态调整和规划以实现对目标的跟踪。

在状态存在随机性的规划问题中，多使用部分可观测的马尔科夫决策过程(POMDP)为建模方法。在基于POMDP的无人机路径规划应用方面有学者已经做了一些研究，例如文献[4]基于POMDP对无人机在线性观测方程下的路径规划进行了建模；文献[5]基于POMDP进行无人机对目标探测识别的建模；文献[6]基于POMDP对两栖车辆的运动路线进行了规划设计。上述文献均使用POMDP框架对路径规划问题进行了表述和求解，并取得了较为满意的结果，但是这些文献中均对目标的状态转移规律使用单一的运动模型(例如，匀速直线运动)来进行描述，这样与真实情况下的目标运动不相符合。本文以POMDP理论为基础，提出在POMDP模型中使用交互多模型(IMM)方法描述目标状态转移规律，用IMM方法实现模型的切换^[7-8]，旨在构建适合于目标的机动变化下无人机跟踪路径的在线规划算法。

POMDP模型对问题有很强的表现力，但是对其精确求解十分困难^[9]。累加代价的计算量会随着问题规模呈指数增长，此外观测的不完整性使得所获得状态信息具有随机性，因此对状态和观测信息均需用概率分布来描述，对远期代价和高维概率分布的精确计算需要较大的计算资源和时间开销。因此在无人机行动决策这样对实时性要求较高的在线规划场景，主要采用近似解法对模型进行求解，在有限时间内实时求出符合使用要求的次优解。在进行近似求解时，本文通过限定预测时限来降低远期代价的计算量，使用名义信念状态优化(NBO)算法^[10]求解POMDP的行动序列，在满足跟踪性能的同时极大的降低了计算量。

1 路径规划问题建模 1.1 路径规划问题描述

无人机跟踪目标的路径规划的背景想定如下，无人机对地面一个移动目标进行观测并自动跟踪飞行。无人机使用传感器获得目标的距离和方位值，并以此为观测量自动调整无人机的飞行轨迹对目标保持跟踪，提供准确稳定的视频图像等目标信息。为了有效说明算法，本文假设无人机在固定高度飞行，简化无人机和目标的运动为二维平面内的运动。

1.2 路径规划POMDP各个要素

路径规划问题的POMDP模型可由6个要素的六元组〈 S, A, T, O, C, B 〉来表示, 其中, S表示状态空间, A为行动空间, T为状态转移规律, O为观测和观测率, C表示代价函数, B为信念空间。下面对本文中各个要素代表的意义进行说明。

1.2.1 状态空间

在无人机路径规划的问题中, 状态空间S中应包括3个子系统的状态来完成对问题的描述, 分别为无人机的状态x_k、目标的状态ζ_k、和滤波状态(ξ_k, P_k), 因此状态空间S_k=(x_k, ζ_k, ξ_k, P_k)。无人机的状态x_k表示k时刻无人机所处的位置和速度, 用一个四维列向量x_k=(p_k^x, p_k^y, v_k, θ_k)^T表示, 其中p_k^x和p_k^y分别为无人机横坐标和纵坐标的值, 用以表示无人机的位置x_k^pos, v_k表示无人机的速度大小值, θ_k表示无人机的速度方向。目标的状态ζ_k表示k时刻目标准确的位置和速度, ζ_k=(q_k^x, q_k^y, u_k^x, u_k^y)^T, 其中q_k^x和q_k^y分别为目标的横坐标和纵坐标值, 表示目标的位置ζ_k^pos, u_k^x和u_k^y分别为目标的横向速度值和纵向速度值。滤波状态(ξ_k, P_k)表示滤波算法对目标的估计状态, ξ_k表示滤波算法对目标状态的后验估计值, P_k表示滤波算法对目标状态后验估计的协方差矩阵。

1.2.2 行动空间

在跟踪目标的无人机路径规划问题中, 每个决策点所采取的行动应能改变无人机的飞行状态, 进而实时调整飞行路径。因此, 本文采取加速度值a_k和倾斜角ϕ_k作为行动值。在本时刻采取1组行动值, 在下一时刻就可以改变无人机的状态。行动空间A_k=(a_k, ϕ_k)。

1.2.3 观测和观测率

无人机获得的观测值由于设备误差和环境干扰通常是包含噪声的。因此, 观测方程可以定义为状态S_k和观测噪声η_k的函数, 如(1)式所示

(1)

传感器所获得的观测量是目标相对于无人机的距离和方位角信息^[11-12]。因此, 将h(S_k)定义为:

(2)

(1) 式中, η_k为传感器的观测噪声序列, 探测目标信息的过程中, η_k的分布与无人机和目标的位置相关, 当无人机和目标距离较近时, 观测噪声小, 观测精度高, 当距离较远时, 空间内各种噪声较大, 观测的误差较大。η_k的协方差可以表示为

(3)

设R_k表示距离测量不确定性m和角度测量不确定性n。如果d_k表示k时刻目标和无人机传感器之间的距离, 那么传感器相应的测距和测角标准差可以分别写为σ_range(k)=(m/100)·d_k和σ_angle(k)=n·d_k。由于信息矩阵的计算需要量测协方差矩阵的逆矩阵, 当目标与无人机的二维距离为0时, 量测协方差矩阵的逆矩阵将无法计算, 为了解决这一问题, 定义d_eff为目标和传感器之间的有效距离, 。在实际距离d_k上增加一个非0的极小数b。测距和测角标准差标准差改写为σ_range(k)=(m/100)·d_eff(k)和σ_angle(k)=n·d_eff(k)。φ_k为k时刻无人机和目标之间的方位角, 则R_k可以通过如下式子计算

(4)

式中, 。

1.2.4 状态转移规律

状态转移规律是指在当前时刻下的状态在采取行动后到下一时刻的变化规律。对于定义的3个子系统, 分别对其状态转移规律进行定义。

1) 无人机的状态转移规律定义为:

(5)

对函数Ψ定义的过程, 就是设计行动值对无人机状态进行控制的方法的过程, 即无人机在k时刻基于状态x_k采取行动值A_k=(a_k, ϕ_k), 在k+1时刻到达状态x_k+1的控制逻辑, 本文采取的映射关系如下:

(6)

(7)

(8)

(9)

(10)

(6)~(10)式分别求解出下一时刻无人机的位置和速度, 式中g为重力加速度值, T为2个时刻之间的采样周期。在实际情况中无人机的速度存在上下限, 采用(10)式对无人机速度的大小值进行了限制。

2) 目标的状态转移规律定义为:

(11)

式中, w_k表示独立同分布的噪声序列, 在本文中设定为零均值的高斯噪声, f表示目标的运动模型。

在已有的基于POMDP的无人机路径规划问题中, 多将目标的运动模型假设为单一的运动模型, 这对于研究POMDP的求解算法大有助益。但是在实际情况下地面目标不可能保持单一的运动形式, 运动过程中受到地形和态势影响必然会存在各种机动, 运动目标的动态模型比较复杂, 传统的单一模型的定位跟踪算法不能实现良好的定位跟踪。采用交互式多模型算法(interacting multiple model, IMM)可以较好地解决这个问题^[13-14]。

IMM的原理是将系统的运动模式映射为模型集, 基于每个运动模型构建一个滤波器, 所有模型的滤波器并行工作, 利用每个滤波器输出的残差信息以及各模型的先验信息, 依据假设检验规则, 得出每个滤波器所对应的模型为当前时刻系统匹配模型的概率(称为模型概率), 系统的状态估计是各模型滤波器估计的概率加权融合。

依据IMM, 状态方程(11)式和量测方程(1)可以改写为(12)式。

(12)

式中, m_k是采样时刻k的有效模式, 设系统模型集M={m¹, m², …, m^r}, 模型的转换过程符合马尔可夫过程。

滤波状态(ξ_k, P_k)的转移规律按所采取的滤波算法确定。由于系统方程和观测方程为非线性方程, 本文使用无迹卡尔曼滤波(UKF)算法, 具体IMM-UKF滤波算法在1.2.6节介绍信念状态时一并介绍。

1.2.5 代价函数

代价函数表示在某个状态下采取某一行动所付出的代价值。本文采用无人机在当前状态下采取行动后, 目标状态和滤波状态之间的均方误差值作为代价函数, 代价函数可以表述为:

(13)

1.2.6 信念状态和IMM-UKF算法

由于状态的不完全可观测, POMDP模型引入了信念状态。信念状态是各个状态的后验概率分布, 信念状态的更新是基于历史观测值和行动值通过贝叶斯法则计算完成的。本文中, 在k时刻的信念状态可以表述为b_k=(b_k^x, b_k^ζ, b_k^ξ, b_k^P)。由于无人机的状态和滤波状态完全可观测, 因此b_k^x=δ(x-x_k), b_k^ξ=δ(ξ-ξ_k), b_k^P=δ(P-P_k)。目标的信念状态b_k^ζ是目标状态的后验概率分布, 通过无迹卡尔曼滤波(UKF)算法求解。

UKF和标准卡尔曼滤波都属于线性最小方差估计, 算法都基于模型。标准卡尔曼滤波确定最佳增益阵时, 使用了观测量的先验信息和一步预测均方误差阵, 并基于系统和观测均为线性的假设。UKF根据估计量和观测量的协方差阵来确定最佳增益阵, 协方差阵根据复现的一倍σ样本点计算, 所以UKF在计算最佳增益阵的过程中未对系统方程和观测方程提出任何附加条件, 算法既适用于线性对象, 也适用于非线性对象。

IMM算法的一个循环过程包括:模型交互作用、滤波、模型概率更新和估计混合。下面给出目标信念状态b_k^ζ基于IMM-UKF的更新过程。

1) 模型交互

假设系统共有r个模型, 在k时刻通过k-1时刻的状态估计混合每个模型在k-1时刻的输出, 以实现模型间的交互作用。用m_k-1ⁱ(i=1, 2, …r)表示k-1时刻各子模型, μ_k-1ⁱ(i=1, 2, …r)表示模型i在k-1时刻的概率, 表示k-1时刻模型i的状态估计, 相应的协方差矩阵是P_k-1ⁱ(i=1, 2, …r)。各模型间的转移概率p_ij=P{m_k^j|m_k-1ⁱ}, 各模型滤波器的混合初始输入为:

(14)

式中，为模型的混合概率。c_j则为模型m_k^j的预测概率, 。

2) 模型条件滤波

各滤波器以混合初始输入进行基于各自模型m_k^j的无迹卡尔曼滤波(Unscented Kalman Filter, UKF)计算, 得到相应的状态估计和协方差矩阵P_k^j。

UKF的算法步骤如下:

① 计算k-1时刻的2n+1个σ样本点, n为ζ的维数, 本文中n=4。

(15)

② 确定权值

(16)

上式中, , λ=α²(n+κ)-n, 其中α是很小的正数, 可以取10^-4≤α≤1, 本文中取1;κ=3-n; β取值与ζ的分布形式有关, 对于本文中的采用的正态分布, β=2为最优值。(15)式中示矩阵P_k-1的下三角分解平方根的第i列。

③ 计算k时刻的一步预测模型值

(17)

(18)

(19)

(19)式中Q_k为(12)式中w_k的方差阵。

④ 计算k时刻的一步预测样本点

(20)

⑤ 更新量测

(21)

(22)

(23)

(24)

⑥ 滤波更新

增益矩阵为:

(25)

滤波值为:

(26)

(27)

3) 模型概率更新

通过滤波后, 模型概率的计算是假设检验的过程, 一般采用贝叶斯假设检验方法, 同时检验滤波器组中各个滤波器的残差。由卡尔曼滤波理论可知如果滤波器模型与实际模型匹配, 则滤波残差为零均值方差为S_k^j的高斯白噪声, 因此k时刻模型m^j为匹配模型的似然函数Λ_k^j为

(28)

式中, ε_k^j是第j个滤波器的残差估值, S_k^j=E[ε_k^j·(ε_k^j)^T]=P_(zz)^j, 其中, 按照(24)式进行计算。

对于各个模型j=1, 2, …r, 计算模型概率

(29)

式中,

4) 估计融合

计算k时刻的总体估计和误差协方差矩阵, 分别为:

(30)

POMDP模型的滤波状态根据融合的估计值得以更新, 即继而, 信念状态得到更新b_k^ζ(ζ)=N(ζ-ξ_k, P_k)。

1.3 路径规划POMDP模型

在无人机跟踪目标的路径规划POMDP模型中, 目的是求解出一系列的最优行动值, 让未来行动代价的累加值能够最小。由于无人机飞行的环境变化很快, 对于较长时间后未来状态的预测无实际意义, 因此只考虑未来H时限内的状态预测和行动策略求解, 按照代价函数的定义, H时限内的行动代价的累加值可以表述为:

(31)

由于状态ζ_k不完全可观测, 只能求解得到信念状态分布, 所以(31)式可以改写为:

(32)

式中

(33)

根据贝尔曼公式, 在当前信念状态b₀下, 最优目标函数可以写为

(34)

式中, b₁是下一时刻的信念状态, J_H-1^*是H-1时限内累积行动代价的最优值, k=1, 2, …, H-1, E[·|b₀, A]表示在k=0时刻, 信念状态为b₀时, 执行行动A后的条件期望。定义当前信念状态为b₀时, 执行行动A的Q值为

(35)

根据贝尔曼公式, 在k=0时刻的最优行动策略可以表述为

(36)

在k时刻的最优策略可以表示为π_k^*(b_k)=argmin_AQ_H-k(b_k, A)。无人机跟踪目标的路径规划, 就是不断利用(36)式基于当前的信念状态来求取最优行动策略的过程。

2 路径规划模型求解

POMDP模型由于状态的随机性和规划的非短视性, 导致了对其精确求解的困难。在线规划中, 计算(35)式中后一部分远期的代价值J_H-1^*主要采用近似计算的方法。主要的近似方法有启发式远期代价期望法、参数近似法、策略rollout法等等。本文根据无人机跟踪目标的路径规划问题的特点和要求, 使用了名义信念状态优化(NBO)算法来求解。

2.1 算法的近似与假设

在阐述算法之前, 对所做的近似和假设说明。首先在之前介绍信念状态更新的部分就设定跟踪模型正确且服从高斯分布, 则目标的信念状态可以表示为b_k^ζ(ζ)=N(ζ-ξ_k, P_k), 且可以通过IMM-UKF算法更新。其次, 假设数据关联是正确的, 这样可以将代价函数^[10]改写为

(37)

2.2 名义信念状态优化(NBO)算法

基于上述假设, NBO方法的核心可以被概括为如下公式:

(38)

式中，表示一个名义的信念状态序列。NBO算法的核心是用概率分布中的一个采样点来表示对概率分布的期望值, 其目的是提高计算效率。在不能实时通过随机噪声中多个采样点来计算期望值时, 只能选取一些“名义”上的序列, 比如最大似然点或者均值^[10]。NBO算法的主要思路就是通过选取的名义信念状态序列来求取行动序列(A_k)_k, 从而完成无人机状态的控制和航路规划。NBO算法的流程如下所述。

① 设系统噪声和观测噪声的均值均为0, 则(1)式和(11)式可以写为

(39)

② 定义名义信念状态序列, 即

(40)

③ 用名义信念状态序列来代替信念状态的期望值, 即

(41)

④ 根据(41)式求最优行动序列(A₀, …, A_H-1)。以为目标函数, 以A_k的取值范围为约束条件, 求解过程可以转化为一个标准的最优化问题, 这里采用matlab中的fmincon函数来实现。

基于上述通用步骤, 结合无人机目标跟踪路径规划的特点, 设计基于IMM-UKF的无人机行动序列NBO求解算法如下。

首先, 根据b_k^ζ(ζ)=N(ζ-ξ_k, P_k), 目标状态ζ_k的信念状态b_k^ζ可以由滤波状态(ξ_k, P_k)来确定, 其中计算的过程通过(14)~(30)式完成。因此名义信念状态可以根据滤波结果来确定。

(42)

其次, 根据(29)式计算出的当前时刻IMM中各模型的概率μ_k^j, 选取其中概率最大的模型为当前的匹配模型F_k。

(43)

由于预测时限H不长, 所以认为在预测时限内目标均按照当前的匹配模型F_k运动, 因此基于匹配模型F_k和, 通过(44)式可以递推出预测时限内各个时刻的。

(44)

在预测过程中, 没有量测信息输入, 因此协方差矩阵的名义信念状态可以通过克拉美罗下界来进行估计。

(45)

式中, H_k是量测函数h(S_k)对S_k求导得到的雅各比矩阵。

最后, 根据代价函数的近似计算公式(37), 将预测时限内递推得到的名义信念状态序列带入(41)式, 获得预测时限内的行动代价累加值, 并以此为目标函数通过fmincon函数求得最优行动序列(A₀, …, A_H-1), 取A₀为当前时刻的行动策略并执行, 则无人机状态改变, 根据下一时刻的状态再执行IMM-UKF滤波, 并重复上述步骤进行策略求解, 不断往复, 利用各个时刻求取的行动策略调整无人机状态, 完成跟踪目标的路径规划。

3 仿真分析

本文在MTALAB环境下编写仿真程序, 以无人机对单目标跟踪为背景进行仿真, 基于跟踪的位置误差均值和无人机飞行轨迹对算法进行分析。目标的运动模型集合包括匀速直线运动, 匀速左转弯运动和匀速右转弯3种运动。

单次仿真时间300 s, 目标从(0, 0)点开始沿水平轴方向匀速运动60 s, 之后进行匀速左转弯运动60 s, 再匀速直线运动60 s, 之后再完成匀速右转弯运动60 s, 最后再完成匀速直线运动60 s。

对基于IMM方法所建立的POMDP模型, 分别在预测时限H=3和H=4的情况下各仿真30次, 仿真结果如图 1、图 2和图 3所示, 从图 1中可以看出无论是预测时限H=3和H=4, 无人机在整个仿真过程中均能够跟踪目标, 并围绕目标飞行。对比图 1a)和图 1b)可以发现, 较之于H=3, 在H=4时, 行动策略所产生的无人机飞行轨迹更加平稳, 围绕目标飞行的波动较小, 这充分体现出了POMDP的远期代价计算特点, 在当前状态下对目标未来状态进行预测能够让无人机对目标的行为有了预判, 进而再计算出的行动策略能根据预测结果得到最优值, 预测时限越长, 策略越好。

图 2a)反映了各次仿真中每一仿真时刻的位置误差平均值, 从图中可以看出, 不论H=3或H=4, 整个仿真过程中滤波结果和目标真实位置之间的位置误差波动不是很大, 在60 s、120 s、180 s、240 s等目标运动规律发生变化的时刻, 位置误差均值并没有显著增加, 说明采用IMM方法, 无人机能够判断出目标的运动模型切变, 在POMDP框架下对目标未来的远期状态进行预判, 利用NBO方法求解的行动策略能够让无人机识别目标的运动规律而保持对目标的近距离跟踪。图 3为各个时刻交互多模型集中各个模型的概率值, 其中, P-CV代表匀速直线运动的概率值, P-CTL代表匀速左转弯运动的概率值, P-CTR代表匀速右转弯运动的概率值。图 2b)反映了各次仿真整个过程的位置误差平均值, 从整体上可以看出可H=4时的位置误差均值略小于H=3时的值, 表 1中的确切数据也反映了这一现象。H=4时位置误差均值为2.228 9, 仅略小于H=3时的2.282 2, 这在说明了POMDP模型决策远期性的同时也要求在设计预测时限时需要综合考虑计算开销和获得效果之间的平衡点。

为了对比IMM方法, 在同样条件下进行了仅采用匀速直线运动的一种运动模型的仿真30次。图 4显示的是基于匀速直线运动(CV)模型的飞行轨迹和位置误差均值。UKF滤波和NBO算法预测中对目标的状态估计仅使用匀速直线运动这一种模型。从图 4a)中可看出, 在目标进行从直行进入转弯运动的过程中, 无人机的飞行明显偏离了目标的运动轨迹, 同时在图 4b)中可以看出在目标进行左转弯运动和右转弯运动时, 位置误差明显增大。从表 1中也可以看出在整个仿真过程中仅采用CV模型的位置误差均值3.423 7远大于采用IMM算法的结果。在真实情况中, 如果位置误差超过无人机传感器的有效探测距离, 很有可能导致跟踪失败, 为了验证, 在相同情况下, 将(3)式中的传感器测距不确定性m增大2%再进行仿真, 结果如图 5所示。

在目标进行右转弯机动时, 无人机丢失目标, 跟踪失败。

对比图 2a)和图 4b)，说明基于IMM的无人机路径规划POMDP模型能够有效提高跟踪精度，使得规划的无人机路径更加贴合目标的运动，避免出现丢失目标的情况。

综上所述，在POMDP模型的状态转移规律中使用交互多模型机制能够比单一模型有效提高跟踪精度，能够保证无人机对机动目标跟踪的路径规划求解。

4 结论

本文从无人机跟踪地面机动目标需求出发，针对无人机跟踪目标任务中的路径规划问题，引入POMDP理论，构建了基于POMDP的无人机在线路径规划决策模型。根据目标运动规律的多样性，使用了交互多模型(IMM)的方法描述状态转移规律并基于IMM-UKF算法来更新信念空间。为实现模型在线求解，引入了NBO算法，求解的行动策略能够实时完成无人机的运动调整和路径规划。仿真结果验证了本文所建立的无人机路径规划模型的有效性。