随着鱼雷精确制导技术的日益发展，潜艇的防御能力面临更加严峻的挑战。主动防御手段已经成为潜艇防御的主要方式之一。潜艇发现来袭重型鱼雷后发射反鱼雷鱼雷(anti-torpedo torpedo, ATT)实施拦截，同时采用机动规避策略进一步增大来袭重型鱼雷的追踪难度。这种攻防模式不同于以往雷艇之间的两方对抗模式，变为三方相互追踪-规避博弈模式。为了应对这种对抗模式，为ATT和潜艇设计可行的拦截制导律和规避策略迫在眉睫。三方攻防博弈场景涉及潜艇、ATT和来袭鱼雷。

李博文^[1]以机动目标拦截为背景，采用矩阵对策博弈理论设计了拦截-规避两方博弈模式下的制导律。朱雅萌等^[2]采用强化学习算法设计了机动博弈制导律提高飞行器的突防能力。苏山等^[3]针对二对一拦截问题基于微分对策理论设计了协同对抗博弈制导律。Talebi等^[4]针对多拦一的反导突防博弈场景，设计了3种不同的拦截博弈策略。Faruqi^[5]针对导弹三方追逃博弈问题进行了研究，设计了基于最优控制理论的三方制导律。Singh等^[6]在研究目标-攻击者-防御者的三方博弈问题时，采用微分对策理论来设计博弈制导律。Garcia等^[7]将两方拦截问题转化为两方零和博弈问题，基于模糊评估设计在线任务规划的方法实现纳什均衡问题的求解。

反鱼雷鱼雷作为一种新型的“硬杀伤”武器，逐渐成为水下攻防的研究重点之一。李宗吉等^[8]采用变结构控制方法设计了纵向拦截导引律。Ye等^[9]设计了基于变结构控制的反鱼雷制导律。叶慧娟等^[10]设计了双滑模控制器，提高了命中精度和制导鲁棒性。张锐等^[11]设计了变指令周期最优滑模导引律，提高了拦截性能。孙振新等^[12]建立了4种拦截模型，设计了不同距离下反鱼雷鱼雷的拦截策略。Wu等^[13]建立了一个预先评估电磁发射反鱼雷鱼雷捕获概率的分析模型。从上述反鱼雷鱼雷制导研究现状可以看出，目前主动防御研究主要集中在反鱼雷鱼雷对目标鱼雷的拦截导引律研究，尚未从潜艇、反鱼雷鱼雷、来袭鱼雷三方攻防的角度开展博弈制导在水下攻防策略方面的应用研究。当前博弈制导研究主要集中在反导突防作战领域，由于反导拦截场景中拦截弹采取预测碰撞拦截方式，拦截弹速度小于目标速度，目标受弹道形式影响机动能力有限，这些与水下攻防场景中潜艇、反鱼雷鱼雷、来袭鱼雷的弹道、速度特性、机动特性相差较大，因此有必要开展水下攻防博弈策略研究。

本文以水下三方博弈对抗为背景，建立三方攻防的运动学模型，在考虑三方机动性能约束的条件下设计潜艇规避策略、ATT制导律，实现规避来袭鱼雷并主动拦截来袭鱼雷的防御模式。

1 三方交战运动学模型

三方攻防博弈问题可以看作2个两方追逃问题，分别是来袭鱼雷和潜艇的两方追逃问题及ATT和来袭鱼雷的两方追逃问题。因此，首先针对两方博弈问题建立运动建模。

首先在惯性坐标系中建立任意航行器的运动学方程为：

(1)

式中, 变量为时间t的函数, x_i, y_i, z_i分别为航行器i在惯性系中的位置; u_i, v_i, w_i分别为航行器i在惯性系x方向, y方向, z方向的速度; a_xi, a_yi, a_zi为航行器i在惯性系x方向, y方向, z方向的加速度。

考虑航行器之间的相对状态, 其相对运动可描述为

(2)

式中: x_ij, y_ij, z_ij分别为航行器i相对于航行器j在惯性系中x方向、y方向、z方向的相对位置; u_ij, v_ij, w_ij分别为航行器i相对于航行器j在惯性系中x方向、y方向、z方向相对速度; a_xij, a_yij, a_zij分别为航行器i相对于航行器j在惯性系中x方向、y方向、z方向的相对加速度。

为方便使用最优控制理论进行研究, 将上述建立的运动模型用矩阵的形式进行描述

(3)

式中: X_i=(x_i y_i z_i)^T为航行器i在惯性系中的位置矢量; U_i=(u_i v_i w_i)^T为航行器i在惯性系中的速度矢量; A_i=(a_xi a_yi a_zi)^T为航行器i在惯性系中的加速度矢量。

同样, 可以把相对运动方程描述为

(4)

式中: X_ij=(x_ij y_ij z_ij)^T为航行器i相对于航行器j在惯性系中的相对位置矢量; U_ij=(u_ij v_ij w_ij)^T为航行器i相对于航行器j在惯性系中的相对速度矢量; A_ij=(a_xij a_yij a_zij)^T为航行器i对于航行器j在惯性系中的相对加速度矢量。

将两者合起来, 可以统一描述为

(5)

可令为状态系数矩阵; 为控制输入系数矩阵。

逃逸方实施规避通过改变A_j来实现, 追踪方实施拦截, 通过A_i来实现。

2 微分博弈策略设计 2.1 两方非合作博弈问题表示

一般非合作两方博弈优化问题的性能指标函数如下

(6)

希望找出u₁, u₂, 使得以下问题最优

(7)

对于两方追逃问题来说, 追踪者希望找到最优控制u₁在最小化末端脱靶量的同时尽可能减少能量消耗, 而逃避者希望找到最优控制输入u₂最大化末端脱靶量的同时尽量减少能量消耗。两方追逃问题转化为两方零和博弈问题, 使用脱靶量和需用加速度来构造性能指标, 为了获得追逃双方的最优博弈策略, 将性能指标函数设计为

(8)

式中, 定义, 为对称正半定终端状态的加权惩罚矩阵; R^p为追踪方需求加速度函数的加权惩罚矩阵; R^e为逃避方需求加速度函数的加权惩罚矩阵; A₁^p为追踪方惯性坐标系下加速度; A₂^e为逃避方惯性坐标系下加速度。

若A₁^p*和A₂^e*分别为追踪方和逃避方的最优控制输入, 则Y₁₂^*(t)为追踪-逃避的相对最优轨迹, 即满足双边极值条件

(9)

定义哈密顿函数为

(10)

式中, λ∈R⁶为协态向量。

根据Hamilton-Jacobi-Isaacs理论, 假设微分博弈鞍点存在且唯一, 鞍点解满足纳什平衡条件^[14], 对于最优策略A₁^p*, A₂^e*必须满足最优性必要条件, 即鞍点条件为

(11)

终端条件为:

(12)

根据必要条件和终端条件求解A₁^p*和A₂^e*为

(13)

将控制输入构建为系统相对状态的函数, 假设λ为如下形式

(14)

式中: P ∈R^6×6为矩阵黎卡提微分方程的解; ξ∈R^6×1为矢量黎卡提微分方程的解。

因此

(15)

由λ表达式可得

(16)

将λ, 代入必要条件, 可得

(17)

由于方程(17)的解必须满足所有的 Y₁₂, 所以它必须满足以下微分方程

(18)

(19)

根据终端条件 P (t_f)= S和ξ(t_f)=0, 方程(18)称为矩阵黎卡提微分方程, 方程(19)称为矢量黎卡提微分方程。通过求解2个方程得到A₁^p*和A₂^e*。

2.2 三方博弈问题

根据两方追逃博弈运动模型, 假设潜艇为j=1, ATT为i=2, 来袭鱼雷为i=3, 则相对运动由2个相对交战运动模型描述。鱼雷与潜艇的相对交战运动学模型可表示为

(20)

式中, Y₃₁为鱼雷与潜艇的相对状态, 制导输入分别为: A₁^e为潜艇的规避机动策略, A₃^p为鱼雷的追踪制导策略。

ATT与来袭鱼雷的相对交战运动学模型可表示为

(21)

式中：Y₂₃为ATT与来袭鱼雷的相对状态, 制导输入分别为: A₃^e为来袭鱼雷躲避ATT的机动策略, A₃^p为来袭鱼雷的追踪制导策略, A₂^p为ATT的拦截制导策略。

对于来袭鱼雷和潜艇来说, 建立微分博弈决策的性能指标J₁为

(22)

式中：S₁定义为来袭鱼雷和潜艇终端脱靶量的加权矩阵; R₁^e, R₃^p定义为潜艇规避策略和来袭鱼雷追踪策略的软约束加权惩罚矩阵。

该性能指标中含有Y₃₁表示在双方策略作用下的终端脱靶量, 鱼雷希望控制A₃^p使性能指标尽可能小, 而潜艇希望控制A₁^e使性能指标尽可能大。

对于ATT和来袭鱼雷来说, 建立微分博弈决策的性能指标J₂为

(23)

式中：S₂定义为ATT和来袭鱼雷终端脱靶量的加权矩阵; R₃^e, R₂^p定义为来袭鱼雷躲避策略和ATT拦截策略的软约束加权惩罚矩阵。

在(22)~(23)式中通过使用与所需加速度相关联的“加权惩罚”在性能指标中实现对双方输入指令的“软约束”, 性能指标的控制加权矩阵R₁^e, R₂^p, R₃^p, R₃^e代表了对追踪者和逃避者所应用的控制输入的约束程度, 一般假设加权矩阵形式为R₁^e=r₁^eI, R₂^p=r₂^pI, R₃^p=r₃^pI, R₃^e=r₃^eI, 为保证Riccati方程解存在, 要求r₁^e>r₃^p, r₃^e>r₂^p, 即逃避指令上的加权必须大于追踪指令上的加权。由于系数r₁^e, r₂^p, r₃^p, r₃^e的倒数作为增益出现在控制指令中, 因此可以按照三方机动性能的比例关系设置r₁^e, r₂^p, r₃^p, r₃^e系数。

通过上述指标设计, 将三方博弈攻防问题转化为2个双边极值问题即

(24)

这样一来就变成了2个两方追逃微分博弈制导问题, 根据最优控制理论, 可以定义2个哈密尔顿函数

(25)

根据最优解的必要条件, 可以通过哈密尔顿函数相对输入的一阶偏导为0来获得。

(26)

(27)

哈密尔顿算子的最优条件也可以得到如下关系

(28)

(29)

假设λ₁, λ₂可以看作是由系统相对状态组成的函数, 则λ₁= P₁Y₃₁+ ξ₁和λ₂= P₂Y₂₃+ ξ₂, 这样就可以得到三方追逃策略为

(30)

由(26)~(27)式可得到 P₁, P₂。ξ₁, ξ₂可通过求解如(31)~(32)式的矩阵黎卡提方程、矢量黎卡提微分方程获得。

(31)

(32)

式中, P₁, P₂称为黎卡提矩阵; ξ₁, ξ₂称为黎卡提矢量。

结合微分方程边界条件P₁(t_f1)=S₁, ξ₁(t_f1)=0, P₂(t_f2)=S₂和ξ₂(t_f2)=0, 可推导最优策略的解析表达式。

3 三方博弈解析策略设计

通常黎卡提矩阵方程和矢量方程很难获得解析解, 只有在一定的特殊情况下才能获得解析解^[14]。选择Q_i= 0; S_i=diag[s₁ s₂ s₃ 0 0 0], s₁=s₂=s₃=s, i=1, 2, R₃₁=r₃₁I, R₂₃=r₂₃I, R₂₃=r₂₃I, R₁^e=r₁^eI, R₂^p=r₂^pI, R₃^p=r₃^pI, R₃^e=r₃^eI, r₁^e>r₃^p, r₃^e>r₂^p, 由剩余时间T₁=t_f1-t, T₂=t_f2-t, 可得三方最优状态反馈策略为

(33)

可得三方制导干扰项为

(34)

式中, A₃^e(t)=(a_3x^e(t), a_3y^e(t), a_3z^e(t))^T, A₃^p(t)=(a_3x^p(t), a_3y^p(t), a_3z^p(t))^T。

这样根据(30)式可以获得潜艇最优博弈规避策略解析表达式为

(35)

ATT的最优主动博弈拦截制导律的解析表达式为

(36)

鱼雷的最优博弈攻击制导律的解析表达式为

(37)

由博弈均衡性能指标(23)式可知, 当潜艇和ATT分别采用最优博弈规避策略和最优主动博弈拦截制导律时, 如果鱼雷不采取最优博弈攻击制导律, 将使得三方博弈结果偏向于防御方, 增大潜艇的规避效果, 提升ATT的拦截效果。实际应用时, A₃^e(t), A₃^p(t)很难精确获得, 可以只采用最优状态反馈策略, 而省略干扰项, 寻求可行的最优结果。

4 仿真验证

假设潜艇速度为12 m/s, 最大转弯角速度为1°/s, 只在水平面内规避。ATT速度为25 m/s, 最大转弯角速度60°/s, 来袭重型鱼雷速度为30 m/s, 最大转弯角速度为35°/s。

仿真态势设置: 相对距离3 000 m, 来袭鱼雷航向角为120°, ATT航向角为30°, 潜艇航向角为0°, 潜艇初始深度200 m, 来袭鱼雷初始深度100 m。为了对比采用博弈策略的效果, 假设ATT拦截命中重型鱼雷后, 并不终止仿真, 三方继续运行, 来袭鱼雷继续攻击直至命中潜艇或脱靶。

4.1 工况一 来袭鱼雷采用比例导引律进行攻击

1) 条件1潜艇不采用博弈规避

潜艇不规避, 来袭鱼雷采用比例导引律打击潜艇的仿真结果如图 1~2所示。

图 1给出了潜艇不采取博弈规避策略下的潜艇和鱼雷的水下运动轨迹。由图 2可以看出鱼雷采用比例导引律进行拦截时67.25 s可以命中潜艇, 脱靶量为0.76 m。

2) 条件2:潜艇采用博弈规避策略

潜艇采取博弈规避策略, 来袭鱼雷采用比例导引律打击潜艇的仿真结果如图 3~4所示。

图 3为潜艇采取博弈规避策略下的潜艇和鱼雷的水下运动轨迹。由图 4可以看出鱼雷在72.25 s可以命中潜艇, 脱靶量为0.98 m。与情况1相比, 潜艇采取规避后首次命中时间增加5 s, 脱靶量增加27.5%, 但由于机动能力相差近90倍, 脱靶量仍然较低, 仅靠潜艇规避很难保证自身安全。

3) 条件3:潜艇发现来袭鱼雷后发射ATT, 然后进行博弈规避

潜艇采取博弈规避策略, 并释放采用博弈制导律的ATT对来袭鱼雷进行拦截, 来袭鱼雷采用比例导引律打击潜艇的仿真结果如图 5~6所示。

图 5为潜艇、ATT采取博弈策略, 重型鱼雷采用比例制导律时三方水下运动轨迹。由图 6可以看出鱼雷在72.25 s命中潜艇, 脱靶量为0.98 m。ATT在52.55 s, 命中鱼雷, 脱靶量为0.63 m。由结果可知ATT命中鱼雷的时间早于鱼雷命中潜艇时间, 且提前19.75 s, 能够有效地保护潜艇的安全。

表 1对工况一的3个条件进行性能对比, 由条件2和条件1可知潜艇采用博弈规避策略后增加了鱼雷脱靶量, 证明所设计潜艇的博弈规避策略有助于提高潜艇的防御能力。由条件3和条件2可知潜艇发射ATT后采用博弈规避策略, ATT在来袭鱼雷命中潜艇前可有效对其进行拦截, 证明了本文所设计ATT博弈制导律的有效性。

4) 条件4:考虑潜艇、来袭鱼雷、ATT测量值存在过程噪声, 假设相对距离测量误差服从±2 %的正态分布, 相对速度测量误差服从±1 m/s的正态分布。针对条件1, 2, 3分别仿真100次, 3种条件下考虑过程噪声影响的性能对比如图 7和表 2所示。

由图 7和表 2中条件1和条件2的脱靶量统计性能可以看出, 潜艇采用博弈规避策略后, 增大了鱼雷拦截脱靶量, 增加约18.7%。由图 7和表 2中条件2和条件3的脱靶量统计性能对比可以看出, 由于鱼雷采用比例导引不会对ATT拦截进行规避, 所以2种条件下总体来看潜艇博弈机动的效果基本相同, 符合逻辑。

4.2 工况二 来袭鱼雷采用博弈导引律进行攻击

1) 条件1:潜艇不采用博弈规避

潜艇不规避, 来袭鱼雷采用博弈导引律打击潜艇的仿真结果如图 8~9所示。

图 8~9为潜艇不采取博弈规避策略而来袭鱼雷采用博弈制导律时潜艇和鱼雷的水下运动轨迹。由图 9可以看出鱼雷在67.25 s可以命中潜艇, 脱靶量为0.20 m。

2) 条件2:潜艇作博弈规避

潜艇采取博弈规避策略, 来袭鱼雷采用博弈导引律打击潜艇的仿真结果如图 10~11所示。

图 10~11为潜艇与来袭鱼雷两方采取博弈策略时的潜艇和鱼雷的水下运动轨迹。由图 11可看出鱼雷在72.20 s可以命中潜艇, 脱靶量为0.44 m。与条件1相比, 潜艇采取规避后首次命中时间增加4.95 s, 脱靶量增加120%, 但由于机动能力相差90倍, 脱靶量仍然较低, 仅靠潜艇自身规避很难保证自身安全。

3) 条件3:潜艇、来袭鱼雷、ATT三方均采用博弈对抗策略

潜艇采取博弈规避策略, 并释放ATT对来袭鱼雷进行博弈拦截, 来袭鱼雷采用博弈策略规避ATT同时打击潜艇的仿真结果如图 12~13所示。

图 12为三方均采取博弈策略时三方水下运动轨迹。由图 13可以看出鱼雷在77.45 s命中潜艇, 脱靶量为0.83 m。ATT在53.80 s可命中鱼雷, 脱靶量为1.25 m, 与条件2相比, 鱼雷为了躲避ATT首次命中脱靶量进一步增大到0.83 m。而ATT命中鱼雷的时间早于鱼雷命中潜艇时间, 且提前23.65 s, 能够有效地保护潜艇的安全。

表 3对工况二的3个条件进行性能对比, 由条件2和条件1可知, 即使在来袭鱼雷也采用博弈制导律进行攻击的前提下, 潜艇采用博弈规避策略后仍增加了鱼雷脱靶量, 证明所设计的潜艇博弈规避策略可更加智能地适应攻防态势。由条件3和条件2可知, 即使在来袭鱼雷也采用博弈制导律进行攻击的前提下, 潜艇发射ATT后采用博弈规避策略, ATT在来袭鱼雷命中潜艇前可有效对其进行拦截, 证明了本文所设计ATT博弈制导律可适应攻防态势对潜艇进行保护。从表 1、表 3中ATT拦截结果对比可以看出, 来袭鱼雷采取博弈策略后, 通过规避增大了ATT的脱靶量约33%, 同时也增大了对潜艇的打击脱靶量约93%, 证明了博弈策略的均衡性。

4) 条件4:考虑潜艇、来袭鱼雷、ATT测量值存在过程噪声, 假设相对距离测量误差服从±2%的正态分布, 相对速度测量误差服从±1 m/s的正态分布。针对条件1, 2, 3分别仿真100次, 3种条件下考虑过程噪声影响的性能对比如表 4所示。

在考虑过程噪声的情况下由表 4、图 14中条件1和条件2的脱靶量统计性能可以看出，潜艇采用博弈规避策略后，增大了鱼雷拦截脱靶量，增加约92.8%, 首次命中时间增加5.47 s。由表 2、表 4和图 15可看出，来袭鱼雷采用博弈策略后，ATT拦截脱靶量增加了约18.2%。由表 4、图 14中条件2和条件3的脱靶量统计性能对比可以看出，由于鱼雷为规避ATT的拦截，并未实现最优博弈导引律，导致对潜艇的打击脱靶量增加约25.9%，由工况一、工况二条件4仿真结果可以看出，引入过程噪声后，三方均不能实现最优博弈策略，但整体趋势与无过程噪声下结果一致，也从另一个侧面证明了本文所设计三方博弈策略的合理性。

5 结论

本文针对典型态势下水下攻防过程博弈策略展开研究。从三方攻防的角度出发，建立了描述三方攻防过程运动模型。将三方博弈问题拆分为2个双方博弈追逃问题，设计了描述三方攻防博弈性能的目标函数，基于最优控制和微分博弈理论设计了主动防御的博弈策略和攻击方的博弈制导律。通过水下攻防过程2种典型工况下的仿真试验，验证了本文设计博弈策略的有效性。