随着世界各国各种竞争力量向海洋的迅速发展, 自主式水下航行器(autonomous underwater vehicle, AUV)凭借着活动范围大、机动性和隐蔽性好、安全、智能等优点，在军事领域被越来越广泛地应用于侦察、探测、目标打击等任务中。通过构建多AUV的集合，在信息共享的前提下，利用作战任务区域内的信息交互，实现多AUV的水下协同对抗，有利于克服单AVU执行任务和作战能力的局限，提高整体作战效能，有效完成各种复杂的军事对抗任务。因此多AUV的水下协同对抗博弈问题引起了全球各国的广泛关注。

协同对抗要求以集合的形式协调行动，并且依据个体所掌握的己方和敌方信息，同时或先后，一次或多次改变各自的行为和策略，以达到己方利益最大化的目的。目前对于协同对抗的研究多以机器人、无人机等为研究对象展开，对其对抗中的任务分配、作战方式、干扰手段等方面进行了大量的研究和探讨。自然进化计算、社会进化计算、生物智能计算、群集智能计算等智能算法也被大量运用于武器分配，协同搜索等问题的研究中来。文献[1]利用博弈理论实现了多机器人系统的无通信任务分配，根据距离信息建立机器人类型的联合概率分布，求解不完全信息动态博弈，有效地提高了通信质量。文献[2]对无人机空战对抗中以固定速度水平飞行的一对一空战机动问题，提出了一种近似动态规划的方法。文献[3]对离散的无人机空战对抗仿真模型用博弈论的方法进行了分析和验证。文献[4]综合考虑了无人机数量、武器配置及地面防御系统等因素，讨论了无人机对地攻击中的战术协同问题，提出了基于Dubins′路径的无人机分组算法。文献[5]分析研究了多机器人巡逻编队和被巡逻对象之间的博弈特性，提出了一种基于博弈论的分布式动态协同方法。文献[6]提出了应用空间链调度的方法解决多机器人任务分配中的协同博弈问题。文献[7]针对无人车集群执行再入体着靶协同监视过程中的集群聚集行为，提出了基于合作博弈的智能集群自主聚集策略。文献[8]针对无人机协同攻击的动态多策略性，以联合生存概率和武器消耗为基础建立了一种多战斗步的空战动态目标分配优化模型。将精英改选机制的的粒子群算法应用到目标分配模型求解纳什均衡点，获取双方的混合策略。

在海战中AUV的协同对抗研究因受制于水下特有的通信能力受限、探测能力受限、位置信息模糊等特点尚处于初级阶段。文献[9]建立了战役层次零和作战动态博弈模型，在不需要其他Agent的完全信息时，给出了Nash均衡的求解方法。对基于Nash-Q的网络信息体系对抗认知决策行为进行了探索和研究。文献[10]在水下对抗方面，对声传感器节点间协作的不同博弈方法进行了探讨，比较了它们在不同度量条件下的性能。随着无人化的飞速发展，战争中以无人武器作为对抗主体的信息化作战已成为趋势，因此对于水下的多AUV博弈对抗问题引起了国内外学者的广泛关注。

本文从博弈对抗的角度，针对海战中AUV协同对抗敌我双方最优策略的选择问题，以多AUV的多次对抗为作战背景，从动态博弈的思想出发，提出了一种考虑敌方策略选择的前提下，寻找己方最优对抗策略的方法，以期实现收益的最大化。该方法通过引入敌方选择策略的评价，以生存概率为指标建立了多战斗步的多AUV动态博弈对抗目标分配模型。根据对前一步对抗后的敌我双方战况评估，在所建立的动态博弈模型的基础上，通过粒子群算法，更加有效准确地获取对抗双方的最优攻击策略，从而更好地模拟实际海战情况，为后续作战的策略选择提供理论依据。

1 多AUV系统博弈对抗的数学描述

多AUV系统的博弈模型一般包含2种形式：①纯策略的博弈模型；②混合策略的博弈模型，当混合策略中选取某一种策略的概率为1时，即为纯策略。在实际对抗中，两者均需根据战场动态变化的信息和自主决策信息，确定双方的策略集，建立敌我双方的攻防对抗赢得函数，从而得到博弈双方的支付矩阵。

将对抗中的攻防双方分别看作局中人A和局中人D, 则局中人集合可以表示成为I={A, D}, A(Attack)为己方AUV编队, D(Defend)为敌方的AUV编队, 敌我双方AUV均自身携带数枚武器。A方对D方发动攻击, 以最大概率摧毁D方, 且保证己方生存的最大概率, D方对A方AUV的攻击实施防御和反击, 使己方攻击时造成的损失最小而反击时的收益最大。在双方对抗过程中, 二者的目的都是最大程度歼灭敌人的同时保证己方生存概率的最大化。

假设A方由n个AUV组成的编队集合为{A₁, A₂, …, A_n}, D方由m个AUV组成的编队集合为{D₁, D₂, …, D_m}。A方与D方的对抗状态用x_ij(i=1, 2…n, j=1, 2…m)表示。x_ij=1表示A方第i个AUV攻击D方第j个目标, x_ij=0表示A方第i个AUV放弃攻击处于防御状态。D方发现AUV攻击时, 需要通过对当前的战场态势进行评估, 选择是对发动攻击的AUV实施反击还是通过采用干扰器或释放声诱饵、气幕弹等来进行防御。同理, y_ji(i=1, 2…n, j=1, 2…m)表示D方的对抗状态, y_ji=1表示D方第j个攻击单元反击A方第i个目标, y_ji=0表示D方第j个攻击单元放弃反击而处于防御状态。A、D双方的策略集可以归纳为{攻击且任务分配, 防御}。式中, x_ij, y_ji均为二值决策函数, 取0或1, 分别表示防御和攻击2种对抗状态。

2 基于水下目标分配的动态博弈建模 2.1 基于生存概率的水下目标分配

由于博弈对抗A、D双方所能采取的对抗策略和对抗过程有限, 基于动态规划的思想, 将一定的单位时间作为基准, 把作战空间和时间离散化, 则可将对抗博弈阶段视为若干个时域离散的子过程。

A、D对抗双方携带的总武器个数分别为Q^A和Q^D, 其中Q_ij^A为A方第i个AUV分配给D方第j个AUV的武器个数, Q_ji^D为D方第j个AUV分配给A方第i个AUV的武器个数。P_Ai(k)和P_Dj(k)分别表示A方第i个AUV和D方第j个AUV在经过第k个战斗步对抗后的生存概率。s_ij^A(k)和s_ji^D(k)分别表示A、D双方在第k个阶段的武器分配策略, 并且该策略在双方对抗过程中是变化的。p_ij^A(k)和p_ji^D(k)分别表示在理想环境下, 战斗的第k个阶段, A方第i个AUV毁伤D方第j个AUV的概率和D方第j个AUV毁伤A方第i个AUV的概率。考虑到水下洋流、透明度、跃层、内波等环境因素的影响, 引入环境因素影响因子γ, 其取值范围在0到1之间。

以追求对抗双方生存概率最大为目的进行目标分配策略选择, 建立A、D双方在第k个战斗步的生存概率数学模型P_Ai(k)和P_Dj(k)分别为:

(1)

(2)

由于A、D双方在每次对抗过程中发射的武器个数有限且在整个对抗过程中发射的武器总数有限, 所以Q_ij^A和Q_ji^D需满足如下约束:

(3)

(4)

(5)

(6)

在对抗全过程结束时, A方和D方的联合生存概率函数分别为

(7)

(8)

从以上分析可知, 攻防对抗的目的都是使对方的损失最大, 己方的损失最小, 为了达到这个目的必须合理的对作战目标进行分配。

2.2 基于水下目标分配的动态博弈模型建立

在实际对抗中, 战争态势实时变化, 作战双方无法提前获得对方的作战策略信息, 所以很难产生最优目标分配策略。博弈理论的主要特点就是参与各方所采取的行为方案互相依存, 所得到的收益同时依赖于己方和其他参与方所采取的策略, 并且能够在博弈对抗双方信息掌握不完全的条件下寻求最优策略解, 因此用博弈理论的相关知识求解这类问题优势明显。

水下多AUV对抗的目标分配动态博弈模型可以做如下数学表述:记非合作对抗策略问题为G=〈I, S, U〉。其中I为局中人集合, I={A, D}, 代表博弈对抗的A方和D方, 分别称为局中人A和局中人D。S=(s^A, s^D)为局中人A和局中人D采取的所有策略集合, 其中s_n^A=(s₁^A, s₂^A, …s^A)为局中人A采取的纯策略集, 纯策略个数为n; s^D=(s₁^D, s₂^D, …s_m^D)为局中人D采取的纯策略集, 纯策略个数为m。现局中人A和局中人D分别以概率X=(x₁, x₂, …, x_i, …, x_n)和Y=(y₁, y₂, …, y_j, …, y_m)(x_i表示局中人A以x_i的概率选择纯策略s_i^A, y_j表示局中人D以y_j的概率选择纯策略s_j^D, 且满足)随机在其对应的纯策略集中进行选择, 则其混合策略分别为X^*=(x₁^*, x₂^*, …, x_n^*), Y^*=(y₁^*, y₂^*, …, y_m^*)。U={U^A, U^D}为以生存概率为指标的局中人A、D博弈对抗的收益集合。U^A=[u_ij^A]_nm, U^D=[u_ij^D]_nm分别为局中人A和局中人D的收益矩阵, u_ij^A为局中人A采取纯策略s_i^A时的收益值, u_ij^D为局中人D采取纯策略s_j^D时的收益值。

根据双矩阵博弈求解纳什均衡解(X^*, Y^*)的充要条件^[8]U_i·^AY^*T≤X^*U^AY^*T, X^*U_·j^B≤X^*U^BY^*T, 建立非合作博弈下求解纳什均衡点的适应度函数, 把对纳什均衡点的求取转换成一个优化问题:

(9)

式中, U_i·^A为矩阵U^A的第i行, U_·j^B为矩阵U^B的第j列, 可以看出使函数f(x, y)为最小值0的混合策略即为所要求得的纳什均衡点。

3 基于粒子群算法的博弈对抗纳什均衡值求解 3.1 算法设计

粒子群优化算法是一种模拟鸟群捕食行为的群集智能优化方法。在粒子群优化算法中, 每个粒子代表搜索空间的一个可能解, 种群即为问题潜在解的集合。种群中的每个粒子在解空间中不断搜索进化, 通过目标函数确定每个粒子的适应度函数值, 并以此判断其优劣。通过跟踪自身个体的最优位置和群体的全局最优位置, 利用位置和速度的计算模型实现信息更新, 不断调整自己的飞行速度和方向, 通过迭代搜索最终逼近问题的最优解。

设由N_P个粒子构成的种群X=(X₁, X₂, …, X_Np)在D维空间进行搜索, 每个粒子都是待求问题的一个潜在解。设第i个粒子的位置为X_i=(X_i1, X_i2, …, X_iD)^T, 速度为V_i=(V_i1, V_i2, …, V_iD)^T, 则根据目标函数可以计算出第i个粒子在位置X_i处的适应度函数值。通过跟踪个体极值P_besti=(P_i1, P_i2, …, P_iD)^T和全局极值G_besti=(G_i1, G_i2, …, G_iD)^T, 粒子在进化搜索过程中不断更新自身的速度和位置, 向问题最优解逼近。第i个粒子的速度和位置更新公式分别为:

(10)

(11)

式中，j=1, 2, …, D, i=1, 2, …, N_P, k为当前迭代次数, k=1, 2, …, k_max。ω为惯性权重, 反映了粒子对原来速度的保持情况, c₁, c₂为正学习因子, r₁和r₂为在区间[0, 1]内分布的随机数。

本文利用粒子群算法求解水下目标分配问题的纳什均衡, 实际是寻找对抗双方的最优策略组合(X^*, Y^*), 以对抗双方的混合概率策略组合作为决策变量, 构造粒子。设A方可以采取的策略数为n_A, D方可以采取的策略数为n_D, 则构造的粒子编码形式为X_i=(X_i1, …, X_inA, Y_i1, …, Y_inD), 其中X_i1, …, X_inA为A方的混合策略, Y_i1, …, Y_inD为D方的混合策略, 并且有0。V_i1, …, V_inA为X_i1, …, X_inA的速度, V_i1, …, V_inD为Y_i1, …, Y_inD的速度。

3.2 算法实现

步骤1  根据对抗双方的武器约束、战斗步数等条件, 确定双方对抗策略集合。

步骤2  按照公式(1)、(2)计算对抗双方的收益矩阵U^A和U^D。

步骤3  以对抗双方的混合策略概率组合构造粒子, 设定粒子群规模为N_P, 最大迭代次数为k_max, 误差精度ε。在满足, 的条件下, 初始化粒子群的位置和速度。

步骤4  根据公式(9), 计算每个粒子的适应度函数值, 找到粒子的个体极值P_besti和全局极值G_besti。

步骤5  根据公式(10)~(11)分别对粒子的速度和位置进行更新, 得到新一代粒子; 对当前粒子和其对应的个体最优粒子进行排序, 得到新的个体最优粒子, 将所有的个体最优粒子进行排序得到新的全局最优粒子。

步骤6  判断是否满足迭代结束条件(达到允许误差精度范围或最大迭代次数), 若不满足返回步骤4, 若满足继续下一步。

步骤7  输出全局极值G_besti, 其位置X_i即为所要找的纳什均衡点。

4 仿真算例

为验证本文算法的有效性, 进行如下仿真场景设计:对抗双方A(attack)方和D(defend)方各有2个AUV, 每个AUV携带2枚武器, 进行2个战斗步的攻防对抗。在一个战斗步中每个目标至少分配且最多被分配一个武器, 整个战斗过程中, 每个AUV最多被分配2枚武器。各攻击单元理想情况下的攻击毁伤概率为:P_{1, 1}^A=0.9, P_{1, 2}^A=0.8, P_{2, 1}^A=0.25, P_{2, 2}^A=0.15, P_{1, 1}^D=0.4, P_{1, 2}^D=0.75, P_{2, 1}^D=0.5, P_{2, 2}^D=0.8。取环境影响因子γ=1。

进行对抗双方策略分析。按(1)~(2)式计算可得A、D博弈对抗双方的价值收益矩阵。在进行k个战斗步的攻防对抗过程中, 设每一个战斗步的一个AUV的最大生存概率上限为1, 则经过k个战斗步后, 一个AUV的生存概率可以看作是其每个战斗步生存概率之和, 则其生存概率最大值上限为k。以A方编队为例, 经过2个战斗步后, 其生存概率最大值上限为2，A方的收益矩U^A如表 1所示(因篇幅原因，仅列出部分策略收益)。

以表 1为例对表格含义进行说明。表 1为A、D双方经过2个战斗步后即k=2时A方的生存概率。表中第1行元素为A方所采取策略的策略编号。第2行元素对应A方采取的一个策略, 以第一行策略编号7的(1, 2;2, 1)策略为例, 该策略表示在第1个战斗步k=1时A方AUV₁攻击D方AUV₁, A方AUV₂攻击D方AUV₂, 在第二个战斗步k=2时A方AUV₁攻击D方AUV₂, A方AUV₂攻击D方AUV₁。同理第1列和第2列分别表示D方采取的策略编号和具体策略。当A方和D方各自选定了策略, 则形成的策略组合对应的值即为A方的收益。

本文采用粒子群算法对建立的水下目标分配动态博弈模型进行仿真验证。设置仿真参数, 权重系数ω=0.729, 学习因子c₁=c₂=1.4, 种群规模N_P=50, 误差精度ε=0.005, 最大迭代次数k_max=100。

用文中算法计算得到适应度函数值曲线如图 1所示, A、D博弈对抗双方的纳什均衡解如表 2所示。

从图 1可以看出适应度函数值曲线在20代内快速收敛, 随着迭代次数增加收敛速度变慢, 最终适应度的值收敛于0.017 46, 得到的双方混合策略如表 2所示。从表 2中可以看出, A方采取的最优混合策略X^*为以0.789 6的概率选择策略2, 以0.210 4的概率选择策略8, 若选择纯策略则A更倾向于选择策略2;D方采取的最优混合策略Y^*为以0.826 4的概率选择策略14, 以0.176 3的概率选择策略6, 若选择纯策略则D方更倾向于选择策略14。采用表 2中的最优混合策略可以计算得到A方收益X^*U^AY^*T=0.902 8, D方收益X^*U^BY^*T=0.800 2。可以看出A方收益大于D方收益, A方获胜。

为了验证(X^*, Y^*)为纳什均衡点, 对A、D两方分别随机生成200组混合策略[X]_200×16, [Y]_200×16, 计算XU^AY^*T和X^*U^BY^T的值, 可以得到A方和D方在单方面改变策略时各自的收益, 如图 2、图 3所示。

很明显, 从图 2，3可以看出, 当D方保持策略Y^*不变而A单方改变策略时, A方的收益始终小于0.902 8;当A方保持策略X^*不变D单方改变策略时, D方的收益始终小于0.800 2, 满足了纳什均衡条件:XU^AY^*T≤X^*U^AY^*T, X^*U^BY^T≤X^*U^BY^*T。可以看出对抗双方无论哪一方都不能通过单方面策略的改变提高己方的收益, 因此混合策略(X^*, Y^*)即为要找的纳什均衡, 此时A, D双方的收益分别为(0.902 8, 0.800 2)。

5 结论

本文将多自主水下航行器多次对抗的动态目标分配问题与博弈论中的纳什均衡概念相结合，考虑双方生存概率，建立了AUV多战斗回合的动态博弈目标分配模型。

将粒子群算法应用到所建立的动态博弈目标分配模型中去，成功得到了纳什均衡下的双方最优混合策略，验证了所建立模型的正确性和有效性, 对目前信息化海战决策有一定的指导作用。