高效的多无人机协同编队飞行在电子对抗以及救援侦测等任务中发挥着十分重要的作用，因此成为了国内外学者的关注热点^[1-2]。协同编队控制器实现了多无人机在一定时间内按照一定的编队规则保持稳定飞行以完成预定的任务^[3]。但是，目前的多无人机协同控制方法仍然受限于诸多因素，例如编队飞行队形结构、编队飞行器数量、多无人机编队内部气动耦合等。PID控制器(proportion integration differentiation, PID)具有易于实现以及控制效果良好等特性，被广泛应用于工业过程控制^[4]。PID控制器的性能受限于比例、积分、微分3种参数。因此，合理地设置PID控制器参数至关重要。研究人员使用PID控制器设计多无人机编队飞行控制器，然而经典PID控制器参数的设定受限于特定任务场景与专家经验^[5]。另外，经典的PID控制器无法适用于一类动态非线性控制系统。对于复杂的多无人机协同编队过程，经典控制器往往无法得到理想的控制效果。在线自整定PID控制器参数是一种提高控制器性能的可行方式。

多无人机编队飞行过程中的协同策略与管控方法一直是国内外学者的研究热点^[6-7]。文献[8]研究了多飞行器编队飞行控制中的协同策略问题，作者给出了多飞行器编队的六自由度动力学模型，并基于一致性理论设计了非线性编队飞行控制律。文献[9]研究了多飞行器编队控制中的协同问题。首先，基于协同姿态调节，给出了一种多飞行器协同姿态调控模型；其次，结合滑膜控制器设计了姿态协同控制律；最后，通过李亚普诺夫理论证明了所设计控制律的稳定性。文献[10]提出了一种基于信息一致性的协同控制策略，实现了从多飞行器的编队建立、编队保持到最后编队整体机动。文献[11]基于循环追踪策略，给出了一种六自由度多无人机协同控制方案，并且通过实验验证了所设计协同编队方法的有效性。除此之外，有的学者提出使用李亚普诺夫闭环三角设计多无人机编队飞行控制器^[12]。针对多无人机编队飞行中的近距离编队飞行控制，文献[13]应用了滑膜控制的方法。动力学建模是目前多数多无人机协同编队控制方法的首要选择。传统的非线性控制方法需要对被控制对象建立复杂的数学模型；其次，在不确定环境下，传统方法很难实现对非线性对象的有效控制。再者，先前工作没有考虑控制器参数的不确定性。设定合理的控制器参数往往需要依赖人工经验，并且效率低下。

神经网络已经被广泛应用于许多领域，成为了研究热点^[14-15]。为了实现PID控制器参数实时整定，研究人员通过BP神经网络自适应调节PID控制器参数。然而，受限于经典神经网络的学习性能，基于BP神经网络的PID控制器仍然具有收敛速度慢、控制效果差等问题。深度学习通过扩展多层隐含层，可以学习到深层的特征表示与样本数据的内在规律，为设计高效的控制器学习模型提供了一种新的契机。

本文在多无人机编队控制问题中使用了深度神经网络模型，设计了一种多无人机协同编队方法。首先，为了满足多无人机协同编队的实时性要求，本文将动量因子^[16]引入深度神经网络，设计了一种改进深度神经网络学习模型。其次，基于改进深度神经网络，设计了一种编队控制器，该控制器使用深度神经网络在线自适应整定PID控制器参数。最后，基于主从结构，将所设计的深度神经网络控制器扩展到多无人机协同编队飞行场景。

该文组织结构如下：第一节给出相关背景知识；第二节给出了改进深度神经网络模型；第三节给出了基于改进深度神经网络的飞行控制器；第四节给出了基于改进深度神经网络的多无人机协同编队控制器，并进行了稳定性分析；第五节，仿真实验验证了所提出方法的有效性。第六节总结全文并给出未来工作展望。

1 改进深度神经网络模型

深度神经网络的学习性能受限于训练样本数量与网络隐含层的层数。实时的多无人机协同编队控制要求神经网络学习模型具有较高的学习性能。因此，本文在反向传播过程^[17]中引入了动量常数以加快学习速度以及保证训练过程的相对稳定。

类似于经典的神经网络，深度神经网络的输入层不包含激活函数。除了输入层外，设定某一层中神经单元n的输入为I_n, 输出信号为y_n。设定相邻低一层中神经单元m的输出信号为y_m, 则该神经单元的输出值如(1)式所示。

(1)

式中：E=1.634；F=0.652；神经元n的阈值表示为θ_n；神经网络输出层的上一隐含层中的某个神经元n的输出为y_n。设定输出层中神经元k的输出信号为y_k, 其对应的输入信号为I_k, 则y_k和I_k如(2)式所示

(2)

对于第t+1次网络权重的更新, 神经单元u的输入信号为x_p^t+1, 输出信号为y_pu^t+1, 期望输出信号为O_pu^t+1, 则误差信号的方差如(3)式所示

(3)

对于N个输入样本, (4)式表示深度神经网络的方差

(4)

方差E_p^t+1在反向传播过程中不断减少, 并且连接权值ω_uj^t+1沿着方差E_p^t+1的梯度不断变化。设定神经单元的输入信号为x_p^t+1, 对于连接权值ω_uj^t+1的修正量Δ_pω_uj^t+1, 此修正量正比于, 权值的修正量Δ_pω_uj^t+1如(5)式所示

(5)

式中, λ为学习率, 0≤β < 1为动量常数, 动量因子取值为0.95。

设定, 根据(5)式可得

(6)

根据(6)式可得

(7)

输出层相邻隐含层中的神经元j与神经元i连接权值ω_ji的修正值如(8)式所示。其中, 神经元i处于相邻的更低一层的隐含层。

(8)

式中

(9)

根据以上表达式, 得到(10)式

(10)

最后, 隐含层权值的更新量为: Δ_pω_ji=λy_pjδ_pj。

2 基于改进深度神经网络的PID飞行控制器

网络输入层与输出层的神经单元个数相同, 均为3。设定深度神经网络含有n层隐含层, 隐含层k的神经元个数为a_k^m。输入层的神经节点、隐含层的神经节点与输出层的神经节点分别使用i, j与p表示。深度神经网络输入层的3个输入信号分别为控制系统在某一刻的输入信号, 输出信号以及输入与输出的差值。该深度神经网络的输出信号是PID控制器的控制参数K^p, Kⁱ, K^d。

其中, O_i⁽¹⁾=x(i), i=1, 2, 3为深度神经网络的输出。在第u次神经网络学习过程中, 第一层隐含层中神经元j的输入如(11)式所示。

(11)

该神经元的输出如(12)式所示

(12)

式中, 输入层神经元节点i到隐含层神经元节点j的连接权值为ω_ij⁽²⁾。激活函数f(x)为双曲线正切函数。神经网络的输入层、第一层隐含层、第二层隐含层, 第k层隐含层分别使用(1), (2), (3)与(2+k-1)表示, 输出层使用(2+n)表示。隐含层中第k层中某个神经元节点j的输出如(13)式所示。

(13)

激活函数f(x)如(14)式所示

(14)

式中, E=1.634, F=0.652。(15)式表示最后一层隐含层的输出

(15)

输出层的输出如(16)式所示

(16)

(17) 式表示深度神经网络的最终输出

(17)

为了加快训练速度并且保持相对稳定的训练过程, 在反向传播过程中引入动量因子。反向传播过程使用了梯度下降法, 输出层的权重更新如(18)式所示。

(18)

式中, e(u)=r(u)-y(u)。使用μ(u), y(u)的相对变化量表示∂y/∂μ的估计值, 如(19)式所示

(19)

PID控制器的输出如(20)式所示。

(20)

(21) 式表示权重更新过程

(21)

3 基于改进深度神经网络的多无人机协同编队控制 3.1 多无人机协同编队控制器

设定编队无人机的数量为5, 其中1架无人机为领航机, 其余4架无人机为跟随机。多无人机协同编队飞行可以使得多架无人机快速保持一致性的状态, 即5架无人机保持相对稳定的飞行距离。其中, 4架跟随无人机保持统一的高度, 并且分别处于正方形的4个顶点。领航无人机使用PID控制器。如图 1所示, 设定j=1, 2, 3, 4分别表示4架跟随无人机的编号。其中, 对于4架跟随无人机, 每架无人机只需考虑前一架无人机的飞行状态并作出调节。对于跟随无人机, 不仅需要考虑领航机的飞行状态, 同时需要与相邻无人机保持一定飞行距离, 并且飞行高度保持一致。本文使用改进深度神经网络控制器实现对跟随无人机的飞行控制。

改进深度神经网络的输入为:领航机的速度V_i, 偏航角α_i, 位置坐标X_i, Y_i, H_i, 以及跟随无人机的水平距离与高度的变化ΔX_i, ΔY_i, ΔH_i。对于多无人机协同编队飞行, 短时间内各个跟随无人机的状态量可能变化较大, 这对编队飞行控制的性能要求较高。因此, 改进深度神经网络控制器可以更有效地实现非线性协同编队控制。由于深度神经网络的离线训练方式鲁棒性较差, 并且对于噪声不能很好地抑制, 故本文采取了深度神经网络的在线训练方法。

对于所使用的神经网络, 网络的输入层, 隐含层第一层, 隐含层第二层, …, 隐含层第m-1层分别使用K=0, 1, 2, …, m表示。设定网络的第K层有a_kⁿ个神经元, 设定第L层的第j个神经元到第L+1层的第i个神经元的连接权重为ω_ij。

对于反向传播过程中的第u+1次权值更新, (22)式与(23)式分别给出了第L+1层到第L层的连接权值ω_ij^(L+1)以及第L+1层中第i个神经元的阈值θ_i^(L+1)的更新方式。

(22)

(23)

式中, λ, γ分别是常数、步长因子。

引入动量常量之后的权值更新如(24)式所示。

(24)

式中, E表示期望, y′, y分别表示期望输出与实际的输出。α, β分别表示学习率与动量常数, 范围均在(0, 1)内。δ_k^L+1 (u)的迭代方式如(25)式所示。

(25)

f(x)为激活函数, 如(26)式所示。

(26)

式中, C, F为2个常量参数, 数值分别为1.716, 0.667。

跟随无人机的飞行控制器包括2个子控制器:高度维持控制器与水平维持控制器。其中, 高度维持控制器考虑多无人机飞行时的高度, 水平维持控制器考虑多无人机飞行水平面的x方向与y方向的相对距离。高度维持控制器与水平维持控制器如下所示。

1) 高度维持控制器

多架跟随无人机相对稳定的飞行高度通过高度维持控制器来保持。在线训练完成的改进深度神经网络输出得到稳定的PID控制参数。所设计的高度控制律如(27)式所示。

(27)

式中, 领航无人机的飞行高度为h_c, 即跟随无人机需要保持的高度, ω_z表示俯仰角速度。v_z表示无人机在高度方向的线速度。k_p^α, k_i^α, k_ωz, k_p^h, k_i^h, k_vz均为常量。δ_z为高度方向上的控制命令。

2) 水平维持控制器

水平保持控制器包含2个部分。首先是在水平面上与领航机保持相对稳定的距离。x方向上的距离维持控制器如(28)式所示。

(28)

式中：v_x为跟随无人机当前速度；v_x^c为期望飞行速度；Δx_i(t)为在水平面内x方向的位置变化；k_p^v_x, k_i^v_x, k_d^v_x, k_p^x, k_i^x, k_d^x分别为常量；δ_x为水平面内x方向的控制命令。

与x方向控制器类似, (29)式展示了无人机在y方向上的距离维持控制器。

(29)

式中：跟随无人机的实时速度为v_y；跟随无人机的期望飞行速度为v_y^c；无人机在水平面内y方向的位置变化为Δy_i(t)；k_p^v_y, k_i^v_y, k_d^v_y, k_p^y, k_i^y, k_d^y分别为常量；δ_y为水平面内y方向的控制命令。

3.2 稳定性分析

根据经典PID控制器的特性可知, 领航无人机的稳定飞行可以通过经典PID控制器来保持。训练完成的深度神经网络可以得到PID控制器的3个控制参数, k^p, kⁱ, k^d。同时, 跟随无人机的飞行高度与水平飞行距离通过改进深度神经网络在线调节。当深度神经网络输出稳定的控制器参数时, PID控制器可以保持控制系统的相对稳定, 并且受控变量的变化维持在有界范围内。对于跟随无人机, 在水平x方向, 水平y方向上, 高度h 3个方向上的控制命令, 分别满足, , 。当基于深度神经网络的PID控制器稳定时, 对于每台无人机i, 均存水平方向的相对距离ΔX, ΔY与高度ΔH保持稳定, 即, 与。由此可见所提出的多无人机编队深度神经网络控制器能够保持稳定。

4 仿真验证 4.1 深度神经网络协同编队控制器仿真验证

为了论证深度神经网络协同编队控制器的有效性，本文设计了仿真验证试验。仿真对象为4架编队飞行的无人机。领航机高度为7 km，3架跟随无人机高度为7 km，跟随无人机间的期望间距为5 km。其中，3架跟随无人机分别位于三角形的顶点，而领航机在跟随无人机平面内的投影为三角形的中心，跟随无人机与领航机水平期望距离为2.887 km。

设定领航无人机初始位置为(0, 0, 7)km，3架跟随无人机初始位置分别为(-2.5, 0, 7)km, (2.5, 0, 0)km, (0, 2.5, 7)km。3架跟随无人机具有相同的初始速度，均为40 m/s，而跟随无人机的协同飞行速度为(15, 0, 0)m/s。仿真时间为30 s，采样周期为0.01 s。本文在多无人机编队飞行环境中引入了均值为0，方差为0.01的外部扰动噪声。跟随无人机的相对距离作为协同编队控制性能的评价指标。

图 2展示了深度神经网络控制器的仿真结果。在25 s之后，多无人机之间的相对距离保持稳定，即实现了协同飞行。仿真验证结果表明深度神经网络协同编队控制器的有效性。所设计的深度神经网络编队飞行控制方法具有可收敛性，并且可以有效保持无人机之间的协同飞行。

4.2 基于自适应动量的深度神经网络控制器仿真验证

本文设计了改进深度神经网络控制器的仿真验证试验，并将经典深度神经网络控制器作为对比。图 3展示了改进深度神经网络控制器仿真结果。从仿真试验结果可以看出2种控制器最终都会得到收敛，但是收敛时间不同。对于改进深度神经网络控制器，3架无人机的相对距离在20 s之后就会保持不变，即保持相对稳定的状态编队飞行。仿真验证说明了改进深度神经网络控制器具有更高效的多无人机协同编队控制性能。

5 结论

针对高维飞行数据下的多无人机协同编队控制问题，结合当下流行的深度神经网络技术提出了一种面向多无人机编队飞行的改进深度神经网络控制方法，在反向传播过程中引入动量因子以加速网络的收敛速度以及保持相对稳定的训练过程。最后仿真结果验证了本文提出协同编队方法的有效性。然而，本文所设计的仿真验证场景规模仍然较小，未来会尝试将该方法应用在更大规模场景中，并且在多无人机编队飞行中设置更多的噪声等干扰条件以设计更高泛化性与鲁棒性的协同编队飞行控制方法。