由于在编队控制^[1-2]、目标跟踪^[3]、覆盖控制^[4]、姿态控制^[5]等领域的广泛应用, 近年来多智能体系统的协同输出调节问题得到了越来越多的关注。

多智能体系统的协同控制问题可根据系统内有无领导者分为均匀一致性问题^[6]和主从跟踪一致性问题^[7]。本文研究的协同输出调节问题属于主从跟踪一致性问题, 该问题的解决需要达成2个条件:①保证闭环多智能体系统的稳定性; ②确保输出信号与外部信号之间的追踪误差趋近于零。该外部信号可代表外部输入或者外部干扰, 由外部系统(即领导者系统)产生。经典的多智能体系统输出调节问题最初由Davison、Francis等^[8-9]提出, 但其控制器要求多智能体系统内的每个智能体不仅需要获知自身状态信息而且需要获知外部系统的状态变量信息。针对部分跟随者无法直接获知外部系统状态变量的多智能体系统, Huang等^[7]提出了分布式协同控制算法以解决多智能体系统输出调节问题, 该项研究可被看作经典输出调节问题的延伸。随后, 文献[10-12]对多智能体系统协同输出调节问题进行了一系列扩展性研究, 但是这些研究中多数没有考虑多智能体通信网络中的时延现象或者假设时延为固定时延。

事实上, 大多数的多智能体系统都基于无线网络进行通信, 因此在智能体通信过程中不可避免地会产生通信时延^[13], 文献[14]的研究对象为含有通信时延的多智能体系统, 但解决的是无领导者的多智能体系统一致性问题, 文献[15]研究了具有离散时间时延多智能体系统的输出调节问题, 但其关注的是固定时延。由于每个智能体所处的外部环境和通信目标是时变的, 智能体通信过程中发生的时延一般也为时变的。文献[16]研究了时变通信时延的多智能体一致性问题, 但其关注的是平均一致性问题。由于多智能体通信网络中时变时延的存在, 各智能体控制器将会无规律地异步更新邻居节点的状态信息, 这将为分布式反馈控制算法设计增加难度, 从而给多智能体系统协同输出调节问题的解决带来极大困难, 这是本文所面临的第一个难点。

另外, 在智能体通信过程中, 产生时变通信时延的同时数据丢失现象也将随机出现^[17], 这将导致多智能体系统通信网络的拓扑结构动态地发生变化, 从而给多智能体闭环控制系统的稳定性分析和跟踪误差的收敛性分析造成极大困难。文献[18]研究了通信网络中存在数据丢包的多智能体一致性问题, 但其关注的是平均一致性问题。文献[11, 19-21]研究了动态网络拓扑下的多智能体输出调节问题, 但并未讨论数据丢包和通信时延同时存在时的一致性问题。文献[22]对多智能体系统动态网络拓扑下存在时延现象的输出调节问题进行了研究, 但其关注的是固定时延。目前已发表文献中, 对通信网络中同时存在数据包丢失和时变时延现象的多智能体系统协同输出调节问题的研究成果较少, 这也是本文所面临的第二个难点。

基于上述研究现状分析, 本文主要研究动态网络拓扑下具有时变通信时延的多智能体系统协同输出调节问题。本文通过引入队列机制, 将时变时延多智能体系统转化为具有固定时延和随机数据丢包的多智能体系统, 随后设计出相应的状态观测器, 进而提出分布式测量输出反馈控制算法。该算法能有效解决随机数据丢包和时变通信时延同时存在情况下的多智能体输出调节问题。针对不稳定和稳定外部系统, 分别给出了解决多智能体系统输出调节问题需要满足的条件。

1 问题阐述 1.1 图论

多智能体系统通信网络拓扑结构可由简单有向图G=(V, E)表示, 其中V={v₀, v₁, …, v_n}表示有向图中智能体的集合, E⊂V×V表示有向图的边集合。定义(v_j, v_i)表示从智能体v_j到v_i的边, 若存在(v_j, v_i), 则称v_j为v_i的邻居节点, 智能体v_i的邻居节点集合可用N_i来表示。定义A={a_ij}为G的邻接矩阵, 其中a_ij=1⇔(v_j, v_i)存在, 否则a_ij=0。令L_P={l_ij}为G的拉普拉斯矩阵, 其中l_ij=-a_ij⇔i≠j且。

若有向图G中存在一个边序列(v₁, v₂), (v₂, v₃), …, (v_k-1, v_k), 则称v_k由v₁可达。若有向图G中的每一个智能体都由v_i可达, 则称图G中至少包含一个以v_i为根的生成树。

1.2 队列机制

考虑引入文献[15]中的队列机制来处理多智能体通信过程中伴随的时变时延现象。

假设G内的所有智能体时钟同步并且数据包都以h为周期向外发送。令τ (d_min < τ < h)表示每个智能体数据接收器的队列时间, 其中d_min表示时变通信时延的最小值。以第k个周期为例:

在t∈[kh, kh+τ)内, 当有数据包到达v_i的接收器时, v_i将检查该数据包的时间戳, 若该数据包在kh时刻被发送, 则v_i将其放入队列中, 否则该数据包将被丢弃; 在t=kh+τ时刻, v_i将利用接收器队列中的数据更新其控制输入; 在t∈[kh+τ, (k+1)h)内, 所有到达v_i的数据均被看为过时信息而被丢弃。通过引入队列机制, 在每个周期内G内的所有智能体都将在t=kh+τ时刻同步更新控制输入。

假设1     通信网络中, 任意2个智能体的通信与其他智能体无关; 独立同分布的时变通信时延服从均匀分布U[0, d_max], 其中d_max为最大通信时延; 随机丢包过程服从伯努利分布。

1.3 系统描述

一般情况下, 固定拓扑下无时延的线性离散多智能体系统中的跟随者系统可表示为如下形式:

式中, i=1, …, n, x_i∈R^p, u_i∈R^q, e_i∈R^c, υ∈R^d分别表示第i个智能体系统的状态, 控制输入, 追踪误差和外部信号; A_i∈R^p×p, B_i∈R^p×q, E_i∈R^p×d, C_i∈R^c×p, D_i∈R^c×q和F_i∈R^c×d均为常数矩阵; y_mi∈R^c_m表示第i个智能体的测量输出, 其中, 角标中的m表示此变量为测量值, i指代第i个智能体; C_mi∈R^c_m×p, D_mi∈R^c_m×q, F_mi∈R^c_m×d。

外部信号υ可以表示外部输入或外部干扰, 它可由如下外部系统产生

式中, S∈R^d×d为常数矩阵。

为保证信息传输的时效性, 假设本文研究的多智能体系统中只有邻居节点之间才有数据传输, 并且各智能体不对外转发其所接收的各项信息。因此, 若智能体v_j是智能体v_i的邻居节点, 则v_i只能将v_j的状态信息作为v_i自身的控制输入, 而不能作为中继器将v_j的信息转发给其他智能体v_k。由于不能保证每个跟随者的邻居节点集合中都包含有领导者, 为保证无法接收外部信号的跟随者也能实现对领导者的跟踪控制, 可考虑设计如下分布式测量输出反馈控制算法

式中, K_i1∈R^q×p, K_i2∈R^q×d和L_i∈R^p×c_m为3个增益矩阵, 参数ϕ为大于零的实数, 和分别为智能体v_i的状态变量动态观测器对x_i和υ_i的估计值。

通过应用该分布式控制算法, 即使智能体v_i无法直接获知外部信号υ, 也可通过获取其邻居节点v_j的状态观测器所产生的外部系统状态估计值来实现主从跟踪一致性控制。

若多智能体系统通信网络拓扑中存在随机数据丢失和时变通信时延, 则外部系统状态观测器将面临2个问题:①随机数据丢失将导致多智能体系统通信网络拓扑结构随机变化, 因此a_ij的值将会在0和1之间随机切换, 这将导致多智能体系统输出调节问题的稳定性分析变得异常复杂; ②由于智能体信息交互过程中存在时变通信时延, 各智能体控制器将无法周期性地同步更新外部信号估计信息, 从而导致其无法同步更新控制输入, 这将导致智能体跟踪误差增大, 影响多智能体系统的控制效果。本文中的队列机制则可有效解决以上2项问题。

定义初始网络拓扑表示为G(0)=(V(0), E(0)), 其中V(0)={v₀, …, v_n}, v₀表示领导者, {v₁, …, v_n}表示跟随者。在队列机制下, 智能体v_i在[kh, kh+τ)时间内只能接收其邻居节点发送的外部系统状态信息υ(kh)或者对外部系统状态信息的估计值, 随后所有智能体的控制输入在kh+τ时刻统一更新。令a_ij(k)表示a_ij在时间[kh, kh+τ)内的期望值, 当且仅当智能体v_j对外部系统状态变量的观测值在时间kh+τ之前到达v_i时a_ij(k)=1, 否则a_ij(k)=0。

定义A(k)={a_ij(k)}为时间[kh, kh+τ)内的期望邻接矩阵, 随即可得相应于A(k)的期望网络拓扑G(k)和期望拉普拉斯矩阵L_P(k), 其中

若定义G_S(kh)={G₁(kh), G₂(kh), …, G_Ν(kh)}表示多智能体系统在第k个采样周期的队列时间内出现的所有网络拓扑的集合, 则期望拓扑G(k)可看作是这N个网络拓扑的联合网络拓扑, 即G(k)=G₁(kh)∪G₂(kh)∪…∪G_Ν(kh)。

在队列机制下, 针对通信网络中存在随机数据丢失和时变通信时延的多智能体系统, 考虑描述跟随者系统如(1)式所示

(1)

外部系统如(2)式所示

(2)

(1) 式和(2)式共同构成了本文研究的动态网络拓扑环境下具有时变通信时延的多智能体系统, 该系统包含n+1个多智能体, 其中, (1)式表示跟随者系统, (2)式表示领导者系统。

在队列机制下, 设计外部系统状态变量的动态观测器如下

(3)

式中, 。

针对智能体不能直接测量自身状态信息的情况, 设计自身状态变量动态观测器如下

(4)

因此, 结合(3)式和(4)式可设计分布式测量输出反馈控制算法如(5)式所示

(5)

结合(1)~(5)式可得智能体v_i的闭环控制系统如下所示

令

同理定义B, C, D, E, F, C_m, F_m, L。令K₁=blockdiag(K₁₁,…,K_n1),K₂=blockdiag(K₁₂,…,K_n2),x(k)=［x₁^T (kh+τ),…,x_n^T(kh+τ)]^T, ,e(k)=[e₁^T(kh+τ),…,e_n^T(kh+τ)]^T。定义,则闭环多智能体系统可以表示为

(6)

式中, I_n⊗S表示单位矩阵I_n与矩阵S的克罗内克积，1_n表示元素为1的n维列向量。

定义1     给定多智能体系统(6), 若存在分布式测量输出反馈控制算法(5)使得离散时间闭环多智能体系统满足:

1) 当外界输入为零时, 闭环多智能体系统渐进稳定;

2) 对于任意的初始条件y(0)和, 追踪误差满足;

则表明动态网络拓扑环境下多智能体系统的协同输出控制问题可被反馈控制算法(5)解决。

2 主要结论

在保证一般性的前提下, 首先给出解决多智能体协同输出调节问题的标准假设条件:

假设2    外部系统的系统矩阵S的所有特征值的模均不小于1。

假设3    (A_i, B_i)是可镇定的, i=1, …, n。

假设4     (C_mi, A_i)是可观测的, i=1, …, n。

假设5    存在适当的队列时间τ, 使得有向图G在每个队列时间结束时的期望拓扑结构G(k)中都至少存在一个以v₀为根的生成树。

定理1    若假设1~5同时成立, 令增益矩阵K_i1和L_i分别满足假设3和假设4, 当且仅当参数ϕ(k)和K_i2在每个周期内同时满足以下2个条件:

1)

式中, Δ=a_l² (k)+b_l² (k)-(a_lb_s-a_sb_l)²>0, a_sa_l(k)+b_sb_l(k)>0, s=1, …, q, l=1, …, n;

2) 矩阵方程

有解(X_i, K_i2);

则称反馈控制算法(5)可以解决动态网络拓扑环境下存在时变通信时延的多智能体系统(6)的协同输出调节问题。

证明：

令

则可得

由于A_l(k)为上三角矩阵, 则可通过分析G和的特征值的取值范围来判定闭环多智能体系统的渐进稳定性。

令, 则 。

由假设3可得, 存在矩阵K₁使得A+BK₁的所有特征值的模均小于1;由假设4可得, 存在矩阵L使得A-LC_m的所有特征值的模均小于1。因G为上三角矩阵, 当选取满足假设3和假设4的增益矩阵K₁和L时可判定G的特征值的模均小于1。由于G与G互为相似矩阵, 因此G的所有特征值的模小于1。

定义矩阵S的特征值为{a_s+jb_s, s=1, …, d}, 其中当0≤s≤q₁时, b_s=0;当q₁+1≤s≤d时, b_s≠0。同理定义的特征值为{a_l(k)+jb_l(k), l=1, …, n}。其中当0≤l≤n₁时, b_l=0;当n₁+1≤l≤n时, b_l≠0。

假设5成立时, 由文献[8]的引理1和文献[5]的引理3.3可得, 每个周期内特征值的模均不为零。

由克罗内克积的性质可得的特征值可以表示为{a_s+jb_s-ϕ(k)(a_l(k)+jb_l(k)):s=1, …, d, l=1, …, n}。因此, 若外界输入为零, 当且仅当|a_s+jb_s-ϕ(k)(a_l(k)+jb_l(k))| < 1时, 闭环多智能体系统渐进稳定, 此时

式中, Δ=a_l² (k)+b_l² (k)-(a_lb_s-a_sb_l)²>0且a_sa_l(k)+b_sb_l(k)>0, s=1, …, d, l=1, …, n。

令, 其中, X=blockdiag(X₁, …, X_n)^T, X_i∈R^p×d, i=1, …, n则

由于S的特征值的模均不小于1, 所以不稳定。因此当且仅当A_l(k)X+B_l(k)-X(I_n⊗S)=0, C_l(k)X(k)+D_l=0时, 对于任意的初始条件y(0)和, 追踪误差满足。此时

综上可得, 在假设1~5同时成立的前提下, 当且仅当参数ϕ(k)和K_i2在每个周期内均满足定理1的2个条件时, 反馈控制算法(5)可以解决动态网络拓扑环境下存在时变通信时延的多智能体系统协同输出调节问题。

假设6     外部系统的系统矩阵S的所有特征值的模均小于1。

定理2     若假设1和假设3~6同时成立, 令增益矩阵K_i1和L_i分别满足假设3和假设4, 当且仅当参数ϕ(k)在每个周期内均满足

式中, Δ=a_l² (k)+b_l² (k)-(a_lb_s-a_sb_l)²>0, s=1, …, d, l=1, …, n;

则称反馈控制算法(5)可以解决动态网络拓扑环境下存在时变通信时延的多智能体系统(6)的协同输出调节问题。

证明:

同理定理1的证明过程可得, 若选取满足假设3和假设4的增益矩阵K_i1和L_i, 当且仅当参数ϕ(k)在每个周期内均满足

闭环多智能体系统在外界输入为零的情况下渐进稳定, 其中Δ=a_l² (k)+b_l² (k)-(a_lb_s-a_sb_l)²>0, s=1, …, d, l=1, …, n。

由假设6得, 则。又由于ϕ(k)>0, 可得ϕ(k)的取值范围为

式中, Δ=a_l² (k)+b_l² (k)-(a_lb_s-a_sb_l)²>0, s=1, …, d, l=1, …, n。

当假设6成立时渐进稳定, 又由于A_l(k)的所有特征值的模均小于1, 则对于任意的初始条件y(0)和, y(k+1)渐进稳定, 进而可得追踪误差满足。

综上可得, 在假设1和假设3~6同时成立的前提下, 当且仅当存在参数ϕ(k), 使得定理2中给出的条件在每个周期内均成立, 则测量输出反馈控制算法(5)可以解决动态网络拓扑环境下存在时变通信时延的多智能体系统协同输出调节问题。

3 仿真结果与分析

本节以如下多智能体系统为例进行仿真分析。

假设跟踪者系统如下所示

其领导者系统为如下形式

若转换为(1)式和(2)式所示形式, 可得

令K_i1=[-1.5, -0.5], L_i=[-1.5, -3]^T。显然, 假设3和假设4成立。

本节所研究的多智能体系统中存在5个多智能体, 其中节点0代表领导者, 节点1~4代表跟随者。初始时刻的多智能体网络拓扑如图 1所示, 此拓扑结构中存在以0节点为根的有向生成树。

由于多智能体系统在通信过程中存在随机的数据丢包, 多智能体的通信网络在[kh, kh+τ]内的不同时刻会具有不同形式的拓扑结构, 在某些特定时刻其网络拓扑结构中将不再存在生成树, 如图 2所示。

为便于理论分析, 本节中假设多智能体网络拓扑结构在每个周期的队列时间内只能在图 2所示的4种拓扑结构中相互变换。因此, 在第k个采样周期的队列时间内, 含有生成树的期望网络拓扑只能为图 3所示的拓扑结构之一。令{G_i(k); i=1, 2, 3, 4}分别表示图 3a)~3d)中的网络拓扑结构, A_i(k)为相应于G_i(k)的邻接矩阵, 为的特征值。

从图 3a)中可得:

因此, 。同理可得 。取

ϕ(k)=0.4, 则定理1的2个条件均成立。由定理1可知, 分布式测量测量输出反馈控制算法(5)可以解决动态网络拓扑环境下存在时变通信时延的多智能体协同输出调节问题, 仿真结果如图 4所示。

若领导者的系统矩阵时, 多智能体系统具有稳定外部系统。此时, 若取K_i2=[-0.44-1.68], ϕ(k)=0.2, 则定理2的条件成立。由定理2可知, 分布式测量测量输出反馈控制算法(5)可以解决动态网络拓扑环境下存在时变通信时延的多智能体协同输出调节问题, 仿真结果如图 5所示。

由图 4和图 5可得, 针对不稳定和稳定的外部系统, 测量输出反馈控制算法(5)均可使得其所有跟随者的跟踪误差渐进趋向于零, 动态网络拓扑环境下存在时变通信时延的多智能体系统协同输出调节问题可以被有效解决。

4 结论

本文研究了动态网络拓扑下具有时变通信时延的多智能体系统协同输出调节问题。主要得到以下3项结论:①基于队列机制, 设计了新的分布式测量输出反馈控制算法以解决具有随机数据丢包和时变通信时延的多智能体系统协同输出调节问题; ②在标准假设成立的前提下, 针对不稳定外部系统, 给出了动态网络拓扑下具有时变通信时延的多智能体系统协同输出调节问题的解决条件; ③在标准假设成立的前提下, 针对稳定外部系统, 给出了动态网络拓扑下具有时变通信时延的多智能体系统协同输出调节问题的解决条件。仿真分析验证了本文所提出的测量输出反馈控制算法能够有效解决具有通信时延和数据丢失的多智能体系统协同输出调节问题。另外, 在基于队列机制的多智能体系统协同输出调节问题中, 队列时间的取值十分重要, 因此, 最优队列时间问题将是未来工作的重心之一。