2. 长安大学 电子与控制工程学院, 陕西 西安 710064
云机器人是云计算与机器人学的结合，机器人本身不需要存储全部信息或具备超强的计算能力，只在必要的时候连接相关云端服务并获得所需信息[1-2]。云机器人卸载的任务以会话(session)的形式被分割成多个作业流，由云端多个宿主主机上的虚拟资源并行处理。在网络接入方面，为了提高机器人节点在复杂环境下的生存能力，往往采用去中心化的自组织网络，所有节点共享信道并采用CSMA/CA(carrier sense multiple access/collision avoidance)的方式竞争接入[3]。
由于云端应用的实时性差异，对服务质量的需求不尽相同；各类机器人节点基于自身处理能力、任务环境、突发事件等差异，对网络和云端资源的竞争不可避免[4-5]；尤其是异构的、跨层融合的“瘦客户端”型机器人的广泛存在，使得网络传输控制只能由底层的MAC和物理层收发器来完成。
这方面的研究往往基于多队列隔离的结构，如QS-MAC[6](QoS-based MAC)，PRIN[7](priority in node)，AS-MAC[8](asynchronous scheduled MAC)，RF-MAC[9](RF energy harvesting MAC), CACC[10](cross-layer based adaptive congestion and contention)，DRAS[11](data rate adjustment scheme)和QoS-OFDMA[12](QoS-orthogonal frequency division multiple access)等，进而通过控制不同队列的资源占用，如退避窗口[6]、帧间间隔[7]、活动时间[8]、发射功率[9]、TCP拥塞窗口[10]、数据速率[11]或子信道竞争次数[12]，实现具有区分服务的接入控制。所采用的方法包括参数同步、中心节点调度和资源预留等。无论哪种方法，在特定场景下均可实现一定的吞吐量和延迟性能改善[13-14]。然而，这些研究均是从系统实现或协议设计的角度进行验证，缺少对系统的稳定性、动态性能等的理论分析。因此，本文针对云机器人系统服务质量差异化需求和资源能量受限等特点，提出一种基于BP神经网络的双闭环接入控制方法(BP neuron network based feedback control MAC, BPFD-MAC)，在最大化能量利用率前提下，同时实现绝对服务质量和相对服务质量保证：针对绝对QoS约束，建立活动时间闭环(active time-loop，AT-loop)，根据实测延迟，动态调整节点MAC传输的活动时间；针对相对QoS约束，建立退避窗口闭环(contention window-loop，CW-loop)，根据不同优先级实际延迟比，调整它们退避时间的初始上限; 同时，设计基于BP神经网络的PID控制器，利用神经网络非线性自学习和自训练的特点，对控制器的参数进行自适应校正；实验表明，在网络高负载下，BPFD-MAC具有更高的吞吐量和能量利用率，在网络低负载下，具有更低的能耗。
1 支持QoS的接入控制模型基于BP神经网络的接入控制模型如图 1所示，按照云端卸载任务的不同，MAC层形成的帧流(frame flow)可以被分为“I+J”类不同的优先级; 在每个机器人节点上, 这些不同的优先级在相互隔离的队列中按照CSMA/CA的方式共享信道。其中, I类帧流, 要求点对点的性能满足约束(1)式, 称之为绝对QoS约束; J类帧流, 要求点对点性能指标关系满足约束(2)式, 称之为相对QoS约束。
|
(1) |
|
(2) |
|
| 图 1 基于BP神经网络的双闭环接入控制模型 |
式中, ζ为实际测量的QoS指标(ζ可以是丢包率, 节点带宽, 吞吐量等指标。不失一般性, 本文采用点对点平均延迟), Lj为期望的QoS指标, δj是固有优先级参数。δj越小, 作业的期望延迟越低, 业务类的优先级越高。无论是帧流的分类策略还是QoS指标和固有优先级参数的取值, 都可以采用上层协议动态协商或系统提前固化的方式, 本文不再赘述。
1.1 “N+1”模型实际上, 服从绝对约束的I类帧流和服从相对约束的J类帧流可统一为“N+1”模型。
由AT-loop控制节点的活动时间, 保证最高优先级业务类S的绝对延迟ζS=LS, (按公式(3)选择最高优先级类); 剩余的N(N=I+J-1)类帧流由CW-loop分别控制其退避窗口大小, 从而保证相互间的延迟比恒定。故(1)式和(2)式可以重写为:
|
(3) |
|
(4) |
|
(5) |
式中, (4)式保证了所有绝对QoS约束的延迟等于其约束值Li; (5)式保证了不同优先级的相对QoS约束的延迟比恒定, 从而避免了网络拥塞时低优先级被过分“牺牲”。
1.2 活动时间闭环活动时间闭环(图 1的蓝色虚线方框)通过动态调整活动时间, 实现绝对延迟保证和能耗管理。当网络流量较大, 增大活动时间以减小碰撞概率; 反之, 减小活动时间以节省能耗。AT控制器采用BP神经网络的方法实现系统反馈和控制器参数自整定。根据绝对延迟偏差eS(k)=ζS(k)-LS, 调整下一个采样周期的活动时间TS(k+1)。同时, 偏差eS和活动时间TS作为输入输出训练神经网络。
需要注意的是, 对优先级S来说, 其在单一节点传输中所占的比例是动态变化的。AT-loop闭环通过对TS的控制消除偏差eS。但是, 在竞争窗口闭环里, 接入时间的变化量ΔTS, 实际上最终会被多个业务类以LD-BEB(见1.3节)的方式消耗, 并再次影响测量延迟ζ。尽管如此, 得益于负反馈控制的自适应性, 可以将活动时间和竞争窗口进行解耦, 单独控制。
1.3 竞争窗口闭环竞争窗口闭环(图 1的红色虚线方框)通过控制退避窗口的大小, 实现各优先级的差异化接入概率。然而, IEEE 802.11 CSMA/CA协议所采用的二进制指数退避算法(binary exponential back-off, BEB), 本身不具备接入概率控制能力。
因此, 本文在BEB基础上提出一种差分二进制退避机制(linear-differ BEB, LD-BEB), 为各类优先级引入缩放向量X(k)=[x1(k), x2(k), …xN-1(k)]T:当MAC层有帧发送并且信道空闲时, 在竞争窗口[0, xi(k)·Wmin-1], 1≤xi(k)≤
|
(6) |
与活动时间闭环类似, CW控制器同样采用基于BP神经网络的自适应控制器。神经网络的输入为延迟比误差E(k)=Y(k)-Yr, 输出为缩放向量X(k)其中:
|
(7) |
由于网络拓扑的动态变化和任务的突发性, 无论是活动时间闭环还是竞争窗口闭环都展现出典型的非线性和时变性。本文利用神经网络非线性自学习和自训练的特点, 对控制器的参数进行自适应校正, 以保证负载变化情况下, 控制器的有效性和稳定性。
2.1 控制器结构以竞争窗口闭环为例, 其控制系统由经典的PID控制器和BP神经网络两部分组成。经典增量式数字PID的控制算式为:
|
(8) |
BPFD-MAC通过神经网络的自学习、加权系数调整, 从而获得某种最优控制规律下PID控制器相关参数KP, KI, KD。此时, (8)式可重写为:
|
(9) |
式中, f(·)是与KP, KI, KD, u(k-1), e(k)等有关的非线性函数。
2.2 神经网络训练机器人节点计算资源有限, 神经网络应能在较低的复杂度下实现参数的快速收敛。本文采用如图 2所示的3层BP结构。
|
| 图 2 用于参数自适应的BP神经网络结构 |
1) 输入层的输出:
|
(10) |
2) 隐含层的输入输出:
|
(11) |
式中, {wij(2)}为输出层第j个神经元到隐含层第i个神经元的加权系数, 上标表示该神经元所处的层数, 激活函数f(x)采用双曲正切函数, 即f(x)=(ex-e-x)/(ex+e-x)。
3) 输出层的输入
|
(12) |
式中, wli(3)为输出层加权系数, 激活函数采用非负的Sigmoid函数g(x)=ex/(ex+e-x)。
取性能指标函数
|
(13) |
按Q(k)对加权系数的负梯度方向搜索调整, 并附加使搜索快速收敛全局极小的惯性项, 则有:
|
(14) |
式中, η为学习率, γ为惯性系数。而:
|
这里需要用到变量∂y(k)/∂u(k), 由于∂y(k)/∂u(k)未知, 所以近似用符号函数来取代, 由此带来计算不精确的影响可通过调整学习速率η来补偿。由(8)式可得: 
|
(15) |
因此, 输出层权计算公式为:
|
(16) |
同理, 可得隐含层权重计算公式为:
|
(17) |
综上, 基于BP神经网络的PID参数自适应算法如表 1所示。
| ①k:k=0, 初始化各层权系数的初值wij(2)(0)和wli(3)(0), 选定学习率η、惯性系数γ; |
| ②采样ζ(k), y(k), 按照公式(7), 计算该时刻误差E(k-j); |
| ③根据公式(10)~(12), 计算神经网络各层前向传递。输出层的输出即为PID控制器的3个可调参数KP, KI, KD; |
| ④根据公式(8), 计算PID控制器的输出u(k); |
| ⑤根据公式(13), 计算性能指标函数Q(k); |
| ⑥If (Q(k)≤Jthreshold‖k≥Kmax), 停止迭代; Else继续执行; |
| ⑦根据公式(16), 更新输出层权系数wli(3); |
| ⑧根据公式(17), 更新隐含层权系数wij(2); |
| ⑨k:k=k+1, 前往步骤②。 |
本文针对BPFD-MAC设计了3组对比实验。分别讨论其动态性能, 能量消耗和静态性能。各机器人节点采用ZigBit 900无线模块(784/868/915 MHz IEEE 802.15.4模块)实现去中心的自组织网络。其内部集成了ATmega1281V微控制器和AT86RF212射频收发器。借助于Atmel提供的AVR2025开发包, 在微控制器内部构建多队列结构进行不同业务流的性能隔离, 进而调整射频芯片内部的队列选择、退避窗口大小和活动时间, 实现动态AT和CW调整。AVR2025开发包还提供了API回调函数, 当帧数据被成功发送时, 通过对回调函数的间隔, 能够计算出点对点的平均传输延迟。
20个机器人节点随机部署在直径100 m的圆形区域内, 射频发射功率1 mW, Wmin=23, Wmax=28, τmax=3。每个节点向其他19个节点(根据唯一不变的地址)发送连续的数据传输, 数据报文在MAC层被打包为MAC帧流, 进行多跳传输。各节点根据发送节点和目的节点地址以及自身存储的路由表, 对MAC帧进行接收、存贮和转发。采用AODV(ad hoc on-demand distance vector)路由协议。在每个节点上, 由单独的进程(定时器)进行路由表的周期性维护(路由维护和路由发现)。MAC帧之间的发送间隔服从均值为
AT-loop和CW-loop均采用3层BP神经网络结构, 自适应调整PID控制器的参数, 相关初始参数的选择如表 2所示。
| 隐含层神经元数量N | 5 |
| 学习率η | 0.28 |
| 惯性系数γ | 0.001 |
| 权系数wij(2)(0)wli(3)(0) | [-0.5, 0.5]之间的随机数 |
| 迭代次数上限Kmax | 2 000 |
| 性能指标阈值Jthreshold | 10-4 |
需要说明的是, 文献[15]中已经将FD-MAC与其他基于QoS区分服务的MAC协议进行了对比, 并证明了其优越性。因此, 本文仅就BPFD-MAC和FD-MAC进行实验比较。
3.1 动态性能验证动态性能关注QoS指标随时间变化的情况, 用来评价控制器的性能。实验中采用“off-and-then-on”方式模拟阶跃信号。实验共持续600 s:0~200 s无控制器作用, 节点工作在标准IEEE 802.15.4 MAC方式下; 200~400 s, 仅CW-loop工作, 节点工作在FD-MAC方式下; 400~600 s, AT-loop和CW-loop同时作用, 节点工作在BPFD-MAC方式下。
假设网络中存在3类应用, 其中Pri 1为实时应用产生的帧流, Pri 2和Pri 3分别为BE(best effort)帧流。针对云机器应用场景, 设计了2组对比试验。强约束场景(strong time constraint, STC)和弱约束(weak time constraint, WTC)场景。对前者, 绝对QoS约束为ζ1≤LSTC=2 ms, 模拟负载变强时, 高优先级QoS指标小于实际延迟的场景; 对后者, ζ1≤LWTC=6 ms, 模拟负载强度降低时, QoS指标要求大于实际延迟的场景。2类场景下BE帧流的相对QoS约束均为
1) 图 3a)和图 4a)为STC和WTC场景下节点1~5(其余15个节点情况类似)的点对点延迟变化情况。0~200 s(802.15.4 MAC), 各类帧流的延迟没有明显区别; 200~400 s(FD-MAC), 尽管不同优先级的平均延迟出现了明显差异, 但Pri 1没有满足绝对延迟约束要求, 即LSTC=2 ms或LWTC=6 ms; 400~600 s(BPFD-MAC), 不仅区分的情况仍然显著, 帧流Pri 1的绝对延迟也分别降低到2 ms和增加到6 ms;
|
| 图 3 STC:绝对QoS约束ζ1≤LSTC=2 ms |
|
| 图 4 WTC:绝对QoS约束ζ1≤LWTC=6 ms |
2) 图 3b)和图 4b)为STC和WTC场景下2类BE帧流的延迟比。显见, 200~400 s, 无论是FD-MAC还是BPFD-MAC, 均能很好地保证延迟比恒定; 同时BPFD-MAC还具有绝对延迟控制能力。
3) 图 3c)和图 4c)为STC和WTC场景下节点吞吐量情况。在前400 s(802.15.4和FD-MAC), 节点的吞吐量没有明显变化, 这与之前的研究结论相符[15]; 400~600 s(BPFD-MAC), STC场景下, 绝对延迟越小, 对应的节点吞吐量越大; WTC场景反之。这说明, 相对于802.15.4 MAC和FD-MAC, CSFD-MAC在STC场景下, 增加节点的活动时间, 能够提高信道的时间利用率和吞吐量, 进而降低延迟; 反之, 在WTC场景下, 降低节点的活动时间以节省能耗, 同时吞吐量降低。这与本文的初衷相符。
3.2 能量效率能量效率和生存时间是云机器人节点等自组织智能群体网络构建时必须考虑的因素。本文采用“均帧能耗”(power consumption per successful transition frame)度量节点的能量效率, 均帧耗能越小, 能力效率越高; 总能量消耗(total power consumption)评价节点的生存时间, 在总能量一定的情况下, 总能量消耗越少, 节点的生存时间越长。
通常, 提高能量效率意味着节点在网络传输中应避免不必要的浪费, 如碰撞导致的数据重传和静态电路消耗等; 降低总能量消耗意味着节点应尽可能多地处于休眠状态。图 5为STC场景和WTC场景下, 节点1~5的平均帧能量消耗和总能量消耗。不失一般性, 图 5仅显示了最高优先级(Pri 1)和最低优先级(Pri 3)的帧流能量消耗情况。
|
| 图 5 STC和WTC场景下的平均帧能量消耗和总能量消耗情况 |
1) 200~400 s(FD-MAC), 无论STC还是WTC场景(见图 5a)、图 5c)), 均帧能耗和总能耗均大于0~200 s(802.15.4 MAC)。原因是过小的竞争窗口增加了碰撞的概率, 由此产生的数据重传浪费了部分的能量并降低了能量利用效率。
2) 400~600 s(BPFD-MAC), STC场景下(见图 5a))均帧能耗降低, 能量效率增加; 而WTC场景下(见图 5c)), 均帧能耗几乎不变。这是由于STC场景下, 增加的吞吐量(见图 3c))远超过了碰撞概率升高导致的能耗增长; 而WTC场景下, 吞吐量和总能耗都降低了, 且这两者数值上基本抵消。
3) 400~600 s(BPFD-MAC), STC和WTC场景下, 节点总能量消耗也是不同。STC场景下(见图 5b)), 总能量消耗要大于WTC场景(见图 5d)), 这是由于在WTC场景下, 节点活动时间较短, 避免了不必要的电路消耗。
4) 值得注意的是:相对于FD-MAC, 在STC场景下, BPFD-MAC有更高的能量效率(更低的均帧能耗)和近乎相同的生存时间; 在WTC场景下, BPFD-MAC有更长的生存时间(更低的总能耗)和近乎相同的能量效率。
3.3 静态性能在STC场景下, BPFD-MAC牺牲生存时间(更高的总能量消耗, 见图 5b)), 获取了更高的吞吐量(见图 3c))和更低的延迟(见图 3a))。实际上, 云机器人等智能群体自组织网络中, STC场景更为常见, 因此重点针对STC场景, 在不同负载强度下, 进行统计性能分析。结果如图 6所示。负载强度(offered traffic)沿着Y轴(logarithm scale)增加, X轴方向依次表示为IEEE 802.15.4 MAC, FD-MAC和BPFD-MAC, Z轴方向分别为吞吐量(见图 6a))和均帧能耗(见图 6b)):
|
| 图 6 STC场景下, 不同MAC协议的静态性能对比 |
1) 图 6a)中, 相对802.15.4和FD-MAC, BPFD-MAC不仅支持绝对延迟和相对延迟保证, 并且能够同时提高高优先级和低优先级的吞吐量; 而FD-MAC相对于802.15.4 MAC, 虽然也能够实现延迟的区分, 但节点总的吞吐量没有显著变化(所有优先级吞吐量之和没有明显变化)。
2) 图 6b)中, 在各种负载强度下, BPFD-MAC的均帧能耗明显低于FD-MAC和802.15.4。这表明, BPFD-MAC有更好的能量效率。在STC场景下, 工作在BPFD-MAC方式下的节点活动时间增加, 降低了碰撞发生的可能, 而碰撞和重传造成的能量消耗要远大于电路消耗(收发器发射状态功耗(10 mW), 约为电路功耗的10倍(1 mW))。
4 结论本文从控制角度，研究了云机器人动态任务卸载模式下，网络传输的服务质量控制问题，提出并实现了一种基于BP神经网络的双闭环接入控制方法(BPFD-MAC)，在最大化能量利用率的同时，实现多种优先级传输的绝对服务质量和相对服务质量保证。
通过双闭环控制结构，将绝对QoS约束和相对QoS约束解耦，一方面，根据高优先级的延迟控制节点活动时间，满足绝对约束，另一方面，根据不同优先级的延迟比，调整它们退避时间的初始上限，保持相对延迟比例关系恒定，满足相对约束。最后，采用基于BP神经网络的PID方法进行控制器设计。
实验表明，BPFD-MAC相对于FD-MAC，不仅能够在负载动态变化时同时提供相对和绝对QoS保证，并且在STC场景下，节点具有更高的吞吐量(平均提高了18%)和能量利用率(均帧能耗平均降低了14%)，在WTC场景下具有更低的能耗。
| [1] | Wan J, Tang S, Yan H, et al. Cloud Robotics:Current Status and Open Issues[J]. IEEE Access, 2016, 4: 2797-2807. |
| [2] | Kehoe B, Patil S, Abbeel P, et al. A Survey of Research on Cloud Robotics and Automation[J]. IEEE Trans on Automation Science and Engineering, 2015, 12(2): 398-409. |
| [3] | Li F, Wan J, Zhang P, et al. Usage-Specific Semantic Integration for Cyber-Physical Robot Systems[J]. ACM Trans on Embedded Computing Systems, 2016, 15(3): 50. |
| [4] | Chaisiri S, Lee B S, Niyato D. Robust Cloud Resource Provisioning for Cloud Computing Environments[C]//IEEE International Conference on Service-Oriented Computing and Applications, 2011: 1-8 |
| [5] | Pandey P, Pompili D, Yi J. Dynamic Collaboration between Networked Robots and Clouds in Resource-Constrained Environments[J]. IEEE Trans on Automation Science & Engineering, 2015, 12(2): 471-480. |
| [6] | Saxena N, Roy A, Shin J. Dynamic Duty Cycle and Adaptive Contention Window Based QoS-MAC Protocol for Wireless Multimedia Sensor Networks[J]. Computer Networks, 2008, 52(13): 2532-2542. DOI:10.1016/j.comnet.2008.05.009 |
| [7] | Subramanian A K, Paramasivam I. Prin:A Priority-Based Energy Efficient MAC Protocol for Wireless Sensor Networks Varying the Sample Inter-Arrival Time[J]. Wireless Personal Communications, 2016, 92(3): 1-19. |
| [8] | Jang Beakcheol, Lim J B, Sichitiu M L. An Asynchronous Scheduled MAC Protocol for Wireless Sensor Networks[J]. Computer Networks, 2013, 57(1): 85-98. |
| [9] | Naderi M Y, Nintanavongsa P, Chowdhury K R. Rf-Mac:A Medium Access Control Protocol for Rechargeable Sensor Networks Powered by Wireless Energy Harvesting[J]. IEEE Trans on Wireless Communications, 2014, 13(7): 3926-3937. DOI:10.1109/TWC.2014.2315211 |
| [10] | Chang B J, Chen S P. Cross-Layer-Based Adaptive Congestion and Contention Controls for Accessing Cloud Services in 5G IEEE 802.11 Family Wireless Networks[J]. Computer Communications, 2017, 106: 33-45. DOI:10.1016/j.comcom.2017.03.001 |
| [11] | Zen Y, BandRmal N, BayLm C. Two Tiered Service Differentiation Mechanism for Wireless Multimedia Sensor Network MAC Layers[C]//Signal Processing and Communications Applications Conference, 2015: 2318-2321 |
| [12] |
周润, 李波, 杨懋, 等. 面向Qos的下一代Wlanofdma多址接入协议[J]. 西北工业大学学报, 2017, 35(4): 683-689.
Zhou Run, Li Bo, Yang Mao, et al. QoS-Oriented OFDMA MAC Protocol for the Next Generation WLAN[J]. Journal of Northwestern Polytechnical University, 2017, 35(4): 683-689. (in Chinese) |
| [13] | Natkaniec M, Kosek-Szott K, Szott S, et al. A Survey of Medium Access Mechanisms for Providing QoS in Ad-Hoc Networks[J]. IEEE Communications Surveys & Tutorials, 2013, 15(2): 592-620. |
| [14] | Barua S, Afroz F, Islam S S, et al. Comparative Study on Priority Based QoS Aware Mac Protocols for Wsn[J]. International Journal of Wireless & Mobile Networks, 2014, 6(5): 175-181. |
| [15] | Gao A, Hu Y. A Feedback Approach for Qos-Enhanced MAC in Wireless Sensor Network[J]. Journal of Sensors, 2016, 2016: 1-12. |
2. School of Electronic & Control Engineering, Chang'an University, Xi'an 710064, China
