2. 西北工业大学 医学研究院, 陕西 西安 710072
目前基于SLAM的自主导航技术在机器人、自主导航车、无人机等智能装置中得到广泛应用[1-2]，但该技术仍面临着许多问题，如智能算法无法应对复杂环境变化、突发情况难以正确处理等，许多研究人员尝试将人脑引入智能装置中来解决这些问题。脑-机接口(brain computer interface, BCI)技术旨在建立一条不依赖于大脑外围神经与肌肉组织的输出通道，实现人脑直接与外部设备通讯的功能[3]。BCI技术在智能轮椅、机器人等[4-6]领域有着广泛的应用。针对基于SLAM的自主导航技术所存在的问题，国内外曾有研究者尝试过将SLAM技术与BCI技术相结合。Liu等[7]提出了一种基于脑-机器人接口结合SLAM的控制策略，通过人工势场的方法与脑电信号(electroencephalogram, EEG)相结合，建立起EEG强度与势场强度之间的关系。其中脑电信号识别精度可以达到91%，所提出的脑电-人工势场方法，可以获得在非结构化环境中规划无障碍轨迹的运动命令。Li等[8]采用基于左右手的运动想象作为脑遥操作系统的输入，设计了基于深度学习的SLAM。基于运动想象的平均脑电识别正确率可以达到71.72%，在走廊环境下的一系列实验证明了该系统的可行性。Li等[9]提出了一种人机共享的轮椅导航控制策略，采用脑机共享控制模式和自主控制模式。自主控制模式下，使用基于角度的势场和基于视觉SLAM的综合方法来指导机器人在障碍物中的导航；共享控制模式下，脑电识别正确率可达85%，保证被试完成控制任务。
以上研究者们将SLAM技术与BCI技术进行结合，解决了部分问题的同时又引入新的问题。上述研究都是通过BCI直接控制移动机器人执行复杂运动，所以脑-机器人系统的控制需要大量脑电信息，进而对于导联的数量要求较高，常见的导联数目有32导及64导，这不便于日常携带和使用。目前许多基于BCI的技术都是将人脑作为完成任务的主要部分，这就导致人脑在整个任务过程中负荷大，易造成人脑疲劳，降低脑机系统有效性。脑机协同(brain-computer collaboration, BCC)可以有效地解决上述问题。BCC是脑科学与机器相互结合共同处理问题的方式，指的是人脑与计算机相互协同，密切协作，共同处理各种复杂问题[10]，BCC是一种全新的人机协作方式。其中，计算机主要负责数据处理等任务量较大的工作，人脑主要负责计算机难以完成的工作，如选择、决策、评价、认知等。BCC技术具有广泛的应用前景，通过BCI技术与不同的计算机技术进行结合，可以改进现有的许多计算机应用技术。
1 脑机协同导航思路与研究内容在真实环境中，SLAM指无人车等智能装置在移动过程中通过自身搭载的传感器精确估计自身位姿的同时，估计真实环境并创建环境地图的过程。目前SLAM技术与BCI技术的结合方式多是从主动的脑控出发，即通过大脑控制机器人在非结构环境下进行同步定位与地图构建或者执行其他复杂任务。在整个任务过程中，人脑需要承担大部分工作量，导致操作人员负担较大，极易产生疲劳、注意力分散，任务完成率较低。同时由于所执行的任务比较复杂，需要的脑电信息量更多，对于EEG采集要求更高，不便于日常的使用与推广。针对以上问题，本文提出了一种结合SLAM的脑机协同导航方法，充分发挥人工智能与人脑智能各自的优势。通过视频反馈叠加刺激技术，获取非结构环境信息，人脑自主选择感兴趣的目标区域图像，使用合适的机器学习算法解码EEG，提取目标区域图像的ORB(oriented FAST and rotated BRIEF)特征点与ORB-SLAM地图中的特征点匹配，将特征点的质心作为目标点。目标点坐标传入人工势场，对机器人产生引力，控制机器人在非结构化环境下执行导航任务。机器人主要负责目标区域图像处理、周围环境信息感知、非结构环境下动态避障等计算量较大的任务。因为人脑在整个过程中任务量比较小，所需要的脑电信息量较少、操作时间短，所以通过脑机协同的方法，不仅降低操作人员的操作难度，还有效地缓解操作人员的疲劳程度，降低EEG采集的要求。
1.1 结合SLAM的脑机协同导航方法结合SLAM的脑机协同导航主要包括4个部分：环境感知与反馈、人脑目标区域选择、脑电信息处理、机器人自主导航。如图 1所示，具体实现方法是将机器人置于非结构环境中，遥操作控制机器人对于非结构环境进行三维地图构建。地图构建完成后，机器人平台的摄像头采集周围环境信息，将采集到的环境图像信息经由无线路由器发送到远程计算机，通过在实时图像上叠加刺激块并反馈给操作人员。将采集到的EEG数据经无线网络发送至计算机，由计算机进行预处理、特征提取和目标分类，选择出相应的目标区域图像经由无线网络发送到机器人平台上。图像特征点与SLAM地图的特征点进行匹配，获取导航目标点坐标后在人工势场中形成引力作用，障碍物对机器人产生斥力的作用，在合力的作用下共同控制机器人运动。
|
| 图 1 结合SLAM的脑机协同导航示意图 |
完成脑机协同导航任务需要1名系统操作员、1台高性能计算机、1个载有Kinect深度相机传感器和摄像头传感器的小强机器人、1套EEG采集仪器、无线路由器和中继路由器。它们通过无线网络连接到一起，组成局域网进行数据交换。整个系统结构如图 2所示，该系统主要包括脑-机接口模块、无线传输模块、自主导航模块与刺激显示模块。脑-机接口模块主要由1套博瑞康64导无线脑电采集装置、中继路由器以及计算机组成，负责EEG的采集与信号处理。无线传输模块主要由无线路由器组成，负责数据的接收与发送。自主导航模块主要是由小强机器人平台构成，负责目标点确定、自主定位、地图构建、自主导航等任务。显示刺激模块由1台远程上位机组成，负责诱发EEG和环境信息展示。脑机协同导航的各个模块之间的连接通过无线传输模块来实现。自主导航模块与无线传输模块之间的信息交换为双向通道，传输的数据是实时环境信息、动态障碍物信息及脑电解码信息；脑-机接口模块与无线传输模块之间采用单向通道，EEG从脑电采集模块的中继路由器发送到远程上位机处理；远程上位机通过SSH协议访问机器人的IP地址，用于开启机器人USB摄像头和深度相机等设备。
|
| 图 2 脑机协同导航的整体架构 |
稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)是一种由稳定频率闪烁视觉刺激所诱发的具有与刺激频率相同和更高次谐波频率成分的EEG稳态响应，主要出现于大脑皮层枕区。基于SSVEP的BCI(SSVEP-BCI)系统具有更高的信息传输速率，相应的系统和实验设计也更加简便。同时SSVEP-BCI具有较强的鲁棒性，在游戏、文字拼写、机器人运动控制等方面具有广泛的应用。虽然SSVEP-BCI可以轻松诱发脑电信号，但是需要操作人员长时间注视屏幕，容易引发视觉疲劳。本文拟采用脑机协同的方式来缓解SSVEP-BCI所带来的人脑疲劳问题。
2.2 基于SSVEP的目标区域图像选取方法传统的脑-机器人直接控制技术，需要大量的导联才能够获取足够多的EEG，以满足控制的需求。但是大量的导联限制了日常使用，不利于BCI的应用推广。脑机协同的方法相较于传统脑控技术，人脑的任务量较小且对于脑电信息需求量较少，为减少导联的数目提供了可行性。
如图 3所示，本研究采用3个导联的SSVEP目标区域图像选取的方法。机器人摄像头获取环境信息通过无线模块传输到显示界面，在视频界面添加相应的LCD闪烁块，闪烁频率分别设置为12.4, 16, 17.8, 20 Hz，由这些闪烁块以及环境信息构成LCD视觉刺激界面。使用脑电放大采集装置采集操作人员O1, O2, OZ导联的EEG，这里之所以选择三导联通道为O1, O2, OZ，是因为闪烁块所诱发的SSVEP信号出现于大脑皮层枕区，当操作人员注视着特定频率闪烁的模块时，提取其枕区的EEG，即对O1, O2, OZ导联进行频谱分析，就会发现EEG在特定频率及倍频处会有明显的波峰。对于所采集的脑电信号，通过无线模块传输到数据处理单元，进行脑电信号分析与处理。使用相应的机器学习算法进行特征提取和分类，最终根据分类结果判断操作人员所选择的目标区域图像。
|
| 图 3 基于SSVEP的目标区域图像选取示意图 |
EEG具有较好的时间分辨率，但微弱的信号强度极容易受各种噪声信号的干扰，因此必须对采集的EEG进行预处理，提高EEG的可用性。同时为正确解码操作人员的意图，需要对所采集的EEG进行特征提取和分类，最终输出相应的指令结果，处理过程如图 4所示。
|
| 图 4 基于典型相关分析的SSVEP信号处理框图 |
SSVEP信号具有比较明显的频域特征，在进行稳态视觉诱发时选择的刺激频域大多为低频，所以需要对高频噪声进行滤除。本文通过滤波处理工频噪声，为此设计了50 Hz陷波器来滤除工频噪声干扰。经过陷波器处理的EEG，需要根据SSVEP所设置的频率，设计相应的带通滤波器。本文所选的4个闪烁频率为12.4, 16, 17.8, 20 Hz，所以对原始EEG信号进行5~30 Hz的带通滤波。
2.3.2 脑电信号特征提取与分类经过预处理之后的EEG利用典型相关分析(canonical correlation analysis, CCA)算法进行特征提取和分类。CCA是一种多元统计分析方法，通过计算2个数据组中各变量的线性组合，求出相关度最具有代表性的线性变量组合，并利用2个线性组合间的相关度来反映2组信号的相关性。将CCA算法应用在SSVEP特征提取中，就是将原始的EEG和特定频率的正余弦信号及倍频信号求典型相关度，得到的相关度即为特征信息。例如提取频率为fi的特征, 可将相关的参考序列Si设置为
|
(1) |
式中: N是原始EEG的长度; Fs为EEG的采样率; K为CCA算法的待分类模式数, 待求模式可表示为
|
(2) |
式中, ρ(fi)为EEG信号与参考信号Si的典型相关系数。由此得到4类EEG的相关性系数, 如图 5所示。
|
| 图 5 SSVEP信号特征分布图 |
目标区域图像选择后如何进行目标区域导航至关重要。图像的特征点由关键点和描述子表达, 单词(word)是由某一类特征的特征点构成; 由所有的单词构成字典(vocabulary), 构建字典后对于给定任意特征, 只要在字典中使用汉明距离逐层查找, 就可以找到与之对应的单词。在机器人使用ORB-SLAM建立稀疏地图的过程中, 对所有特征点使用k-means聚类方法, 将其分成若干类, 每一类即表示为1个单词。由k-means聚类所构成的类别数量不能太少, 否则会产生误匹配问题, 但是数量过大会带来查找效率问题。由于单词数量过多需要提高查找效率, 视觉词袋模型一般使用树结构进行存储。本文所采用的方法是K叉树, 设置树的深度为d, 则可以构成Kd个单词, 建立的树形结构如图 6所示。
|
| 图 6 树形结构存储词袋 |
在离线生成K叉树字典后, 通过3个导联的SSVEP选取目标区域图像, 将图像中的每个特征点都从根节点往下遍历, 根据汉明距离一直遍历到叶子节点, 就可以找到位于叶子节点的图像单词。将目标区域图像中的每个特征点与SLAM地图中的特征点匹配后换算成SLAM地图中的三维坐标, 取这些特征点的质心为目标点坐标。最后将目标点坐标传入导航系统进行路径规划并驱动机器人前进。
2.5 真实环境构建为测试结合SLAM的脑机协同导航方法, 首先需要对真实的非结构化环境进行建模, 以获取环境相应的信息。利用ORB-SLAM算法对实验场景进行三维地图建模, 获取三维地图模型特征点稀疏地图的俯视图, 如图 7所示。
|
| 图 7 稀疏特征点图 |
图中分布全局的点为所建地图中的ORB特征点, 离散的蓝线为机器人进行非结构环境下建模时所走过的真实路径, 连续的红线为人工规划的可行走路径。
3 方法验证和结果分析 3.1 目标区域图像选取方法验证为验证基于3个导联的SSVEP目标区域图像选取方法的可行性, 本文对含图像反馈的SSVEP范式进行测试, 本实验分为训练阶段和测试阶段, 训练阶段主要完成分类器参数优化, 测试阶段主要用来检验分类器和目标区域图像选取方法的性能。
3.1.1 实验材料本实验需要用到如下器材: 计算机1台、脑电采集仪器1套、无线路由器1个、小强机器人平台。
3.1.2 实验步骤1) 本实验中4名被试需分别进行3组实验, 共计12组实验。每组实验中需要被试依次注视4个频率的闪烁块, 每个闪烁块的刺激时间长为2 min, 共计时长8 min。
2) 设置脑电采集放大器采样频率为1 000 Hz, 每名被试采集到的是维度为4×3×120 000的脑电数据, 其中“4”代表 4个频率闪烁块, “3”表示进行3组实验, “120 000”由采样时长乘以采样频率获得。对脑电数据进行清洗后, 每0.8 s截取一个样本数据片段, 则每个被试有3组样本, 每组4个频率各150个样本数据片段, 共计600个样本数据片段。
3) 在训练阶段, 对采集的脑电数据进行预处理、CCA算法特征提取及分类, 通过样本数据训练得到脑电信号分类器的参数, 训练出性能较高的分类器。
4) 在测试阶段, 要求每位被试按照实验操作人员提示, 选择4个LCD闪烁模块中的1个进行注视, 并记录相应的顺序。使用之前训练好的分类器, 完成30个分类结果后结束实验。
3.1.3 实验结果分析严格执行上述实验步骤, 统计4名被试获得如下实验结果, 并予以分析。
由表 1可得4名被试选择的导联为O1, O2, OZ, 各自进行了30次实验。被试1在4名被试中表现较差，准确率最低。在30次分类实验中, 正确分类的次数为27次, 准确率为90.00%；被试2、被试3表现最好，准确率最高。在30次分类实验中, 正确的分类次数达到29次, 准确率高达96.70%。总体来说4名被试平均正确率为94.17%, 目标区域图像分类正确率高。实验证明对3个导联的SSVEP进行特征提取与分类是可用的, 这为接下来进行测试结合SLAM进行脑机协同导航奠定基础。
| 被试号 | 导联选择 | 实验次数 | 正确分类次数 | 正确率 |
| 1 | O1, O2, OZ | 30 | 27 | 0.900 |
| 2 | O1, O2, OZ | 30 | 29 | 0.967 |
| 3 | O1, O2, OZ | 30 | 29 | 0.967 |
| 4 | O1, O2, OZ | 30 | 28 | 0.933 |
本研究根据脑机协同导航方法, 设计了机器人导航任务。操作人员操作结合SLAM脑机协同导航的机器人, 驱动机器人在地图中进行指定区域测试。测试人员随机选择目标区域, 机器人到达指定区域即视为任务完成。
3.2.1 测试步骤1) 在测试任务开始前, 需将具体任务以及详细的操作提前告知操作人员, 操作人员熟悉系统后正式开始测试。
2) 等待所有设备准备完毕后, 操作人员观看移动机器人回传的车载实时图像以及图像中闪烁的LCD模块, 诱发其产生SSVEP信号。
3) 测试过程中操作人员不能直接看到移动机器人行走状态, 只能看到刺激显示模块显示的实时视频。
4) 将图像与ORB-SLAM所构建的地图进行匹配确定目标点的坐标, 并利用人工势场法对非结构环境进行路径规划, 实现脑-机器人的协同导航。
3.2.2 评价指标通过任务完成率、任务平均完成时间、目标选择时间3条技术指标, 对结合SLAM的脑机协同导航方法性能进行评估。
1) 任务完成率
在结合SLAM的脑机协同导航任务中, 若机器人导航到达预定目标区域, 则称为执行正确; 若移动机器人未导航到达预定目标区域, 为执行错误。定义结合SLAM的脑机协同导航任务完成率为任务完成的次数/总任务次数。
2) 任务平均完成时间
每次执行任务时都记录下从任务开始到任务结束的时间, 计算全部任务的执行时间/总任务次数即为1次任务的平均完成时间。
3) 目标选择时间
每次任务都记录下通过SSVEP闪烁模块选择目标区域图像时间, 实验结束后计算全部任务的目标选择时间/总任务次数即为1次任务进行目标选择所需的平均时间。
3.2.3 实验结果分析如表 2所示，根据实验统计, 在总共40次的测试中, 辅助人员随机指定地图中的目标区域作为测试任务, 操作人员通过注视SSVEP诱发模块选择导航目标区域图像, 将目标区域图像传递给机器人进行协同导航。操作人员成功完成任务37次, 平均每次任务完成时间为1.8 min, 任务完成率为92.5%, 总控制时间为72 min。所用导联数目从64全导联减少到3个导联, 降低了系统的硬件要求。目前脑-机器人系统需要不断地进行实时控制, 长时间的控制任务容易引起疲劳。本文所提出的基于SLAM的脑机协同导航方法只需要人脑进行目标区域图像选择, 可以有效地降低操作人员的操作负担。在机器人导航的过程中操作人员不需要集中精力进行控制, 在一定程度上证明了结合SLAM的脑机协同导航方法对于操作人员具有较高的舒适性。
本文提出的结合SLAM的脑机协同导航方法，通过3个导联的SSVEP对目标区域图像选取，对选取后的目标图像进行处理并转换为导航的目标区域，从而控制基于SLAM的机器人完成导航任务。该方法以人脑选取的目标区域引导机器人自主运动，实现脑机协同导航，最终评估的测试准确率为92.5%，脑控时间长度为0.8 s。这不仅缓解了人脑疲劳而且降低了脑电采集的硬件要求，后续研究中可以适当增加人脑任务，比如人脑检测机器人运动状况等，以提高脑机协同的自由度。
致谢
感谢陕西省脑机一体化及其无人系统应用国际联合研究中心以及西北工业大学脑科学与类脑研究中心提供的实验和技术支持与帮助。
| [1] | ZHOU Liling, WANG Yingzi, LIU Yunfei, et al. A tightly-coupled positioning system of online calibrated RGB-D camera and wheel odometry based on SE(2) plane constraints[J]. Electronics, 2021, 10(8): 970-986. DOI:10.3390/electronics10080970 |
| [2] | SLOWAK P, KANIEWSKI P. Stratified particle filter monocular SLAM[J]. Remote Sensing, 2021, 13(16): 3233-3259. DOI:10.3390/rs13163233 |
| [3] | WOLPAW J R, BIRBAUMER N, MCFARLAND D J, et al. Brain-computer interfaces for communication and control[J]. Clinical Neurophysiology, 2002, 113(6): 767-791. DOI:10.1016/S1388-2457(02)00057-3 |
| [4] | HUANG Qiyun, ZHANG Zhijun, YU Tianyou, et al. An EEG-/EOG-Based hybrid brain-computer interface: application on controlling an integrated wheelchair robotic arm system[J]. Frontiers in Neuroscience, 2019, 13: 01243. DOI:10.3389/fnins.2019.01243 |
| [5] | DUAN Xu, XIE Songyun, XIE Xinzhou, et al. Quadcopter flight control using a non-invasive multi-modal brain computer interface[J]. Frontiers in Neurorobotics, 2019, 13: 00023. DOI:10.3389/fnbot.2019.00023 |
| [6] |
谢松云, 段绪, 冯怀北, 等. 基于意识任务的机器人脑控系统[J]. 西北工业大学学报, 2017, 35(1): 116-120.
XIE Songyun, DUAN Xu, FENG Huaibei, et al. Robot brain control system based on consciousness task[J]. Journal of Northwestern Polytechnical University, 2017, 35(1): 116-120. (in Chinese) DOI:10.3969/j.issn.1000-2758.2017.01.018 |
| [7] | LIU Yiliang, LI Zhijun, ZHANG Tong, et al. Brain-robot interface-based navigation control of a mobile robot in corridor environments[J]. IEEE Trans on Systems Man & Cybernetics Systems, 2020, 50(8): 3047-3058. |
| [8] | LI Jianlong, LI Zhijun, Feng Ying, et al. Development of a human-robot hybrid intelligent system based on brain teleoperation and deep learning SLAM[J]. IEEE Trans on Automation Science and Engineering, 2019, 16(4): 1664-1674. DOI:10.1109/TASE.2019.2911667 |
| [9] | LI Zhijun, ZHAO Suna, DUAN Jiding, et al. Human cooperative wheelchair with brain-machine interaction based on shared control strategy[J]. IEEE/ASME Trans on Mechatronics, 2017, 22(1): 185-195. DOI:10.1109/TMECH.2016.2606642 |
| [10] | LIN Yao, SHENG Xinjun, ZHANG Dingguo, et al. A BCI system based on somatosensory attentional orientation[J]. IEEE Trans on Neural System and Rehabilitation Engineering, 2017, 25(1): 78-87. |
2. Institute of Medical Research, Northwestern Polytechnical University, Xi'an 710072, China
