基于意识任务的机器人脑控系统
谢松云, 段绪, 冯怀北, 孟雅, 陈刚     
西北工业大学 电子信息学院, 陕西 西安 710072
摘要: 目前机器人的控制系统基本需要双手遥控,对残疾人等无法提供便利,提出了一种全新的脑电信号(electroencephalography,EEG)控制机器人方法。采用无需外界刺激的意识任务诱发特征EEG,通过便携式脑电设备采集EEG,经过特征提取与指令分类,实现对机器人的控制。针对意识任务需要被试进行大量的训练,设计了离线训练系统。针对EEG信噪比较低的问题,研究了意识任务下EEG处理方法。最后设计了在线机器人脑控系统,利用想象左手运动、想象右手运动、想象单词生成分别控制机器人左转、右转与前进,利用眨眼信号控制机器人停止。实验结果表明,从准确率、舒适度两方面来看,基于意识任务的机器人脑控系统有效实现了机器人的控制。
关键词: 脑控系统     机器人控制     EmotivEpoc     意识任务     LTCFB-CSP算法    

脑控系统的核心是脑机接口(brain computer interface,BCI)技术,是测量中枢神经系统的活动并将它转换成用来代替和增强中枢神经系统输出的人工输出系统。基于EEG的BCI技术应用最为广泛。BCI分为主动式BCI与被动式BCI。被动式BCI通过收集大脑以及其他生理信号来解析认知与心理精神状态,通常运用在高危以及需要注意力长时间集中的地方。主动式BCI通过安装在头皮固定位置处的电极,检测到相应的神经元活动弥散到头皮上的电势分布,然后解读电势信号的分布,解码一些运动意图信息,将这些运动意图信息相应编码,就可以控制外部的设备,为人们提供一种全新的与外界交互的能力。主动式BCI最常用于残疾人辅助设备,如脑控轮椅、脑控义肢、通过EEG控制经颅磁刺激对受损的肌肉进行康复治疗与残疾人辅助机器人等。目前,让BCI新技术走出实验室,服务广大有需求的患者和特殊的人群成为BCI研究的新挑战[1]

想象运动与想象单词生成都是意识任务的一种。想象运动表示有意识的想象一个运动意图。可以在没有外界刺激的情况下诱发出事件相关同步/去同步特征波。被试在一段时间内根据提示的首字母拼写一连串单词,拼写的过程是由几个不同的脑区同时作用的结果。如拼写单词“top”时,颞叶语言区、额叶中回区和视觉区等大脑相应区域会被激活,这就是想象单词生成所解码的特征波[2]

根据以上研究背景,本文首先给出脑控系统的总体方案,包括离线训练阶段与在线系统设计;利用功率谱估计与表面拉普拉斯拓扑图证明了意识任务下EEG的特征;再对EEG处理方法进行研究;最后通过在线实验评估了系统的性能,使被试利用想象运动、想象单词生成等意识任务分别控制机器人的不同动作。

1 基于意识任务的机器人脑控系统的总体方案

基于意识任务的机器人脑控系统分为离线训练阶段与在线机器人控制阶段。利用想象左手运动、想象右手运动、想象单词生成等分别控制机器人左转、右转与前进。在训练阶段通过特定的实验范式与结果反馈使被试诱发出的意识任务特征EEG更加稳定与准确,训练完成后对离线数据进行处理,计算出每个被试特定的空间滤波器投影矩阵与分类器模型。在线实验阶段,在BCI2000平台的基础上配置各个模块,设计实验并完成对机器人的控制。系统的总体方案示意流程如图 1所示。

图 1 基于意识任务的机器人脑控系统
1.1 离线训练阶段

实验范式如图 2所示[3],被试听到“beep”提示音后,提示一个实验试次的开始,过2 s会听到随机出现的“lefthand”来提示被试想象左手运动、“righthand”来提示想象右手运动,或提示要拼写单词的首字母的声音,这时被试开始执行意识任务,任务持续时间为4 s,紧接着为4 s试次间休息。需要注意的是,当被试听到“beep”提示音后须集中注意力,身体各部分不能动,当任务提示声响起时被试不能眨眼。实验共包含60个试次,每种任务出现20次。每次任务结束时屏幕上会出现“YES”或“NO”的反馈,“YES”代表想象正确,“NO”代表想象错误。当被试的训练正确率达到70%以上时,训练结束,带事件标签的EEG数据被保存在计算机中。接着用离线数据中执行任务的部分做离线分析。

图 2 训练阶段的实验范式

首先分析意识任务下EEG的特征。在初级感觉运动皮层不处理感觉信息或运动输出时,会表现出一种大约8~12 Hz频率与18~25 Hz频率的节律性运动,这种运动被称为μ节律与β节律。当单边肢体运动或想象运动时,对侧初级感觉运动皮层区域活跃起来,μβ频率的节律性活动表现为幅度的降低,称为事件相关去同步(event-related desynchronization,ERD);反之,其同侧皮层区域受到抑制,μβ频率的节律性活动表现为幅度升高,称为事件相关同步(event-related synchronization,ERS)。想象运动因为其较明显的ERD/ERS现象被用在BCI技术中。想象单词生成时,不同脑区的激活在特征上表现为相应脑区α频段的升高[4]

图 3 3种任务下2个导联处EEG的功率谱密度

利用离线数据计算3类意识任务的功率谱估计,如图 3所示,被试在单词意识任务下α节律的功率远高于其他2种任务。在大脑左半球F3导联处,被试想象左手运动时μ节律与β节律的功率都略高于想象右手运动。在大脑右半球F4导联处,μ节律与β节律的功率表现两者正好相反。图 4为被试想象运动时的表面拉普拉斯ERD拓扑图,每个图代表 4s脑电信号的平均值,当进行一侧手部想象运动时,对侧初级感觉运动区域出现ERD现象。以上分析证明了本文采用的EmotivEpoc作为便携式采集设备的可行性。

图 4 左手想象运动(左)与右手想象运动(右)的ERD拓扑图
1.2 在线机器人脑控系统设计

图 1中在线阶段所示,系统中硬件包括脑电采集设备EmotivEpoc,一台笔记本电脑,以及一个乐高机器人。软件包括BCI2000与MATLAB。整个系统由脑电设备采集信号,笔记本电脑处理信号并输出指令控制机器人运动。由BCI2000平台完成信号接收、信号处理和应用驱动之间的通信。BCI2000包括以下3个模块。

1) 数据采集模块:将EmotivEpoc记录的信号经过预处理后打包传递给信号处理模块。信号的导联数目为14,每次发送的数据包长度设置为3 s。每段数据都经过1~70 Hz带通滤波器与50 Hz陷波滤波器去除工频干扰。

2) 数据处理模块:此模块通过调用MATLAB脚本来执行。将训练阶段训练好的投影矩阵W与分类器模型传递给在线处理过程。在线脑电数据首先经过带通滤波器组,再通过空间滤波器W,对滤波后数据按维度求方差,最后通过分类器模型进行在线分类,处理过程运算时间约1.5 s,完全可以在下一个数据包到来之前完成运算。

3) 机器人模块:将数据处理模块输出的指令通过机器人MATLAB工具包编程转换,转换后的指令通过WIFI传递给机器人,控制机器人进行动作。预设机器人直线行走速度为0.2 m/s,并预设路线,包含8个左转弯、8个右转弯、3次停止与3次直线行走。

2 基于意识任务的脑电信号处理方法的研究与实现

意识任务下特征EEG的特征提取与模式识别算法的优劣直接影响了机器人脑控系统的性能。算法部分采用离线训练所得数据进行研究,并将算法运用于在线脑控系统中,每个被试都需要用离线数据计算出特定的算法参数。

意识任务下特征EEG的特征提取方法有Pwelch功率谱估计分类方法、空间滤波器方法、交叉相关方法等。共空间模式(common spatial pattern,CSP)是一种空间滤波器,用CSP方法可以从多导联脑电信号中计算出头皮的特定激活区[5]。它被证明在分类想象运动时有很好的分类效果。本文将基于局部时间相关的滤波器组共空间模式算法(local temporal correlation based filter bank common spatial pattern,LTCFB-CSP)运用在3种任务的特征提取中。方案流程图如图 5所示,具体步骤如下:

图 5 意识任务下特征EEG的信号处理方法

第1步预处理。使用EEGLAB工具包对数据进行预处理,包括坏导联去除与去伪迹两步,设计9个切比雪夫Ⅱ型滤波器将整段数据滤波后得到9段子信号,滤波器参数为最优化参数,对每个子信号的2~12个采样点内脑电数据求相关。

第2步特征提取。打乱试次间顺序,70%作为训练集,30%作为测试集;采用成对组合方法将三分类问题转化为二分类问题后通过共空间模式方法求出投影矩阵,将脑电信号投影到维数为6的空间中,并构造出特征矩阵。

第3步指令分类。采用支持向量机作为分类器,核函数选择线性核函数。对线性核函数中的惩罚因子c参数进行优化。如表 1所示,最终的分类结果经过10次随机交叉验证得出。

表 1 3类意识任务的最终分类准确率/%
被试号全体运动任务左手右手单词
74.3±5.7775.5±2.8874.280.666.7
76.3±4.9878.1±5.6174.267.787.1
73.3±5.2367.8±6.5167.764.587.1

将LTCFB-CSP算法与其他3种CSP改进算法FBCSP、LTCCSP、RCSP-A比较,结果如图 6所示,可见就分类准确率而言,LTCFB-CSP算法有更优越的性能[5-6]

图 6 不同算法对意识任务下特征EEG的分类结果
3 机器人脑控系统实现与在线实验结果

图 7所示,实验场所为室内3 m×4 m空地中,实验选择晚上相对安静的环境。实验前给被试佩戴EmotivEpoc脑电帽,信号采样率设为128 Hz,参考电极为左侧乳突。让被试舒适地坐在椅子上,要求被试熟悉机器人的行走路线并记住指令的顺序。选择经过训练后的一名被试进行在线实验,被试性别男,年龄24岁,视力通过佩戴眼镜矫正至正常视力。启动BCI2000平台,配置好相关参数后开始实验。实验过程中,被试通过意识任务与眨眼肌电信号控制机器人绕过障碍物,走完预定路线。根据4次实验测试验证,本系统基本能有效地控制机器人完成预设的路线。

图 7 基于脑机接口的机器人系统实验实例

1) 准确率。Kappa=(acc-1/N)/(1-1/N)。acc代表指令执行的正确率,N表示要分类的特征脑电类别数。如表 2所示,实验一共进行了8次。其中“左转”指令一共执行了64次,正确46次;“右转”指令一共执行了64次,正确48次,“直走”指令执行了24次,正确18次;“停止”指令执行了24次,正确22次。每种指令的正确率分别为71.8%、75%、75%、91.7%。4个指令的平均准确率为78.3%,Kappa=0.71。3类意识任务控制指令的平均准确率为73.9%。

表 2 在线实验中每个指令的分类结果
类别预测
“左转”
预测
“右转”
预测
“直走”
预测
“停止”
真实“左转”461242
真实“右转”124840
真实“直走”24180
真实“停止”00222

2) 舒适度。实验结束后,根据被试的实验反馈,表示训练阶段时间适中,无需视觉刺激;在线实验阶段脑电帽较舒适,意识任务与机器人的真实运动较类似,容易想象。因此本论文搭建的脑机接口系统舒适度高。

4 结论

针对脑机接口中脑电设备的便携问题与脑机接口系统的实用性问题,证明了意识任务下EEG具有较明显的特征,研究了特征EEG处理方法并将该方法运用于在线机器人脑控系统中,设计了基于意识任务的便携式机器人脑控系统,最后搭建在线系统的各个模块,设计并完成实验。机器人脑控系统准确率达到了78.3%,响应时间控制在3 s,被试通过意识任务绕过障碍物,完成预设的路线。

参考文献
[1] Wolpaw J, Wolpaw E W. Brain-Computer Interfaces:Principles and Practice[M]. , 2012.
[2] McFarland D J, Miner L A, Vaughan T M, et al. Mu and Beta Rhythm Topographies During Motor Imagery and Actual Movements[J]. Brain Topography, 2000, 12(3): 177–186. DOI:10.1023/A:1023437823106
[3] Martinez-Leon J, Cano-Izquierdo J, Ibarrola J. Are Low Cost Brain Computer Interface Headsets Ready for Motor Imagery Applications?[J]. Expert Systems with Applications, 2016, 49: 136–144. DOI:10.1016/j.eswa.2015.11.015
[4] 谢松云, 王立楠, 张斌, 等. 用于飞行员状态监控的视觉空间选择性注意研究[J]. 西北工业大学学报, 2014, 32 (2): 268–272.
Xie Songyu, Wang Linan, Zhang Bin, et al. On Spoutial Selective Atlention Pattern and Its Application to Monitoring of Polins Brain Fuction State[J]. Journal of Northwestern Polytechnical University, 2014, 32(2): 268–272. (in Chinese)
[5] Ang K K, Chin Z Y, Wang C, et al. Filter Bank Common Spatial Pattern Algorithm on BCI Competition IV Datasets 2a and 2b[J]. Frontiers in Neuroscience, 2012(6): 39–47.
[6] Zhang R, Xu P, Liu T, et al. Local Temporal Correlation Common Spatial Patterns for Single Trial EEG Classification during Motor Imagery[J]. Computational and Mathematical Methods in Medicine, 2013, 2013(3): 1–7.
Robot Control System Using a Mental Task-Based Brain Computer Interface
Xie Songyun, Duan Xu, Feng Huaibei, Meng Ya, Chen Gang     
School of Electronics and Information, Northwestern Polytechnical University, Xi'an 710072, China
Abstract: The existing robot control system basically needs hand remote control, and could not provide facilities for people with disabilities. A new EEG control robot method is proposed. In this paper, EEG is induced by mental task without external stimuli and collected by portable EEG cap. After feature extraction and classification, the robot is controlled. Long time training is needed for mental task, and the off-line training system is designed. Aimed at the low SNR of EEG, the process method of EEG with specific pattern is studied. Finally, an online robot control system is designed, subjects can control the robot turning left, turning right, going straight and going back using left-hand motor imagery, right-hand motor imagery, word generation task and blink, respectively. The experimental result shows that from the perspective of accuracy and comfort, the robot-based brain-control system based on mental task can efficiently control the robot.
Key words: robot control     brain computer interface     EEG     portable device     data acquisition    
EmotivEpoc     artificial removal     feature extraction     pattern recognition     mental task     motor imagery     eye blink     MATLAB     common spatial pattern     local temporal correlation     filter bank     support vector machines     ERD/ERS     topological graph     power spectrum    
西北工业大学主办。
0

文章信息

谢松云, 段绪, 冯怀北, 孟雅, 陈刚
Xie Songyun, Duan Xu, Feng Huaibei, Meng Ya, Chen Gang
基于意识任务的机器人脑控系统
Robot Control System Using a Mental Task-Based Brain Computer Interface
西北工业大学学报, 2017, 35(1): 116-120.
Journal of Northwestern Polytechnical University, 2017, 35(1): 116-120.

文章历史

收稿日期: 2016-09-18

相关文章

工作空间