基于sEMG的上肢关节角度预测方法研究
孔德智, 王文东, 郭栋, 史仪凯     
西北工业大学 机电学院, 陕西 西安 710072
摘要: 针对康复训练过程人机交互性差、人机耦合不足的问题, 提出上肢关节角度预测模型并完成实验验证。基于表面肌电信号(sEMG)获得可良好表征上肢运动意图的混合向量; 完成信号的预处理、特征优化并提取时域特征值; 针对当前运动控制领域模型预测精度不理想、预测速度较慢的问题, 采用最小二乘支持向量机(LSSVM)方法实现上肢关节角度预测。实验结果证明提出的预测模型可根据表面肌电信号与姿态信息良好地预测人体上肢关节运动轨迹, 有效减少预测时滞与误差, 在提升人机耦合性方面具有一定的优越性。
关键词: 上肢外骨骼    表面肌电信号    最小二乘支持向量机    连续运动估计        

随着康复机器人理论和技术的快速发展,外骨骼机器人已成为康复训练的主要辅助手段,在运动功能障碍患者的治疗方面得到广泛应用,因而其理论与技术研究已经引起国内外学者的广泛关注[1]。国外学者Rahmani等[2]针对七自由度上肢外骨骼进行了轨迹跟踪控制的研究,提出一种自适应神经网络快速积分终端滑模控制方法,解决了动力学建模不确定性问题。王文东等[3]提出一种闭环PD迭代学习控制方法,解决了上肢外骨骼康复训练非线性求解困难的问题。张蔚然等[4]提出基于关节位姿、速度与力等物理信息的运动意图对外骨骼建模,并设计基于模糊补偿的康复训练策略。上述学者均基于单一重复的上肢运动进行被动康复训练策略研究,由于缺乏患者主动意愿的参与,在人机交互方面存在一定的不足。Zia等[5]结合深度学习完成了基于手势识别的运动意图分类,但无法解决上肢康复运动中连续动作的意图识别。Ma等[6]提出基于短连接自动编码器长短期记忆的同步和比例方案,从肌电信号(sEMG)中提取运动学信息来估计手臂的连续运动。Aung等[7]提出基于反向传播神经网络控制器预测肩关节运动角度,并结合VR模型验证了该控制器的有效性。

本文采集sEMG信号并提取可表征运动意图的特征值,基于最小二乘支持向量机(LSSVM)模型对其进行建模,完成了上肢外骨骼关节角度的预测,实现了上肢连续运动估计。与BP神经网络模型进行对比实验,进一步揭示了基于LSSVM的关节角度预测方法的优越性。

1 LSSVM关节角度预测模型 1.1 LSSVM模型构建

将数据集通过非线性函数ϕ(x)由当前空间转换到高维度特征空间中, 即有

(1)

式中:ϕ(xi)为输入关节角度预测模型的第i组特征值; φ(x1), φ(x2), …, φ(xn)为构成输入的n个元素。

最优问题的损失函数(结构风险计算式)为

(2)

式中:U为支持向量机权值空间; e为系统全局误差; ei为预测值与实际值之间的允许误差; C为惩罚项系数(正规化参数), 用于调整模型结构。

利用最优问题的损失函数构造最小二乘法的回归模型为

(3)

式中:yi为第i组特征值对应的输出标签; b为截距项系数。

采用拉格朗日乘子法将(2)~(3)式转化为

(4)

式中, α=[α1, α2, …, αn]为拉格朗日乘子系数。

由KKT(Karush Kuhn Tucker)条件对U, ϕ, ei, b求偏导。即有

(5)

利用矩阵将(5)式转为线性方程组, 即可求得模型参数。线性方程组为

(6)

(6) 式可化简为

(7)

式中:即为所求参数; H=[1, 1, …, 1]T;

LSSVM算法的核函数满足Mercer条件为

(8)

式中, K为核函数, 表示高维特征空间下各个元素之间的内积。

本文采用的高斯核函数为

(9)

因此对于新输出向量x的预测角度y的估计值为

(10)

关于最优模型参数选取, 以结构化风险最小原则确定模型参数, LSSVM预测算法的超参数是惩罚项系数C及高斯核函数带宽σ

1.2 实验方案

综合考虑实验的可持续性以及安全性, 选用由智拓科技公司设计的ZTEMG传感器作为表面肌电采集模块。选取研华PCI1716多功能总线数据采集卡。姿态信息采集模块选择维特智能公司设计的WT61C姿态传感器, 设定采样频率为100 Hz[8]

实验寻找了5名24~36周岁的健康男性作为志愿者, 记为A, B, C, D和E。每一名志愿者做8次实验, 实验前告知其实验操作规范、步骤及注意事项并签约伦理声明, 具体步骤如下:

1) 本文研究肘关节康复训练动作, 其关联动作主要由肱二头肌、肱三头和肱桡肌协同产生。sEMG传感器的绑缚位置如图 1a)~1b)所示, 姿态传感器的绑缚位置如图 1c)所示。为防止运动过程电极移位, 采用医用胶带及护腕对传感器进行固定。采集前先用酒精擦拭清洁皮肤表面, 采集获得2.5 V左右的原始肌电信号。

图 1 关节角度预测实验

2) 实验过程中腕关节与小臂保持在一条直线上, 大臂紧贴后墙体保证整个实验过程只有小臂的摆动, 同时参与者尽量放松防止肌肉紧张导致肌肉收缩及轨迹的抖动。规定水平面的关节角度为零度, 肘关节上摆动作角度设定为正方向, 摆动幅度大约100°左右, 在完全恢复至伸展状态标志一个周期运动, 设定志愿者的摆臂速率在15~50°/s左右。

将采集的sEMG数据进行预处理得到三通道数据。观察可以发现不同肌肉在不同时段的发力不同, 大致起伏时间不一样, 肱桡肌在整个预测过程变化效果不明显。考虑肱桡肌作用相对较弱[9], 为了减轻计算复杂度, 本实验在建立预测模型时忽略肱桡肌, 只考虑肱二头肌和肱三头肌。

基于上述采集实验模块, 制作数据集为

(11)

式中, xi, 表示第i组所有特征值的组合序列; n为标签的个数。

(12)

式中, yi集合为对应离散采样点关节动作的角度, 进而构建训练样本集(xi, yi), 其中i=1, 2, …, n

2 sEMG预处理与特征提取

采用常规放大、去偏置、巴特沃斯滤波以及卡尔曼滤波后, 对结果进行反归一化, 得到如图 2所示的幅值对比图。

图 2 滤波前后幅值对比

由于控制系统的实时性要求, 预测时移动滑窗内的采样点数不能太大。采样率设定为1 024 Hz, 较大数据量导致算法模型的时滞损耗增加, 因此在获取训练数据集后需要进行冗余处理, 减小数据量保证小样本数据集尽量包含较多的有效信息, 设置重采样间隔B=64和重采样点数n=256。

sEMG及姿态信息在采集处理过程中会存在延迟滞后, 然而生物电信号固有超前特性, 因此在时间轴上会造成姿态信息及肌电特征值的不对应, 导致不能从sEMG更好地辨识出人体关节动作角度, 因此采用时差补偿弥补二者在时间序列上的不同步效应。

整个流程中存在3处时间差,主要为带通滤波处理、移动滑窗下读取[10]以及sEMG固有超前性, 具体表达式为

(13)

式中: T为总时差; Ts为sEMG超前时差; Tf为带通滤波带来的时滞; n为移动滑窗大小; Δt为移动滑窗对应的时间周期。

由于3项中只有移动滑窗n为变量, 其他为固定项, 需要对其进行设定才能保证最终处理的对应特征值与姿态信息在时间序列上是一致的。学者Chu研究发现在基于肌电控制的设备中, 窗口长度应小于300 ms[11]。过大或者过小都会影响特征值点和姿态传感器所测点的匹配。为了获得最佳的预测性能和预测算法的相关度, 通过后续实验分析表明, 设定窗口长度为250 ms对应256个采样点, 即可满足要求。

经过预处理的信号具有冗余信息, 不能直接用于辨识人体运动意图。为了进一步提升模型预测的速度、精度、鲁棒性和泛化性, 需要将原始肌电信号转化为一组能明显表征关节运动物理量的特征值。由于某些特征值具有较大噪声和冗余信息, 选择合适的时域特征值至关重要。

依据文献[12], 选择对预测有较大权重影响的特征值, 以及对电极偏移不敏感的特征值, 进而构造特征空间以提高系统鲁棒性。选择均方根(root mean square, RMS)、信号波长(wave length, WL)、过零点数(zero crossing, ZC)、参数模型特征值以及姿态加速度作为本实验特征值, 与姿态角度构成混合向量。

1) 均方根反映信号的有效性, 移动滑窗内表面肌电信号平方和均值的平方根为

(14)

式中: x(i)为sEMG幅值采样序列; n为移动滑窗内采样点个数; 本文中n取256。

2) 波形长度反映了sEMG在一个时间段累计变化的程度, 在移动滑窗内信号波动愈微弱, 则波形长度愈短, 否则越长, 波形长度为

(15)

3) 过零点数是sEMG信号的幅值与某个坐标阈值的穿越次数, 表示频域特征的近似估计[13]。过零点数为

(16)
(17)

4) 参数模型特征值包括混合模型特征值、滑动平均模型特征值、自回归模型特征值, 其对电极偏移不敏感, 构成的特征空间具有鲁棒性。选取3阶AR模型提取参数特征, 该特征主要表示事件的自相关性, 用于预测相关事件。AR模型为

(18)

式中:x(i)为输入的sEMG采样点序列; y(i)为输出序列, p为AR模型的阶数。利用Yule-Walker估计可以得到该方程p+1个参数的解;a1, a2, a3为自回归系数, 也为AR模型特征参数。

5) 患者在实验过程中不可避免的转向会在实际运动过程中引起sEMG信号的突然变化, 采用移动平均滤波器融合IMU测得的加速度信息, 作为物理信号特征值可降低模型预测误差。

3 系统参数对响应的影响

由本文选取相关系数(CC)和均方根差(RMSE)作为评估人体肘关节关节角度回归预测的效果, CC为

(19)

式中:θe为预测的角度; θa为实际角度; cov为协方差; D为方差。结果越接近1则表示估计效果越好。RMSE值越大则估计的效果越差, RMSE值为

(20)

式中, N为预测点数。

选取实验结果中效果较好的一组, 即实验对象C的第二组实验记作(C#2)作为分析案例, 其中字母代表志愿者, 序号代表实验序号。为了得到最适应模拟患者的超参数, 采用Matlab编程, 以实验对象A为例。根据实验结果分析, RMSE对不同超参数有较大波动, 因此需要展示不同参数对RMSE评估结果的影响。先在三维空间中确定参数C以及σ局部范围, 如图 3a)所示。之后采用分段局部寻优的方式, 由于此时超参数的选择对RMSE取值范围不会有较大影响, 因此不再设置较小的步长, 如图 3b)所示。根据网格颜色确定二者不同变化范围对RMSE的影响如图, 最终确定各实验对象超参数如表 1所示。

图 3 超参数分段寻优
表 1 各实验对象超参数值
实验参与者 惩罚项系数C 高斯核函数带宽σ
实验对象A 4.36 49.31
实验对象B 4.97 50.43
实验对象C 4.53 51.56
实验对象D 5.04 52.25
实验对象E 4.82 51.03
4 实验结果分析

在寻找各个对象的最优参数后, 确定在本实验对象的样本集下最优结果为C#2(C, σ)=(4.53, 51.56)。对LSSVM进行时差补偿处理, 结果如图 4a)~4b)所示。对比发现经时差补偿得到的LSSVM预测曲线整体效果更好。

图 4 时差补偿前后的关节角度预测

为直观对比时差补偿对预测性能的影响, 计算预测过程中的平均绝对误差(MAE)、均方根误差(RMSE)、均方误差(MSE)以及最大绝对误差(MAXE), 结果如表 2所示。对比发现评价参数RMSE通过时差补偿降低约26.7%, 最大绝对误差减低约31.3%, 从数据中可直观发现时差补偿可有效降低关节角度预测模型的误差。

表 2 时差补偿前后相关评价分析
评价指标 MAE RMSE MSE emax
时差补偿前 10.066 6 12.283 8 150.892 40.983 8
时差补偿后 7.770 1 9.695 4 94.000 5 31.299 9

采用BP神经网络和LSSVM算法进行对比, 设定BP神经网络隐藏层节点数为5, 设定迭代次数为1 000, 设定网络学习率和最终目标误差为0.01和0.000 01, 选择隐藏层和输出层间的传递函数分别为Sigmoid函数和线性传递函数。

为直观对比时差补偿后的LSSVM算法与BP神经网络算法对连续运动估计的性能, 采用Etime函数对模型训练时间和执行时间进行计算, 数据集一共2 400个样本点, 70%作为训练集, 30%作为验证集, 各项结论如表 3所示。对比可直观发现训练时间减少大约85%, 执行时间缩短大约80.2%, LSSVM算法相比BP神经网络的训练时间和执行时间均有不同程度的减少, 满足外骨骼机械臂针对实时性主动训练的速度要求; RMSE减小较多, 大约减少55.7%, 表明LSSVM算法用于预测肘关节运动角度时有较高的准确性并且满足对控制系统鲁棒性的要求, 虽然误差仍然存在, 但在执行器中设置步进最大距离和最大速度等参数对离散轨迹点进行拟合可以有效防止控制过程中出现异常位置偏移的情况; 平均相关系数表明LSSVM算法相关程度较高于BP算法, 即LSSVM算法的全局估计效果好于BP神经网络算法, 综上所述, 本文所采用的LSSVM具有一定优越性和可行性。

表 3 不同算法预测性能指标对比
算法 CC RMSE MAE 训练时
间/s
执行时
间/s
LSSVM 0.973 6 9.695 4 7.770 1 0.185 0.028
BP 0.954 2 15.095 1 11.513 3 1.224 0.131

为直观对比2种方法的预测性能, 做误差对比图如图 5所示。由图可以直观看出,在手动调整最优参数情况下, LSSVM预测算法的输出误差更小, 因此LSSVM算法在预测患者关节角度误差方面优于BP神经网络, 对比图 5的2种误差可以看出, 2种方法用于关节角度预测的误差均有一定周期性, 这是由于患者肢体在肘关节摆动过程中发生换向动作时, 肱二头肌和肱三头肌在同一时刻的不同伸展和收缩的反复动作变化导致的肌电信号幅值发生较大变化, 所提取的特征值降低了预测模型的稳定性, 导致了误差的增加, 因此实验过程中降低换向时的速度以保证误差尽可能地减小。

图 5 不同方法的预测误差对比
5 结论

本文针对上肢外骨骼康复训练过程人机交互性不足的问题提出了一种基于sEMG的关节角度预测方法。根据sEMG生理特性以及上肢肌肉组织分布特征设计了肌电信号的采集与特征值提取,结合LSSVM模型对上肢关节进行建模并完成了基于肌电信号特征值的角度预测。通过时差补偿对比发现预测效果有明显提升,评价参数RMSE通过时差补偿降低约26.7%,最大绝对误差降低约31.3%,时差补偿效果显著。为验证实验效果,采用2种机器学习模型,即BP神经网络和LSSVM最小二乘支持向量机方法。通过对比发现LSSVM方法的预测结果无论精度还是速度上都有较大提升。LSSVM与BPNN方法相比训练时间与执行时间分别缩短了85%, 80.2%,满足了康复训练实时性要求。评价参数RMSE减少约55.7%,表明LSSVM具有较高的准确性,满足对控制系统鲁棒性的要求。实验结果显示了LSSVM各个方面优于BPNN的特性,证明了该算法用于外骨骼机械臂运动控制的潜力和优越性。

下一步工作计划是针对外骨骼关节电机设计基于径向基函数神经网络控制器,进一步优化外骨骼关节电机运动的柔顺性,从而提升肌电信号关节角度预测的准确度。

参考文献
[1] 刘振宇, 伍晓强. 外骨骼式康复机器人的发展现状[J]. 高科技与产业化, 2018(5): 106-111.
LIU Zhenyu, WU Xiaoqiang. The development status of exoskeleton rehabilitation robots[J]. High Technology and Industrialization, 2018(5): 106-111. (in Chinese)
[2] RAHMANI M, RAHMAN M H, GHOMMAM J. A 7-DoF upper limb exoskeleton robot control using a new robust hybrid controller[J]. International Journal of Control Automation and Systems, 2019, 17: 1-9. DOI:10.1007/s12555-017-0703-0
[3] 王文东, 肖孟涵, 孔德智, 等. 基于人机耦合模型的上肢康复外骨骼闭环PD迭代控制方法[J]. 机械工程学报, 2021, 57(21): 11-21.
WANG Wendong, XIAO Menghan, KONG Dezhi, et al. Closed-loop PD iterative control method of upper limb rehabilitation exoskeleton based on human-machine coupling model[J]. Chinese Journal of Mechanical Engineering, 2021, 57(21): 11-21. (in Chinese)
[4] 张蔚然, 鲁守银, 吴林彦, 等. 基于模糊补偿的主从式上肢外骨骼康复机器人训练控制方法[J]. 机器人, 2019, 41(1): 104-111.
ZHANG Weiran, LU Shouyin, WU Linyan, et al. A master-slave upper limb exoskeleton rehabilitation robot training control method based on fuzzy compensation[J]. Robots, 2019, 41(1): 104-111. (in Chinese)
[5] ZIA M, WARIS A, GILANI S O, et al. Multiday EMG-based classification of hand motions with deep learning techniques[J]. Sensors(Basel), 2018, 18(8): 2497.
[6] MA Chenfei, LIN Chuang, SAMUEL Oluwarotimi Williams, et al. Continuous estimation of upper limb joint angle from sEMG signals based on SCA-LSTM deep learning approach[J]. Biomedical Signal Processing and Control, 2021, 61: 102024.
[7] AUNG Y M, AI-JUMAILY A. sEMG based ANN for shoulder angle prediction[J]. Procedia Engineering, 2012, 41: 1009-1015. DOI:10.1016/j.proeng.2012.07.276
[8] WANG S, GAO Y, ZHAO J, et al. Prediction of sEMG-based tremor joint angle using the RBF neural network[C]//2012 IEEE International Conference on Mechatronics and Automation, 2012: 2103-2108
[9] PAN L, ZHANG D, LIU J, et al. Continuous estimation of finger joint angles under different static wrist motions from surface EMG signals[J]. Biomedical Signal Processing and Control, 2014, 14: 265-271. DOI:10.1016/j.bspc.2014.08.004
[10] WAHYUNGGORO O, NUGROHO H A. Effect of window length on performance of the elbow-joint angle prediction based on electromyography[J]. Journal of Physics: Conference Series, 2017, 853(1): 12-14.
[11] CHU J U, MOON I, MUN M S. A real-time EMG pattern recognition system based on linear-nonlinear feature projection for a multifunction myoelectric hand[J]. IEEE Trans on Biomedical Engineering, 2016, 53(11): 2232-2239.
[12] 李自由, 赵新刚, 张弼, 等. 基于表面肌电的意图识别方法在非理想条件下的研究进展[J]. 自动化学报, 2021, 47(5): 955-969.
LI Ziyou, ZHAO Xingang, ZHANG Bi, et al. Research progress of intent recognition method based on surface electromyography under non-ideal conditions[J]. Chinese Journal of Automation, 2021, 47(5): 955-969. (in Chinese)
[13] PHINYOMARK A, PHUKPATTARANONT P, LIMSAKUL C. Feature reduction and selection for EMG signal classification[J]. Expert Systems with Applications, 2012, 39(8): 7420-7431.
Study on upper limb joint angle prediction method based on sEMG
KONG Dezhi, WANG Wendong, GUO Dong, SHI Yikai     
School of Mechanical Engineering, Northwestern Polytechnical University, Xi'an 710072, China
Abstract: Aiming at the problems of insufficient human-computer interaction and human-machine coupling in the rehabilitation training process, a prediction model of upper limb joint angle is proposed and verified by experiments. Firstly, a mixture vector that can well represent the motion intention of the upper limbs is obtained based on sEMG; secondly, the signal preprocessing, feature optimization and extraction of temporal eigenvalues are completed; finally, for the problems of unsatisfactory prediction accuracy and slow prediction speed of the current models in the field of motion control, the least square method (LSM) is adopted. The upper limb joint angle prediction is realized by multiplying the support vector machine (LSSVM) first. The experimental results show that the prediction model proposed in this paper can well predict the motion trajectory of the upper limb joints of the human body according to the sEMG and attitude information, effectively reduce the prediction time delay and error, and has certain advantages.
Keywords: upper limb exoskeleton    rehabilitation training    sEMG    LSSVM    continuous motion estimation    
西北工业大学主办。
0

文章信息

孔德智, 王文东, 郭栋, 史仪凯
KONG Dezhi, WANG Wendong, GUO Dong, SHI Yikai
基于sEMG的上肢关节角度预测方法研究
Study on upper limb joint angle prediction method based on sEMG
西北工业大学学报, 2022, 40(4): 764-770.
Journal of Northwestern Polytechnical University, 2022, 40(4): 764-770.

文章历史

收稿日期: 2021-10-12

相关文章

工作空间