引言

运动单位（motor unit）是人体产生运动的基本功能单元，由运动神经元及其支配的肌纤维组成。中枢神经系统控制运动神经元激活，刺激肌纤维收缩产生运动。利用运动单位的神经放电信息直接识别人体的手势动作，为自然的人机交互提供了重要途径。然而，如何准确获取更加丰富的运动单位放电信息，并且充分利用运动单位放电的时空特性，建立神经放电与手势动作之间的关联，仍然面临重重挑战。针对这一问题，我们提出了一种基于通道型运动单位累积放电序列图像的手势识别方法，利用运动单位放电序列的时空特性，实现了对多类手势动作的准确识别。相关成果以“Toward hand gesture recognition using a channel-wise cumulative spike train image-driven model”为题发表在Cyborg and Bionic Systems期刊。

研究思路与方法

直接利用运动单位的神经放电信息解码人体动作手势面临挑战：1）基于高密度表面肌电信号的运动单位放电序列反解受到盲源分离算法严格假设的限制，相当部分的有效放电信息会被剔除；2）现有解码框架忽略了运动单位放电的空间特性，导致解码精度有限。本研究从以上两个方面考虑，提出了直接反解局部区域运动单位累积放电序列的方法，并通过构建运动单位累积放电序列图像引入运动单位放电的空间信息，显著提升了手势识别解码的精度。

1. 手势识别框架

所提手势识别框架（图1）包括高密度肌电信号反解、运动单位累积放电序列图像重构、手势识别解码模型建立三部分。首先，提出了一种改进的通道型运动单位累积放电序列（channel-wise cumulative spike train, cw-CST）反解方法，将采集的前臂高密度肌电信号直接解码为不同运动单位在局部区域的放电序列集合，尽可能多地获取运动单位的放电信息；进一步，将提取到的通道型运动单位累积放电序列按照不同通道的空间排布，根据时间采样转换为具有空间和时间特性的图像；最后，利用构建的cw-CST图像建立对应的手势识别解码模型，实现对多种类别手势的解码。

图1. 基于通道型运动单位累积放电序列图像的手势识别框架

2. 通道型运动单位累积放电序列反解方法

图2展示的是课题组提出的通道型运动单位累积放电序列提取方法（Xu, Y., Yu Y. et al., IEEE JBHI, 2023），在此基础上，我们对反解算法进行了优化，包括信号延拓与白化顺序、通道能量计算方法等，进一步提高了运动单位累积放电序列的反解性能，获得了更多的运动单位放电信息，为后续构建解码模型奠定了基础。

图2. 通道型运动单位累积放电序列反解方法

3. 手势识别解码模型

从高密度表面肌电信号中获取cw-CST后，根据不同采集通道的空间分布构建cw-CST图像，作为解码模型的输入。手势识别解码模型分为两个部分，包括静息态识别网络以及针对其他手势的识别网络。所提解码模型如图3所示。

图3. 基于cw-CST图像的手势识别解码模型

论文主要结果

1. 手势识别精度

为了验证所提方法的有效性，我们对比了四种方法的解码精度：cwCST-CNN为所提方法，RMS-CNN为以均方根特征构建的图像作为输入的解码模型，cwCST-LDA和RMS-LDA分别为cw-CST和RMS作为输入特征的线性分类识别方法。对比结果显示，所提方法在解码精度上具有显著优势。图4(a)和(b)分别表示采用不同训练量进行模型训练的结果。

图4. 不同解码模型的手势识别精度

2. 特征空间分布

此外，我们分析了不同手势的通道型累积放电序列与均方根特征的空间分布特性，图5表示不同手势的特征分布情况，图中每种颜色表示一种手势。由此可见，通道型累积放电序列相较于均方根特征，不同手势之间具有更显著的可分离特性。前者具有更大的类间间距和更小的类内间距，这一特性也支持了所提方法具有更高解码精度的事实。

图5. 特征空间分布情况

论文与作者信息

上海交通大学元知机器人研究院于洋老师为论文的第一作者，上海交通大学盛鑫军教授为论文通讯作者。论文合作者包括上海交通大学博士生周泽钰、许阳（现中国医科大学副教授），上海交通大学陈晨和郭伟超老师。该研究得到了国家自然科学基金青年、面上和重大科研仪器项目的资助。

论文信息：

Yu, Y., Zhou Z., Xu Y., Chen C., Guo W., and Sheng X., “Toward hand gesture recognition using a channel-wise cumulative spike train image-driven model”, Cyborg and Bionic Systems, vol. 6, 2025, Art. no. 0219. （影响因子：18.1）

论文连接：https://spj.science.org/doi/full/10.34133/cbsystems.0219