基于数据融合的不平衡连续手术动作分割识别

作者：郑嘉颖; 王杰; 付攀; 李桢; 边桂彬^*

来源：科学技术与工程, 2023, 23(29): 12620-12627.

• 数据融合
• 不平衡数据集
• 动作识别
• 变长时间序列分割

为解决样本分布不均衡的连续动作序列分割识别精度不高的问题，提出一种基于深度学习的新型连续动作分割与识别模型，该模型能够从多维时间序列中提取更丰富全面的动作特征。使用基于双向长短时记忆网络(bidirectional long short-term memory networks, Bi-LSTM)的特征提取单元提取数据特征，利用基于注意力机制的特征融合模块融合多种模态的特征，并利用全连接层构建的解码器完成最终分类。实验中使用多种传感器采集了眼科手术中连续环形撕囊操作的连续动作多模态数据对算法进行验证实验。实验结果显示，与使用长短时记忆网络(LSTM)和门控循环单元(gated recurrent unit, GRU)的数据层融合算法以及4种特征层融合策略相比，所提出的模型具有更好的性能。对于数据量最小的动作类别，该算法的识别精度提高了14%以上，全局F1分数提升8%以上，整体识别准确度达到90.72%。这些结果表明，该模型能够有效解决样本分布不均衡的连续动作序列分割识别精度问题，并为多模态连续动作分割与样本不均衡问题的解决提供了新的思路和方法。

• 单位
  自动化学院; 中科院自动化研究所; 北京信息科技大学