融合Kinect和IMU多模态数据的多阶段运动去噪网络

作者：郭奇涵; 谢文军^*; 王冬; 程景铭; 刘晓平

来源：小型微型计算机系统, 2023, 1-8.

• 运动数据去噪
• 深度学习
• 多模态
• 动作捕捉
• 多阶段

运动数据去噪在影视特效、游戏和康复医疗等动作捕捉应用中起着重要作用.为提高低成本动作捕捉设备的精确度和鲁棒性，提出一种融合Kinect和惯性测量单元(IMU)两种模态运动数据的多阶段去噪网络MMCapNet，利用特征提取器从两种模态数据中提取并融合运动特征，使用关节位置估计器分阶段预测关键关节、身体关节和手部关节坐标位置.为了提高方法的泛化能力，在现有2180332帧多模态数据的基础上，采集了227160帧包含高噪声的多模态运动数据集.实验结果表明，在日常运动和高噪声多模态数据集上输出结果的关节点位置精度均有提升.与BRA、DIP和STTrans方法相比，在日常运动数据集上全身估计误差分别降低78.5%、87.1%和31%，在高噪声数据上的估计结果更加合理.本文通过特征提取，融合多模态数据和多阶段预测，在降低位置估计误差的同时增强了对高噪声数据的处理能力.

• 单位
  合肥工业大学