基于注意力机制的多模态人体行为识别算法

作者：宋真东; 杨国超; 马玉鹏^*; 冯晓毅

来源：计算机测量与控制, 2022, 30(02): 276-283.

DOI：10.16526/j.cnki.11-4762/tp.2022.02.040

• RGB-D图像
• 多模态特征
• 人体行为
• 双流网络
• 注意力机制
• 特征融合

提出了基于注意力机制的多模态人体行为识别算法;针对多模态特征的有效融合问题,设计基于注意力机制的双流特征融合卷积网络(TAM3DNet, two-stream attention mechanism 3D network);主干网络采用结合注意力机制的注意力3D网络(AM3DNet, attention mechanism 3D network),将特征图与注意力图进行加权后得到加权行为特征,从而使网络聚焦于肢体运动区域的特征,减弱背景和肢体静止区域的影响;将RGB-D数据的颜色和深度两种模态数据分别作为双流网络的输入,从两条分支网络得到彩色和深度行为特征,然后将融合特征进行分类得到人体行为识别结果。

• 单位
  河北师范大学; 西北工业大学; 陕西华明普泰医疗设备有限公司