一种注意力网络与马尔可夫链结合的多模态人体行为识别方法

作者：张银环; 肖秦琨^*; 楚超勤; 邢恒; 贾松涛

来源：西安工业大学学报, 2022, 42(05): 507-512.

DOI：10.16185/j.jxatu.edu.cn.2022.05.401

• 注意力网络
• 马尔可夫链
• 多模态融合
• 人体行为识别

针对遮挡及交互场景中因身体某些部位被遮挡导致行为识别精度较低的问题，提出了基于概率图模型的多模态融合方法(STALC)以提升行为识别精度。采用时空注意力网络(STAL)分别提取人体行为的彩色视频序列特征和骨架序列特征，将获取的多模态序列特征输入给隐马尔可夫模型(CHMM)进行概率融合，得到人体行为识别结果。结果表明：在HMDB51和UCF101数据集上，文中提出的STALC方法获得的行为识别精度分别为87.68%和97.78%。STALC方法与使用骨架时域滑动融合方法(STSM)相比，在UCF101数据集上的识别精度提高了2.88%,文中提出的STALC方法具有更高的识别精度。

• 单位
  渭南职业技术学院; 西安工业大学; 建筑工程学院; 电子信息工程学院; 机电工程学院