基于注意力机制的人体关键点隐式建模网络

作者：赵佳圆; 张玉茹; 苏晓东; 徐红岩; 李世洲; 张玉荣

来源：计算机工程, 2023, 1-13.

DOI：10.19678/j.issn.1000-3428.0067134

• 人体姿态估计
• 卷积神经网络
• 注意力机制
• 焦点损失
• 隐式建模

人体姿态估计任务需要利用视觉线索和关节间的解剖关系来定位关键点，但基于卷积神经网络的方法难以关注远程上下文线索和建模远距离关节之间的依赖关系。本文提出了一种基于注意力机制的隐式建模方法，通过多阶段迭代计算关节之间的特征相关性来隐式建模关键点间的约束关系。该方法可以打破卷积神经网络的局部操作，扩大网络的感受野，建模远距离关节之间的依赖关系。为了解决网络在训练过程中可能弱化不可见关键点的问题，采用了焦点损失函数，使网络更关注于复杂的关键点，例如膝盖和脚踝。在同等实验条件下，使用目前精度最高的特征提取网络HRNet和经典特征提取网络ResNet作为主干网络进行实验，实验结果表明隐式建模网络可以提高人体姿态估计网络的性能，在人体姿态估计基准数据集MPII数据集和MSCOCO数据集上，以HRNet网络为主干网络的算法相较于原网络精度分别提升了1.7%和2.6%。

• 单位
  哈尔滨商业大学