科研之友
微信
新浪微博
Facebook
分享链接
摘要
人体姿态预测，是指根据可观测的人体姿态序列，来预测运动后的人体姿态。现有方法缺乏对关节点在运动后的位置范围进行描述。因此，本文提出一种关节点位置关系时空变化模型。在该模型中，空间位置关系学习模块，通过统计同一个动作类别的多个时间视频帧中关节点之间的相对位置分布，来学习动作类别约束的不同关节点之间位置关系。空间位置关系学习模块用于描述人体姿态预测中位置关系的合理性，并减少不合理的关节点估计。时间位置关系学习模块，通过同一个动作类别中统计相邻两帧的关节点位置变化，来学习动作类约束的单关节点位置随着时间的变化关系。时间位置关系学习模块用于描述人体姿态预测中人体关节点运动后的合理范围，并减少不合理的关节点估计。时空位置关系融合模块，利用位置关系的高斯分布方差作为权重，对空间位置关系和时间位置关系进行加权融合。时空位置关系融合模块考虑人体姿态中的邻接关系，将融合的时空位置关系进行空间范围的筛选，得到更加合理的时空位置关系。时空变化特征学习模块，将关节点的全局/局部位置关系，点乘到自注意力关系中。时空变化特征学习模块使用位置约束的自注意力，找出关节点有效的影响范围，从而提高人体姿态预测的准确性。实验在Human3.6M和Penn Action 两个数据库上进行验证。实验表明，本文的关节点位置关系时间变化模型，优于现有人体姿态预测方法。
- 单位
