科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了充分利用动作序列之间的先验信息以提升姿态迁移模型的性能，提出了一个基于时空图卷积的双流关键点特征增强模块，即双分支时空图姿态迁移模块(dual-branch spatial temporal graph pose transfer block, DSTG-PTB)。DSTG-PTB从高帧率和低帧率2个不同的分支进行特征提取。输入的关键点数据首先经过位置嵌入和速度嵌入，然后构建人体骨骼关键点的时空图，并利用时空图卷积网络挖掘动作关键点之间的关联特征，最后将2个分支的特征进行融合并嵌入现有的姿态迁移模型中。对4个序列动作数据集进行了全面的定性和定量实验分析，结果表明，所提DSTG-PTB可以有效提升姿态迁移网络的性能，生成更符合用户审美的序列图像。
- 单位
