基于PointNet和长短时记忆网络的三维人体动作预测

作者：王辉; 丁铂栩; 宋佳豪; 曹俊杰; 李波^*; 刘秀平

来源：计算机应用, 2021, 42(S2): 60-66.

• 人体动作预测
• 三维点云
• PointNet
• 长短期记忆网络
• 动作序列

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示，相较于骨架和视频表示，三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先，使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取；其次，通过LSTM学习动作序列的时间信息融合动作序列的时空特征；最后，将时空特征通过全连接神经网络(FC)进行动作预测；此外，还构造了三维点云表示的人体动作序列数据集。实验结果表明，所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10-3。

• 单位
  大连理工大学; 石家庄铁道大学; 南昌航空大学