融合多路特征和注意力机制的强化学习关键帧提取算法

作者：曹春萍; 苑凯歌^*

来源：计算机应用研究, 2022, 39(04): 1274-1280.

DOI：10.19734/j.issn.1001-3695.2021.06.0332

• 人体骨骼
• 人体姿态识别算法
• S-GCN
• 注意力机制
• ResNet50
• 强化学习

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题，提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取；然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征，并将两者进行加权融合；最后应用注意力机制对特征序列进行视频帧重要性计算，并利用强化学习进行关键帧的提取和优化。实验结果表明，该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题，在检测含有关键性动作的视频帧时表现较好，算法准确率高、稳定性强。

• 单位
  上海理工大学