科研之友
微信
新浪微博
Facebook
分享链接
摘要
在视频理解任务中，为了减少行为检测任务中的数据标注成本同时提高检测精度，本文提出一种基于骨骼数据的弱监督视频行为检测方法，使用视频级的类别标注对行为检测网络进行弱监督训练.本文以二维人体骨骼数据和RGB图像数据作为网络输入，利用循环神经网络从骨骼数据中提取时域信息并送入全连接层输出所需的特征.骨骼数据提取的特征与RGB数据提取的特征分别传入注意力网络生成相应的权重，用来生成加权特征与加权时序类别激活图值.最后根据加权特征与加权时序类别激活图值进行行为的分类与时域定位.实验结果表明，所提出的结合人体骨骼数据的算法比有监督算法少使用了数据的时间标注.算法在THUMOS14数据集和ActivityNet1.3数据集上能够提高检测准确率.
- 单位
