一种视频时空特征提取算法及其应用研究

作者：曾凡智; 程勇^*; 周燕

来源：佛山科学技术学院学报(自然科学版), 2020, 38(03): 16-23.

DOI：10.13797/j.cnki.jfosu.1008-0171.2020.0051

• 视频检索
• 三维卷积神经网络
• 时空特征
• 深度学习

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。

• 单位
  佛山科学技术学院; 电子信息工程学院