科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对现有局部近重复视频检测算法特征存储消耗大、整体查询效率低、提取特征时并未考虑近重复帧之间细微语义差异等问题，本文提出了一种基于Transformer紧凑编码的局部近重复视频检测算法。首先，提出了一个基于Transformer的特征编码器，其学习了大量近重复帧之间细微的语义差异，可以在编码帧特征时对各个区域特征图引入自注意力机制，在有效降低帧特征维度的同时也提高了编码后特征的表示性。该特征编码器通过孪生网络训练得到，该网络不需要负样本就可以有效学习近重复帧之间的相似语义信息，因此无需沉重和困难的难负样本标注工作，使得训练过程更加简易和高效。其次，提出了一个基于视频自相似度矩阵的关键帧提取方法，可以从视频中提取丰富但不冗余的关键帧，从而使关键帧特征序列能够更全面地描述原视频内容，提高算法的性能，同时也大幅减少了存储和计算冗余关键帧带来的开销。最后，基于关键帧的低维紧凑编码特征，采用基于图网络的时间对齐算法，实现局部近重复视频片段的检测和定位。该算法在公开局部近重复视频检测数据集VCDB上取得了优于现有算法的实验性能。
- 单位
